JP2010152873A - 接近物体検知システム - Google Patents

Abstract

【課題】接近物体検知システムにおいて、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出するものとする。
【解決手段】カメラ１０で撮影（＃１）して得られた画像Ｐに対して、第１の移動領域検出手段３０が、略水平方向へのオプティカルフローだけを検出し（＃３）、得られたオプティカルフローに基づいて略水平方向に移動する領域を含む矩形の画像部分Ｑを設定し（＃４）、設定された矩形の画像部分Ｑに対して、第２の移動領域検出手段４０が、鉛直方向（縦方向）に沿った信号値の分布（プロファイル）を求め（＃５）、さらに第２の移動領域検出手段４０は動的計画法に基づく処理により、時系列手に相前後する２つの画像Ｐ，Ｐの画像部分Ｑ，Ｑの信号値分布同士を対応させて（＃６）拡大率を求め（＃７）、接近物体判定手段５０が、拡大率に応じて、真に接近してくる物体か否かを判定する。
【選択図】図３

Description

本発明は、接近物体検知システムに関し、詳細には、カメラによって撮影された時系列に前後する２つ以上の画像に基づいて、接近する物体を検知するシステムに関する。

従来、車両に設置されたカメラで車両周囲を撮影し、得られた画像を車室内のモニタに表示することで、運転者等の乗員の目視では死角となる領域への注力を、モニタの表示画像で補うことが行われている。

さらに、カメラで得られた画像に処理を施すことで、その画像内に写った移動体を自動的に検出し、その移動体が接近して来るものであれば、乗員に注意を喚起する技術も提案されている。

ここで、自車両に接近する移動体の検出方法としては、例えば、時系列的に前後する複数の画像に基づいたオプティカルフロー処理により、時系列的に前後する画像間で位置の変化した領域（画像の一部分）を移動体として検出する方法がある（特許文献１，２）。

また、画像に基づいて移動体に対応した領域を特定し、この特定された移動体に対応した領域における縦エッジ間の距離の変化に基づいて、拡大率を求め、この拡大率に基づいて、その移動体が接近しているか否かを判定する技術も提案されている（特許文献３）。

特開２００７−２５７０２５号公報 特開２００４−０５６７６３号公報 特開２００７−２３３４６９号公報

ところで、上述したオプティカルフロー処理によって画像内の移動体を検出する場合、時系列的に前後する２つ以上の画像（フレーム）間で、画像を構成する各画素ごとの速度ベクトル（オプティカルフロー）を求める必要があるが、その速度ベクトルは、注目画素を中心として全ての方向について探索することで特定され、しかも、画像を構成する全ての画素を順次、注目画素として適用する必要があり、計算処理の負荷が大きい。

特に、カメラを車両に設置して、この車両に接近してくる他の車両等を検出しようとする場合、その他車両等の走行速度を考慮すると、非常に短い間隔で画像を得て、略リアルタイムにオプティカルフローを算出する必要があり、車両に搭載されている一般的な車載マイコンなどの演算処理機で対応するのは困難である。

一方、特許文献３に示す技術は、演算負荷が軽いため、車載マイコンで十分に対応可能であるが、上述の縦エッジの検出精度に難があり、誤検出が多くなって、実用性が乏しい。

本発明は上記事情に鑑みてなされたもので、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出することができる接近物体検知システムを提供することを目的とする。

本発明に係る接近物体検知システムは、特定の向きへの速度ベクトルだけを検出するように、画像にオプティカルフロー処理を施すことで、演算処理負荷を軽減しつつ特定向きへの速度ベクトルを有する画像部分を精度よく抽出し、その抽出された画像部分に対して、前記の特定向きとは異なる方向について動的計画法に基づく処理を施すことで、その画像部分が真に接近してくる物体か否かを判定し、これにより、接近してくる移動体を精度よく検出するものである。

すなわち、本発明に係る接近物体検知システムは、所定の位置に固定され、画像を撮影するカメラと、前記カメラによって撮影して得られた、時系列的に前後する複数の画像に基づいて、オプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出（抽出）する第１の移動領域検出手段と、前記複数の画像のそれぞれにおける、前記第１の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記画像部分の、前記特定の向きとは異なる方向に沿った大きさの変動を求める第２の移動領域検出手段と、前記変動に応じて、前記画像部分に対応した移動体が前記カメラに対する接近物か否かを判定する接近物体判定手段と、を備えたことを特徴とする。

ここで、特定の向きは、理想的には単一（の向き）であることが好ましいが、カメラの撮像素子に結像させるためのレンズの画角などとの関係により、単一の向きに沿った速度ベクトルだけの検出では検出漏れを生じる虞があるため、特定の基準となる向きを含む狭い角度範囲（例えば、９０度未満の角度範囲）の向きであれば、上記特定の向きとして適用することができる。

この場合、その狭い角度範囲の両端の角度の向き（２つの向き）と、基準となる向き（１つの向き）との３つの向きであってもよいし、その狭い角度範囲を分割して４つの向き、５つの向き、などとしてもよい。ただし、この特定の向きを多く設定すると、オプティカルフロー処理の演算負荷が増大するため、過度に細分化するのは好ましくない。

また、上記動的計画法とは、いわゆるグラフ理論の最適経路探索で用いられる、伸縮を考慮した類似度を判別するための手法であり、ＤＰ（Dynamic Programming）マッチングとも称されている。すなわち、この動的計画法に基づく処理を、類似した２つの画像に適用することで、これら２つの画像の、伸縮前後での拡大率乃至縮小率を得ることができる。

なお、第２の移動領域検出手段が動的計画法に基づく処理を画像部分に施す場合における「特定の向きとは異なる方向」は、上述した第１の移動領域検出手段がオプティカルフロー処理によって検出しようとする速度ベクトルの「特定の向き」に対して、略直交する方向であることが好ましい。

「特定の向き」が、上述したように単一の向きでないとき（狭い角度範囲に含まれる複数の向きのとき）における好ましい方向としては、これら複数の向きのうち基準となる１つの向きに対して略直交する方向を適用することができる。

以上のように構成された本発明に係る接近物体検知システムによれば、第１の移動領域検出手段が、時系列的に前後する複数の画像に基づくオプティカルフロー処理により、これらの画像のうち時系列的に特定の向きへ移動した画像部分を検出（抽出）し、第２の移動領域検出手段が、各検出画像部分に対し、特定の向きとは異なる方向に沿って動的計画法に基づく処理を施すことで、時系列的に前の画像におけるその画像部分に対する、時系列的に後の画像におけるその画像部分の、大きさの変動を求め、その大きさの変動に応じて、接近物体判定手段が、その画像部分に対応した移動体が接近しつつあるか否かを判定する。

そして、本発明に係る接近物体検知システムによれば、第１の移動領域検出手段によるオプティカルフロー処理が、特定の向きへの速度ベクトルだけを検出する処理であるため、演算処理負荷を軽減しつつ特定向きへの速度ベクトルを有する画像部分を精度よく検出（抽出）することができ、第２の移動領域検出手段による動的計画法に基づく処理は演算処理として軽い処理であり、しかも第１の移動領域検出手段によって検出された画像部分に対して、前記の特定向きとは異なる方向について動的計画法に基づく処理を施して大きさの変動を得ることで、接近物体判定手段が、移動体が接近しつつあるか否かの判定を精度よく行うことができる。

本発明に係る接近物体検知システムにおいては、前記第２の移動領域検出手段は、前記複数の画像のそれぞれにおける、前記第１の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記各画像部分ごとに、前記特定の向きとは異なる方向に沿った信号値の分布を求め、前記時系列的に前後する複数の画像における前記各画像部分ごとの前記信号値の分布の対応関係に基づいて、前記大きさの変動を求めるものであることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、第２の移動領域検出手段が、複数の画像のそれぞれにおける、第１の移動領域検出手段によって検出された各画像部分に対して、動的計画法に基づく処理を施して、各画像部分ごとに、特定の向きとは異なる方向に沿った信号値の分布（プロファイル）を求め、時系列的に前の画像における画像部分の信号値の分布（特定の向きとは異なる方向に沿った信号値の分布）と時系列的に後の画像における画像部分の信号値の分布（特定の向きとは異なる方向に沿った信号値の分布）とを対応させることで、両画像部分の大きさの比を簡単に求めることができ、この大きさの比を、本発明に係る接近物体検知システムにおける「大きさの変動」とすることができるからである。

本発明に係る接近物体検知システムにおいては、前記第１の移動領域検出手段は、前記オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して１５度上向きから１５度下向きまでの角度範囲内の所定の１または２以上の向きと、を適用したものであり、前記第２の移動領域検出手段は、前記動的計画法に基づく処理における前記特定の向きとは異なる方向として、前記画像における、鉛直方向に対応した方向を適用したものであることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、第１の移動領域検出手段は、オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して１５度上向きから１５度下向きまでの角度範囲内の向きが適用されるため、主として水平方向に移動する移動体を検出することができる。

そして、このとき、水平方向という単一方向に沿った向きだけでなく、この水平方向を中心とした１５度上向きから１５度下向きまでの角度範囲内の向きの速度ベクトルを検出することができるため、厳密に水平方向に移動するものだけでなく、水平方向に対してわずかに角度を有した向きの移動体も検出することができ、主として水平方向に移動する移動体の検出洩れを防止することができる。

また、第２の移動領域検出手段による動的計画法の処理が、第１の移動領域検出手段によって検出された、主として水平方向の向きに移動する移動体を含む画像部分に対して、その画像部分のうち鉛直方向に対応した方向に沿った信号値の分布を対象とすることで、画像部分が鉛直方向に関して拡大されたか、縮小されたか、または拡大も縮小もされていないか、を検出することができる。

これにより、略水平方向に沿って移動していて（第１の移動領域検出手段による検出結果）、かつ鉛直方向の大きさが拡大されている（第２の移動領域検出手段による検出結果）場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラに対して接近しつつある移動体（接近物体）であると判定する。

また、略水平方向に沿って移動していて（第１の移動領域検出手段による検出結果）、かつ鉛直方向の大きさが縮小されている（第２の移動領域検出手段による検出結果）場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラに対して遠離りつつある移動体であると判定する。

さらに、略水平方向に沿って移動していて（第１の移動領域検出手段による検出結果）、かつ鉛直方向の大きさが拡大も縮小もされていない（第２の移動領域検出手段による検出結果）場合は、接近物体判定手段は、検出した画像部分における移動体が、カメラのレンズの直径方向については接近しつつあるが、光軸方向については離れつつある、と判定し、この移動体は接近物体ではない、と判定する。

したがって、上述した、カメラのレンズの直径方向については接近しつつあるが、光軸方向については離れつつある移動体を、誤って接近物体と判定するのを回避することができ、接近物体の検出精度を向上させることができる。

本発明に係る接近物体検知システムにおいては、接近物体判定手段は、前記大きさが大きくなる方向への変動のときは、前記画像部分における移動体が接近物であると判定することが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、第２の移動領域検出手段による検出結果が大きさの大きくなる方向への変動のときに限って、接近物体判定手段は、画像部分における移動体が接近物であると判定するため、単に第１の移動領域検出手段による検出結果にのみ基づいて接近物体を判定するものよりも、接近物体を判定する精度を高めることができる。

本発明に係る接近物体検知システムにおいては、前記第１の移動領域検出手段は、前記オプティカルフロー処理による前記移動した画像部分の検出に先立って、前記カメラによって撮影して得られた画像のうち、空および地面のうち少なくとも一方の領域を除外することが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、空や地面は、本発明が検出しようとする接近物体の対象外であるため、オプティカルフロー処理前に、画像から、これら空や地面を予め除去しておくことで、オプティカルフロー処理の演算負荷を一層軽減させることができる。

なお、画像中における空や地面は、通常、濃度（輝度）や色相が略一様な領域であるため、第１の移動領域検出手段が、そのような濃度（輝度）分布が略平坦な（略一様な）領域を、空の領域または地面の領域と判断し、オプティカルフロー処理に先立って、そのような濃度（輝度）分布が略平坦な（濃度（輝度）が略一様な）領域を、オプティカルフロー処理の対象とならないように除去することで、演算量を軽減させることができる。

本発明に係る接近物体検知システムにおいては、前記第１の移動領域検出手段は、前記時系列的に前後する２つの画像（２フレーム）に基づくオプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出するものであり、前記第２の移動領域検出手段は、前記オプティカルフロー処理の対象とされた前記２つの画像（２フレーム）に基づく動的計画法に基づく処理により、前記大きさの変動を求めるものであることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、時系列的に前後する２つの画像のみに基づいて接近物体を精度良く検出することができる。

本発明に係る接近物体検知システムにおいては、前記カメラは、前記車両の後方の画像を撮影するように、前記車両の後部に固定されるものであることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、例えば後退してではなく前進して駐車した場合は、この駐車場や車庫から出庫する際、後退しての出庫となるが、車両後方は目視では視認しにくいが、本発明に係る接近物体検知システムにおけるカメラが、車両の後部に固定されている構成にあっては、目視での視認が難しい後退時にあっても、この後退する車両に対して接近しつつある接近物体をこのシステムが確実に検知するため、車両の運転操作を安全に支援することができる。

本発明に係る接近物体検知システムにおいては、前記カメラは、車両に取り付けられており、車速を含む前記車両の走行状態に関する車両情報を取得する車両情報取得手段と、前記車両情報が前記車両の移動を示すときには、前記時系列的に前後する前記画像において前記車両の移動に応じた像の大きさの変化が生じるのを抑制する方向に前記画像の大きさを補正するサイズ補正を実行する画像処理部と、を備えていることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、カメラを搭載した車両が移動した際には、画像処理部がサイズ補正を実行することで、車両が移動することにより画像上の像の大きさが変化するのを抑制する方向に補正するため、車両が移動することで画像上の像の大きさが変化したのを、移動物体と誤検出するのを抑制できる。したがって、オプティカルフローの方向性を特定するとともに、動的計画法を用いた演算処理負荷の軽い手段であっても、カメラを搭載した車両の移動を原因とした誤検出を抑制して、移動物体の検出精度を向上できる。

なお、画像処理部は、サイズ補正時に、時系列的に前後する画像間における車両移動距離に応じて画像の拡大率を変えるのが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、画像処理部のサイズ補正実行時に、時系列的に前後する画像間の車両移動距離に応じて拡大率を変更するため、画像上の特定部分の大きさを変更するのと比較して演算負荷を抑えることができるとともに、移動距離に応じて拡大率を変えることで、自車両の移動による非移動物体の大きさ変化を、いっそう抑制することができる。

本発明に係る接近物体検知システムにおいては、前記第１の移動領域検出手段は、前記時系列的に前後する画像間で、前記特定向きへ移動した移動体の占める領域の形状のバラツキを求めるバラツキ算出部を備え、前記接近物体判定手段は、前記領域の形状のバラツキが、あらかじめ設定された設定値よりも大きい場合は、前記移動体を歩行者と判定することが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、画像上の移動体が占める領域の形状のバラツキに基づき歩行者の判定を行うことができる。すなわち、歩行者の場合、移動速度が遅かったり、移動方向が不安定であったりして、車両と比較すると、時系列的に前後する画像間における特定方向のオプティカルフローの現れ方が顕著でなかったり、動的計画法による大きさの変動が顕著でなかったりする場合がある。しかし、歩行者は、腕を振ったり、足を踏み出したりして、体の一部の移動方向が変化するため、特定方向のオプティカルフローで得られた座標にバラツキが生じるのに対し、車両のような形状が一定のものは、形状のバラツキが小さい。
したがって、移動体が占める領域の形状のバラツキがある程度大きなものは、移動体を歩行者と判定することで、オプティカルフローの方向性を特定するとともに、動的計画法を用いた演算処理負荷の軽い手段であっても、歩行者を高い精度で検出することができる。

なお、バラツキ算出部は、前記時系列的に前後する画像において、特定向きへ移動した移動体の占める領域の面積の差を求め、かつ、前記差を、前記時系列的に前後する複数の画像に亘って蓄積した値を前記バラツキとすることが好ましい。

このように好ましい構成の本発明に係る接近物体検知システムによれば、時系列的に前後する画像間における移動体の占める領域の面積の差を複数の画像に亘って蓄積することで、歩行者のように移動速度が低く、時系列的に前後する隣り合う画像間では形状変化が少なくても、高い精度で歩行者と判定することができる。

本発明に係る接近物体検知システムによれば、演算処理の負荷を軽減しつつ、接近してくる移動体を精度よく検出することができる。

本発明の実施形態１に係る接近物体検知システム１００の構成を示すブロック図である。 図１に示した接近物体検知システム１００が利用される状況の典型的な例を示す模式図である。 接近物体検知システム１００の処理手順を示すフローチャートである。 カメラで撮影された時系列の画像の例を表す図であり、（ａ）は最も古い画像、（ｂ）は次に古い画像、（ｃ）は最も新しい画像である。 オプティカルフローを求める対象の向きを示す模式図であり、（ａ）は従来のもの（３６０度全周）、（ｂ）は本実施形態のもの（略水平方向のみ）、をそれぞれ表す。 求められたオプティカルフローと、このオプティカルフローに基づいて得られた、略水平方向に移動する領域を表す。 移動領域を含む矩形の画像部分の、鉛直方向に沿った信号値の分布（プロファイル）を示す図である。 相対的に時系列が前の画像における画像部分の画像信号値の分布と、相対的に時系列が後の画像における画像部分の画像信号値の分布とを、信号値によって対応付けた様子を示すグラフである。 車両に対して、接近している物体と判定される移動状態、遠離っている物体と判定される移動状態、接近することも遠離ることもないと判定される移動状態、を示す模式図である。 画像表示装置に、注意を喚起する枠を表示した例を示す図である。 本発明の実施の形態２に係る接近物体検知システム１００ｂを示すブロック図である。 カメラ１０，２０で撮影される実映像と、２次元平面に投影された画像Ｐとの関係を示す説明図である。 自車両２００が前進した場合の画像Ｐに投影される物体像の拡大の様子の具体例を示す説明図であって、（ａ）は自車両２００の前進前を示し、（ｂ）は自車両２００の前進後を示している。 実施の形態２の接近物体検知システム１００ｂにおけるレンズ歪み補正の説明図であって、（ａ）はレンズ歪み補正の実行後の状態を示し、（ｂ）はレンズ歪み補正の実行前の状態を示している。 実施の形態２の接近物体検知システム１００ｂの処理手順の前半部分を示すフローチャートである。 実施の形態２の接近物体検知システム１００ｂの処理手順の後半部分を示すフローチャートである。

以下、本発明の実施の形態１の接近物体検知システム１００について、図面を参照して説明する。

図１は、本発明の実施形態１に係る接近物体検知システム１００の構成を示すブロック図、図２は図１に示した接近物体検知システム１００が利用される状況の典型的な例を示す模式図であり、この接近物体検知システム１００が搭載された車両２００が交差点に進入しようとしている状況を示し、図３は接近物体検知システム１００の処理手順を示すフローチャートである。なお、接近物体検視システム１００が搭載された車両２００は、後述する他の車両３００と区別するために、以下、自車両２００と称する。

図示の接近物体検知システム１００は、自車両２００の前端部において車両側方（右側方）の風景Ｊｍを画像Ｐ（ｔ）として撮影するように、自車両２００の前端部に固定されたカメラ１０と、このカメラ１０によって撮影して得られた、時系列的に前後する２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）（図４参照）に基づいて、オプティカルフロー処理により、画像Ｐ（ｔ），Ｐ（ｔ＋１）のうち、時系列的に略水平方向（特定向き）へ移動した領域ｑ（ｔ），ｑ（ｔ＋１）（図６参照）を含む矩形の画像部分Ｑ（ｔ），Ｑ（ｔ＋１）（図７参照）を検出（抽出）する第１の移動領域検出手段３０と、２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）のそれぞれにおける、第１の移動領域検出手段３０によって検出された各画像部分Ｑ（ｔ），Ｑ（ｔ＋１）に、動的計画法に基づく処理を施して、画像部分Ｑ（ｔ），Ｑ（ｔ＋１）の、鉛直方向（特定の向きとは異なる方向）に沿った大きさの変動を求める第２の移動領域検出手段４０と、この大きさの変動に応じて、画像部分Ｑ（ｔ），Ｑ（ｔ＋１）に対応した領域ｑ（ｔ），ｑ（ｔ＋１）、すなわち移動体がカメラ１０の搭載された自車両２００に対する接近物か否かを判定する接近物体判定手段５０と、を備えた構成である。

ここで、本実施形態の接近物体検知システム１００は、自車両２００の前端部において、自車両２００の右側方の風景Ｊｍを写すカメラ１０の他に、自車両２００の前端部において、自車両２００の左側方の風景Ｊｎを写すカメラ２０も備えている。

なお、上述した２つのカメラ１０，２０に代えて、例えば１８０度以上の広画角の光学系を有する単一のカメラを適用してもよく、その場合は、撮影された画像のうち、右側方の風景Ｊｍに対応した画角範囲を切り出して得られた画像を、右側方用のカメラ１０で撮影して得られた画像として適用すればよく、撮影された画像のうち、左側方の風景Ｊｎに対応した画角範囲を切り出して得られた画像を、左側方用のカメラ２０で撮影して得られた画像として適用すればよい。

次に、本実施形態の接近物体検知システム１００の作用について説明する。
まず、図２に示すように、この接近物体検知システム１００が搭載された自車両２００が交差点に進入しようとしている状況において、自車両２００の車室内の運転者は、自車両２００が進行している道路に対して交差する道路を通行している他の車両や自転車、通行人などを、直接視認しにくい場合や見落とす場合がある。

一方、自車両２００の前端部は既に交差点内に位置しているため、この前端部に設置されたカメラ１０は、交差する道路の右側方の風景Ｊｍを撮影することができ、また、同じく、前端部に設置されたカメラ２０は、交差する道路の左側方の風景Ｊｎを撮影する（図３におけるステップ＃１）。

以下、本実施形態の接近物体検知システム１００の説明では、カメラ１０によって撮影された右側方の風景Ｊｍについてのみ行い、カメラ２０によって撮影された左側方の風景Ｊｎについては、右側方の風景Ｊｍと左右対称に適用すればよいため、説明を適宜省略する。

カメラ１０で撮影された画像は、画像取得部２５において、例えばＶＧＡサイズ（横６４０［pix］×縦４８０［pix］）、ビデオ信号規格ＮＴＳＣで、３０［フレーム／sec］の画像Ｐとして取得される（図３における＃２）。

図４（ａ），（ｂ），（ｃ）は、このようにして得られる時系列な画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２），…のうち画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２）を表し、（ａ）の画像Ｐ（ｔ）は最も古い画像、（ｂ）の画像Ｐ（ｔ＋１）は次に古い画像、（ｃ）の画像Ｐ（ｔ＋２）はこれら３つの画像のうち最も新しい画像である。

これらの画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２）には、交差する道路を通行する他の車両３００が進行している様子が写っている。ただし、この他の車両３００が移動しているか否かは、１つの画像だけを見ても判断できるものではなく、時系列的に前後する２つ以上の画像Ｐ（ｔ），Ｐ（ｔ＋１）等を見比べて、他の車両３００が写っている位置の違いに基づいて、初めて判断することができるものである。

カメラ１０によって撮影されて画像取得部２５で取得された時系列的に前後する画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２），…は、第１の移動領域検出手段３０に入力され、この第１の移動領域検出手段３０は、これら入力された画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２），…に基づいて、オプティカルフロー処理により、画像Ｐ（ｔ），Ｐ（ｔ＋１），…のうち、時系列的に水平方向（特定向き）へ移動した領域ｑ（ｔ），ｑ（ｔ＋１），ｑ（ｔ＋２），…を含む矩形の画像部分Ｑ（ｔ），Ｑ（ｔ＋１），Ｑ（ｔ＋２），…を検出（抽出）する（図３における＃３，＃４）。

具体的には、第１の移動領域検出手段３０は、時系列的に相前後する２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）間で（以下、画像Ｐ（ｔ＋１），Ｐ（ｔ＋２）間、画像Ｐ（ｔ＋２），Ｐ（ｔ＋３）間、…，…間も同様に）、オプティカルフローを求める。

このとき、オプティカルフローを求める向きとしては、略水平方向に限定する。つまり、通常はオプティカルフロー処理によって移動体を抽出する場合、オプティカルフローを求める向きとして、図５（ａ）に示すように、注目画素を中心として、３６０度の向きについてオプティカルフローを求める。

このとき、角度間隔としては、例えば１度間隔であったり、５度間隔とされ、１度間隔のときは、１注目画素当たり３６０回の探索を行う必要があり、５度間隔のときは、１注目画素当たり７２回の探索を行う必要がある（同図（ａ）は１０度間隔で向きを表示している）。

これに対して、本実施形態における第１の移動領域検出手段３０は、同図（ｂ）に示すように、注目画素を中心として、水平方向（０度および１８０度の向き）と、この水平方向に対して上向き１５度の向きと、水平方向に対して下向き１５度の向きとの、合計６つの向きについてのみ、オプティカルフローを求める対象とする。

したがって、実施形態における第１の移動領域検出手段３０は、１注目画素当たりに行う探索は、わずかに６回となる。

この結果、オプティカルフロー処理に要する演算の負荷を、全周の角度３６０度についてオプティカルフロー処理を行う従来の演算負荷に比べて、格段に低減することができる。

しかも、演算負荷を軽くしたことで、第１の移動領域検出手段３０に用いられる演算マイコンを一般的な車載マイコンで賄うことができ、製造コストの低減も実現することができる。

なお、オプティカルフロー処理の対象とする向きとして、略水平方向の向き（上記水平方向および上下１５度の向き）を適用したことにより、画像Ｐの中で、略水平方向に移動している物体を移動体として検出（抽出）することができる。すなわち、他の車両３００や自転車、歩行者等の道路通行物体は、通常は水平方向に移動する移動体であるため、上述した略水平方向への移動体として、通行している他の車両３００や自転車、歩行者等を洩れなく検出することが可能となる。

また、このオプティカルフロー処理の対象とする向きとしては、本実施形態では６つの向きに限定しているが、もうすこし細かい５度間隔とした１４個の向きや、その他の角度間隔（等角度間隔でなくてもよい）を適用してもよい。

さらに、本実施形態では、検出の対象とする移動体が、他の車両３００や自転車、歩行者などの、略水平方向に移動するものであるため、オプティカルフロー処理の対象とする向きとしては略水平方向に限定しているが、検出の対象とする移動体が上方から下方、あるいは下方から上方に移動するような物（落下物や雨滴等、クレーンの吊り荷など）である場合は、これらは略鉛直方向に移動するものであるため、オプティカルフロー処理の対象とする向きとしては略鉛直方向に限定すればよい。

以上の処理によって、画像Ｐ（ｔ），Ｐ（ｔ＋１）に基づいて、図６（ａ）のオプティカルフローＯＰ（ｔ〜ｔ＋１）、画像Ｐ（ｔ＋１），Ｐ（ｔ＋２）に基づいて、図６（ｂ）のオプティカルフローＯＰ（ｔ＋１〜ｔ＋２）が求められる。
なお、図６（ａ），（ｂ）において、それぞれ左側の図のグレーの着色部分が、略水平方向への速度ベクトル（オプティカルフロー）を有する領域である。

そして、第１の移動領域検出手段３０は、得られたオプティカルフローＯＰ（ｔ〜ｔ＋１）に基づいて、各画像Ｐ（ｔ），Ｐ（ｔ＋１）内での略水平方向への移動体の占める領域ｑ（ｔ），ｑ（ｔ＋１）を特定する（図３における＃３）。

同様に、第１の移動領域検出手段３０は、得られたオプティカルフローＯＰ（ｔ＋１〜ｔ＋２）に基づいて、各画像Ｐ（ｔ＋１），Ｐ（ｔ＋２）内での略水平方向への移動体の占める領域ｑ（ｔ＋１），ｑ（ｔ＋２）を特定する（図３における＃３）。
なお、図６（ａ），（ｂ）において、それぞれ右側の図の着色部分が、略水平方向への移動体の占める領域ｑである。

さらに、第１の移動領域検出手段３０は、画像Ｐ（ｔ）内での領域ｑ（ｔ）を矩形に囲んで、これを移動領域を含む画像部分Ｑ（ｔ）として設定し、同様に、画像Ｐ（ｔ＋１）内での領域ｑ（ｔ＋１）を矩形に囲んで、これを移動領域を含む画像部分Ｑ（ｔ＋１）として設定し（図７（ａ）参照）、同様に、画像Ｐ（ｔ＋２）内での領域ｑ（ｔ＋２）を矩形に囲んで、これを移動領域を含む画像部分Ｑ（ｔ＋２）として設定する（図７（ａ）参照、図３における＃４）。

次に、第１の移動領域検出手段３０によって検出された画像部分Ｑ（ｔ），Ｑ（ｔ＋１），Ｑ（ｔ＋２），…が、第２の移動領域検出手段４０に入力される。
なお、第１の移動領域検出手段３０から第２の移動領域検出手段４０に、画像部分Ｑが入力されるタイミングは、第１の移動領域検出手段３０によって画像部分Ｑが特定され次第、順次入力される。

第２の移動領域検出手段４０は、順次入力されてくる画像部分Ｑに対して、系列的に相前後する２つの画像部分Ｑ（ｔ），Ｑ（ｔ＋１）間、画像部分Ｑ（ｔ＋１），Ｑ（ｔ＋２）間、…，…間で、それぞれＤＰマッチング処理を施す（図３における＃５，＃６，＃７）。

具体的には、図７（ａ），（ｂ）にそれぞれ示すように、入力された画像部分Ｑごとに、その水平方向における予め設定された所定位置における鉛直方向に沿った画像信号値（輝度値等の画素値）の分布（プロファイル）を求め（図３における＃５）、次いで、時系列的に相前後する２つの画像の組における各画像部分について、図８に示すように、相対的に時系列が前の画像Ｐ（ｔ＋１）における、＃５で求められた画像部分Ｑ（ｔ＋１）の画像信号値の分布と、相対的に時系列が後の画像Ｐ（ｔ＋２）における、＃５で求められた画像部分Ｑ（ｔ＋２）の画像信号値の分布とを対応付け（図３における＃６）、この対応付けによるマッチングにより、両画像部分Ｑ（ｔ＋１）に対する画像部分Ｑ（ｔ＋２）の大きさの拡大率Ｋ（または比（Ｋ＝１／（tanθ）））を算出する（図３における＃７）。

他の、時系列的に相前後する２つの画像の組における各画像部分についても同様に順次ＤＰマッチングに基づく処理を行い、得られた拡大率Ｋを順次、接近物体判定手段５０に入力する。

接近物体判定手段５０は、第２の移動領域検出手段によって検出された拡大率Ｋに基づいて、その画像部分Ｑに含まれる領域ｑ（移動体（図では他の車両３００を例示）の像）が、自車両２００に対して、接近しつつある移動体であるのか、または遠離りつつある移動体であるのか、または略水平方向については接近しつつあるものの、カメラ１０の光軸方向に沿って遠離りつつある移動体（例えば、平行走行する併走車両など）であり、全体としては接近しつつある移動体ではない、と判定する（図３における＃８，＃９，＃１０，＃１１，＃１２）。

具体的には、拡大率Ｋが１．０を上回る値であるときは、時系列的に相前後する２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）のうち、相対的に時系列が後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）の方が、相対的に時系列が前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）よりも大きさが大きくなっているため、その大きさが増大傾向にあると判定することができ（図３における＃８）、その画像部分Ｑに含まれる領域ｑに対応した移動体は、図９のＡ１に示すように、自車両２００に接近しつつある物体（例えば、接近車両）と判定する（図３における＃９）。

一方、拡大率Ｋが１．０を上回る値でないときは、時系列的に相前後する２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）のうち、相対的に時系列が後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）の方が、相対的に時系列が前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）よりも大きさが大きくなっているものではないため、その大きさが増大傾向にあるものでないと判定することができ（図３における＃８）、次いで、その大きさが等倍傾向にあるか否かを判定する（図３における＃１０）。

すなわち、拡大率Ｋが略１．０であるときは、時系列的に相前後する２つの画像Ｐ，Ｐのうち、相対的に時系列が後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）と、相対的に時系列が前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）との大きさが略等しいため、その大きさは等倍傾向にあると判定することができ（図３における＃１０）、その画像部分Ｑに含まれる領域ｑに対応した移動体は、図９のＡ２に示すように、略水平方向については自車両２００に接近しつつあるが、カメラ１０の光軸方向に沿って遠離りつつある物体（例えば、平行走行する併走車両など）であると判定する（図３における＃１１）。

また、拡大率Ｋが１．０を下回るときは、時系列的に相前後する２つの画像Ｐ（ｔ），Ｐ（ｔ＋１）のうち、相対的に時系列が後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）は、相対的に時系列が前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）に対して、その大きさが小さいため、大きさは等倍傾向にないと判定することができ（図３における＃１０）、その画像部分Ｑに含まれる領域ｑに対応した移動体は、図９のＡ３に示すように、自車両２００から遠離りつつある物体であると判定する（図３における＃１２）。

以上のように、本実施形態に係る接近物体検知システム１００によれば、第１の移動領域検出手段３０が、時系列的に相前後する２つの画像Ｐ，Ｐに基づくオプティカルフロー処理により、これらの画像Ｐ，Ｐのうち時系列的に略水平の向きへ移動した画像部分Ｑ，Ｑをそれぞれ検出（抽出）し、第２の移動領域検出手段４０が、各画像部分Ｑ，Ｑに対し、鉛直方向に沿って動的計画法に基づく処理を施すことで、時系列的に前の画像Ｐ（ｔ）におけるその画像部分Ｑ（ｔ）に対する、時系列的に後の画像Ｐ（ｔ＋１）におけるその画像部分Ｑ（ｔ＋１）の、大きさの変動を求め、その大きさの変動に応じて、接近物体判定手段５０が、その画像部分Ｑ（ｔ），Ｑ（ｔ＋１）に対応した移動体が接近しつつあるか否かを判定する。

そして、この接近物体検知システム１００によれば、第１の移動領域検出手段３０によるオプティカルフロー処理が、略水平方向への速度ベクトルだけを検出する処理であるため、演算処理負荷を軽減しつつ略水平方向に移動する他の車両３００等に対応した画像部分Ｑを精度よく検出（抽出）することができ、第２の移動領域検出手段４０による動的計画法に基づく処理は演算負荷が軽い処理であり、しかも第１の移動領域検出手段３０によって検出された画像部分Ｑに対して、鉛直方向について動的計画法に基づく処理を施して大きさの変動を得ることで、接近物体判定手段５０が、移動体が接近しつつあるか否かの判定を精度よく行うことができる。

したがって、略水平方向に移動する移動体の検出洩れを防止しつつ、その移動体が実際に接近してくる物体である場合にのみ、接近物体として検出するため、誤検出を抑制することができ、演算負荷を低減しつつ、接近物体を精度よく検出することができる。

また、本実施形態に係る接近物体検知システム１００によれば、第２の移動領域検出手段４０が、２つの画像Ｐ，Ｐのそれぞれにおける、第１の移動領域検出手段３０によって検出された各画像部分Ｑ，Ｑに対して、動的計画法に基づく処理を施して、各画像部分Ｑ，Ｑごとに、鉛直方向に沿った信号値の分布（プロファイル）を求め、時系列的に前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）の信号値の分布と時系列的に後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）の信号値の分布とを、それらの信号値同士を対応させることで、両画像部分Ｑ（ｔ），Ｑ（ｔ＋１）間の大きさの比を簡単に求めることができ、これによって、移動体が、真に接近してくる物体か否かを簡単に判定することができる。

なお、本実施形態に係る接近物体検知システム１００は、自車両２００に接近しつつある物体（例えば、接近車両）を検知したとき（図３における＃９）、接近物体判定手段５０が、車室内の運転者等乗員に対して、注意を喚起させ、または警報を与えるための信号Ｓを出力する。

そして、この信号Ｓを受けた、既存の車載システム（例えば、カーナビゲーションシステムや、音声案内システム、カメラモニタシステム、バック警報音発報システム等）における画像表示装置や発報装置は、乗員に対して注意を喚起させ、または警報を与えるように、その旨表示したり、その旨の音を発生させればよい。

例えば、画像表示装置にその旨表示させる態様としては、図１０に示すように、接近物体を表す領域ｑを囲む矩形の枠Ｔを点滅させたり、枠Ｔを、視覚的に刺激を与えるような鮮やかな色で表示させるなどを採用することもできる。

上述した実施形態の接近物体検知システム１００の説明は、カメラ１０によって撮影された右側方の風景Ｊｍについてのみ行ったが、カメラ２０によって撮影された左側方の風景Ｊｎについては、右側方の風景Ｊｍと左右対称に適用すればよい。

また、本実施形態の接近物体検知システム１００においては、第１の移動領域検出手段３０が、オプティカルフロー処理による移動した領域ｑ（画像部分）の検出に先立って、カメラ１０によって撮影して得られた画像Ｐのうち、空に対応した領域および地面に対応した領域のうち少なくとも一方の領域を予め除外する処理を施してもよい。

このように、空の領域や地面の領域は、本実施形態の接近物体検知システム１００が検出しようとする接近物体の対象外であるため、オプティカルフロー処理前に、画像Ｐから、これら空の領域や地面の領域を予め除去しておくことで、オプティカルフロー処理の演算負荷を一層軽減させることができる。

なお、画像中における空や地面は、通常、濃度（輝度）や色相が略一様な領域であるため、第１の移動領域検出手段が、そのような濃度（輝度）分布が略平坦な（濃度（輝度）が略一様な）領域を、空の領域（図４（ａ）において符号Ｐｓで表す）または地面の領域（図４（ａ）において符号Ｐｒで表す）と判断し、オプティカルフロー処理に先立って、そのような濃度（輝度）分布が略平坦な領域を、オプティカルフロー処理の対象とならないように除去することで、演算量を軽減させることができる。

本実施形態に係る接近物体検知システム１００においては、第１の移動領域検出手段３０が、時系列的に前後する２つの画像（２フレーム）に基づくオプティカルフロー処理により、画像Ｐのうち時系列的に特定向きへ移動した領域ｑを検出し、第２の移動領域検出手段４０は、オプティカルフロー処理の対象とされた２つの画像（２フレーム）に基づく動的計画法に基づく処理により、大きさの変動を求めることで、時系列的に前後する２つの画像のみに基づいて、接近してくる移動体を精度良く検出することができる。

（実施の形態２）
次に、実施の形態２の接近物体検知システム１００ｂについて説明する。
なお、実施の形態２の接近物体検知システム１００ｂは、実施の形態１の変形例であり、実施の形態１と同様の構成については実施の形態１と同じ符号を付して説明を省略し、実施の形態１との相違点を中心に説明する。

図１１に示す本実施の形態２の接近物体検知システム１００ｂは、実施の形態１で示した構成に加え、カメラ２４０、画像処理部２１０、バラツキ算出部２２０を備えている。

カメラ２４０は、自車両２００の後部に固定され、自車両２００の後方を撮影する。
画像処理部２１０は、車両情報取得部２３０から得られる車両情報に基づいて、画像取得部２５で得られた画像Ｐに補正を加えて第１の移動領域検出手段３０ｂに出力する。

なお、車両情報取得部２３０は、車両の走行を制御する図外のコントロールユニットから、ＣＡＮ通信などを介して車両情報を取得する。この車両情報としては、車両のシフトポジションを示すシフト情報と、車両の移動距離を求めるための車速情報と、車両の回転成分を求めるための舵角情報と、が含まれている。なお、車速情報としては、図外の車速センサからの信号のみならず、車速センサの検出精度が低い低速時には、図外の車輪速センサの信号から得るようにしてもよい。

画像処理部２１０は、画像Ｐのサイズ補正およびレンズ歪み補正を実行する。
まず、サイズ補正について説明する。
図１２は、カメラ１０，２０で撮影される実映像と、２次元平面に投影された画像Ｐとの関係を示す説明図であり、この図に示すように、０ｃの位置のカメラ１０，２０で撮影される実映像（３次元のカメラ座標Ｐｃ）は、２次元平面に投影されたスクリーン上の画像Ｐに変換される。

この状態で、自車両２００が前進あるいは後退した場合、カメラ座標Ｐｃが投影される画像Ｐに投影された物体は、自車両２００の移動方向に応じて大きくなったり小さくなったりする。

例えば、自車両２００が、前進してカメラ座標Ｐｃに接近した場合、画像Ｐに投影される物体像は拡大される。具体例を図１３により説明すると、自車両２００が前進する前の時点で、図１３（ａ）に示される画像Ｐ（ａ）における物体像Ｂ（ａ）が得られていた場合（この物体像Ｂ（ａ）が示す車両は停止しているものとする）、自車両２００がカメラ座標Ｐｃに接近した後は、図１３（ｂ）に示すように画像Ｐ（ｂ）上の物体像Ｂ（ｂ）が拡大される。

そこで、画像処理部２１０では、車両情報取得部２３０にて得られた車速情報を基に、例えば、図１３（ａ）に示す画像Ｐ（ａ）と、図１３（ｂ）に示す画像Ｐ（ｂ）との間における自車両２００の移動量を算出し、それを透視投影（座標変換）の距離補正値として用い、現在の画像Ｐ（ｂ）における物体像Ｂ（ｂ）の投影サイズと、前フレームにおける画像Ｐ（ａ）の物体像Ｂ（ａ）の投影サイズとが、同一となるように、画像Ｐの拡大率を下げた画像Ｐ（ｃ）を得る補正を行う。
これより、自車両２００が移動（前進、後退）しても、各画像Ｐにおける背景などの非移動物体のサイズを均一化でき、移動物体のみ、接近している物体像は拡大し、また、遠離かる物体像は縮小させることができる。

次に、レンズ歪み補正について説明する。
このレンズ歪補正は、カメラ１０，２０，２４０のレンズ特性により生じる歪を解消あるいは緩和させる補正である。すなわち、レンズによっては、レンズ周辺部とレンズ焦点部との映像が異なることがある。例えば、図１４（ｂ）は、樽型歪曲収差タイプの歪みが現れた例を示しており、この場合、フレーム枠ｗｘ，ｗｙが湾曲した歪みが生じている。そこで、レンズが、このような歪みを有している場合、フレーム枠ｗｘ，ｗｙが、それぞれ、図において点線で示すような直線状として同図（ａ）に示す歪みの無いフレーム枠ｗｘ、ｗｙを形成する画像処理（レンズ歪み補正）を行なう。
このレンズ歪み補正により、画像Ｐ上の物体の大きさと、自車両２００との距離との関係を、画像Ｐ上のどの位置でも均一にすることができる。

第１の移動領域検出手段３０ｂは、画像処理部２１０において補正を行なった後の時系列的に連続する画像Ｐに対して、オプティカルフロー処理を行なって、時系列的に特定向きへ移動した画像部分Ｑを検出する。このオプティカルフロー処理は実施の形態１と同様であり説明を省略する。

さらに、第１の移動領域検出手段３０ｂでは、バラツキ算出部２２０（図１１参照）により、移動体が占める領域ｑの形状のバラツキを求める。この形状のバラツキは、後述する接近物体判定手段５０ｂにおいて、歩行者の判定に用いる。

本実施の形態２では、領域ｑの形状のバラツキを表す値として、時系列的に前後する画像Ｐ間における移動体が占める領域ｑの面積の差を求め、この差をあらかじめ設定された複数フレーム間に亘って積算した値を用いる。すなわち、接近物体が車両の場合は、形状は一定であり、前後するフレーム間における面積の変化も小さい。一方、歩行者の場合、手や足の移動方向が変化することから、水平方向のオプティカルフローを有した領域ｑの大きさが変化するが、歩行者の場合、移動速度や手足の速度が低いため、前後のフレームどうしの間での変化は小さい。そこで、この面積差を複数フレームに亘って蓄積することで、フレーム間で連続的に形状（面積）の変化が生じている領域ｑほど大きな値となり、この値を領域ｑの形状のバラツキの程度を表す値とすることができる。

接近物体判定手段５０ｂは、実施の形態１で説明した接近車両、平行走行車両、遠離る車両の判定に加え、歩行者判定を行なう。
この場合、接近物体判定手段５０ｂは、画像部分Ｑとして、歩行者や他の車両３００の可能性が高い大きさを有しているものを判定対象物体として抽出し、この判定対象物体として抽出された画像部分Ｑが、あらかじめ設定された値（程度）よりも大きな形状のバラツキを有している場合には、歩行者と判定する。この場合、前述した前後の画像Ｐにおける領域ｑの面積差の蓄積値が、あらかじめ設定された閾値よりも大きいか否かにより判定する。

また、判定対象物体が、あらかじめ設定された値（程度）よりも大きな形状のバラツキを有していない場合には、第２の移動領域検出手段４０において求めた拡大率Ｋに基づいて、拡大率Ｋが１よりも大きい増加傾向の場合は、接近している他の車両３００と判定し、拡大率Ｋが略１の当倍傾向の場合は、自車両２００と平行に走行する平行走行車両と判定し、拡大率Ｋが１未満の場合は、遠離る車両（移動物体）と判定する。

次に、実施の形態２の接近物体検知システム１００ｂの処理（これを接近物体検知処理と称する）の流れを図１５および図１６のフローチャートに基づいて説明する。
なお、この接近物体検知処理は、前述した図２に示すような、前進走行の際の交差点進入時や、後退走行時に実行するものであるが、この接近物体検知処理は、このような交差点進入や後退走行が検出されたときに自動的に実行開始するようにしてもよいし、あるいは、運転者が、接近物体検知処理の開始を指令するスイッチを投入することで開始してもよい。

また、前進走行時の交差点進入の検出は、制御の簡略化のため、運転者の制動操作により車速が設定速度以下に低下した場合を交差点進入とみなしてもよいし、あるいは、図外のナビゲーションシステムや他の運転支援システムの情報に基づいて交差点進入を判定するようにしてもよい。

まず、ステップＳ１では、車両情報取得部２３０において車両情報を取得し、次のステップＳ２に進む。

ステップＳ２では、車両前部のカメラ１０，２０と車両後部のカメラ２４０のいずれかの選択を行なって撮影を開始し（＝＃１）た後、ステップＳ３に進む。すなわち、車両情報取得部２３０で得られた車両情報に基づいて、自車両２００が前進走行と判定された場合は、車両前部のカメラ１０，２０により撮影が実行され、一方、後退走行と判定された場合は、車両後部のカメラ２４０により撮影が実行される。なお、以下の説明では、図２に示す状況において、車両前部のカメラ１０，２０により撮影を行なったものとして説明する。

ステップＳ３では、画像取得部２５において、カメラ１０，２０で撮影された映像から、処理時間に応じて画像Ｐを取得し（＝＃２）、次のステップＳ４に進む。なお、画像Ｐは、本実施の形態では、前述したように、１秒間に３０フレーム取得される。

ステップＳ４では、画像処理部２１０において前述したサイズ補正およびレンズ歪み補正を行った後、ステップＳ５に進む。

ステップＳ５では、第１の移動領域検出手段３０ｂにおいて、オプティカルフロー処理により、画像Ｐにおける移動体が占める領域ｑの検出を行い（＝＃３）、ステップＳ６に進む。

次に、ステップＳ６では、第１の移動領域検出手段３０ｂのバラツキ算出部２２０において、ステップＳ５で得られた移動体の占める領域ｑの形状のバラツキ（前後の画像間の面積差の蓄積）を求める。

ステップＳ７では、第１の移動領域検出手段３０ｂにおいて、第２の移動領域検出手段４０の動的計画法による輝度パターン算出に用いる画像部分Ｑを設定し（＝＃４）、ステップＳ８に進む。

ステップＳ８〜Ｓ１０では、第２の移動領域検出手段４０において、動的計画法により、時系列的に相前後する画像部分Ｑの拡大率Ｋ（あるいは比Ｋ＝１／（tanθ）でもよい）を算出する（実施の形態１の＃５〜＃７と同様）。

ステップＳ１１〜Ｓ１８では、接近物体判定手段５０ｂにより、歩行者の有無、ならびに接近車両、平行走行車両、遠離る車両の判定を行う。

まず、ステップＳ１１では、画像部分Ｑが、ある程度大きいか否か判定し、大きい場合は、ステップＳ１２に進み、大きくない場合はステップＳ１４に進む。ここで、ある程度大きいとは、画像Ｐ上の画像部分Ｑの大きさが、自車両２００との衝突を回避する必要性が十分に高い大きさのことであり、すなわち、画像Ｐ上の画像部分Ｑの大きさは、移動物体のそのものの大きさと自車両２００との距離とに対応している。例えば、移動物体が他の車両３００である場合、それ自体ある程度の大きさを有しているが、移動速度が高いことから、ある程度遠くに存在する（画像Ｐ上の大きさが小さい）時点から接触回避のための注意を払う必要がある。一方、移動物体が歩行者である場合、それ自体の大きさは他の車両３００よりも小さいが、移動速度が低いことから自車両２００にある程度近くなった（画像Ｐ上の大きさが大きくなった）時点で、接触回避のための注意を払う必要がある。
これらを踏まえ、実測値に基づいて、移動物体が他の車両３００と歩行者とのいずれであっても、接近物体として認識する必要がある画像Ｐ上の大きさの閾値をあらかじめ設定しておき、ステップＳ１１では、この閾値と領域ｑの大きさとを比較して判定する。

ステップＳ１２では、ステップＳ６で得られた移動体が占める領域ｑの形状のバラツキ（本実施の形態２では、前後の画像Ｐにおける領域ｑの面積差の設定フレーム間の蓄積値）が、ある程度大きいか否か判定し、大きい場合はステップＳ１３に進み、大きくない場合はステップＳ１４に進む。なお、ある程度大きいとは、形状のバラツキの大きさが、歩行者や自転車である可能性が高いとみなすことができる大きさであり、あらかじめ歩行者や自転車などの実測値に基づいて設定された閾値と比較することで判定される。

形状のバラツキがある程度大きい場合に進むステップＳ１３では、画像部分Ｑが、自転車を含む歩行者と判定し、ステップＳ１に戻る。なお、移動体が占める領域ｑの像が歩行者のものである場合、前述したように形状のバラツキが大きくなるものの、領域ｑの重心位置の変化は少ないことから、これを歩行者判定のアンド条件として加えてもよい。

形状のバラツキが大きくない場合に進むステップＳ１４およびそれ以降のステップＳ１５〜１８は、実施の形態１の＃８〜＃１２と同様であって、拡大率Ｋが増加傾向の場合はステップＳ１５に進んで画像部分Ｑが接近車両と判定し、拡大率Ｋが当倍増加傾向の場合はステップＳ１７に進んで、平行走行車両と判定し、拡大率Ｋが増加、当倍のいずれでもない場合は、ステップＳ１８に進んで、遠離る車両（非接近物体）と判定する。

次に、本実施形態２の接近物体検知システム１００ｂの作用について、実施の形態１と同様に、図２に示すように、この接近物体検知システム１００ｂが搭載された自車両２００が交差点に進入しようとしている状況の動作を説明する。

このような交差点で、実施の形態の接近物体検知システム１００ｂは、物体検知処理を開始し、まず、車両情報を取得する（ステップＳ１）。そして、車両情報に基づき、このように前進走行で交差点に進入した場合は、車両前端部に搭載したカメラ１０，２０によって左右の風景Ｊｍ、Ｊｎを撮影し（ステップＳ２）、画像取得部２５では、カメラ１０，２０が撮像した画像Ｐを、時系列的に連続する画像Ｐとして取得する（ステップＳ３）。

次に、画像処理部２１０では、車両情報に基づいて、自車両２００が停止せずに移動している場合には、シフト情報および車速情報を基に、現在の画像Ｐ（ｔ）における停止物体（背景）の投影サイズと、１つ前の画像Ｐ（ｔ−１）における停止物体（背景）の投影サイズとが同一となるようにフレーム倍率を補正するサイズ補正を実行し、自車両２００の走行を原因とする画像Ｐにおける停止物体像の大きさの変化が生じないように補正する。加えて、レンズ歪み補正も実行し、画像Ｐ（ｔ）における画像が歪みの無い画像となるように補正する（ステップＳ４）。なお、自車両２００が停止している場合は、このサイズ補正は実行しない。

次に、第１の移動領域検出手段３０ｂは、上記補正処理を行った画像Ｐ（ｔ），Ｐ（ｔ＋１），Ｐ（ｔ＋２），…に基づいて、オプティカルフロー処理を行い、画像Ｐ（ｔ），Ｐ（ｔ＋１），…のうち、時系列的に水平方向（特定向き）へ移動した移動体の占める領域ｑ（ｔ），ｑ（ｔ＋１），ｑ（ｔ＋２）を検出する（ステップＳ５）。
また、第１の移動領域検出手段３０ｂのバラツキ算出部２２０では、移動体が占める領域ｑにおける外形形状のバラツキ、本実施の形態２では、面積のバラツキを求める（ステップＳ６）。
さらに、第１の移動領域検出手段３０ｂでは、移動体が占める領域ｑを含む矩形の画像部分Ｑ（ｔ），Ｑ（ｔ＋１），Ｑ（ｔ＋２），…を設定する（ステップＳ７）。

次に、第２の移動領域検出手段４０では、画像部分Ｑにおける縦方向の輝度を抽出し（ステップＳ８）、さらに、前後する画像Ｐの画像部分Ｑにおける水平方向尺度と位置との対応付けを行い（ステップＳ９）、画像部分Ｑの拡大率Ｋを算出する（ステップＳ１０）。

次に、接近物体判定手段５０ｂでは、第２の移動領域検出手段４０によって検出された拡大率Ｋと、バラツキ算出部２２０で算出されたバラツキとに基づいて、画像部分Ｑが示す物体が、他の車両３００、歩行者、平行走行車両、遠離る車両のいずれであるかの判定を行う。

この場合、接近物体判定手段５０ｂでは、画像Ｐにおいて、オプティカルフローにより動きがあると判定された移動体が占める領域ｑの大きさがある程度大きく、かつ、形状のバラツキがある程度大きいものは、形状が一定でないことから、自転車を含む歩行者と判定する（Ｓ１１→Ｓ１２→Ｓ１３）。

一方、オプティカルフローにより動きがあると判定された領域ｑのうち、拡大率Ｋが増加傾向にある場合は、接近している他の車両３００と判定し（Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１５）、拡大率Ｋが等倍傾向にある場合は、平行走行車両と判定する（Ｓ１１→Ｓ１２→Ｓ１４→Ｓ１６→Ｓ１７）。

また、オプティカルフローにより動きがあると判定された領域ｑのうち、拡大率Ｋが増加傾向および等倍傾向にないものは、当面、自車両に対する危険度の少ないものとして、遠離る車両として検出対象物から外す。

なお、本実施の形態２にあっても、歩行者や他の車両３００を検出した場合には、実施の形態１と同様に、運転者などの自車両乗員に対し、カメラモニタシステムなどを用いて注意を喚起させる作動が実行される。この場合、接近車両と歩行者とで、表示を異ならせるのが好ましい。

また、後退時には、車両後部のカメラ２４０により自車両２００の後方の風景が撮影され、上記と同様の処理が実行され、接近する物体が存在する場合は、上記と同様に注意を喚起する作動が実行される。
例えば、駐車場などに後退してではなく前進して駐車した場合、この駐車場から出庫する際、後退しての出庫となり、車両後方は目視では視認しにくいが、上述したように車両後部にカメラが固定されている形態の接近物体検知システムでは、乗員の目視での視認が難しい後退時にあっても、この後退する車両に対して接近しつつある接近物体を、このシステムが確実に検知するため、車両の運転操作を安全に支援することができる。

（実施の形態の効果）
以下に、本発明の実施の形態２の接近物体検知システム１００ｂが奏する効果を列挙する。

まず、実施の形態２の接近物体検知システム１００ｂによれば、実施の形態１と同様に、下記のａ）ｂ）ｃ）ｄ）の効果が得られる。
ａ）第１の移動領域検出手段３０ｂが、時系列的に相前後する２つの画像Ｐ，Ｐから動きのある物体を抽出するのにあたり、略水平方向への速度ベクトルだけを検出するオプティカルフロー処理で行うようにしたため、全方向の速度ベクトルで検出するのと比較して、演算処理負荷を軽減しつつ略水平方向に移動する物体を精度よく短時間に検出（抽出）することができる。

ｂ）画像Ｐ中の移動体が接近しているか否かを、第２の移動領域検出手段４０による動的計画法に基づき、時系列的に相前後する画像Ｐ間における移動体の、拡大率Ｋにより求めるようにした。
このような、第２の移動領域検出手段４０による動的計画法に基づく処理は、演算負荷が軽い処理であり、短時間に精度よく接近物体を検出できる。

ｃ）上記ｂ）のように、拡大率Ｋを求めるのにあたり、第２の移動領域検出手段４０では、各画像部分Ｑ，Ｑごとに、鉛直方向に沿った信号値の分布（プロファイル）を求め、時系列的に前の画像Ｐ（ｔ）における画像部分Ｑ（ｔ）の信号値の分布と時系列的に後の画像Ｐ（ｔ＋１）における画像部分Ｑ（ｔ＋１）の信号値の分布とを、それらの信号値同士を対応させることで、拡大率Ｋを求めるようにした。これにより、拡大率Ｋに基づいて、移動体が、真に接近してくる物体か否かを、簡単に判定することができる。

ｄ）上記ａ）ｂ）に基づき、時系列的に連続する画像Ｐ中で、オプティカルフローの方向を略水平方向に特定して演算処理負荷を抑制しながら、例えば、正面から接近する物体のように、略水平方向への移動量が少ない移動体の検出洩れは、動的計画法により抑制することができ、演算負荷を低減しつつ、接近物体を精度よく検出することができる。

さらに、実施の形態２の接近物体検知システム１００ｂによれば、以下のｅ）〜ｆ）の実施の形態２の特有の効果を奏する。
ｅ）第１の移動領域検出手段３０ｂにおいて、接近物体を検出するのにあたり、自車両２００が非停止状態の場合には、自車両２００の車速および進行方向に基づいて、画像Ｐの拡大率を、非移動物体（背景）の大きさが変化しない方向に補正するようにした。
このため、自車両２００が前後移動することによる画像Ｐ上の非移動物体（背景）の大きさ変化による誤検出を防止できる。
したがって、オプティカルフローを特定方向に限定するとともに、動的計画法を用いた演算処理負荷の軽い手法でありながら、自車両２００の移動による画像Ｐ上の非移動物体像（背景）の大きさ変化を取り除いて、接近物体の検出精度を向上させることができる。
しかも、このような非移動物体のサイズ変化を除去することを、画像Ｐの拡大率を変えることで行うため、画像Ｐ内の特定像の画像処理を行うのと比較して、補正処理の負荷が小さくて済む。

ｆ）各カメラ１０，２０，２４０におけるレンズの歪み補正するようにした。このため、レンズの歪みを原因としてレンズ焦点部とレンズ周辺部とで、自車両２００からの距離と画像Ｐ上の大きさの関係が異なることによる誤検出の発生を抑制できる。

ｇ）オプティカルフローで得られた移動体が占める領域ｑの形状のバラツキ（面積変化）により自転車を含む歩行者を検出するようにしたため、オプティカルフローの検出方向を特定方向するとともに、動的計画法を用いた演算処理負荷の低い手段であっても、高い精度で歩行者を検出することができる。
歩行者の場合、移動方向が不安定であったり、移動速度が遅かったりするため、例えば、時系列的に前後に隣り合う画像Ｐ間では、オプティカルフローが現れにくいとともに、拡大率Ｋも低く、検出が難しいが、時系列的に前後する複数の画像Ｐに亘る形状のバラツキ（面積差の蓄積値）に基づいて歩行者と判定することにより、車両や非移動物体（背景）との差異を明確にし、検出精度を向上できる。

特に、本実施の形態２では、自車両２００が移動している場合も接近物体の判定を行っており、自車両２００の近くに接近している歩行者が存在する場合、自車両２００が停止している場合と比較して、歩行者との接触の可能性が高くなる。したがって、このように接近物体として、歩行者判定を行うことが、より有効となる。
さらに、移動体が占める領域ｑの大きさがある程度大きなものに絞って歩行者の判定を行い、接触の可能性の低い遠くの歩行者は判定から除外しているため、歩行者判定に対する演算処理の負荷を軽減できる。

ｈ）移動体が占める領域ｑの形状のバラツキを求めるのにあたり、前後の画像Ｐにおける領域ｑの面積の差を所定の時間に亘って蓄積した数値に基づいてバラツキを判定するようにした。このように、面積に基づく処理としてため、比較が単純で演算を簡易化できる。また、面積差を蓄積して判定するため、歩行者のように、前後に隣り合う画像Ｐ間では、オプティカルフローおよび動的計画法により判別が難しいものであっても、高い精度で歩行者の判定が可能となる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、実施の形態２では、カメラ１０，２０，２４０が自車両２００の前部および後部に固定されているものを示したが、本発明では、カメラの設置位置は、これらに限定されるものではなく、本発明に係る接近物体検知システムにおけるカメラは、車両の如何なる部分に固定されているものであってもよく、例えば、車両側部などに設けてもよい。また、カメラは、実施の形態１，２で示したように、車両に固定されるものに限定されず、建造物などに取り付けてもよい。

また、実施の形態２では、自車両２００が移動している場合、画像Ｐにおける非移動物体（背景）の像の大きさが同一となるように補正する例を示したが、自車両２００による像の大きさの変化を抑制する方向の補正を行うものであれば、像の大きさが完全に同一とならなくてもよい。この場合も、補正を行わないものと比較すれば、誤検出を抑制することが可能である。

さらに、本実施の形態２では、画像処理部２１０における車両が移動した場合の補正として、車両の前後移動量に応じて時系列的に前後する画像上で停止物体の大きさが同一となるようにサイズ補正を実行するものを示したが、さらに、下記の補正を加えるようにしてもよい。
すなわち、画像処理部において、車両の旋回により画像Ｐ上の像が水平方向に移動した場合に、非移動物体の像が画像Ｐ上の同一箇所に留まるように、操舵角度と車速とに応じ、画像Ｐの中心を、水平方向（ｘ軸方向）に移動させる補正を行なうようにしてもよい。

１０ カメラ
２０ カメラ
３０ 第１の移動領域検出手段
３０ｂ 第１の移動領域検出手段
４０ 第２の移動領域検出手段
５０ 接近物体判定手段
５０ｂ 接近物体判定手段
１００ｂ 接近物体検知システム

Claims (11)

1. 所定の位置に固定され、画像を撮影するカメラと、
   前記カメラによって撮影して得られた時系列的に前後する複数の画像に基づいて、オプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出する第１の移動領域検出手段と、
   前記複数の画像のそれぞれにおける、前記第１の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記画像部分の、前記特定の向きとは異なる方向に沿った大きさの変動を求める第２の移動領域検出手段と、
   前記変動に応じて、前記画像部分に対応した移動体が前記カメラに対する接近物か否かを判定する接近物体判定手段と、を備えたことを特徴とする接近物体検知システム。
2. 前記第２の移動領域検出手段は、
   前記複数の画像のそれぞれにおける、前記第１の移動領域検出手段によって検出された各画像部分に、動的計画法に基づく処理を施して、前記各画像部分ごとに、前記特定の向きとは異なる方向に沿った信号値の分布を求め、
   前記時系列的に前後する複数の画像における前記各画像部分ごとの前記信号値の分布の対応関係に基づいて、前記大きさの変動を求めるものであることを特徴とする請求項１に記載の接近物体検知システム。
3. 前記第１の移動領域検出手段は、前記オプティカルフロー処理の対象とする前記特定の向きとして、前記画像における、水平方向に対応した向きと、前記水平方向に対して１５度上向きから１５度下向きまでの角度範囲内の所定の１または２以上の向きと、を適用したものであり、
   前記第２の移動領域検出手段は、前記動的計画法に基づく処理における前記特定の向きとは異なる方向として、前記画像における、鉛直方向に対応した方向を適用したものであることを特徴とする請求項１または２に記載の接近物体検知システム。
4. 前記接近物体判定手段は、
   前記大きさが大きくなる方向への変動のときは、前記画像部分における移動体が接近物であると判定することを特徴とする請求項１から３のうちいずれか１項に記載の接近物体検知システム。
5. 前記第１の移動領域検出手段は、前記オプティカルフロー処理による前記移動した画像部分の検出に先立って、前記カメラによって撮影して得られた画像のうち、空および地面のうち少なくとも一方の領域を除外することを特徴とする請求項１から４のうちいずれか１項に記載の接近物体検知システム。
6. 前記第１の移動領域検出手段は、前記時系列的に前後する２つの画像に基づくオプティカルフロー処理により、前記画像のうち時系列的に特定向きへ移動した画像部分を検出するものであり、
   前記第２の移動領域検出手段は、前記オプティカルフロー処理の対象とされた前記２つの画像に基づく動的計画法に基づく処理により、前記大きさの変動を求めるものであることを特徴とする請求項１から５のうちいずれか１項に記載の接近物体検知システム。
7. 前記カメラは、前記車両の後方の画像を撮影するように、前記車両の後部に固定されるものであることを特徴とする請求項１から６のうちいずれか１項に記載の接近物体検知システム。
8. 前記カメラは、車両に取り付けられており、
   車速を含む前記車両の走行状態に関する車両情報を取得する車両情報取得手段と、
   前記車両情報が前記車両の移動を示すときには、前記時系列的に前後する前記画像において前記車両の移動に応じた像の大きさの変化が生じるのを抑制する方向に前記画像の大きさを補正するサイズ補正を実行する画像処理部と、
   を備えていることを特徴とする請求項１〜請求項７のいずれか１項に記載の接近物体検知システム。
9. 前記画像処理部は、サイズ補正時に、前記時系列的に前後する画像間における車両の移動距離に応じて前記画像の拡大率を変えることを特徴とする請求項８に記載の接近物体検知システム。
10. 前記第１の移動領域検出手段は、前記時系列的に前後する画像間で、前記特定向きへ移動した移動体の占める領域の形状のバラツキを求めるバラツキ算出部を備え、
    前記接近物体判定手段は、前記領域の形状のバラツキが、あらかじめ設定された設定値よりも大きい場合は、前記移動体を歩行者と判定することを特徴とする請求項１〜請求項９のいずれか１項に記載の接近物体検知システム。
11. 前記バラツキ算出部は、前記時系列的に前後する画像において、特定向きへ移動した移動体の占める領域の面積の差を求め、かつ、前記差を、前記時系列的に前後する複数の画像に亘って蓄積した値を前記バラツキとすることを特徴とする請求項１０に記載の接近物体検知システム。