JP2010257138A - 物体検出装置 - Google Patents

Abstract

【課題】本発明は、移動体の移動量を用いずに検出対象の物体を検出することができる物体検出装置を提供することを課題とする。
【解決手段】移動体に搭載された撮像手段で撮像した画像を用いて物体を検出する物体検出装置であって、撮像手段で異なる時間にそれぞれ撮像された複数の画像を用いて画像間移動量を算出する画像間移動量算出手段と、物体を検出し、当該検出した物体と移動体との相対関係を取得する物体検出手段と、物体検出手段で取得した物体の相対関係に基づいて画像間移動量の理論値を算出する理論値算出手段と、画像間移動量算出手段で算出した画像間移動量と理論値算出手段で算出した画像間移動量の理論値とを比較し、当該比較結果に基づいて検出対象の物体を検出する検出手段を備えることを特徴とする。
【選択図】図４

Description

本発明は、移動体に搭載された撮像手段で撮像した画像を用いて物体を検出する物体検出装置に関する。

自車両に搭載されたカメラから撮像した画像を用いて物体を検出する手法としては、オプティカルフローを利用する方法がある。オプティカルフローは、時間的に連続する画像列から画像内の各点（画素、領域、特徴点）の速度場を求め、画像内の物体の動きをベクトルで表したものである。このオプティカルフローのベクトルの大きさ及び向きを利用して、自車両の走行に障害となる他車両(立体物)などの動きを検出する技術が開発されている。特許文献１に記載の装置では、移動体（自車両）が移動する移動面を含む第１の画像から移動体の移動量を算出するとともに対象物体（他車両など）を含む第２の画像からオプティカルフローを求め、移動体の移動量とオプティカルフローに基づいて対象物体までの距離を算出する。

特開２００５−１５７７７９号公報 特開２００８−１８７５８０号公報 特開２００８−２８２１０６号公報 特開２００８−１４０１５５号公報

オプティカルフローを利用して自車両の走行に障害となる物体の情報を検出するためには、上記した装置のように自車両の移動量も必要となる。自車両の移動量を画像処理で求める場合、移動量を高精度に求めるためには処理負荷が高い。

そこで、本発明は、移動体の移動量を用いずに検出対象の物体を検出することができる物体検出装置を提供することを課題とする。

本発明に係る物体検出装置は、移動体に搭載された撮像手段で撮像した画像を用いて物体を検出する物体検出装置であって、撮像手段で異なる時間にそれぞれ撮像された複数の画像を用いて画像間移動量を算出する画像間移動量算出手段と、物体を検出し、当該検出した物体と移動体との相対関係を取得する物体検出手段と、物体検出手段で取得した物体の相対関係に基づいて画像間移動量の理論値を算出する理論値算出手段と、画像間移動量算出手段で算出した画像間移動量と理論値算出手段で算出した画像間移動量の理論値とを比較し、当該比較結果に基づいて検出対象の物体を検出する検出手段とを備えることを特徴とする。

この物体検出装置では、画像間移動量算出手段により、異なる時間に撮像された複数の画像から画像間移動量（例えば、オプティカルフロー）を算出する。ここでは、例えば、画像上の特徴点毎、画素毎、小領域毎に画像間移動量を算出する。また、物体検出装置では、物体検出手段により、移動体周辺の物体を検出し、その検出した物体と移動体との相対関係（例えば、相対距離、相対速度）を取得する。そして、物体検出装置では、理論値算出手段により、その取得した物体の相対関係に基づいて画像間移動量の理論値を算出する。立体物が存在する場合、その立体物に対する画像から算出された実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値とは、一致度が高い（同じ値あるいは略同じ値となる）。そこで、物体検出装置では、検出手段により、画像間移動量算出手段で算出した画像間移動量とそれに対応する画像上の位置での画像間移動量の理論値とを比較し、その比較結果に基づいて検出対象の物体（特に、立体物）を検出する。このように、物体検出装置では、画像間移動量の理論値を推定し、その画像間移動量の理論値と実際の画像間移動量の算出値とを比較することにより、移動体の移動量を用いることなく、検出対象の物体を検出することができ、その物体の情報を取得できる。これによって、処理負荷を軽減でき、検出精度も向上できる。

本発明の上記物体検出装置では、理論値算出手段は、物体検出手段で検出した物体に対応する画像間移動量の理論値を算出すると好適である。

物体検出手段によって物体を検出し、移動体と物体との相対関係を取得すると、物体検出装置では、理論値算出手段により、その検出できた物体についての画像間移動量の理論値を算出する。そして、物体検出装置では、検出手段により、その検出できた物体についての画像間移動量の算出値と画像間移動量の理論値とを比較し、その比較結果に基づいて検出対象の物体を検出する。このように、物体検出装置では、物体検出手段で検出できた物体について画像間移動量の理論値を推定し、その画像間移動量の理論値と算出値とを比較することにより、物体検出手段で検出できた物体についての立体物検出が可能となる。また、物体検出手段で検出できた物体についてのみ処理を行うことにより、処理負荷もより軽減できる。

本発明の上記物体検出装置では、検出手段は、画像上での特徴点毎に画像間移動量算出手段で算出した画像間移動量と理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該差分値が閾値以下となる特徴点に基づいて検出対象の物体を検出すると好適である。

物体が存在する場合、画像から物体についての特徴点（例えば、エッジ）を抽出できる。そこで、この物体検出装置では、検出手段により、画像上の特徴点毎に、画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値を算出し、その差分値が閾値以下か否かを判定し、差分値が閾値以下となる特徴点に基づいて検出対象の物体（特に、立体物）を検出する。この閾値は、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値とが同じ値かあるいは略同じ値かを判定するための閾値である。したがって、差分値が閾値以下の場合には、その特徴点を持つ物体が立体物であると判定できる。このように、物体検出装置では、特徴点毎の画像間移動量の理論値と実際の画像間移動量の算出値との差分値を閾値判定することにより、簡単かつ高精度に立体物か否かを判定できる。

本発明の上記物体検出装置では、検出手段は、画像上での特徴点毎に画像間移動量算出手段で算出した画像間移動量と理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該特徴点毎の差分値の平均値を算出し、特徴点毎の差分値と差分値の平均値に基づいて検出対象の物体を検出すると好適である。

この物体検出装置では、検出手段により、画像上の特徴点毎に、画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値を算出する。上記したように、検出対象の物体が立体物の場合、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との一致度は高く、その差分値は０かあるいは０に近い値なる。しかし、移動体と検出対象の物体との間で相対的な横方向速度成分（移動体の操舵、検出対象物体の横断など）あるいは相対的な縦方向速度成分（移動体のピッチング変動など）が発生している場合、実際の画像間移動量にはその相対的な速度成分が加味されることになるので、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値は相対的な速度成分に相当する量分大きくなる。そこで、物体検出装置では、検出手段により、特徴点毎の差分値に対して差分値の平均値（相対的な速度成分に相当する量）を考慮して、検出対象の物体を検出する。このように、物体検出装置では、特徴点毎の画像間移動量の理論値と実際の画像間移動量の算出値との差分値にこの差分値の平均値を考慮することにより、移動体と検出対象の物体との間で相対的な横方向速度成分や相対的な縦方向速度成分が発生している場合でも精度良く物体を検出することができる。

本発明の上記物体検出装置では、検出手段は、画像上での特徴点毎に画像間移動量算出手段で算出した画像間移動量と理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該特徴点毎の差分値の画像上の位置に対する変化度合いに基づいて検出対象の物体を検出すると好適である、

検出対象の物体が立体物の場合、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値は０かあるいは０に近い値なるので、その立体物が存在する領域における特徴点毎の差分値の大きさは画像上の位置に応じて変化しない。しかし、立体物がない場合、移動体からの距離に応じて実際の画像間移動量が変化し、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値も変化するので、特徴点毎の差分値の大きさは画像上の位置に応じて変化する。そこで、この物体検出装置では、検出手段により、画像上の特徴点毎に、画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値を算出し、その特徴点毎の差分値の画像上の位置に対する変化度合いに基づいて検出対象の物体を検出（特に、立体物か否かの判定）する。このように、物体検出装置では、特徴点毎の画像間移動量の理論値と実際の画像間移動量の算出値との差分値の画像上の位置に対する変化度合いで判定することにより、より高精度に検出対象の物体を検出（特に、立体物の判別）することができる。

本発明の上記物体検出装置では、移動体の旋回状態を検出する旋回状態検出手段と、旋回状態検出手段で検出した移動体の旋回状態に基づいて、理論値算出手段で算出した画像間移動量の理論値を補正する理論値補正手段とを備え、検出手段は、画像上の特徴点毎に画像間移動量算出手段で算出した画像間移動量と理論値補正手段で補正した画像間移動量の理論値とを比較し、当該比較結果に基づいて検出対象の物体を検出する。

移動体が旋回している場合、移動体と検出対象の物体との間で相対的な横方向速度成分が発生する。そのため、実際の画像間移動量にはその相対的な横方向速度成分が加味されることになるので、実際の画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値との差分値は相対的な横方向速度成分に相当する量分大きくなる。そこで、物体検出装置では、旋回状態検出手段により移動体の旋回状態を検出し、理論値補正手段により移動体の旋回状態に応じて画像間移動量の理論値を補正する。そして、物体検出装置では、検出手段により、画像上の特徴点毎に、画像間移動量の算出値とそれに対応する画像上の位置での画像間移動量の理論値の補正値とを比較し、その比較結果に基づいて検出対象の物体を検出する。このように、物体検出装置では、移動体の旋回状態に応じて画像間移動量の理論値を補正することにより、より高精度に検出対象の物体を検出することができる。

本発明によれば、画像間移動量の理論値を推定し、その画像間移動量の理論値と実際の画像間移動量の算出値とを比較することにより、移動体の移動量を用いることなく、検出対象の物体を検出することができる。

第１〜第３の実施の形態に係る周辺監視装置の構成図である。 立体物（車両）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 立体物が存在しない場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 第１の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。 自車両操舵時に立体物（車両）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 第２の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。 立体物が存在しない場合の各横位置での白線に対する特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 第３の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。 第４の実施の形態に係る周辺監視装置の構成図である。 立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 自車両操舵時に立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。 自車両操舵時に立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と補正理論値の一例である。 自車両の左右の車輪速度から補正用のオフセット値の算出方法の説明図である。 第４の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。

以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。

本実施の形態では、本発明に係る物体検出装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、自車両前方の立体物（自車両の走行に障害になる物体であり、例えば、他車両、自転車、歩行者などの移動物体、落下物などの静止物体）を検出し、その検出した立体物の情報を運転支援装置（衝突防止装置など）に出力あるいは音声や表示によって運転者に提供する。本実施の形態には、４つの実施の形態があり、第１の実施の形態がオプティカルフローの算出値と理論値との差分値に基づいて立体物を検出する基本的な形態であり、第２の実施の形態が自車両と物標との相対的な速度成分を考慮して差分値を補正する形態であり、第３の実施の形態がオプティカルフローの算出値と理論値との差分値による直線のフィッティングによって立体物を検出する形態であり、第４の実施の形態が自車両の操舵時の旋回状態に応じて理論値を補正する形態である。なお、検出方向としては、前方とするが、側方、後方などの他の方向でもよい。

図１〜図３を参照して、第１の実施の形態に係る周辺監視装置１について説明する。図１は、第１〜第３の実施の形態に係る周辺監視装置の構成図である。図２は、立体物（車両）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。図３は、立体物が存在しない場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。

周辺監視装置１は、時間的に連続するフレーム間の画像から検出したオプティカルフローに基づいて立体物の情報を検出する。特に、周辺監視装置１では、レーダ情報に基づいて物体（物標）を検出し、自車両と物体との相対情報に基づいてオプティカルフローの理論値を推定し、オプティカルフローの理論値と画像から算出したオプティカルフローの算出値との差分値に基づいて、物体が立体物か否かを判定する。周辺監視装置１は、ミリ波レーダ１０、カメラ１１及びＥＣＵ[Electronic Control Unit]２１を備えている。

なお、第１の実施の形態では、ミリ波レーダ１０及びＥＣＵ２１における処理が特許請求の範囲に記載する物体検出手段に相当し、カメラ１１が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ２１における各処理が特許請求の範囲に記載する画像間移動量算出手段、理論値算出手段及び検出手段に相当する。

ミリ波レーダ１０は、ミリ波を利用して物体を検出する走査型のレーダである。ミリ波レーダ１０は、自車両の前端部の中央に取り付けられる。また、ミリ波レーダ１０は、検出対象の物体を十分に検出可能な高さ位置かつ路面に対して略平行に取り付けられる。ミリ波レーダ１０では、所定時間毎に、ミリ波を所定角度毎に水平方向にスキャンしながら自車両から前方に向けて出射し、反射してきたミリ波を受信する。そして、ミリ波レーダ１０では、所定時間毎に、各反射点（検出点）についてのデータ（水平方向の走査方位角、出射時刻、受信時刻、反射強度など）からなるレーダ信号をＥＣＵ２１に送信する。

カメラ１１は、自車両の前方を撮像する単眼のカメラである。カメラ１１は、自車両の前方の中央の所定の位置に取り付けられる。カメラ１１は、所定時間毎に、自車両前方を撮像し、その撮像画像情報を画像信号としてＥＣＵ２１に送信する。この撮像画像は、所定時間（例えば、１００ｍ秒）毎のフレームの画像である。

ＥＣＵ２１は、ＣＰＵ[Central ProcessingUnit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[RandomAccess Memory]などからなる電子制御ユニットであり、周辺監視装置１を統括制御する。ＥＣＵ２１では、所定時間毎に、ミリ波レーダ１０からのレーダ信号及びカメラ１１からの画像信号を取り入れ、レーダ情報や撮像画像情報を時系列で記憶する。そして、ＥＣＵ２１では、これらの情報を用いて立体物を検出するための処理を行い、検出した立体物の情報（例えば、相対距離、相対速度、横位置、移動方向）を運転支援装置に出力あるいは運転者に提供する。

ＥＣＵ２１では、レーダ情報に含まれる多数の反射点を所定の条件に基づいてグルーピングを行う。このグルーピング方法は、従来の方法を適用する。グルーピングされたグループ（物標）毎に、ＥＣＵ２１では、ミリ波の出射から受信までの時間に基づいて物標までの相対距離ｚを算出する。また、ＥＣＵ２１では、相対距離ｚの時間変化に基づいて物標との相対速度ｖを算出する。また、ＥＣＵ２１では、ミリ波の水平方向の走査方位角に基づいて自車両に対する物標の相対方向及び横位置を算出する。ここでは、グループ内の複数の反射点のデータを用いて、グループで１つの相対情報に統合している。

レーダ情報に基づいて検出された物標毎に、ＥＣＵ２１では、物標に応じて、撮像画像における探索ウインドウを設定する。探索ウインドウは、予め決められた大きさでもよいし、あるいは、レーダ情報に基づいて物標の大きさに関する情報（横幅など）が検出されている場合にはその情報に応じた大きさとする。そして、ＥＣＵ２１では、撮像画像の探索ウインドウ内から特徴点を検出する。特徴点としては、例えば、エッジであり、ｓｏｂｅｌフィルタなどを利用して検出する。

探索ウインドウ内で検出された特徴点毎に、ＥＣＵ２１では、前時刻（ｔ−１）のフレームの撮像画像と現時刻（ｔ）のフレームの撮像画像を用いて、撮像画像上の特徴点周辺の小領域のオプティカルフローを算出する。オプティカルフローの算出方法としては、従来の手法を適用する。

また、ＥＣＵ２１では、式（１）により、物標の相対情報（相対距離、相対速度）を用いて、特徴点の撮像画像上の位置でのオプティカルフローの理論値Ｆを算出する。このオプティカルフローの理論値の算出では、画像中の全ての点が実空間ではレーダ情報に基づいて検出された距離に存在すると仮定（つまり、立体物が存在すると仮定）して算出を行っている。

式（１）におけるｘは特徴点の画像上の横方向の座標（画素単位）であり、ｘ_０は画像上の横方向の中心座標である。また、式（１）におけるｆはカメラ１１の焦点距離に相当する画素数である。また、式（１）におけるｙａｗは自車両に対するカメラ１１の取り付け角度であり、自車両前方に延びる中心軸とカメラ１１の光軸との向きが一致する場合には０である。また、式（１）におけるｚ_ｔ−１は前時刻ｔ−１のフレームの撮像時刻での物標と自車両との相対距離であり、ｚ_ｔは現時刻ｔのフレームの撮像時刻での物標と自車両との相対距離である。この（ｚ_ｔ−１−ｚ_ｔ）は、レーダ情報に基づいて算出された物標と自車両との相対速度ｖに、カメラ１１での撮像時間間隔Δｔを乗算して求められる。ここでは、相対速度が一定と仮定して求めているが、相対加速度も考慮して求めてもよい。ミリ波レーダ１０での検出時間間隔とカメラ１１での撮像時間間隔が同じ場合、レーダ情報に基づいて算出された物標と自車両との相対距離ｚをそのまま用いてもよい。なお、ｆ×ｔａｎ（ｙａｗ）は、カメラ１１の光軸の向きが自車両前方に延びる中心軸の向きとずれている場合の画像上の横方向の中心座標からの補正量である。したがって、カメラ１１の光軸の向きが自車両前方に延びる中心軸の向きに一致するようにカメラ１１が取り付けられている場合、式（１）においてｆ×ｔａｎ（ｙａｗ）は必要ない。

上記したように、オプティカルフローの理論値は立体物が存在すると仮定して算出されるので、実際に立体物が存在する場合には撮像画像から算出されたオプティカルフローの算出値はオプティカルフローの理論値と同じ値あるいは略同じ値になる。したがって、オプティカルフローの算出値とオプティカルフローの理論値との差分値が０あるいは略０の場合、その物標を立体物と判別できる。一方、オプティカルフローの算出値とオプティカルフローの理論値との差分値が０でない場合、その物標を立体物ではないと判別できる。

ＥＣＵ２１では、探索ウインドウ内における特徴点毎に、撮像画像から算出されたオプティカルフローの算出値とオプティカルフローの理論値との差分値を算出する。そして、ＥＣＵ２１では、探索ウインドウ内における特徴点毎に、差分値が閾値以下か否かを判定する。この閾値は、オプティカルフローの算出値とオプティカルフローの理論値とが同じ値か略同じ値かを判定（オプティカルフローの算出値とオプティカルフローの理論値との差分値が０か略０かを判定）するための閾値であり、ミリ波レーダ１０の検出誤差、カメラ１１の性能などを考慮して予め設定される。なお、差分値はプラス値の場合とマイナス値の場合があるので、閾値はプラス側とマイナス側があり、そのマイナス側の閾値からプラス側の閾値の範囲内に入っているか否かで判定する。また、差分値の絶対値をプラスの閾値以下か否かで判定してもよい。

ＥＣＵ２１では、探索ウインドウ内における特徴点群において差分値が閾値以下となる特徴点の割合が大きい（例えば、割合が８０％以上、９０％以上）か否かを判定する。差分値が閾値以下となる特徴点の割合が大きい場合、ＥＣＵ２１では、その物標を立体物と判定し、その物標についてのレーダ情報から検出された相対情報や各特徴点のオプティカルフローに基づいて立体物の情報（相対距離、相対速度、横位置など）を設定する。一方、差分値が閾値以下となる特徴点の割合が小さい場合、ＥＣＵ２１では、その物標を立体物ではないと判定する。なお、立体物のその他の情報として、画像から立体物の大きさを検出してもよいし、更に、パターン認識などを利用して立体物の種別を検出してもよい。

全ての物標についての処理が終了すると、ＥＣＵ２１では、検出できた全ての立体物についての情報を運転支援装置に出力あるいは運転者に提供する。

図２には、自車両の前方に車両Ｖ（立体物）が存在する場合の例を示している。車両Ｖの後面には、ミリ波レーダ１０によるレーダ情報から検出された物標の検出位置Ｒ１を示している。また、車両Ｖの後面には、撮像画像から算出された各特徴点でのオプティカルフローＦ１１〜Ｆ１６を示している。下方のグラフＧ１は、横軸が画像上の横位置であり、縦軸がオプティカルフローの横方向の大きさを示すグラフである。このグラフＧ１には、黒丸印で各特徴点でのオプティカルフローＦ１１〜Ｆ１６の横方向の大きさをそれぞれ示しており、破線の直線Ｌ１で各横位置でのオプティカルフローの横方向の大きさの理論値を示しており、バツ印で各特徴点でのオプティカルフローＦ１１〜Ｆ１６の横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値との差分値を示している。

図３には、自車両の前方に立体物が存在しない場合の例を示している。道路上の鉄板Ｓには、ミリ波レーダ１０によるレーダ情報から検出された物標の検出位置Ｒ２を示している。また、道路上のセンタラインＣや模様Ｐなどには、撮像画像から算出された各特徴点でのオプティカルフローＦ２１〜Ｆ２６を示している。下方のグラフＧ２には、黒丸印で各特徴点でのオプティカルフローＦ２１〜Ｆ２６の横方向の大きさをそれぞれ示しており、破線の直線Ｌ２で各横位置でのオプティカルフローの横方向の大きさの理論値を示しており、バツ印で各特徴点でのオプティカルフローＦ２１〜Ｆ２６の横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値との差分値を示している。

図２のグラフＧ１から判るように、車両Ｖのような立体物が存在する場合、実際のオプティカルフローの算出値と対応する画像上の横位置でのオプティカルフローの理論値とは同じ値となり、その差分値が０となる。また、図３のグラフＧ２から判るように、道路上に立体物が存在しない場合、実際のオプティカルフローの算出値と対応する画像上の横位置でのオプティカルフローの理論値とは異なる値となり、その差分値が０とならない。この例からも判るように、実際のオプティカルフローの算出値と理論値との差分値によって、立体物か否かを判別することができる。

図１を参照して、周辺監視装置１の動作について説明する。特に、ＥＣＵ２１における処理については図４のフローチャートに沿って説明する。図４は、第１の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。

ミリ波レーダ１０では、所定時間毎に、水平方向にスキャンしながらミリ波を出射するとともにその反射光を受信し、受信できた各反射点についての情報をレーダ信号としてＥＣＵ２１に送信している。ＥＣＵ２１では、そのレーダ信号を受信し、レーダ情報を記憶する。また、カメラ１１では、所定時間毎に、自車両の前方を撮像し、画像信号をＥＣＵ２１に送信している。ＥＣＵ２１では、その画像信号を受信し、画像情報を記憶する。

一定時間毎（カメラ１１から撮像画像を取得する毎）に、ＥＣＵ２１では、レーダ情報に基づいて物標を検出し、その物標の相対情報を取得する（Ｓ１０）。

検出した物標毎に、ＥＣＵ２１では、物標に応じて画像上の探索ウインドウを設定する（Ｓ１１）。そして、ＥＣＵ２１では、現フレームの撮像画像の探索ウインドウ内から特徴点を検出する（Ｓ１２）。

さらに、ＥＣＵ２１では、現フレームの撮像画像と前フレームの撮像画像を用いて、探索ウインドウ内の特徴点毎にオプティカルフローを算出する（Ｓ１３）。また、ＥＣＵ２１では、物標の相対情報（相対距離、相対速度）を用いて、探索ウインドウ内の特徴点毎にオプティカルフローの理論値を算出する（Ｓ１４）。そして、ＥＣＵ２１では、探索ウインドウ内の特徴点毎に、撮像画像から求めたオプティカルフローの算出値と物標の相対情報から求めたオプティカルフローの理論値との差分値を算出する（Ｓ１５）。

そして、ＥＣＵ２１では、探索ウインドウ内の各特徴点の差分値が閾値以下か否かをそれぞれ判定し、探索ウインドウ内において差分値が閾値以下となる特徴点の割合が大きいか否かを判定する（Ｓ１６）。Ｓ１６にて差分値が閾値以下となる特徴点の割合が大きいと判定した場合、ＥＣＵ２１では、その物標を立体物と判定し、各特徴点のオプティカルフローや物標の相対情報を用いてその立体物の情報を設定する（Ｓ１７）。一方、Ｓ１６にて差分値が閾値以下となる特徴点の割合が小さいと判定した場合、ＥＣＵ２１では、その物標を立体物でないと判定する（Ｓ１８）。

そして、ＥＣＵ２１では、検出した全ての物標に対する処理が終了したか否かを判定する（Ｓ１９）。Ｓ１９にて全ての物標について終了していないと判定した場合、ＥＣＵ２１では、Ｓ１１の処理に戻って、次の物標に対する処理を行う。一方、Ｓ１９にて全ての物標について終了したと判定した場合、ＥＣＵ２１では、検出できた全ての立体物についての情報を運転支援装置に出力あるいは運転者に提供し、今回の処理を終了する。

この周辺監視装置１によれば、オプティカルフローの理論値を推定し、オプティカルフローの理論値と実際のオプティカルフローの算出値とを比較することで、物標が立体物か否かを高精度に判定でき、自車両の障害物となる物体を高精度に検出できる。この際、オプティカルフローを利用しているが、自車両の移動量を用いる必要がなく、処理負荷を軽減できる。

また、周辺監視装置１によれば、ミリ波レーダ１０のレーダ情報に基づいて検出された物標についてのみ処理を行うので、検出できた物標についての立体物判定ができ、処理負荷もより軽減できる。また、周辺監視装置１によれば、オプティカルフローの理論値と実際のオプティカルフローの算出値との差分値を算出し、その差分値を閾値判定する簡単な処理なので、処理負荷もより軽減できる。

図１、図５を参照して、第２の実施の形態に係る周辺監視装置２について説明する。図５は、自車両操舵時に立体物（車両）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。

周辺監視装置２は、第１の実施の形態に係る周辺監視装置１と比較すると、自車両と物標との相対的な速度成分を考慮して差分値を補正する点だけが異なる。そこで、その異なる点のみ詳細に説明する。周辺監視装置２は、ミリ波レーダ１０、カメラ１１及びＥＣＵ２２を備えている。

なお、第２の実施の形態では、ミリ波レーダ１０及びＥＣＵ２２における処理が特許請求の範囲に記載する物体検出手段に相当し、カメラ１１が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ２２における各処理が特許請求の範囲に記載する画像間移動量算出手段、理論値算出手段及び検出手段に相当する。

自車両と各物標との間で相対的な横方向速度成分（例えば、自車両が操舵した場合、自車両の前を歩行者が横断した場合）や相対的な縦方向速度成分（例えば、自車両がピッチング変動した場合）があると、その相対的な速度成分がオプティカルフローに加算される。このような場合、オプティカルフローの理論値にはそのような相対的な速度成分を考慮していないので、実際のオプティカルフローの算出値とオプティカルフローの理論値との差分値が大きくなり（立体物でも差分値が０にならない）、立体物か否かを正しく判定できない。

例えば、自車両の操舵による相対的な横方向速度成分やピッチング変動による相対的な縦方向速度成分は、画像全体で同様に発生する。そのため、全ての特徴点についてオプティカルフローに加算されている量が同じ量になる。そこで、全ての特徴点についてこの加算される量をキャンセルできる量を差分値から減算しておけばよい。また、歩行者の横断による横方向速度成分は、画像一部でのみ発生する。そのため、その歩行者が存在する領域内の特徴点についてオプティカルフローに加算されている量は同じ量になる。そこで、その歩行者が存在する領域内の特徴点についてのみこの加算される量をキャンセルできる量を差分値から減算しておけばよい。

ＥＣＵ２２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、周辺監視装置２を統括制御する。ＥＣＵ２２では、第１の実施の形態に係るＥＣＵ２１と比較すると、特徴点毎の差分値を計算した後に補正差分値を求め、補正差分値を用いて閾値判定を行う点のみが異なる。そこで、この点について詳細に説明する。

各探索ウインドウ（各物標）について特徴点毎の差分値を算出すると、ＥＣＵ２２では、探索ウインドウ内の全ての特徴点の差分値の平均値を算出する。オプティカルフローに相対的な速度成分の影響を受けている場合、この探索ウインドウ内の全ての特徴点には、オプティカルフローにはその相対的な速度成分に相当する量が加算されている。したがって、探索ウインドウ内の全ての特徴点の差分値の平均値は、オプティカルフローに加算されている相対的な速度成分に相当する量となる。

ＥＣＵ２２では、探索ウインドウ内における特徴点毎に、差分値から差分値の平均値を減算し、補正差分値を求める。さらに、ＥＣＵ２２では、探索ウインドウ内における特徴点毎に、補正差分値が閾値以下か否かを判定する。

ＥＣＵ２２では、探索ウインドウ内における特徴点群において補正差分値が閾値以下となる特徴点の割合が大きいか否かを判定する。補正差分値が閾値以下となる特徴点の割合が大きい場合、ＥＣＵ２２では、その物標を立体物と判定し、その物標についての立体物の情報を設定する。一方、補正差分値が閾値以下となる特徴点の割合が小さい場合、ＥＣＵ２２では、その物標を立体物でないと判定する。

図５には、自車両が左方向に操舵中に、前方に車両Ｖ（立体物）が存在する場合の例を示している。車両Ｖの後面には、ミリ波レーダ１０によるレーダ情報から検出された物標の検出位置Ｒ３を示している。また、車両Ｖの後面には、撮像画像から算出された各特徴点でのオプティカルフローＦ３１〜Ｆ３６を示しているが、このオプティカルフローＦ３１〜Ｆ３６には操舵による相対的な横方向速度成分に相当する量が加算されている。下方のグラフＧ３には、黒丸印で各特徴点でのオプティカルフローＦ３１〜Ｆ３６の横方向の大きさをそれぞれ示しており、破線の直線Ｌ３で各横位置でのオプティカルフローの横方向の大きさの理論値を示しており、バツ印で各特徴点でのオプティカルフローＦ３１〜Ｆ３６の横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値との差分値を示している。

このグラフＧ３から判るように、黒丸印で示される全ての特徴点のオプティカルフローの横方向の大きさは破線の直線Ｌ３で示されるオプティカルフローの横方向の大きさの理論値から所定量オフセットしており、それに伴って、バツ印で示される全ての特徴点の差分値も０から所定量Ａだけオフセットしている。このオフセットしている所定量Ａが、自車両の操舵による相対的な横方向速度成分に相当する量である。グラフＧ３には、三角印で各特徴点の差分値からこの所定量Ａを減算した補正差分値も示しており、この補正差分値が０となっている。この例からも判るように、自車両が操舵している場合でも、各特徴点の差分値を差分値の平均値で補正することにより、立体物か否かを判別することができる。

図１を参照して、周辺監視装置２の動作について説明する。特に、ＥＣＵ２２における処理については図６のフローチャートに沿って説明する。図６は、第２の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。周辺監視装置２の動作では、第１の実施の形態に係る周辺監視装置１の動作と比較すると、ＥＣＵ２２における一部の動作だけが異なるので、その動作のみ詳細に説明する。

ＥＣＵ２２におけるＳ２０〜Ｓ２５の処理は、第１の実施の形態に係るＥＣＵ２１におけるＳ１０〜Ｓ１５の処理と同様の処理である。

特徴点毎の差分値を算出すると、ＥＣＵ２２では、探索ウインドウ内の全ての特徴点の差分値の平均値を算出する（Ｓ２６）。そして、ＥＣＵ２２では、探索ウインドウの特徴点毎に、差分値からその平均値を減算し、補正差分値を算出する（Ｓ２７）。

そして、ＥＣＵ２２では、探索ウインドウ内の各特徴点の補正差分値が閾値以下か否かをそれぞれ判定し、探索ウインドウ内において補正差分値が閾値以下となる特徴点の割合が大きいか否かを判定する（Ｓ２８）。Ｓ２８にて補正差分値が閾値以下となる特徴点の割合が大きいと判定した場合、ＥＣＵ２２では、その物標を立体物と判定し、その立体物の情報を設定する（Ｓ２９）。一方、Ｓ２８にて補正差分値が閾値以下となる特徴点の割合が小さいと判定した場合、ＥＣＵ２２では、その物標を立体物でないと判定する（Ｓ３０）。

そして、ＥＣＵ２２では、検出した全ての物標に対する処理が終了したか否かを判定する（Ｓ３１）。Ｓ３１にて全ての物標について終了していないと判定した場合、ＥＣＵ２２では、Ｓ２１の処理に戻って、次の物標に対する処理を行う。一方、Ｓ３１にて全ての物標について終了したと判定した場合、ＥＣＵ２２では、検出できた全ての立体物についての情報を運転支援装置に出力あるいは運転者に提供し、今回の処理を終了する。

この周辺監視装置２は、第１の実施の形態に係る周辺監視装置１と同様の効果を有する上に、以下の効果も有している。周辺監視装置２によれば、各特徴点のオプティカルフローの理論値と実際のオプティカルフローの算出値との差分値の平均値に基づいて特徴点毎の差分値を補正することにより、自車両と各物標との間で相対的な横方向速度成分や相対的な縦方向成分が発生している場合でも物標が立体物か否かを精度良くに判定でき、自車両の障害物となる物体をより高精度に検出できる。

図１、図７を参照して、第３の実施の形態に係る周辺監視装置３について説明する。図７は、立体物が存在しない場合の各横位置での白線に対する特徴点のオプティカルフローの横方向の算出値と理論値の一例である。

周辺監視装置３は、第１の実施の形態に係る周辺監視装置１と比較すると、オプティカルフローの算出値と理論値との差分値による直線のフィッティングによって立体物か否かを判定する点だけが異なる。そこで、その異なる点のみ詳細に説明する。周辺監視装置３は、ミリ波レーダ１０、カメラ１１及びＥＣＵ２３を備えている。

なお、第３の実施の形態では、ミリ波レーダ１０及びＥＣＵ２３における処理が特許請求の範囲に記載する物体検出手段に相当し、カメラ１１が特許請求の範囲に記載する撮像手段に相当し、ＥＣＵ２３における各処理が特許請求の範囲に記載する画像間移動量算出手段、理論値算出手段及び検出手段に相当する。

オプティカルフローの距離分解能は、ステレオ画像などを用いた物体検出の距離分解能に比較して低い。そのため、白線などから検出される距離方向（自車両から奥行き方向）に分布する特徴点についての差分値が閾値以下となり、その特徴点の物標を立体物と誤判定する場合がある。

図７に示す例では、自車両の前方に立体物が存在しない場合の例を示している。道路上の鉄板Ｓには、ミリ波レーダ１０によるレーダ情報から検出された物標の検出位置Ｒ４を示している。また、道路上の左端の白線Ｗには、撮像画像から算出された各特徴点でのオプティカルフローＦ４１〜Ｆ４５を示している。下方のグラフＧ４には、黒丸印で各特徴点でのオプティカルフローＦ４１〜Ｆ４５の横方向の大きさをそれぞれ示しており、破線の直線Ｌ４で各横位置でのオプティカルフローの横方向の大きさの理論値を示しており、バツ印で各特徴点でのオプティカルフローＦ４１〜Ｆ４５の横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値との差分値を示している。この各特徴点の差分値は閾値以下となっており、白線Ｗを立体物と判定する。

図７からも判るように、立体物でない場合、オプティカルフローの大きさは、距離が遠いほど（自車両から奥側ほど）小さくなる。したがって、立体物でない、白線などの特徴点群の場合、その特徴点群の差分値は画像上の横位置に応じて一定に変化するので、所定の傾きを持つ直線にフィッティングできる。一方、車両のような立体物の特徴点群の場合、その特徴点群の差分値は画像上の横位置が変わっても常に０なので、傾き０の直線にフィッティングできる。そこで、この直線の傾きを利用して、立体物か否かを判定できる。

ＥＣＵ２３は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、周辺監視装置３を統括制御する。ＥＣＵ２３では、第１の実施の形態に係るＥＣＵ２１と比較すると、特徴点毎の差分値を算出した後に各特徴点の差分値にフィッティングした直線の傾きを用いて閾値判定を行う点のみが異なる。そこで、この点について詳細に説明する。

各探索ウインドウ（各物標）について特徴点毎の差分値を算出すると、ＥＣＵ２３では、探索ウインドウ内の全ての特徴点についての差分値と画像上の横位置を用いてフィッティングする直線を求める。このフィッティングする直線を求める方法は、従来の方法を適用する。

ＥＣＵ２３では、フィッティングした直線の傾きが閾値以下か否かを判定する。この閾値は、フィッティングした直線の傾きが０か略０かを判定するための閾値（ひいては、立体物か否か判定するための閾値）であり、ミリ波レーダ１０の検出誤差、カメラ１１の性能などを考慮して予め設定される。なお、直線の傾きはプラス値の場合とマイナス値の場合があるので、閾値はプラス側とマイナス側があり、そのマイナス側の閾値からプラス側の閾値の範囲内に入っているか否かで判定する。また、直線の傾きの絶対値がプラス側の閾値以下か否かで判定してもよい。直線の傾きが閾値以下の場合、ＥＣＵ２３では、その物標を立体物と判定し、その立体物の情報を設定する。一方、直線の傾きが閾値より大きい場合、ＥＣＵ２３では、その物標を立体物でないと判定する。

図７に示す例の場合、グラフＧ４においてバツ印で示される各特徴点の差分値には直線Ｌ５がフィッティングする。この直線Ｌ５は所定の傾きを持っておいるので、立体物ではないと判定できる。

図１を参照して、周辺監視装置３の動作について説明する。特に、ＥＣＵ２３における処理については図８のフローチャートに沿って説明する。図８は、第３の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。周辺監視装置３の動作では、第１の実施の形態に係る周辺監視装置１の動作と比較すると、ＥＣＵ２３における一部の動作だけが異なるので、その動作のみ詳細に説明する

ＥＣＵ２３におけるＳ４０〜Ｓ４５の処理は、第１の実施の形態に係るＥＣＵ２１におけるＳ１０〜Ｓ１５の処理と同様の処理である。

特徴点毎の差分値を算出すると、ＥＣＵ２３では、探索ウインドウ内の全ての特徴点の差分値群に直線をフィッティングする（Ｓ４６）。

そして、ＥＣＵ２３では、その直線の傾きが閾値以下か否かを判定する（Ｓ４７）。Ｓ４７にて直線の傾きが閾値以下と判定した場合、ＥＣＵ２３では、その物標を立体物と判定し、その立体物の情報を設定する（Ｓ４８）。一方、Ｓ４７にて直線の傾きが閾値より大きいと判定した場合、ＥＣＵ２３では、その物標を立体物でないと判定する（Ｓ４９）。

そして、ＥＣＵ２３では、検出した全ての物標に対する処理が終了したか否かを判定する（Ｓ５０）。Ｓ５０にて全ての物標について終了していないと判定した場合、ＥＣＵ２３では、Ｓ４１の処理に戻って、次の物標に対する処理を行う。一方、Ｓ５０にて全ての物標について終了したと判定した場合、ＥＣＵ２３では、検出できた全ての立体物についての情報を運転支援装置に出力あるいは運転者に提供し、今回の処理を終了する。

この周辺監視装置３は、第１の実施の形態に係る周辺監視装置１と同様の効果を有する上に、以下の効果も有している。周辺監視装置３によれば、各特徴点のオプティカルフローの理論値と実際のオプティカルフローの算出値との差分値にフィッティングする直線の傾きに基づいて判定することにより、物標が立体物か否かを精度良くに判定でき、自車両の障害物となる物体をより高精度に検出できる。

図９〜図１３を参照して、第４の実施の形態に係る周辺監視装置４について説明する。図９は、第４の実施の形態に係る周辺監視装置の構成図である。図１０は、立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。図１１は、自車両操舵時に立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と理論値の一例である。図１２は、自車両操舵時に立体物（歩行者）が存在する場合の各横位置での特徴点のオプティカルフローの横方向の算出値と補正理論値の一例である。図１３は、自車両の左右の車輪速度から補正用のオフセット値の算出方法の説明図である。

周辺監視装置４は、第１の実施の形態に係る周辺監視装置１と比較すると、自車両の操舵時の旋回状態に応じて理論値を補正する点だけが異なる。そこで、その異なる点のみ詳細に説明する。周辺監視装置４は、ミリ波レーダ１０、カメラ１１、車輪速センサ１２及びＥＣＵ２４を備えている。

なお、第４の実施の形態では、ミリ波レーダ１０及びＥＣＵ２４における処理が特許請求の範囲に記載する物体検出手段に相当し、カメラ１１が特許請求の範囲に記載する撮像手段に相当し、車輪速センサ１２及びＥＣＵ２４における処理が特許請求の範囲に記載する旋回状態検出手段に相当し、ＥＣＵ２４における各処理が特許請求の範囲に記載する画像間移動量算出手段、理論値算出手段、理論値補正手段及び検出手段に相当する。

上記したように、自車両が操舵した場合、自車両と各物標との間で相対的な横方向速度成分に相当する量がオプティカルフローに加算される。オプティカルフローの理論値ではそのような相対的な横方向速度成分を考慮していないので、実際のオプティカルフローの算出値とオプティカルフローの理論値との差分値が大きくなり、立体物か否かを正しく判定できない。特に、自車両が低速なほど、この影響が大きくなる。そこで、全ての特徴点についてオプティカルフローの理論値を、この自車両操舵による旋回状態に応じたオフセット量で補正する。

図１０に示す例では、自車両が直進中に前方右側に歩行者Ｈが存在する場合を示している。下方のグラフＧ５では、符号Ｍ５で示す線で各特徴点でのオプティカルフローの横方向の大きさを示しており、符号Ｔ５で示す線で各横位置でのオプティカルフローの横方向の大きさの理論値を示している。このグラフＧ５から判るように、自車両が直進している場合、歩行者Ｈについての各特徴点のオプティカルフローの横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値とは略同じ値になっており、歩行者Ｈを立体物として判定することができる。

図１１に示す例では、自車両が交差点で右操舵中に前方右側に歩行者Ｈが存在する場合を示している。下方のグラフＧ６では、符号Ｍ６で示す線で各特徴点でのオプティカルフローの横方向の大きさを示しており、符号Ｔ６で示す線で各横位置でのオプティカルフローの横方向の大きさの理論値を示している。このグラフＧ６から判るように、自車両が操舵している場合、歩行者Ｈについての各特徴点のオプティカルフローの横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの理論値とは異なる値になっており、歩行者Ｈを立体物として判定することがでない。また、第３の実施の形態で説明したように、歩行者Ｈについての各特徴点のオプティカルフローの横方向の大きさにフィッティングする直線の傾きと対応するオプティカルフローの横方向の大きさの理論値にフィッティングする直線の傾きとが一致していれば立体物と判定することができるが、この傾きも一致していない。これは、画像の端部ほど歪みが大きくなる影響を受けて、背景部分についての直線の傾きと歩行者Ｈについての直線の傾きとに差が出ないためである。

そこで、図１２のグラフＧ７に示すように、符号Ｔ６の線で示す各横位置でのオプティカルフローの横方向の大きさの理論値を全体的にオフセットして、符号Ｔ７の線で示す補正理論値とする。このグラフＧ７から判るように、自車両が操舵している場合でも、歩行者Ｈについての各特徴点のオプティカルフローの横方向の大きさと対応する横位置でのオプティカルフローの横方向の大きさの補正理論値とは略同じ値になっており、歩行者Ｈを立体物として判定することができる。

車輪速センサ１２は、各車輪に設けられ、車輪の回転速度を検出するセンサである。車輪速センサ１２では、車輪の回転速度を検出し、その検出値を車輪速信号としてＥＣＵ２４に送信する。

ＥＣＵ２４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、周辺監視装置４を統括制御する。ＥＣＵ２４では、第１の実施の形態に係るＥＣＵ２１と比較すると、各車輪の車輪速センサ１２から車輪速信号を取り入れ、左右の車輪速度に基づいてオフセット値を求め、そのオフセット値によって特徴点毎のオプティカルフローの理論値を補正し、この補正理論値を用いて閾値判定を行う点のみが異なる。そこで、この点について詳細に説明する。

各探索ウインドウ（各物標）について特徴点毎のオプティカルフローの理論値を算出すると、ＥＣＵ２４では、車輪毎に、車輪速センサ１２で検出した車輪の回転速度から各輪での車輪速度を算出する。そして、ＥＣＵ２４では、式（２）により、左右の車輪速度を用いて自車両の旋回角度αを算出する。図１３に示すように、式（２）におけるＶｒｉｇｈｔは右側の車輪速度であり、Ｖｌｅｆｔは左側の車輪速度であり、ｃａｒＷは自車両の車幅であり、Ｆｌｏｗはオプティカルフローを求めるための画像の連続するフレーム間の時間間隔である。なお、各側の車輪速度は、前輪と後輪の車輪速度の一方を用いてもよいし、前輪と後輪の車輪速度の平均値でもよい。

さらに、ＥＣＵ２４では、式（３）により、自車両の旋回角度αを用いてオフセット値ＯＦＦＳＥＴを算出する。式（３）における（ｐｉｘ／ｄｅｇ）は画像上での角度の１ｄｅｇあたりの画素数である。

そして、ＥＣＵ２４では、探索ウインドウ内における特徴点毎に、オプティカルフローの理論値にオフセット値ＯＦＦＳＥＴを加算し、補正理論値を求める。さらに、ＥＣＵ２４では、探索ウインドウ内における特徴点毎に、撮像画像から算出されたオプティカルフローの算出値とオプティカルフローの補正理論値との差分値を算出する。そして、この差分値を用いて、第１の実施の形態に係るＥＣＵ２１と同様の判定を行う。

図９を参照して、周辺監視装置４の動作について説明する。特に、ＥＣＵ２４における処理については図１４のフローチャートに沿って説明する。図１４は、第４の実施の形態に係るＥＣＵにおける処理の流れを示すフローチャートである。周辺監視装置４の動作では、第１の実施の形態に係る周辺監視装置１の動作と比較すると、車輪速センサ１２での動作及びＥＣＵ２４における一部の動作だけが異なるので、その動作のみ詳細に説明する。

各車輪の車輪速センサ１２では、所定時間毎に、車輪の回転速度を検出し、車輪速信号をＥＣＵ２４に送信している。ＥＣＵ２４では、その車輪速信号を受信し、検出情報を記憶する。

ＥＣＵ２４におけるＳ６０〜Ｓ６４の処理は、第１の実施の形態に係るＥＣＵ２１におけるＳ１０〜Ｓ１４の処理と同様の処理である。

特徴点毎のオプティカルフローの理論値を算出すると、ＥＣＵ２４では、車輪毎に、車輪速センサ１２で検出した検出情報に基づいて車輪速度を算出する（Ｓ６５）。そして、ＥＣＵ２４では、左右の車輪速度を用いてオフセット値を算出する（Ｓ６６）。さらに、ＥＣＵ２４では、探索ウインドウ内の特徴点毎に、オフセット値によりオプティカルフローの理論値を補正する（Ｓ６６）。そして、ＥＣＵ２４では、探索ウインドウ内の特徴点毎に、撮像画像から求めたオプティカルフローの算出値とオプティカルフローの補正理論値との差分値を算出する（Ｓ６７）。

ＥＣＵ２４におけるＳ６８〜Ｓ７１の処理は、第１の実施の形態に係るＥＣＵ２１におけるＳ１６〜Ｓ１９の処理と同様の処理である。

この周辺監視装置４は、第１の実施の形態に係る周辺監視装置１と同様の効果を有する上に、以下の効果も有している。周辺監視装置４によれば、自車両の旋回状態に応じてオプティカルフローの理論値を補正することにより、自車両が操舵している場合でも物標が立体物か否かを精度良くに判定でき、自車両の障害物となる物体をより高精度に検出できる。特に、自車両が低速で走行している場合に効果が大きい。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両に搭載され、車両周辺の立体物を検出するための周辺監視装置に適用したが、運転支援装置内における１つの機能として構成してもよいし、あるいは、ロボットなどの他の移動体に搭載してもよい。

また、本実施の形態では撮像手段として単眼のカメラを適用したが、ステレオカメラでも適用可能である。

また、本実施の形態では自車両周辺の物体を検出し、その物体との相対情報を取得するためにミリ波レーダを適用したが、レーザレーダなどの他のレーダを適用してもよいし、あるいは、ステレオカメラなどの他の手段を適用してもよい。

また、本実施の形態では特徴点毎にオプティカルフローの算出値と理論値とを比較する構成としたが、所定の領域毎、画素毎などで比較してもよい。

また、第４の実施の形態では旋回状態を検出するための手段として車輪速センサを適用したが、ヨーレートセンサなどの他の検出手段を用いてもよい。

１，２，３，４…周辺監視装置、１０…ミリ波レーダ、１１…カメラ、１２…車輪速センサ、２１，２２，２３，２４…ＥＣＵ

Claims (6)

1. 移動体に搭載された撮像手段で撮像した画像を用いて物体を検出する物体検出装置であって、
   前記撮像手段で異なる時間にそれぞれ撮像された複数の画像を用いて画像間移動量を算出する画像間移動量算出手段と、
   物体を検出し、当該検出した物体と前記移動体との相対関係を取得する物体検出手段と、
   前記物体検出手段で取得した物体の相対関係に基づいて画像間移動量の理論値を算出する理論値算出手段と、
   前記画像間移動量算出手段で算出した画像間移動量と前記理論値算出手段で算出した画像間移動量の理論値とを比較し、当該比較結果に基づいて検出対象の物体を検出する検出手段と
   を備えることを特徴とする物体検出手段。
2. 前記理論値算出手段は、前記物体検出手段で検出した物体に対応する画像間移動量の理論値を算出することを特徴とする請求項１に記載する物体検出装置。
3. 前記検出手段は、画像上での特徴点毎に前記画像間移動量算出手段で算出した画像間移動量と前記理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該差分値が閾値以下となる特徴点に基づいて検出対象の物体を検出することを特徴とする請求項１又は請求項２に記載する物体検出装置。
4. 前記検出手段は、画像上での特徴点毎に前記画像間移動量算出手段で算出した画像間移動量と前記理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該特徴点毎の差分値の平均値を算出し、前記特徴点毎の差分値と前記差分値の平均値に基づいて検出対象の物体を検出することを特徴とする請求項１〜請求項３のいずれか１項に記載する物体検出装置。
5. 前記検出手段は、画像上での特徴点毎に前記画像間移動量算出手段で算出した画像間移動量と前記理論値算出手段で算出した画像間移動量の理論値との差分値を算出し、当該特徴点毎の差分値の画像上の位置に対する変化度合いに基づいて検出対象の物体を検出することを特徴とする請求項１又は請求項２に記載する物体検出装置。
6. 移動体の旋回状態を検出する旋回状態検出手段と、
   前記旋回状態検出手段で検出した移動体の旋回状態に基づいて、前記理論値算出手段で算出した画像間移動量の理論値を補正する理論値補正手段と
   を備え、
   前記検出手段は、画像上の特徴点毎に前記画像間移動量算出手段で算出した画像間移動量と前記理論値補正手段で補正した画像間移動量の理論値とを比較し、当該比較結果に基づいて検出対象の物体を検出することを特徴とする請求項１又は請求項２に記載する物体検出装置。

Images