JP2003099784A

JP2003099784A - 移動物体の認識方法

Info

Publication number: JP2003099784A
Application number: JP2001290759A
Authority: JP
Inventors: Hitoomi Takizawa; 仁臣滝澤
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2001-09-25
Filing date: 2001-09-25
Publication date: 2003-04-04
Anticipated expiration: 2021-09-25
Also published as: JP3969984B2

Abstract

(57)【要約】【課題】相関演算法におけるオプティカルフローの計算
量を大幅に低減し、自車との相対速度の大きい移動物体
の認識も可能にする。【解決手段】ＣＰＵにより、各フレーム画像について無
限遠点から放射状の探索ライン上にそれぞれ複数の計算
点が定められ、Δｔ時間前の前フレーム画像中のある計
算点に参照画像領域が設定されると共に、前フレーム画
像からΔｔ時間後の現在フレーム画像に参照画像領域が
設定され、前フレーム画像、及び、現在フレーム画像の
両参照画像領域内における各画素毎の輝度差の累積和が
演算され、その最小値が予め求められてメモリに保持さ
れる。続いて、ある時刻のフレーム画像中の計算点に設
定される参照画像領域と、Δｔ時間後の次フレーム画像
中の計算点に設定される参照画像領域との各画素毎の輝
度差の累積和が演算され、その演算途中で上記の最小値
を超えるときにはその時点で演算が中止される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、自車に搭載した
撮像手段により走行中に撮像して得られる所定時間相前
後した２つのフレーム画像における同一点の移動をオプ
ティカルフローとして検出し、自車周辺の移動物体を認
識する移動物体の認識方法に関する。

【０００２】

【従来の技術】従来、自車の走行中に、自車に搭載した
撮像手段により後側方を撮像して得られる画像を処理
し、車両や路側構造物等の移動物体を認識する手法とし
て勾配法や相関演算法があり、ハードウェア化が容易で
ある点から後者の相関演算法がよく利用されている。

【０００３】この相関演算法は、テンプレートマッチン
グ法とも呼ばれ、画像中に対象物の動きベクトル、つま
りオプティカルフローを計算するのに利用される手法で
あり、例えば図１０に示すように、所定時間相前後した
２つのフレーム画像（時刻ｔと時刻ｔ＋１のフレーム画
像）に対して、Ｄ（ｕ，ｖ）＝Σ_{ｘ，ｙ∈Ｒ}｜Ｉ^ｆ（ｘ，ｙ）−Ｉ
^ｆ＋１（ｘ＋ｕ，ｙ＋ｖ）｜で定義される各画素毎の輝度差の和、つまり残差Ｄ
（ｕ，ｖ）が最小となるかどうかを探索し、最小となれ
ばそのときの移動ベクトル（ｕ，ｖ）をもって、その座
標位置（ｘ，ｙ）での対象物の動き量とするものであ
る。

【０００４】尚、上記した式において、ｆはフレーム、
Ｒは参照画像領域、Ｉ^ｆ（ｘ，ｙ）はフレームｆでの画
像上での座標（ｘ，ｙ）での輝度、Ｉ^ｆ＋１（ｘ＋ｕ，
ｙ＋ｖ）はフレームｆ＋１での画像上での座標（ｘ＋
ｕ，ｙ＋ｖ）での輝度である。

【０００５】ところで、このような相関演算法の場合、
上記したような２つのフレーム画像におけるある対象物
について所定値以上のマッチング正解率を期待すると、
参照画像領域を大きくする必要があり、その際探索方向
を２次元にすると計算量が勢い増加してしまう。

【０００６】

【発明が解決しようとする課題】このような観点から、
例えば図１１に示すように、計算方向を１次元方向、つ
まり撮像方向を示す１点に対応する無限遠点からの放射
状方向に限定し、計算量を低減することが従来行われて
いる。

【０００７】また、車速と組み合わせることによって、
車両運動から計算される移動量と、画像処理によって求
めたオプティカルフローとの一致、不一致によってフロ
ー精度を向上することも提案されている。例えば図１２
に示すように、自車速ｖと２次元−３次元投影式から、
風景の無限遠点への画像上における移動量ｄ＿ｍｉｎｕ
ｓと、無限遠点から自車との相対速度で迫る追い越し車
両等の移動物体の画像上での最大移動量ｄ−ｐｌｕｓと
を計算することができる。

【０００８】しかしながら、これらの手法では、依然と
して計算量が多く、高速演算が可能なＣＰＵが必要とな
るため、実用化において大きな支障となり、自車との相
対速度の大きい移動物体を認識することが非常に困難で
あるという問題があった。

【０００９】そこで、本発明は、相関演算法におけるオ
プティカルフローの計算量を大幅に低減し、自車との相
対速度の大きい移動物体の認識も可能にすることを目的
とする。

【００１０】

【課題を解決するための手段】上記した目的を達成する
ために、本発明にかかる移動物体の認識方法は、走行中
に自車に搭載した撮像手段により自車後側方を撮像し、
所定時間相前後した２つのフレーム画像中にそれぞれ所
定の大きさに設定される参照画像領域内における各画素
毎の輝度差の累積和が最小となるかどうかを探索し、最
小となれば前記両参照画像領域が同一物体を表わすべく
マッチングしていると判断して前記両参照画像領域の移
動をオプティカルフローとして導出し、導出した前記オ
プティカルフローの方向及び大きさから自車後側方の移
動物体を認識する移動物体の認識方法において、前記フ
レーム画像について、走行中の自車から撮像方向を示す
１点に対応する無限遠点から放射状の探索ライン上にそ
れぞれ複数の計算点を定め、現在より所定時間前の前フ
レーム画像中のある計算点に前記参照画像領域を設定す
ると共に、前記前フレーム画像から前記所定時間後の現
在フレーム画像中に、前記探索ラインに沿って移動した
位置に前記参照画像領域を設定し、前記前フレーム画像
の前記参照画像領域、及び、前記現在フレーム画像の前
記参照画像領域について、これら参照画像領域内におけ
る各画素毎の輝度差の累積和を演算してこの累積和の最
小値を求めて保持しておき、ある時刻における前記フレ
ーム画像中の前記計算点に設定される前記参照画像領域
と、その所定時間後の次フレーム画像中の前記計算点に
設定される前記参照画像領域との前記累積和を演算して
マッチングを判断する際に、その演算途中で前記最小値
を超えるときには超えた時点で演算を中止し、演算終了
時に前記最小値を下回るときには前記最小値を更新する
ことを特徴としている。

【００１１】このような構成によれば、ある時刻におけ
るフレーム画像と、その所定時間後の次フレーム画像に
ついて、参照画像領域内の各画素毎の輝度差の累積和を
演算している途中で、その累積和が保持しておいた最小
値を超えるときにはその時点でその演算を中止するた
め、従来に比べてオプティカルフローの計算量を大幅に
低減することができ、自車との相対速度の大きい移動物
体であっても容易にそのオプティカルフローを計算して
認識することができる。

【００１２】このとき、演算終了時に累積和が保持して
おいた最小値を超えなければ、今回の演算による累積和
が新たな最小値をとして更新されるため、マッチングの
精度が低下することはない。

【００１３】また、本発明にかかる移動物体の認識方法
は、前記前フレーム画像に最初に前記参照画像領域を設
定する際に、前記前フレーム画像中において自車速と同
じ大きさの相対速度で移動する風景部分に設定し、前記
前フレーム画像から前記所定時間後の前記現在フレーム
画像中には、自車速に応じた量だけ所定の前記探索ライ
ンを前記無限遠点に向かう方向に移動した位置に前記参
照画像領域を設定することを特徴としている。

【００１４】このような構成によれば、風景部分は自車
速と同じ大きさの相対速度で、自車と反対方向に移動す
るため、そのような風景部分に累積和の最小値を与える
計算点を設定することで、輝度差の累積和の最小値を容
易に求めることができる。

【００１５】また、本発明にかかる移動物体の認識方法
は、前記前フレーム画像に最初に前記参照画像領域を設
定する際に、前記前フレーム画像中において自車速に対
してある相対速度で移動する移動部分に設定し、前記前
フレーム画像から前記所定時間後の前記現在フレーム画
像中には、自車速に対する相対速度に応じた量だけ所定
の前記探索ラインに沿って移動した位置に前記参照画像
領域を設定し、前記自車に対する相対速度が自車速より
も大きいかどうかにより、前記現在フレーム画像に設定
すべき前記参照画像領域の位置を前記探索ラインに沿っ
て前記無限遠点から離れる方向にするかその反対方向に
するかを決定することを特徴としている。

【００１６】このような構成によれば、例えば自車を追
い越す追い越し車両の場合には、相対速度は無限遠点か
ら離れる方向であることから、現在フレーム画像中に無
限遠点から離れる方向に相対速度に応じた量だけ移動し
た位置に参照画像領域を設定することにより、追い越し
車両についてのマッチングの基準となる累積和を容易に
得ることができる。

【００１７】また、本発明にかかる移動物体の認識方法
は、前記無限遠点付近では前記計算点の数を密にし、前
記撮像手段付近では前記計算点の数を粗にすることを特
徴としている。このような構成によれば、例えば自車の
後側方を撮像中に、追い越し車両が自車に接近しても、
計算量に大きな影響を与える自車近辺の計算点の数が少
ないことから、いたずらに計算量が増加することもな
く、追い越し車両の認識を迅速に行うことができる。

【００１８】また、本発明にかかる移動物体の認識方法
は、前記各計算点について、前記現在フレーム画像にお
いてマッチングにより得られたオプティカルフローの方
向を保持しておき、前記次フレーム画像では、その保持
したオプティカルフローの方向から探索を開始すること
を特徴としている。

【００１９】このような構成によれば、前のフレームに
おけるオプティカルフローの方向から探索を開始するた
め、オプティカルフローの計算における上記した輝度差
の累積和が最小値を超えて計算が中止される確率が非常
に高くなり、自車との相対速度の大きい移動物体のオプ
ティカルフローを計算するときに、その計算量の低減に
大きく寄与することができる。

【００２０】また、本発明にかかる移動物体の認識方法
は、前記撮像手段と同じ方向を観測する距離検出手段を
設け、前記距離検出手段により、前記累積和の最小値を
与える前記計算点を定めるための基準となる反射点を特
定することを特徴としている。

【００２１】このような構成によれば、距離検出手段に
より検出される距離変化から、ある対象物の相対速度が
わかり、累積和の最小値を与える計算点を定める際に、
そこが風景部分であるのかどうか簡単に判断することで
き、累積和の最小値を与える計算点の設定を容易に行う
ことができる。

【００２２】また、本発明にかかる移動物体の認識方法
は、前記距離検出手段が、レーザ光をその照射方向と直
交方向に走査しつつ照射し、反射光を観測するまでの時
間を計測して反射点までの距離を検出するスキャンレー
ザレーダであり、前記スキャンレーザレーダの走査時間
が前記所定時間に設定されていることを特徴としてい
る。

【００２３】このような構成によれば、スキャンレーザ
レーダは、ある程度の水平視野をもって距離検出を行う
ことができるため、撮像手段による撮像範囲とほぼ同じ
範囲内で距離検出を行い、累積和の最小値を与える計算
点の設定をより容易に行うことができる。

【００２４】

【発明の実施の形態】（第１実施形態）この発明の第１
実施形態について図１ないし図５を参照して説明する。
但し、図１はブロック図、図２ないし図５は動作説明図
である。

【００２５】図１に示すように、自車に撮像手段として
の単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ１
により自車の後側方が撮像され、得られた各時刻毎のフ
レーム画像がＣＰＵ２によりＲＡＭ等から成るメモリ３
に保存される。そして、ＣＰＵ２は各フレーム画像を処
理して画像中の対象物のオプティカルフローを計算して
その移動量を求め、その対象物が車両かどうか認識す
る。

【００２６】即ち、ＣＰＵ２により、各フレーム画像に
ついて、走行中の自車から撮像方向を示す１点に対応す
る無限遠点から放射状の探索ライン上にそれぞれ複数の
計算点が定められ、図２に示すように、現在より所定時
間であるΔｔ時間前の時刻Ｔにおける前フレーム画像中
のある計算点に、所定の大きさの参照画像領域（図２中
の矩形）が設定されると共に、前フレーム画像から所定
時間であるΔｔ時間後の時刻Ｔ＋１における現在フレー
ム画像に、探索ライン（図２中の直線）上を移動した位
置に参照画像領域が設定され、前フレーム画像の参照画
像領域、及び、現在フレーム画像の参照画像領域につい
て、これら参照画像領域内における各画素毎の輝度差の
累積和が演算されてこの累積和の最小値Ｃｏｒｒ＿ｍｉ
ｎが早い段階で求められてメモリ３に保持される。

【００２７】このとき、前フレーム画像に最初に参照画
像領域を設定する際、その前フレーム画像中において自
車速ｖと同じ大きさの相対速度で自車と反対方向に移動
する風景部分に設定し、前フレーム画像からΔｔ時間後
の現在フレーム画像中には、自車速に応じた量だけ探索
ラインを無限遠点に向かう方向に移動した位置に参照画
像領域を設定するとよい。

【００２８】その理由として、風景部分は自車速ｖと同
じ大きさの相対速度で、自車と反対方向に移動するた
め、そのような風景部分に累積和の最小値Ｃｏｒｒ＿ｍ
ｉｎを与える計算点を設定することで、輝度差の累積和
の最小値Ｃｏｒｒ＿ｍｉｎをかなりの高確率で簡単に求
めることができるからである。

【００２９】一方、前フレーム画像に最初に参照画像領
域を設定する際、前フレーム画像中において自車速に対
してある相対速度で移動する例えば追い越し車両部分に
設定し、前フレーム画像からΔｔ時間後の現在フレーム
画像中には、自車速ｖに対する相対速度に応じた量だけ
探索ラインに沿って移動した位置に参照画像領域を設定
し、そのとき追い越し車両は自車に対する相対速度が自
車速よりも大きいことから、現在フレーム画像に設定す
べき参照画像領域の位置を探索ラインに沿って無限遠点
から離れる方向に設定すればよい。

【００３０】こうすると、かなりの高確率で追い越し車
両部分に参照画像領域を設定して輝度差の累積和の最小
値Ｃｏｒｒ＿ｍｉｎを比較的簡単に求めることができ
る。

【００３１】また、無限遠点付近では前記計算点の数を
密にし、前記撮像手段付近では前記計算点の数を粗にす
るのが望ましい。こうすれば、自車の後側方を撮像中
に、追い越し車両が自車に接近しても、計算量に大きな
影響を与える自車近辺の計算点の数が少ないことから、
いたずらに計算量が増加することもなく、追い越し車両
の認識を迅速に行うことができる。

【００３２】そして、ＣＰＵ２により、ある時刻Ｔ＋１
におけるフレーム画像中の計算点に設定される参照画像
領域と、その所定時間であるΔｔ時間後の時刻Ｔ＋２に
おける次フレーム画像において、探索ライン（図２中の
直線）を無限遠点に向かう方向に移動した計算点に設定
される参照画像領域との各画素毎の輝度差の累積和が演
算され、その演算途中において、図３に示すように、演
算中の累積和が予め求めておいた最小値Ｃｏｒｒ＿ｍｉ
ｎを超えるときには、その時点で演算が中止されるよう
になっている。

【００３３】尚、演算終了時の累積和が予め求めておい
た最小値Ｃｏｒｒ＿ｍｉｎを超えなければ、ＣＰＵ２に
より、新たにそのときの累積和が最小値Ｃｏｒｒ＿ｍｉ
ｎとしてメモリ３に更新保持される。こうすれば、マッ
チング精度の低下を防止することができる。

【００３４】また、図４（ａ）に示すように、各計算点
（図中の○印）について、時刻Ｔ＋１の現在フレーム画
像において、無限遠点からの探索ラインにおいてマッチ
ングにより得られたオプティカルフローの方向が、例え
ば無限遠点から離れる方向にであれば、同図（ａ）中の
“−（マイナス）”、無限遠点に向かう方向であれば、
同図（ａ）中の“＋（プラス）”というように、マッチ
ング方向を保持しておき、Δ時間後の時刻Ｔ＋２の次フ
レーム画像では、同図（ｂ）に示すように、前回保持し
たオプティカルフローの方向から探索が開始されるよう
になっている。

【００３５】こうすると、次のフレーム画像について、
前のフレームにおけるオプティカルフローの方向から探
索を開始するため、オプティカルフローの計算における
上記した輝度差の累積和が最小値を超えて計算が中止さ
れる確率が非常に高くなり、自車との相対速度の大きい
移動物体のオプティカルフローを計算するときにもその
計算量のいっそうの低減を図ることができる。

【００３６】更に、次のフレームでは、前のフレームに
おいてマッチングしてオプティカルフローの方向が得ら
れた位置を中心にして、図５中に付した番号“１”，
“２”，…順に＋、−の両方向に交互に探索を繰り返す
ようにしてもよい。こうすれば、ほとんどの場合、前回
のマッチング位置の近傍で今回もマッチングが得られる
ため、より計算量の低減を図ることができる。

【００３７】従って、第１実施形態によれば、ある時刻
Ｔにおけるフレーム画像と、その所定時間であるΔｔ時
間後の時刻Ｔ＋１における次フレーム画像について、参
照画像領域内の各画素毎の輝度差の累積和を演算してい
る途中で、その累積和が保持しておいた最小値を超える
ときにはその時点でその演算を中止するため、従来に比
べてオプティカルフローの計算量を大幅に低減すること
ができ、自車との相対速度の大きい移動物体であっても
容易にそのオプティカルフローを計算して認識すること
が可能になる。

【００３８】更に、演算終了時に累積和が保持しておい
た最小値を超えなければ、今回の演算による累積和が新
たな最小値として更新されるため、マッチングの精度が
低下することを防止できる。

【００３９】（第２実施形態）この発明の第２実施形態
について図６ないし図９を参照して説明する。但し、図
６はブロック図、図７ないし図９は動作説明図である。
尚、本実施形態において、ＣＰＵ２の基本的な機能は第
１実施形態と略同じであるため、以下では、主として第
１実施形態と異なる点について説明することとし、重複
した説明は省略する。

【００４０】本実施形態では、図６に示すように、ＣＣ
Ｄカメラ１と同じ自車後側方を観測する距離検出手段と
して、レーザ光をその照射方向と直交する水平方向に走
査しつつ照射し、反射光を観測するまでの時間を計測し
て反射点までの距離を検出するスキャンレーザレーダ４
を設け、このスキャンレーザレーダ４により、自車速と
同じ大きさの相対速度で自車と反対方向に移動する反射
点を特定し、特定したその反射点を、累積和の最小値を
与える計算点とするようにしている。

【００４１】但し、キャンレーザレーダ４の走査時間
は、上記したマッチングを得るためのフレーム画像のサ
ンプリング周期であるΔｔ（本発明における所定時間）
に設定するのが望ましい。

【００４２】こうすると、図７に示すように、時刻ｔ及
び時刻ｔ＋１において、自車に対する障害物Ａ，Ｂがど
のように移動したかがスキャンレーザレーダ４の出力変
化からわかり、障害物Ａ，Ｂの自車に対する相対速度及
び方向がわかる。

【００４３】ところで、スキャンレーザレーダ４による
１サンプリング周期での反射点データの距離変化は、そ
のまま自車に対する障害物の相対速度を表わし、また図
９に示す３次元空間と２次元画像平面の投影式より、図
８に示すように、３次元空間中での移動ベクトルは２次
元画像平面での移動ベクトルに変換することができる。

【００４４】つまり、図８に示す参照画像領域Ｉａの画
像がどの部分に移動したかを探索する上記の輝度差計算
を、参照画像領域Ｉｂの近辺だけで行うことができるよ
うになり、風景などの反射データがない部分に対して
は、輝度差計算を一切行わなくても、スキャンレーザレ
ーダ４による測定結果から、障害物が存在しないことを
ある程度裏付けることができるため、風景部分に対する
計算量を第１実施形態の場合よりもかなり低減すること
ができる。

【００４５】また、スキャンレーザレーダ４は、不検出
を防止するために、通常高感度に設定されノイズを計測
しやすいが、本発明の場合、例えばベクトルａｂが誤検
出であったときには、参照画像領域ＩａとＩｂの相関演
算値が一致しないため、スキャンレーザレーダ４のノイ
ズであると判定することができ、移動物体の認識精度の
向上に寄与することができる。

【００４６】従って、第２実施形態によれば、スキャン
レーザレーダ４により検出される距離変化から、ある対
象物の相対速度がわかり、上記した２つのフレーム画像
中の参照画像領域内における各画素毎の輝度差の累積和
の最小値を与える計算点を定める際に、そこが風景部分
であるのか自車以外の車両であるのかを簡単に判断する
ことできるため、累積和の最小値を与える計算点の設定
を容易に行うことができる。

【００４７】さらに、スキャンレーザレーダ４は、ある
程度の水平視野をもって距離検出を行うことができるた
め、ＣＣＤカメラによる撮像範囲とほぼ同じ範囲内で距
離検出を行い、累積和の最小値を与える計算点の設定を
より容易に行うことができる。

【００４８】なお、第２実施形態では、距離検出手段と
して、スキャンレーザレーダ４を用いた場合について説
明したが、距離検出手段はスキャンレーザレーダに限定
されるものでないのは勿論である。

【００４９】更に、上記した各実施形態では、撮像手段
として単眼のＣＣＤカメラ１を用いた場合について説明
したが、撮像手段は上記したＣＣＤカメラに限定される
ものでないのはいうまでもない。

【００５０】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。

【００５１】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、ある時刻におけるフレーム画像と、その所定時
間後の次フレーム画像について、参照画像領域内の各画
素毎の輝度差の累積和を演算している途中で、その累積
和が保持しておいた最小値を超えるときにはその時点で
その演算を中止するため、従来に比べてオプティカルフ
ローの計算量を大幅に低減することができ、自車との相
対速度の大きい移動物体であっても容易にそのオプティ
カルフローを計算して認識することが可能になり、高度
で快適な運転支援システムの提供に貢献することができ
る。

【００５２】更に、演算終了時に累積和が保持しておい
た最小値を超えなければ、今回の演算による累積和が新
たな最小値をとして更新されるため、マッチングの精度
が低下することを防止できる。

【００５３】また、請求項２に記載の発明によれば、風
景部分は自車速と同じ大きさの相対速度で、自車と反対
方向に移動するため、そのような風景部分に累積和の最
小値を与える計算点を設定することで、輝度差の累積和
の最小値を容易に求めることが可能になる。

【００５４】また、請求項３に記載の発明によれば、例
えば自車を追い越す追い越し車両の場合には、相対速度
は無限遠点から離れる方向であることから、現在フレー
ム画像中に無限遠点から離れる方向に相対速度に応じた
量だけ移動した位置に参照画像領域を設定することによ
り、追い越し車両についてのマッチングの基準となる累
積和を容易に得ることが可能になる。

【００５５】また、請求項４に記載の発明によれば、例
えば自車の後側方を撮像中に、追い越し車両が自車に接
近しても、計算量に大きな影響を与える自車近辺の計算
点の数が少ないことから、いたずらに計算量が増加する
こともなく、追い越し車両の認識を迅速に行うことが可
能になる。

【００５６】また、請求項５に記載の発明によれば、前
のフレームにおけるオプティカルフローの方向から探索
を開始するため、オプティカルフローの計算における上
記した輝度差の累積和が最小値を超えて計算が中止され
る確率が非常に高くなり、自車との相対速度の大きい移
動物体のオプティカルフローを計算するときに、その計
算量の低減に大きく寄与することが可能になる。

【００５７】また、請求項６に記載の発明によれば、距
離検出手段により検出される距離変化から、ある対象物
の相対速度がわかり、累積和の最小値を与える計算点を
定める際に、そこが風景部分であるのかどうか簡単に判
断することでき、累積和の最小値を与える計算点の設定
を容易に行うことが可能になる。

【００５８】また、請求項７に記載の発明によれば、ス
キャンレーザレーダは、ある程度の水平視野をもって距
離検出を行うことができるため、撮像手段による撮像範
囲とほぼ同じ範囲内で距離検出を行い、累積和の最小値
を与える計算点の設定をより容易に行うことが可能にな
る。

【図面の簡単な説明】

【図１】この発明の第１実施形態のブロック図である。

【図２】この発明の第１実施形態の動作説明図である。

【図３】この発明の第１実施形態の動作説明図である。

【図４】この発明の第１実施形態の動作説明図である。

【図５】この発明の第１実施形態の動作説明図である。

【図６】この発明の第２実施形態のブロック図である。

【図７】この発明の第２実施形態の動作説明図である。

【図８】この発明の第２実施形態の動作説明図である。

【図９】この発明の第２実施形態の動作説明図である。

【図１０】従来例の動作説明図である。

【図１１】従来例の動作説明図である。

【図１２】従来例の動作説明図である。

【符号の説明】１ＣＣＤカメラ（撮像手段）２ＣＰＵ３メモリ４スキャンレーザレーダ（距離検出手段）

Claims

【特許請求の範囲】

【請求項１】走行中に自車に搭載した撮像手段により
自車後側方を撮像し、所定時間相前後した２つのフレー
ム画像中にそれぞれ所定の大きさに設定される参照画像
領域内における各画素毎の輝度差の累積和が最小となる
かどうかを探索し、最小となれば前記両参照画像領域が
同一物体を表わすべくマッチングしていると判断して前
記両参照画像領域の移動をオプティカルフローとして導
出し、導出した前記オプティカルフローの方向及び大き
さから自車後側方の移動物体を認識する移動物体の認識
方法において、前記フレーム画像について、走行中の自車から撮像方向
を示す１点に対応する無限遠点から放射状の探索ライン
上にそれぞれ複数の計算点を定め、現在より所定時間前の前フレーム画像中のある計算点に
前記参照画像領域を設定すると共に、前記前フレーム画
像から前記所定時間後の現在フレーム画像中に、前記探
索ラインに沿って移動した位置に前記参照画像領域を設
定し、前記前フレーム画像の前記参照画像領域、及び、前記現
在フレーム画像の前記参照画像領域について、これら参
照画像領域内における各画素毎の輝度差の累積和を演算
してこの累積和の最小値を求めて保持しておき、ある時刻における前記フレーム画像中の前記計算点に設
定される前記参照画像領域と、その所定時間後の次フレ
ーム画像中の前記計算点に設定される前記参照画像領域
との前記累積和を演算してマッチングを判断する際に、
その演算途中で前記最小値を超えるときには超えた時点
で演算を中止し、演算終了時に前記最小値を下回るとき
には前記最小値を更新することを特徴とする移動物体の
認識方法。
【請求項２】前記前フレーム画像に最初に前記参照画
像領域を設定する際に、前記前フレーム画像中において
自車速と同じ大きさの相対速度で移動する風景部分に設
定し、前記前フレーム画像から前記所定時間後の前記現
在フレーム画像中には、自車速に応じた量だけ所定の前
記探索ラインを前記無限遠点に向かう方向に移動した位
置に前記参照画像領域を設定することを特徴とする請求
項１に記載の移動物体の認識方法。
【請求項３】前記前フレーム画像に最初に前記参照画
像領域を設定する際に、前記前フレーム画像中において
自車速に対してある相対速度で移動する移動部分に設定
し、前記前フレーム画像から前記所定時間後の前記現在
フレーム画像中には、自車速に対する相対速度に応じた
量だけ所定の前記探索ラインに沿って移動した位置に前
記参照画像領域を設定し、前記自車に対する相対速度が
自車速よりも大きいかどうかにより、前記現在フレーム
画像に設定すべき前記参照画像領域の位置を前記探索ラ
インに沿って前記無限遠点から離れる方向にするかその
反対方向にするかを決定するすることを特徴とする請求
項１に記載の移動物体の認識方法。
【請求項４】前記無限遠点付近では前記計算点の数を
密にし、前記撮像手段付近では前記計算点の数を粗にす
ることを特徴とする請求項１または２に記載の移動物体
の認識方法。
【請求項５】前記各計算点について、前記現在フレー
ム画像においてマッチングにより得られたオプティカル
フローの方向を保持しておき、前記次フレーム画像で
は、その保持したオプティカルフローの方向から探索を
開始することを特徴とする請求項１ないし４のいずれか
に記載の移動物体の認識方法。
【請求項６】前記撮像手段と同じ方向を観測する距離
検出手段を設け、前記距離検出手段により、前記累積和
の最小値を与える前記計算点を定めるための基準となる
反射点を特定することを特徴とする請求項１ないし５の
いずれかに記載の移動物体の認識方法。
【請求項７】前記距離検出手段が、レーザ光をその照
射方向と直交方向に走査しつつ照射し、反射光を観測す
るまでの時間を計測して反射点までの距離を検出するス
キャンレーザレーダであり、前記スキャンレーザレーダ
の走査時間が前記所定時間に設定されていることを特徴
とする請求項６に記載の移動物体の認識方法。