JP2007249257A - 移動体検出装置および移動体検出方法 - Google Patents

Abstract

【課題】自車両前方の画像を処理して特徴点を抽出し、抽出した特徴点を示す画素の移動情報および位置に基づいて移動体を検出するとともに、移動体の幅および他の移動体との位置関係に基づいて移動体の中から歩行者を検出する移動体検出装置および移動体検出方法を提案する。
【解決手段】撮像部１０１で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部１０３と、特徴点を表す画素の画像上の移動速度および移動方向を移動情報として算出する移動情報算出部１０５と、画素の位置を所定の範囲の俯瞰座標における位置に変換する座標変換部１０４と、変換後の画素の位置および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部１０７と、移動体の場合は特徴点の幅および他の移動体との位置関係に基づいて歩行者かどうかを判定する移動体識別部１０８とを備える制御部１００を備える。
【選択図】図１

Description

本発明は、移動体検出装置および移動体検出方法に関するものである。

一般に、車載カメラの撮像画像からオプティカルフロー（画像速度情報）を利用して歩行者や車両等の移動体を検出する移動体検出装置と移動検出方法が多数提案されている。例えば、撮像画像のオプティカルフローを求め、自車両の動きに基づいて抽出した撮像画像の背景のオプティカルフローと撮像画像全体のオプティカルフローとの比較により、移動体を検出する移動体検出方法が提案されている（特許文献１）。
特開２００４−５６７６３号

このような移動体検出装置または移動体検出方法では、移動体を検出するために背景のオプティカルフローを算出する必要がある。ここで、背景のオプティカルフローは、自車両前方の空間モデルを推定し、この空間モデルと自車両の動きに基づいて算出しているが、微小時間ではこの推定の精度が低くなってオプティカルフローの検出精度も低下し、移動体を高い精度で検出することが難しいという問題が生じていた。

上記課題を解決するために、本発明の移動体検出装置は、自車両前方の画像を撮像する撮像部および、前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴としている。

上記構成によれば、カメラで撮像した画像を画像処理することで、カメラの撮像範囲内における平面物と立体物を識別するとともに、立体物が移動体であるかどうかを識別し、さらに検出した立体物の中から歩行者を識別することができ、高精度で歩行者の検出が可能である。

以下、この発明の実施の形態を図面に基づいて説明する。

図１は、第１の実施例における移動体検出装置の構成例を示すブロック図である。

移動体検出装置１０は車両に搭載され、車両前方を撮像する撮像部であるカメラ１０１および、カメラ１０１で撮像した画像を一時的に記録する画像一時記録部１０２と、画像一時記録部１０２に記憶された画像を画像処理することで特徴点を抽出する特徴点抽出部１０３と、特徴点抽出部１０３により抽出された特徴点の位置を俯瞰画像上の位置に変換する座標変換部１０４と、特徴点抽出部１０３により抽出された特徴点の画像上における速度および方向を移動情報として算出する移動情報算出部１０５と、移動情報算出部１０５により算出された特徴点の速度値に基づいて特徴点のグループ化を行うグループ化部１０６と、座標変換部１０４により変換された俯瞰座標の情報および移動情報算出部１０５により算出された特徴点の移動情報およびグループ化部１０６によりグループ化された特徴点のグループ化情報に基づいて特徴点が平面物であるか立体物であるかを判定するとともに、特徴点が立体物である場合には移動体であるかどうかを判定する物体属性判定部１０７と、特徴点が移動体である場合に、移動体の幅および前記移動体と他の立体物との位置の関係に基づいて特徴点が歩行者であるかどうかを判定する移動体識別部１０８とを有する制御部１００を備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有したカメラであり、連続的に車両前方を撮像してフレーム毎に撮像した画像を画像一時記録部１０２に出力する。カメラ１０１で撮像された画像は、画像一時記録部１０２に一時的に記録される。ここで、図２に示すように、カメラ１０１は車両の室内上部前方に設置され、その光軸ＬＳは車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸Ｘ（図示省略）は路面と平行となるように、また撮像面の垂直軸Ｙ（図示省略）は路面と垂直になるように設定されている。

カメラ１０１で撮像した画像（自車両前方の画像）の例を図３に示す。カメラ１０１による撮像画像は、画像左上を原点として左から右へx軸、上から下へy軸とするｘｙ座標系によって表される。なお、図３においては、左右の走路脇に設置された縁石、白線、外壁などの走路の境界線と、左から右へ移動する歩行者が撮像画像に含まれている。

特徴点抽出部１０３は、カメラ１０１で撮像された画像を画像一時記録部１０２から読み込み、読み込んだ撮像画像を所定の閾値を用いて２値化することによって、画像内に存在する物体のエッジを抽出する。図４（ａ）に、抽出した垂直方向のエッジ例を示す。次に、抽出した各エッジに対して、細線化処理を行ってエッジ幅を絞り、エッジの中心を正確に設定する（図４（ｂ）参照）。さらに、細線化されたエッジのエッジ幅が一定の幅となるように、例えば３画素分の幅となるように、エッジを水平方向に拡張する（図４（ｃ）参照）。この操作により、抽出したエッジが正規化され、各エッジが均一の幅を持つエッジ画像を得ることができる。

移動情報算出部１０５は、エッジに該当する画素の画素カウンタのカウンタ値を更新する。ここで、画素カウンタとは、各画素毎に設定されたカウンタであり、画素がエッジに該当する場合に画素カウンタのカウンタ値が＋１加算され、画素がエッジに該当しない場合は画素カウンタのカウンタ値が０となって初期化されるカウンタである。このカウンタ値の更新処理を、カメラ１０１で連続的に撮像されるフレーム毎に行う。この操作により、エッジに該当する時間が長い画素は画素カウンタのカウンタ値が大きくなり、エッジに該当する時間が短い画素は画素カウンタのカウンタ値が小さくなる。

この画素カウンタのカウンタ値の変化は、エッジの移動方向と移動量を表していることになるため、このカウンタ値から、撮像画像上におけるエッジの移動方向と移動速度とを算出することができる。

次に、撮像画像上に存在するエッジの速度成分を所定の階級値に分類して表した速度画像を生成する。本実施例における速度画像は、図５に示すように、速度が検出されたエッジの画素を丸型の点で表し、移動速度が速い画素ほど点を大きく示す。また、右へ向かう速度を黒点で表し、左へ向かう速度を白点で表すことによって移動方向を表している。図５においては、自車両の走行路右側の縁石および白線からは画像の右側へ向かう速度が検出されており、走行路左側の外壁からは画像の左側へ向かう速度が検出されている。また、走行路左側から右へ移動する歩行者では、画像の右側へ向かう速度が検出されている。

グループ化部１０６は、算出した速度画像から立体物を抽出するために、速度画像を分割する領域を設定する。すなわち、図６に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を複数の領域で分割する。

次に、各領域毎に、画像の縦方向において同じ速度で連続する画素をグループ化することにより、立体物を検出する。すなわち、画像の下部から上部に向かって各領域を走査し、領域内に速度を持った画素が存在する場合、その画素の上方に隣接する速度を持った画素との速度差を比較し、速度差が閾値Ｔ１以下である場合には、車両に対して同じ速度で移動する物体であると推定できることから、同じ物体であると判定してグループ化を行う。そして、同じ速度でグループ化された画素の上端位置（請求項における最上部）と下端位置（請求項における最下部）を検出する。この処理により、図６における下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３が検出される。

座標変換部１０４は、ｘｙ平面上で抽出した下端ＢＬ１〜ＢＬ１３及び上端ＴＬ１〜ＴＬ１３の中心位置を座標とする下端点ＢＰ１〜ＢＰ１３（図示省略）および上端点ＴＰ１〜ＴＰ１３（図示省略）の位置を、規定の面積を備えたＺＸ平面（以下、規定のＺＸ平面と呼ぶ）上の点として俯瞰変換する。

ここで、各点の位置を表す座標を（ｘ、ｙ）とし、カメラの路面からの高さをＣｈ（ｍ）、カメラの俯角をＴｒ（ｒａｄ）、画像の縦サイズをＩｈ、画像の横サイズをＩｗ、高さ方向の１画素あたりの角度分解能をＰＹｒ（ｒａｄ）、横方向の１画素あたりの角度分解能をＰＸｒ（ｒａｄ）とすると、ｘｙ平面上の点ＴＰ１〜ＴＰ１１及びＢＰ１〜ＢＰ１１は、次式に従ってＺＸ平面の座標（Ｚ、Ｘ）に変換される。

（式１）Ｚ＝(Ｃｈ)／(ＴＡＮ(Ｔｒ＋(ｙ−Ｉｈ／２)×ＰＹｒ))
（式２）Ｘ＝ｘ×ＴＡＮ((Ｚ-Ｉｗ／２)×ＰＸｒ)
ここで、上端点ＴＰ１〜ＴＰ１３、下端点ＢＰ１〜ＢＰ１３の変換後の点を、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３とする。

物体属性判定部１０７は、上端点の座標変換点ＲＴ１〜ＲＴ１３、下端点の座標変換点ＲＢ１〜ＲＢ１３が、規定のＺＸ平面を分割して設定した領域のうちどの領域に位置するかの判定を行う（図７参照）。ここで、車両の上下動に伴いカメラ１０１の撮像映像も上下に動き、座標変換点が位置する領域も変動してしまう可能性がある。この影響を避けるため、ＺＸ平面を分割して設定する領域はメーターオーダーで設定することが望ましい。本実施例では、ｘ軸方向は、−５．２５ｍ＞ｘ、−５．２５≦ｘ＜−３．５ｍ、−３．５ｍ≦ｘ＜−１．７５ｍ、−１．７５ｍ≦ｘ＜０ｍ、０ｍ≦ｘ＜１．７５ｍ、１．７５ｍ≦ｘ＜３．５ｍ、３．５ｍ≦ｘ＜５．２５ｍ、５．２５ｍ≦ｘ、として８分割し、ｚ軸方向は、０ｍ≦ｚ＜１０ｍ、１０ｍ≦ｚ＜２０ｍ、２０ｍ≦ｚ＜３０ｍ、３０ｍ≦ｚ＜４０ｍ、４０ｍ≦ｚ＜５０ｍとして５分割して、領域１１〜領域１５、領域２１〜領域２５、領域３１〜領域３５、領域４１〜領域４５、領域５１〜領域５５、領域６１〜領域６５、領域７１〜領域７５、領域８１〜領域８５を設定している。また、領域１１〜領域１５を領域１０とし、領域２１〜領域２５を領域２０とし、領域３１〜領域３５を領域３０とし、領域４１〜領域４５を領域４０とし、領域５１〜領域５５を領域５０とし、領域６１〜領域６５を領域６０とし、領域７１〜領域７５を領域７０とし、領域８１〜領域８５を領域８０としている。

そして、ｘｙ平面の同一の縦方向領域における上端点の座標変換点と上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の同一の領域に位置すれば、上端点と下端点が路面上にある、すなわち路面上の平面物体であると判定する。また、上端点の座標変換点が規定のＺＸ平面外に位置し、上端点と同一のグループの下端点の座標変換点が規定のＺＸ平面の領域に位置すれば、下端点のみ路面上にある、すなわち立体物であると判定する。ここで、走路境界を検出するために、各領域に設定したカウンタのうち下端点の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算し、下端点の位置情報分布を算出する。

例えば、本実施例では、上端点ＴＰ１〜ＴＰ７の座標変換点ＲＴ１〜ＲＴ７は図７に示す規定のＺＸ平面外に投影されるため、上端点ＴＰ１〜ＴＰ７を含むグループは立体物であると判定され、上端点ＴＰ１〜ＴＰ７を含むエッジはｘｙ平面上で立体物ＯＢ１〜ＯＢ７として判定される。また上端点ＴＰ８〜ＴＰ１３の座標変換点ＲＴ８〜ＲＴ１３は下端点ＢＰ８〜ＢＰ１３の座標変換点ＲＢ８〜ＲＢ１３と同じ領域に位置するため、上端点ＴＰ８〜ＴＰ１３を含むグループは路面上に位置する物であると判定される。ここで、走路境界を検出するために、下端点の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。

そして、図８に示すように、得られた下端点の座標変換点の位置分布から、走路境界線が存在する可能性が高い領域を抽出する。すなわち、得られた下端点の座標変換点の位置分布において、同じｘ軸領域で複数のｚ軸領域にカウンタ値が存在すれば、自車両前方に走路境界が車両に沿って直線状に存在すると推定できるため、カウンタ値がある領域を走路境界領域として抽出する。例えば、図８では、ｘ軸が同じ範囲の領域３０において、複数のｚ軸領域（下端点ＲＢ１、ＲＢ４、ＲＢ６が位置する領域）にカウンタ値が存在するため、これらの領域を走路境界領域として抽出する。領域５０、領域８０についても同様である。

そして、抽出した領域に走路境界を示す直線が存在するかどうかの判定を行う（図８参照）。すなわち、抽出した領域に存在する下端点の座標変換点に基づいて、ｘｙ座標系での回帰分析を行い、下端点を通る直線の傾きを算出する。例えば、本実施例の領域３０では、領域３０に存在する下端点の座標変換点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ座標における下端点ＢＰ１、ＢＰ４、ＢＰ６の座標位置からｘｙ座標系での回帰分析を行い、下端点ＢＰ１、ＢＰ４、ＢＰ６を通る直線の傾きａ３を算出する。同様に、領域５０、領域８０に位置する下端点の投影点に対応した直線の傾きａ５、ａ８を算出する。そして、算出した直線の傾きが所定の範囲内に入っていれば、抽出した領域内に走路境界を示す直線が存在すると判定する。すなわち、下端点の座標変換点が位置するｘ軸領域の左端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＬ１〜ＰＬ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ１と、下端点の座標変換点が位置するｘ軸領域の右端座標と各Ｚ軸領域の代表座標（例えば中心座標）を座標とする点（例えば図８のＰＲ１〜ＰＲ５）をｘｙ座標系に変換して回帰分析して算出した直線の傾きＴｎ０ａ２とで規定される傾きの範囲内に、下端点に基づき算出された直線の傾きａｎが入っている場合には、抽出した領域内に走路境界を示す直線Ｌｎが存在するとの判定を行う。

例えば、本実施例の領域３０においては、座標（ｘ、ｚ）＝（−３．５、５）の点ＰＬ１、座標（ｘ、ｚ）＝（−３．５、１５）の点ＰＬ２、座標（ｘ、ｚ）＝（−３．５、２５）の点ＰＬ３、座標（ｘ、ｚ）＝（−３．５、３５）の点ＰＬ４、座標（ｘ、ｚ）＝（−３．５、４５）の点ＰＬ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ１と、座標（ｘ、ｚ）＝（−１．７５、５）の点ＰＲ１、座標（ｘ、ｚ）＝（−１．７５、１５）の点ＰＲ２、座標（ｘ、ｚ）＝（−１．７５、２５）の点ＰＲ３、座標（ｘ、ｚ）＝（−１．７５、３５）の点ＰＲ４、座標（ｘ、ｚ）＝（−１．７５、４５）の点ＰＲ５をｘｙ座標に変換して回帰分析を行い算出した各点を結ぶ直線の傾きＴ３０ａ２に対し、下端点の投影点ＲＢ１、ＲＢ４、ＲＢ６に対応するｘｙ平面上の下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線の傾きａ３が、Ｔ３０ａ１とＴ３０ａ２で規定される範囲内に存在するため、下端点ＢＰ１、ＢＰ４、ＢＰ６を結ぶ直線は走路境界を示す直線Ｌ３であると判定される（図９参照）。同様にして、領域５０では、下端点の投影点ＲＢ８、ＲＢ９に対応するｘｙ平面上の下端点ＢＰ８とＢＰ９を結ぶ直線は走路境界を示す直線Ｌ５であると判定され、領域８０では、下端点の投影点ＲＢ１１〜ＲＢ１３に対応するｘｙ平面上の下端点ＢＰ１０〜ＢＰ１３を結ぶ直線は走路境界を示す直線Ｌ８であると判定される。

そして、図９に示すように、走路境界で区切られた各領域において、検出された立体物の画像の水平方向位置と速度の関係を示すグラフを算出する。このグラフでは、画像中央より左側に位置する立体物、例えば外壁のような背景は、画像の右側に位置するほど自車よりも遠い位置にあるため、画素の速度は遅くなる。つまり、縦軸に速度（左に移動する速度をプラス、右に移動する速度をマイナス）、横軸に画像のｘ座標（画像左端を原点）に設定すると、背景のような静止物であれば、画像の右半分においては、速度とｘ座標の関係は、右下がりの直線となる。一方、右下がりの直線関係とならない座標がある場合は、領域内に静止物でないもの、すなわち移動体が存在する可能性がある。この場合、図９に示すように、背景の速度（左向きの速度）とは逆向きの速度（右向きの速度）を有する座標が検出された場合は、背景とは逆方向に移動する移動体が存在すると判定する。また、背景よりも速い速度を有する座標が検出されれば、移動体が存在すると判定する。

例えば、本実施例では、領域３０、領域５０、領域８０で検出された走路境界に基づいて、走路境界Ｌ３の左側、すなわち、領域１０、領域２０、領域３０の左側の一部を区画ａと設定し、走路境界Ｌ３と走路境界Ｌ５との間、すなわち、領域３０の右側の一部、領域４０、領域５０の左側の一部を区画ｂと設定し、走路境界Ｌ５と走路境界Ｌ８との間、すなわち、領域５０の右側の一部、領域６０、領域７０、領域８０の左側の一部を区画ｃと設定し、走路境界Ｌ８の右側、すなわち、領域８０の右側の一部を区画ｄと設定し、区画ｂに存在する立体物ＯＢ１〜ＯＢ６の水平方向位置と速度の関係から、ＯＢ１、ＯＢ４、ＯＢ６を静止している立体物（ここでは外壁）と判定し、右へ移動するＯＢ２、ＯＢ３、ＯＢ５を移動体と判定する。

また、画像右側に存在する立体物においても、左側と同様な方法で、速度（左に移動する速度をプラス、右に移動する速度をマイナス）と画像のｘ座標（画像右端を原点）の関係を求め、右上がりの直線関係とならない場合には、領域内に立体物が存在する可能性が高いと判断し、背景の速度と逆向きの速度が検出されれば、背景とは逆方向に移動する移動体の検出を行うことができる。図９では、区画ｃに存在するＯＢ７を移動体と判定する。

さらに、車両挙動（車両の進行方向）を利用することにより、上述したように撮像画像の左右において別々に移動物体の検出が必要か、あるいは撮像画像全体で移動物体の検出が可能かを判断することも可能となる。例えば、車両を右へ操舵している場合には、前方画像の背景に該当する領域は、左側へ移動する速度のみが検出されるため、上述したように撮影画像左右でそれぞれ移動体の検出を行わずに撮像画像全体で一括して移動体の検出を行うことができる。車両を左へ操舵している場合も同様である。

ここで、前述したように移動体の判定は、背景に該当する立体物と移動体の水平方向位置と速度を比較して行うため、例えば歩行者に該当する立体物しか検出できず、背景に該当する外壁等の立体物が抽出できない場合は、移動体の判定を行うことができない。この場合は、次回の検出で再度立体物と判定された際に、その速度変化から移動体であるか否かの判定を行う（後述）。

移動体識別部１０８は、図１０に示すように、走路境界で区切られた領域において、同じ速度を有する複数の移動体が画像上において所定距離以下で存在する場合には、同じ速度を有する複数の移動体を一つの移動体としてグルーピングを行う。例えば本実施例では、立体物ＯＢ２、ＯＢ３を一つの移動体Ｍｏ１とする。一方、立体物ＯＢ５は、近接する立体物（ＯＢ２、ＯＢ３）との速度が異なるため、移動体Ｍｏ１とは異なる移動物体Ｍｏ２として検出する。さらに、歩行者の場合は歩行者の近傍の車両に比べて画像上の幅が狭いと言う特徴を用いて、検出した移動体の幅が所定値以下であれば、歩行者の可能性があるため、検出された移動体と該移動体の近傍の所定範囲に存在する立体物との距離と座標位置の関係を示すグラフを算出し、歩行者か否かの判定を行う。すなわち、検出された移動体が歩行者であれば、移動体（歩行者）の右側の所定範囲において、自車両から移動体（歩行者）までの距離と等距離の位置には他の立体物が検出されないことになる。一方、検出された移動体が先行車であれば、移動体（先行車）の右側の所定範囲（普通車両幅相当）において、移動体（先行車）と等距離の位置に他の立体物、すなわち先行車の右側端部が検出されることになる。例えば本実施の形態では、図１０に示すように、移動体Ｍｏ１の右側の所定範囲内（図１０下図の破線楕円ＡＡ）において自車両から移動体Ｍｏ１までの距離と等距離の位置に他の立体物が検出されていないため、移動体Ｍｏ１を歩行者と判定する。また、移動物体Ｍｏ２の左側の所定範囲内（図１０下図の破線楕円ＡＢ）において、自車両から移動体Ｍｏ２までの距離と等距離の位置に他の立体物ＯＢ７（車両の右側端部）が存在するため、移動体Ｍｏ２は歩行者以外の移動体と判定する。

ここで、立体物ＯＢ５、ＯＢ７が同じ速度で検出された場合には、立体物ＯＢ５、ＯＢ７を一つの移動体Ｍｏ2してグループ化する。この場合、グループ化後の移動体Ｍｏ２の物体幅が所定値以上であれば、車両の候補と判定することができる。

図１１は、本実施例における移動体検出装置１０の処理を示すフローチャートである。この処理はイグニションスイッチ（図示省略）がオンされると起動されるプログラムとして実行される。

ステップＳ１０１では、カメラ１０１で撮像され画像一時記録部１０２に記録された自車両前方の画像が所定の周期で特徴点抽出部１０３に出力される。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、特徴点抽出部１０３が画像に対してエッジ抽出処理を行い、撮像画像内に存在する物体の輪郭をエッジ画像として抽出するとともにエッジ画像の正規化を行う。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、移動情報算出部１０５がエッジの速度を算出し、算出した速度を所定の階調で表した速度画像を算出する。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、グループ化部１０６が算出した速度画像上に物体検出用の短冊領域を設定する。この後に、フローはステップＳ１０５へ移行する。

ステップＳ１０５では、グループ化部１０６が各短冊領域内に速度を持った画素があるかどうかを下から上に向かって調べる。速度を持った画素がある場合、グループ化部１０６がそれらの画素は同一の物体を表しているものとしてグループ化を行う。この後に、フローはステップＳ１０６へ移行する。

ステップＳ１０６では、各短冊領域内におけるグループ毎において、最も上に位置する画素の中心座標を上端点に、最も下に位置する画素の中心座標を下端点に設定する。この後に、フローはステップＳ１０７へ移行する。

ステップＳ１０７では、座標変換部１０４が、（式１）、（式２）を用いて、検出した上端点と下端点の座標をＺＸ平面へ座標変換する。この後に、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、物体属性判定部１０７が、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の位置がｘ軸範囲とｚ軸範囲を規定した規定のＺＸ平面のどの領域に該当するかを判断し、上端点の座標変換点と上端点と同じグループの下端点の座標変換点の双方が規定のＺＸ平面の同一の領域に位置する場合は、上端点、下端点を含む物体を平面物であると判定し、上端点と同じグループの下端点の座標変換点のみが規定のＺＸ平面に位置する場合は、上端点、下端点を含む物体を立体物であると判定する。また、下端点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１０９に進む。

ステップＳ１０９では、物体属性判定部１０７により、検出した全ての上端点、下端点について、上端点、下端点を含む物体が平面物であるか立体物であるかの判定（以下、物体の属性判定と呼ぶ）が行われたかどうかの判定が行われる。検出した全ての上端点、下端点について物体の属性判定が行われた場合は、ステップＳ１１０に進む。一方、検出した全ての上端点、下端点について物体の属性判定が行われていない場合は、ステップＳ１０５に戻る。

ステップＳ１１０では、物体属性判定部１０７により、ＺＸ平面における下端点の座標変換点の位置分布から、同じｘ軸領域において、複数のｚ軸領域にカウンタ値が存在する領域を、走路境界線が存在する可能性が高い領域として抽出される。この後に、フローはステップＳ１１１へ進む。

ステップＳ１１１では、物体属性判定部１０７により、抽出された領域内に存在する下端点の座標変換点に対応するｘｙ平面の下端点についてｘｙ座標系での回帰分析が行われ、下端点を結ぶ直線の傾きが算出される。この後に、フローはステップＳ１１２へ進む。

ステップＳ１１２では、物体属性判定部１０７により、ステップＳ１１１で算出した直線の傾きが、下端点が位置する領域において、ｘ軸領域の左端座標と各ｚ軸領域の代表座標を座標とする点（例えば図８のＰＬ１〜ＰＬ５）を結ぶ直線およびｘ軸領域の右端座標と各ｚ軸領域の代表座標を座標とする点（例えば図８のＰＲ１〜ＰＲ５）を結ぶ直線のｘｙ座標系における傾きの範囲にあれば、抽出した領域に走路境界を示す直線が存在すると判定され、ステップＳ１１１で算出した直線は走路境界を示す直線として検出される。この後に、フローはステップＳ１１３へ進む。

ステップＳ１１３では、物体属性判定部１０７において、抽出された領域において、全ての走路境界を示す直線が検出されたか否かの判定を行う。全ての走路境界を示す直線が検出された場合は、ステップＳ１１４へ進む。一方、全ての走路境界を示す直線が検出されていない場合は、ステップＳ１１０に戻る。

ステップＳ１１４では、物体属性判定部１０７において、走路境界で区切られた各区画に対し、各区画内に存在する立体物（外壁、歩行者）間の速度とｘ座標の関係を算出し、背景と逆方向の速度が検出された立体物がある場合には、自車両に近づく移動体が存在すると判定し、フローはステップＳ１１６に進む。一方、背景と逆方向の速度が検出された物体がない場合には、移動体候補が存在する可能性があると判定し、ステップＳ１１５に進む。

ステップＳ１１５では、物体属性判定部１０７において、移動体候補が移動体であるかどうかの判定を行う。移動体候補が存在すると判断された区画に、前回も移動体候補が存在すれば、前回と今回の速度を比較する。移動体候補が静止物である場合は、自車両の前進に従い移動体候補が自車両に接近し、移動体候補に対応する画素の移動速度が速くなる。このため、前回よりも下端点の座標変換点の速度が速くなっている場合には、移動体は存在しないと判定し、前回よりも下端点の座標変換点の速度が速くなっていない場合には、移動体が存在すると判定する。この後に、フローはステップＳ１１６に進む。

ステップＳ１１６では、自車両から等しい距離において、同じ速度で存在する移動体が複数検出され、それらの移動体が画像上の横方向位置において所定値以下の距離にある場合には、複数の移動体を一つの移動体としてグループ化を行う。この後に、フローはステップＳ１１７へ移行する。

ステップＳ１１７では、検出した移動体の物体幅と、検出した移動体の近傍に他の立体物があるかどうかの判定結果に基づいて、移動体が歩行者であるかどうかの判定を行う（後述）。この後に、フローはステップＳ１１８へ移行する。

ステップＳ１１８では、走路境界で区切られたすべての区画において、移動体が検出されたか否かの判断を行う。全ての移動体が検出された場合には、フローはステップＳ１１９へ進む。一方、全ての移動体が検出されていない場合は、フローはステップＳ１１４に戻る。

ステップＳ１１９では、自車両のイグニションスイッチがオフされたか否かの判定が行われる。イグニションスイッチがオフされていない場合には、ステップＳ１０１へ戻って処理を繰り返す。一方、イグニションスイッチがオフされた場合には、フローはステップＳ１２０へ移行して処理を終了する。

次に、ステップＳ１１７の歩行者判定の動作フローを、図１２のフローチャートを用いて説明する。

ステップＳ１１７１では、検出した移動物体の物体幅が所定値以下であるかどうかの判定を行う。検出した移動物体の物体幅が所定値以下（例えば人体の標準的な幅）であれば、移動体が歩行者である可能性があり、フローはステップＳ１１７２へ移行する。一方、検出した移動物体の物体幅が所定値を越える場合は、移動体が歩行者である可能性はなく、フローはステップＳ１１７４へ移行する。

ステップＳ１１７２では、検出された移動体近傍の所定範囲内（図１０の破線楕円ＡＡ、ＡＢに相当）において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されているかどうかの判定が行われる。検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されていない場合は、移動体はその位置に単独で存在することになり、フローはステップＳ１１７３へ移行する。一方、検出された移動体近傍の所定範囲内において、自車両から移動体までの距離と等距離の位置に、他の移動体が検出されている場合は、移動体はその位置で他の移動体と共に存在する、すなわち、移動体と他の移動体は同一の物体である可能性が高く、フローはステップＳ１１７４へ移行する。

ステップＳ１１７３では、移動体を歩行者と判定する。この後に、フローはステップＳ１１８へ移行する。

ステップＳ１１７４では、移動体を歩行者以外の物体と判定する。この後に、フローはステップＳ１１８へ移行する。

なお、上記フローチャートのステップＳ１０１が請求項の第一のステップにあたる。また、ステップＳ１０２が請求項の第二のステップにあたる。また、ステップＳ１０３が請求項の第三のステップにあたる。また、ステップＳ１０７が請求項における第四のステップにあたる。また、ステップＳ１０８〜ステップＳ１１５、ステップＳ１１８が請求項における第五のステップにあたる。また、ステップＳ１１６、ステップＳ１１７（ステップＳ１１７１〜ステップＳ１１７４）が請求項における第六のステップにあたる。さらに、ステップＳ１０４〜Ｓ１０６が請求項における第七のステップにあたる。

以上説明した本発明の実施の形態の移動体検出装置によれば、以下のような作用効果を得ることができる。

自車両前方の画像を撮像するカメラ１０１（撮像部）および、前記カメラ１０１で撮像した画像から特徴点を抽出する特徴点抽出部１０３と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部１０５と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部１０４と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部１０７と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部１０８とを有する制御部１００とを備えることとした。

この構成によれば、カメラ１０１で撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部１０６を備え、前記物体属性判定部１０７は、前記グループ化部１０６によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。

この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部１０７は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。

この構成によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部１０７は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。

この構成によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像の水平方向位置と速度に比例関係はない。したがって、自車両の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記物体属性判定部１０７は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。

この構成によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部１０８は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。

この構成によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。

また、本発明の実施の形態の移動体検出装置によれば、前記移動体識別部１０８は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。

この構成によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。

さらに、本発明の実施の形態の移動体検出装置によれば、前記特徴点が物体のエッジであることとした。

この構成によれば、カメラ１０１で撮像した画像から特徴点抽出部１０３により物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。

また、以上説明した本発明の実施の形態の移動体検出方法によれば、以下のような作用効果を得ることができる。

自車両前方の画像を撮像する第一のステップと、前記第一のステップで撮像した画像から特徴点を抽出する第二のステップと、前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることとした。

この方法によれば、第一のステップで撮像した画像から抽出した特徴点の移動情報と位置に基づいて、特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定し、特徴点が移動体と判定された場合は、画像上における移動体の幅および移動体と他の立体物との位置関係に基づいて移動体が歩行者であるかどうかを判定することができ、高精度で該判定を行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うこととした。

この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、各領域において、画像の垂直方向に隣接するとともに移動速度が所定の範囲にある点をグループ化し、その最上部（上端）および最下部（下端）を検出する。この最上部および最下部に位置する画素をＺＸ平面に座標変換し、その位置に基づいて平面物、立体物、移動体の判定を行うことで、該判定を効率的に行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することとした。

この方法によれば、最上部に位置する画素（上端点）と最下部に位置する画素（下端点）の位置を、カメラパラメータを用いてＺＸ平面へ座標変換する。路面上に存在する白線や路面マーカーのような平面物は、上端点と下端点ともに路面上に存在するため、ＺＸ平面上へ座標変換された場合、上端点と下端点は規定のＺＸ平面に投影される。これに対して、立体物の下端点は路面上に存在し、上端点は路面上に存在しないため、下端点のみ規定のＺＸ平面に投影され、上端点は規定のＺＸ平面から大きく外れることになる。したがって、単眼カメラの構成であっても、グループ化した領域の上端点と下端点の座標変換結果から、平面物と立体物の判定を行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うこととした。

この方法によれば、検出した立体物の画像上の水平方向位置と速度の関係から、移動体の識別を行う。背景となる立体物は自車両から遠ざかるにつれて画像上では横方向に移動し、また画像上の速度は遅くなることから、画像上の水平方向位置と速度は比例（直線）関係にある。一方、背景となる立体物の前に存在する物体では、画像上の水平方向位置と速度に比例関係はない。したがって、自車の動きの推定や物体までの距離を算出することなく背景の動きを推定し、背景と異なる動きをするものを移動体として背景から分離することができるため、簡単な処理により移動体の検出を高速で行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する画素の前記俯瞰図における位置に基づいて前記車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うこととした。

この方法によれば、下端点の座標変換点の位置から走路境界の検出が可能であり、検出した走路境界で区切られた区画毎に移動体の検出を行うため、複雑な背景下においても、効率的に移動体の検出を行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することとした。

この方法によれば、一つの移動体において複数のエッジが検出された場合でも、一つの移動体であるとの判定を行うことができる。

また、本発明の実施の形態の移動体検出方法によれば、前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することとした。

この方法によれば、検出した移動体の幅と、移動体の近傍で検出された移動体との位置関係に基づいて、簡単に歩行者の検出を行うことができる。

さらに、本発明の実施の形態の移動体検出方法によれば、前記特徴点が物体のエッジであることとした。

この方法によれば、前記第一のステップで撮像した画像から前記第二のステップにより物体のエッジを検出すれば良く、簡単な画像処理で上記判定を行うことができる。

本実施例では、例えばエッジ検出の結果に起因して同じ立体物や移動体が速度情報を基に同じ速度でグループ化できない場合でも、平面物と立体物の検出を行う。

ここでは、図１３に示すように、外壁上に検出されたＰ_１１〜Ｐ_１１３の内、Ｐ_１１〜Ｐ_１３とＰ_１４〜Ｐ_１１３が別々にグループ化され、Ｐ_２１〜Ｐ_２１３の内、Ｐ_２１〜Ｐ_２３とＰ_２４〜Ｐ_２１３が別々にグループ化され、Ｐ_３１〜Ｐ_３１３の内、Ｐ_３１〜Ｐ_３３とＰ_３４〜Ｐ_３１３が別々にグループ化され、Ｐ_４１〜Ｐ_４１２の内、Ｐ_４１、Ｐ_４２とＰ_４３〜Ｐ_４１２が別々にグループ化された場合について、説明を行う。

なお、図１に示したブロック図、図２に示した車両へのカメラ１０１の設置例を示す図、図３に示したカメラ１０１による前方の撮像画像を説明する図、図４に示したエッジの正規化の例を示す図、および図５に示した速度画像を説明する図については、第１の実施例と同様のため説明を省略する。また、図８〜図９で説明した、下端点を基に走路境界を検出し、検出した走路境界で区切られた各領域毎に立体物の水平方向位置と速度の関係から、移動体を検出する方法については、第１の実施例における処理と同様のため説明を省略する。

まず、算出した速度画像に物体を検出するための領域を設定する。すなわち、図１３に示すように、速度画像上に短冊状の複数の領域を設定し、速度画像を分割する。本実施例では、各領域毎に画像下端から上端に速度を持った画素を順に走査して検出し、検出した画素を前述の（式１）、（式２）に基づいてＺＸ平面へ座標変換し、座標変換の結果が図７に示す規定のＺＸ平面内に位置するか否かを判定する。座標変換の結果が規定のＺＸ平面内に位置すれば、平面物の候補点と判定する。一方、規定のＺＸ平面内に位置しなければ、立体物の候補点として判定する。なお、規定のＺＸ平面は第１の実施例で説明した領域と同じ領域とし、領域の設定方法については説明を省略する。

例えば本実施例では、Ｐ_１１〜Ｐ_１３は規定のＺＸ平面内の同一の領域に位置して平面物の候補点と判定され、Ｐ_１４〜Ｐ_１１３は規定のＺＸ平面内に位置しないため、立体物候補点と判定される。同様に、Ｐ_２１〜Ｐ_２３、Ｐ_３１〜Ｐ_３３、Ｐ_４１、Ｐ_４２、Ｐ_８１〜Ｐ_８３、Ｐ_９１〜Ｐ_９４、Ｐ_１０１、Ｐ_１０２、Ｐ_１１１〜Ｐ_１１３、Ｐ_１２１、Ｐ_１２２、Ｐ_１３１〜Ｐ_１３３は平面物候補点と判定され、Ｐ_２４〜Ｐ_２１３、Ｐ_３４〜Ｐ_３１３、Ｐ_４３〜Ｐ_４１２、Ｐ_５１〜Ｐ_５４、Ｐ_６１〜Ｐ_６５、Ｐ_７１〜Ｐ_７４は立体物候補点と判定される。

次に平面物候補点と立体物候補点の判定結果に基づき、立体物の判定を行う。すなわち、平面物候補点であると判定された点と立体物候補点であると判定された点が、縦方向に連続して存在する場合は、立体物の内、路面近くに存在する部分が誤って平面物候補点であると判定されたものと推定できるため、図１４に示すように、平面物候補点と立体物候補点が縦方向に連続して存在する物体を立体物として判定する。例えば、本実施例では、平面物候補点Ｐ_１１〜Ｐ_１３と立体物候補点Ｐ_１４〜Ｐ_１１３が縦方向に連続しているため、Ｐ_１１〜Ｐ_１１３を立体物ＯＢ１として判定する。同様に、Ｐ_２１〜Ｐ_２１３を立体物ＯＢ２、Ｐ_３１〜Ｐ_３１３を立体物ＯＢ３、Ｐ_４１〜Ｐ_４１２を立体物ＯＢ４として判定する。

さらに、平面物および立体物と判定された点の内、下端点を抽出し、第１の実施例と同様に下端点のＺＸ平面への座標変換点が位置するＺＸ平面の領域のカウンタのカウンタ値を＋１加算して、下端点の位置分布を算出する。例えば、本実施例では、Ｐ_１１、Ｐ_２１、Ｐ_３１、Ｐ_４１、Ｐ_５１、Ｐ_６１、Ｐ_７１、Ｐ_８１、Ｐ_９１、Ｐ_１０１、Ｐ_１１１、Ｐ_１２１、Ｐ_１３１を下端点として検出し、図８に示す各下端点Ｐ_１１〜Ｐ_１３１の座標変換点ＲＢ１〜ＲＢ１３が位置する領域のカウンタのカウンタ値を＋１加算する。以下、第１の実施例と同様の操作を行うことで、走路境界と立体物、立体物中の移動体の検出を行うことができる。

図１５は、本実施例における移動体検出装置１０の処理を示すフローチャートである。図１３に示す処理はイグニションスイッチがオンされると、起動されるプログラムとして実行される。図１３においては、図１０に示す第１の実施例における処理と同一の処理内容については、同じステップ番号を付与し、以下相違点を中心に説明する。

ステップＳ１２１では、ステップＳ１０４にて設定した物体検出用の短冊領域内において画像下端から上端に向かって走査を行い、速度を持つ画素の座標を（式１）、（式２）を用いてＺＸ平面上へ座標変換する。この後に、フローはステップＳ１１９へ移行する。

ステップＳ１２２では、画素の座標変換点が規定のＺＸ平面内に位置すれば、平面物候補点と判定し、画素の座標変換点が規定のＺＸ平面内に位置しなければ、立体物候補点と判定する。この後に、フローはステップＳ１２３に進む。

ステップＳ１２３では、速度が算出された画素の全てがＺＸ平面上へ座標変換されて、平面物候補点および立体物候補点の検出が終了したかどうかが判定される。平面物候補点および立体物候補点の検出が終了した場合には、フローはステップＳ１２４に進む。一方、平面物候補点および立体物候補点の検出が終了していない場合は、フローはステップＳ１２１に戻る。

ステップＳ１２４では、各領域内において、平面物候補点および立体物候補点が縦方向に連続して存在する場合には、平面物候補点および立体物候補点を含む物体を一つの立体物として判定する。この後に、フローはステップＳ１２５に進む。

ステップＳ１２５では、各領域において、平面物候補点のうち、一番下にある点を下端点として検出し、検出した下端点のＺＸ平面上の座標変換点が位置する領域のカウンタのカウンタ値を＋１加算する。この後に、フローはステップＳ１２６に進む。

ステップＳ１２６では、各領域において、カウンタ値に基づき各領域の下端点の位置分布情報の算出が終了したかどうかの判定が行われる。各領域の下端点の位置分布情報の算出が終了した場合には、フローはステップＳ１１０へ進む。一方、各領域の下端点の位置分布情報の算出が終了していない場合には、フローはステップＳ１２４へ戻る。

以降、第１の実施例と同様の処理により、走路境界、立体物、移動体を検出する。

以上説明した本発明の実施の形態の移動体検出装置によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。

前記物体属性判定部１０７は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。

この構成によれば、カメラ１０１で撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。

また、以上説明した本発明の実施の形態の移動体検出方法によれば、第１の実施例の作用効果に加え、以下のような作用効果を得ることができる。

前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することとした。

この方法によれば、第一のステップで撮像した画像に基づいて算出した速度画像上に物体検出領域を設定し、速度を有する各画素をＺＸ平面へ座標変換した後に、ＺＸ平面における座標変換点の位置に基づいて、各画素が平面物候補点か立体物候補点かの判定を行う。ここで、平面物候補点と立体物候補点が画像上の垂直方向に連続して存在する場合には、平面物候補点と立体物候補点を持つ物体を一つの立体物と判定する。この操作により、同じ物体を構成する画素でありながら何らかの影響で同じ速度が算出されない場合でも、高精度で立体物の判定が可能となる。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、ブロック図は上記実施例に示すものに限定されるものではなく、同等の機能を備えた構成であれば良い。

また、カメラの取り付け位置は実施例で述べた位置に限定されるものではなく、カメラの光軸が車両前方正面方向（Ｚ方向）に向き、撮像面の水平軸および垂直軸がそれぞれ路面と平行および垂直となるように設定されていれば良い。

また、検出したエッジの幅の正規化を行うにあたっては、エッジ幅は３画素に限定されるものではなく、任意の画素数を設定することができる。この場合、その後の処理でエッジの中央部の画素を利用するため、エッジ幅の画素数は奇数個であることが望ましい。

また、ＺＸ平面を分割して設定する領域の数は上記実施例に示すものに限定されるものではなく、任意の数に分割して設定することができる。

また、ＺＸ平面の縦方向および横方向の範囲は、任意の値に設定することができる。

また、上記実施例では道路を走行する車両に移動体検出装置１０を搭載する例について説明したが、他の移動体に搭載してもよい。

さらに、上記実施例では、走路境界として、縁石、白線、外壁と路面との接点の例について説明したが、これに限定されず、例えば、ガードレール、駐車車両と路面との境界、路面と路面以外の領域（田、畑など）との境界を検出してもよい。

移動体検出装置の一実施の形態の構成例を示すブロック図である。 カメラ１０１の車両への設置例を示す図である。 カメラ１０１で撮像した画像の例を示す図である。 抽出したエッジを正規化して、エッジ画像を得るために行う各処理の例を示す図である。 速度画像の例を示す図である。 速度画像上に物体検出用領域を設定し、各物体検出用領域において下端点と同じ速度を持つ画素をグループ化し、グループ化した領域の上端点の位置を検出した例を示す図である。 速度画像上で検出した上端点と下端点をＺＸ平面上に座標変換し、物体が平面物か立体物かの判定を行う例を示す図である。 下端点の座標変換点のＺＸ平面上の位置分布より走路境界線を検出する例を示す図である。 検出した走路境界で区切られた領域内で検出した立体物の画像の水平方向位置と速度の関係から移動物体を検出する場合の具体例を示す図である。 検出した移動体の幅および位置関係から歩行者を検出する場合の具体例を示す図である。 移動体検出装置１０の第１の実施例の処理を示すフローチャートである。 図１１のフローチャートのうち、ステップＳ１１７の詳細フローを示すフローチャートである。 速度画像上に物体検出用領域を設定し、各物体検出用領域において速度を持った画素をＺＸ平面上へ座標変換することで、平面物候補点か立体物候補点かを判定する例を示す図である。 検出した平面物候補点と立体物候補点の並び方から立体物の判定を行う例を示す図である。 移動体検出装置１０の第２の実施例の処理を示すフローチャートである。

符号の説明

１０ 移動体検出装置
１００ 制御部
１０１ カメラ（撮像部）
１０２ 画像一時記録部
１０３ 特徴点抽出部
１０４ 座標変換部
１０５ 移動情報算出部
１０６ グループ化部
１０７ 物体属性判定部
１０８ 移動体識別部

Claims (18)

1. 自車両前方の画像を撮像する撮像部と、
   前記撮像部で撮像した画像から特徴点を抽出する特徴点抽出部と、前記特徴点を表す画素の前記画像上の移動速度および移動方向を移動情報として算出する移動情報算出部と、前記画素の前記画像上の位置を前記自車両前方の俯瞰図における位置に変換する座標変換部と、前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する物体属性判定部と、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する移動体識別部とを有する制御部とを備えることを特徴とする移動体検出装置。
2. 前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化するグループ化部を備え、
   前記物体属性判定部は、前記グループ化部によりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項１に記載の移動体検出装置。
3. 前記物体属性判定部は、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項１または２に記載の移動体検出装置。
4. 前記物体属性判定部は、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１から３のいずれか1項に記載の移動体検出装置。
5. 前記物体属性判定部は、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１から４のいずれか１項に記載の移動体検出装置。
6. 前記物体属性判定部は、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項５に記載の移動体検出装置。
7. 前記移動体識別部は、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１から６のいずれか１項に記載の移動体検出装置。
8. 前記移動体識別部は、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項１から７のいずれか１項に記載の移動体検出装置。
9. 前記特徴点が物体のエッジであることを特徴とする請求項１から８のいずれか１項に記載の移動体検出装置。
10. 自車両前方の画像を撮像する第一のステップと、
    前記撮像部で撮像した画像から特徴点を抽出する第二のステップと、
    前記特徴点を表す画素の移動速度および移動方向を移動情報として算出する第三のステップと、
    前記画素の前記画像における位置を前記自車両前方の俯瞰図における位置に変換する第四のステップと、
    前記画素の前記俯瞰図における前記位置および前記画素の前記移動情報に基づいて、前記特徴点を平面物または立体物と判定するとともに、前記特徴点が立体物と判定された場合は該立体物が移動体であるか否かを判定する第五のステップと、前記特徴点が移動体であると判定された際に、前記画像上における前記移動体の幅および前記移動体と他の立体物との位置の関係に基づいて前記移動体が歩行者であるかどうかを判定する第六のステップとを備えることを特徴とする移動体検出方法。
11. 前記画像の垂直方向に隣接するとともに移動速度が所定の範囲にある前記画素をグループ化する第七のステップを備え、
    前記第五のステップは、前記第七のステップによりグループ化した前記画素のうち最上部に位置する前記画素と最下部に位置する前記画素の前記俯瞰図における位置に基づいて前記判定を行うことを特徴とする請求項１０に記載の移動体検出方法。
12. 前記第五のステップは、前記最上部に位置する前記画素と前記最下部に位置する前記画素が前記俯瞰図の所定の範囲を所定の数に分割して設定した複数の領域のうち同一の領域に位置する場合に前記特徴点を平面物と判定し、前記最上部に位置する前記画素が前記俯瞰図の前記複数の領域外に位置するとともに前記最下部に位置する前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記特徴点を立体物と判定することを特徴とする請求項１０または１１に記載の移動体検出方法。
13. 前記第五のステップは、前記画素が前記俯瞰図の前記複数の領域のうちいずれかの領域に位置する場合に前記画素を平面物候補点と判定する一方、前記画素が前記俯瞰図の前記複数の領域外に位置する場合に前記画素を立体物候補点と判定し、前記平面物候補点と前記立体物候補点が前記画像において垂直方向に連続して位置する場合に前記平面物候補点と前記立体物候補点を一つの立体物として判定することを特徴とする請求項１０から１２のいずれか1項に記載の移動体検出方法。
14. 前記第五のステップは、複数の立体物における前記画素の前記速度情報と前記画素の前記画像上における前記位置とに基づいて前記立体物が移動体であるか否かを判定する移動体判定を行うことを特徴とする請求項１０から１３のいずれか１項に記載の移動体検出方法。
15. 前記第五のステップは、前記画素のうち前記画像の垂直方向において最下部に位置する前記画素の前記俯瞰図における前記位置に基づいて前記自車両の走路の境界を表す走路境界を検出し、該走路境界で区切られた区画毎に前記移動体判定を行うことを特徴とする請求項１４に記載の移動体検出方法。
16. 前記第六のステップは、複数の前記移動体の前記画像上の前記移動方向が同一で前記移動速度の差が所定値以下であって、該複数の前記移動体の前記画像上の水平方向および垂直方向の前記位置の差がそれぞれ所定値以下である場合に、該複数の移動体を一つの移動体であると判定することを特徴とする請求項１０から１５のいずれか１項に記載の移動体検出方法。
17. 前記第六のステップは、前記移動体の前記画像上における幅が所定値以下であるとともに、該移動体の周囲の所定範囲内に他の移動体が検出されない場合に、該移動体を歩行者であると判定することを特徴とする請求項１０から１６のいずれか１項に記載の移動体検出方法。
18. 前記特徴点が物体のエッジであることを特徴とする請求項１０から１７のいずれか１項に記載の移動体検出方法。

Images