JP2010134878A - 立体物出現検知装置 - Google Patents

Abstract

【課題】低コストで立体物の出現を迅速且つ正確に検知することができる立体物出現検知装置を提供する。
【解決手段】立体物出現検知装置は、車両２０に搭載されたカメラ２１で撮像した俯瞰画像３０に基づいて車両周辺における立体物２２の出現を検知するものであり、俯瞰画像３０から俯瞰画像３０上でかつカメラ２１の視線方向３３に直交する方向３６、３７の直交方向特徴成分４６、４７を抽出し、その抽出した直交方向特徴成分４６、４７の量に基づいて立体物２２の出現を検知する。これにより、例えば、日照の揺らぎや、影の移動等の偶発的な画像の変化を、立体物の出現として誤検知するのを防ぐ。
【選択図】図１

Description

本発明は、車載カメラの画像から車両の周辺に立体物の出現を検知する立体物出現検知装置に関する。

車載カメラを車両のリアトランク部等に後ろ向きに設置し、この車載カメラから得られた車両後方の撮像画像を運転者に提示する運転支援装置が普及し始めている。この車載カメラとしては、通常、広範囲を撮像可能な広角カメラが用いられ、小さなモニタ画面に広い範囲の撮像画像を表示する様にしている。

しかし、広角カメラはレンズ歪みが大きいため、直線が曲線として撮像されてしまい、モニタ画面に表示される画像は見づらい画像になってしまう。そこで、従来から、特許文献１に記載されている様に、広角カメラの撮像画像からレンズ歪みを除去し、直線が直線として見える画像に変換し、モニタ画面に表示するようにしている。

このような車両周囲を捉えるカメラを常に目視して安全を確認することは運転者にとって負荷であり、カメラの映像から車両との衝突の危険がある人物などの立体物を画像処理により検知する技術が従来から開示されている（例えば特許文献１を参照）。

また、車両が低速で走行する間、２時刻で撮影した画像を視点変換したときの俯瞰変換したときの運動視差から画像を地表面の領域と立体物の領域に分離することで、立体物を検知する技術が開示されている（例えば特許文献２を参照）。

そして更に、２つ並んで備え付けられたカメラの立体視から、車両の周囲の立体物を検知する技術が開示されている（例えば特許文献３を参照）。また、車両が停車してイグニションをオフにしたときの画像と、車両が発進するためにイグニションをオンにした画像を比較することで、車両が停止してから発進するまでの間に車両の周囲の変化を検知して、運転者に警報する技術が開示されている（例えば特許文献４を参照）。

特許第３３００３３４号公報 特開２００８−８５７１０号公報 特開２００６−３３９９６０号公報 特開２００４−２２１８７１号公報 Ｔ．Ｋｕｒｉｔａ， Ｎ．Ｏｔｓｕ， ａｎｄ Ｔ．Ｓａｔｏ， ｀｀Ａ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄ ｕｓｉｎｇ ｈｉｇｈｅｒ ｏｒｄｅｒ ｌｏｃａｌ ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ ａｎｄ ｍｕｌｔｉｖａｒｉａｔｅ ａｎａｌｙｓｉｓ，｀｀ Ｐｒｏｃ． ｏｆ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， Ａｕｇ． ３０ − Ｓｅｐ． ３， Ｔｈｅ Ｈａｇｕｅ， Ｖｏｌ．ＩＩ， ｐｐ．２１３−２１６， １９９２． Ｋ． Ｌｅｖｉ ａｎｄ Ｙ． Ｗｅｉｓｓ，"Ｌｅａｒｎｉｎｇ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ａ Ｓｍａｌｌ Ｎｕｍｂｅｒ ｏｆ Ｅｘａｍｐｌｅｓ： ｔｈｅ Ｉｍｐｏｒｔａｎｃｅ ｏｆ Ｇｏｏｄ Ｆｅａｔｕｒｅｓ．"，Ｐｒｏｃ． ＣＶＰＲ， ｖｏｌ． ２， ｐｐ． ５３−６０， ２００４．

しかしながら、特許文献２の技術は運動視差を用いるために、車両が停止している間は適用することができない第１の課題がある。また、車両のすぐ近くに立体物がある場合に、車両が動き出してから立体物に衝突するまでに警報が間に合わないおそれがある。特許文献３の技術では、立体視をするために同一の方向を向いた２台のカメラを要するためコストが高くなる。

特許文献４の技術は、１つの画角あたり単一のカメラで車両が停止した状態でも適用できるが、イグニションをオフにしたときとイグニションをオンにしたときの２つの画像を画素あるいはエッジといった局所単位の強度で比較するために、イグニションをオフにしたときとオンにした間に、車両の周囲に新たに立体物が出現した場合と、車両の周囲から立体物が退出した場合とを区分することができない。また、屋外環境下では前記日照の揺らぎや影の移動のように立体物の出現以外でも画像の局所的に変動は頻発するため、多くの誤報を出力するおそれがある。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、低コストで立体物の出現を迅速且つ正確に検知することができる立体物出現検知装置を提供することである。

上記の課題を解決する本発明の立体物出現検知装置は、車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、俯瞰画像から俯瞰画像上でかつカメラの視線方向に直交に近い方向の直交方向特徴成分を抽出し、その抽出した直交方向特徴成分の量に基づいて立体物の出現を検知することを特徴とする。

本発明によれば、俯瞰画像から、俯瞰画像上でかつ車載カメラの視線方向に直交に近い方向の直交方向特徴成分を抽出して、その直交方向特徴成分に基づいて立体物の出現を検知するので、例えば、日照の揺らぎや、影の移動等の偶発的な画像の変化を、立体物の出現として誤検知するのを防ぐことができる。

以下、本発明にかかる立体物出現検知装置の具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明するが発明にかかる「車両」とは自動車に限定されず、地表を走行するあらゆる種類の移動体を含む。

図１は、本実施例における立体物出現検知装置の機能ブロック図、図２は、立体物出現検知装置の使用状態を説明する図である。立体物出現検知装置は、車両に取り付けられた少なくとも一つ以上のカメラ、カメラ内あるいは車両内の少なくとも一つ以上に搭載された演算装置、主記憶、記憶媒体を有す計算機、カーナビゲーションのようなモニタ画面あるいはスピーカの少なくとも一つ以上を有す車両２０において実現される。

立体物出現検知装置は、図１に示すように、俯瞰画像取得手段１、方向特徴成分抽出手段２、車両信号取得手段３、動作制御手段４、記憶手段５、立体物検出手段６、カメラ幾何記録手段７、警報手段８を有する。これらの各手段は、カメラ内あるいは車両内のいずれかあるいは両方の計算機で実現され、警報手段８はカーナビゲーションのようなモニタ画面あるいはスピーカの少なくとも一つ以上で実現される。

俯瞰画像取得手段１は、所定の時間周期で車両２０に取り付けられたカメラ２１の画像を取得し、レンズの歪みを補正した後に、俯瞰変換によってカメラ２１の画像を地表面に投影した俯瞰画像３０を作成する。なお、俯瞰画像取得手段１のレンズの歪みの補正および俯瞰変換に必要なデータはあらかじめ用意されていて、計算機内に保持されている。

図２（ａ）は、空間中において、車両２０の後部に備え付けられたカメラ２１が、立体物２２をカメラ２１の画角２９に捉えた状況の一例であり、立体物２２は、直立した人物である。カメラ２１は人物の腰ほどの高さに備え付けられてあり、カメラ２１の画角２９は立体物２２の脚部２２ａ、胴部２２ｂ、及び腕部２２ｃの下部を捉えている。

図２（ｂ）において、符号３０は俯瞰画像、３１はカメラ２１の視点、３２は立体物２２の俯瞰画像３０上の象、３３ａおよび３３ｂは像３２の両脇を通過するカメラ２１の視点３１からの視線方向を示すものである。カメラ２１で撮像された立体物２２は、俯瞰画像３０上では、視点３１から放射状に広がるように表れる。

例えば、図２（ｂ）において、立体物２２の左および右の輪郭は、カメラ２１の視点３１から見たカメラ２１の視線方向３３ａおよび３３ｂに沿って伸長する。これは、俯瞰変換では、画像上の像を地上面に投影するので、画像上の像が空間中においてすべて地上面にあるときは歪まないが、画像上に立体物２２が写る立体物２２の地上面から高いところほど大きく歪み、カメラ２１の視点３１からの視線方向に沿って画像の外側に伸張する特性を持つためである。

なお、カメラ２１の高さが図２（ａ）に示す位置よりも高いとき、あるいは立体物２２の高さが図２（ａ）に示す位置よりも低いとき、あるいは立体物２２とカメラ２１の距離が図２（ａ）に示す位置よりも近いときには、カメラ２１の画角２９内に含まれる立体物２２の範囲は広くなり、例えば画角２９が胴部２２ｂ、椀部２２ａの上部、頭部２２ｄを捉えるようになる。

しかしながら、俯瞰画像３０上における立体物２２の像３２は、図２（ｂ）と同様に、カメラ２１の視点３１から放射状に延びる方向である視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。

また、カメラ２１の高さが図２（ａ）に示す位置よりも低いとき、あるいは立体物２２の高さが図２（ａ）に示す位置よりも高いとき、あるいは立体物２２とカメラ２１の距離が図２（ａ）に示す位置よりも遠いときには、カメラ２１の画角２９内に含まれる立体物２２の範囲は狭くなり、例えば画角２９が脚部２２ａのみをとらえるようになる。しかしながら、俯瞰画像３０上における立体物２２の像３２は、図２（ｂ）と同様に、カメラ２１の視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。

また、立体物２２が人物の場合には必ずしも直立しているとは限らず、腕部２２ｃおよび脚部２２ａの関節の曲がりで直立姿勢から多少の変形をすることがあるが、人物の全体的なシルエットが縦長である範囲では、図２（ｂ）と同様に、立体物２２の見え方が、カメラ２１の視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。

立体物２２の人物がしゃがみ込んだ場合でも全体として縦長であるので、図２（ｂ）と同様に立体物２２の見え方がカメラ２１の視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。また、立体物２２は以上の図２の説明では人物を例にとったが、立体物２２は人物に限定されず、人物に近い幅と高さの物体であれば、立体物２２の見え方がカメラ２１の視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。

図２（ａ）および図２（ｂ）では、カメラ２１が車両２０の後方に取り付けられた例を示したが、カメラ２１の取り付け位置は車両２０の前方や側方などほかの方向であってよい。また図２（ｂ）において俯瞰画像３０上のカメラ２１の視点３１を俯瞰画像３０の左端の中央とした例を示したが、カメラ２１の視点３１は、俯瞰画像３０の上端の中央や右上の隅などどの場所に取り付けられても立体物２２がカメラ２１の視線方向３３ａおよび３３ｂに沿って伸張する傾向は変わらない。

方向特徴成分抽出手段２は、俯瞰画像３０の各画素が有する水平方向の勾配強度Ｈと垂直方向の勾配強度Ｖを求めて、これら水平方向の勾配強度Ｈと垂直方向の勾配強度Ｖのなす角度である明暗勾配方向角度θを求める。

水平方向の勾配強度Ｈは、対象画素の近傍に位置する近傍画素の明度と図３（ａ）に示す水平方向のソーベルフィルタＦｈの係数を用いたコンボリューション演算により求められる。そして、垂直方向の勾配強度Ｖは、対象画素の近傍に位置する近傍画素の明度と図３（ｂ）に示す垂直方向のソーベルフィルタＦｖの係数を用いたコンボリューション演算により求められる。

それから、水平方向の勾配強度Ｈと垂直方向の勾配強度Ｖのなす明暗勾配方向角度θは、下記の（１）式を用いて求められる。

上記（１）式において、明暗勾配方向角度θは、縦横３画素の局所範囲内における明度のコントラストがどの方向に変化しているかの角度を示す。

方向特徴成分抽出手段２では、俯瞰画像３０上のすべての画素について、上記（１）式による明暗勾配方向角度θを計算し、俯瞰画像３０の方向特徴成分として出力する。

図３（ｂ）は、上記（１）式による、明暗勾配方向角度θの計算の一例であり、符号９０は上側の画素領域９０ａの明度が０、下側の画素領域９０ｂの明度が２５５である、上側と下側とが右斜めの境界をもった画像であり、符号９１は画像９０の上側と下側の境界付近の縦３画素および横３画素の画像ブロックを拡大して示す図である。

画像ブロック９１の左上９１ａ、上９１ｂ、右上９１ｃ、左９１ｄの画素の明度は０であり、右９１ｆ、中央９１ｅ、左下９１ｇ、下９１ｈ、右下９１ｉの明度は２５５である。このとき、図３（ａ）に示す水平方向のソーベルフィルタＦｈの係数を用いた中央画素９１ｅのコンボリューション演算の値である勾配強度Ｈは、−１×０＋０×０＋１×０−２×０＋０×０＋１×２５５−１×２５５＋０×０＋１×２５５ ＝２５５である。

そして、垂直方向のソーベルフィルタＦｖの係数を用いた中央画素９１ｅのコンボリューション演算の値である勾配強度Ｖは、−１×０−２×０−０×０ ＋０×０＋０×０＋０×２５５ ＋ １×２５５＋２×２５５＋１×２５５ ＝１０２０である。

このときの上記（１）式による明暗勾配方向角度θは、約７６度となり、画像９０の上下の境界と同じくおおよそ右下の方向を指す。なお、方向特徴成分抽出手段２が勾配強度Ｈ、Ｖを求める係数やコンボリューションのサイズは、図３（ａ）および図３（ｂ）に示すものに限られず、水平および垂直の勾配強度Ｈ、Ｖが求まるものであればほかのものでもよい。

また、方向特徴成分抽出手段２は、水平方向の勾配強度Ｈと垂直方向の勾配強度Ｖのなす明暗勾配方向角度θ以外にも、局所的な範囲内における明度のコントラストの方向（明暗勾配方向）が抽出できる方法であれば、他の方法でもよい。例えば、非特許文献１の高次局所自己相関や非特許文献２のＥｄｇｅ ｏｆ Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｏｇｒａｍｓを方向特徴成分抽出手段２の明暗勾配方向角度θの抽出に利用することができる。

車両信号取得手段３は、車両２０の制御装置および車両２０内の計算機から、イグニションスイッチのＯＮ、ＯＦＦの状態や、アクセサリ電源ＯＮなどのエンジンキーの状態、前進、後退、パーキングなどのギアの状態の信号、カーナビゲーションの操作信号、時刻情報等の車両信号を取得する。

動作制御手段４は、例えば図４に図示するように、車両２０の運転者の注意が車両２０の周囲確認から一時的に離れる区間５０の始点５１および終点５２を、車両信号取得手段３からの車両信号に基づいて判定する。

区間５０の一例として、例えば運転者が車両２０に荷物を運び込む、あるいは車両２０から荷物を運び出すための短時間の停車が例として挙げられる。この短時間の停車を判定するには、イグニションスイッチがＯＮからＯＦＦに変わったときの信号を始点５１とし、イグニションスイッチがＯＦＦからＯＮに変わったときの信号５２を終点とする。

また、区間５０の一例として、例えば運転者が停車中にカーナビゲーション装置を操作して目的地を探索し、そのルートを設定した後に再び発進する状況が挙げられる。このようなカーナビゲーション操作のための停車・発進を判定するには、車速あるいはブレーキの信号、およびカーナビゲーションの操作開始の信号を始点５１とし、カーナビゲーションの操作終了の信号、およびブレーキの信号を終点５２とする。

ここで、動作制御手段４は、始点５１のタイミングで車両２０のカメラ２１への電源供給が遮断され、終点５２のタイミングで再度車両２０のカメラ２１に電源供給が再開される状況ように、終点５２の直後に車両２０のカメラ２１の画質が安定しない場合には、車両信号取得手段３の信号に基づいて図４に示す区間５０の終わりを判定したタイミングから所定の遅れ時間を設けたタイミングを終点５２としてもよい。

動作制御手段４は、始点５１のタイミングを判定すると、その時点で方向特徴成分抽出手段２が出力した方向特徴成分を記憶手段５に送信する。また、動作制御手段４は、終点５２のタイミングを判定すると、立体物検出手段６に対して検知判定の信号を出力する。

記憶手段５は、図４に示す区間５０の間、格納した情報が消えないように保持する。記憶手段５は、区間５０の間にイグニションスイッチがＯＦＦになっている間も電源の供給される記憶媒体、あるいはフラッシュメモリやハードディスクのように電源の供給がなくても所定の時間の間は情報が消去されない記憶媒体により実現される。

図５は、立体物検知手段６の処理内容を示すフローチャートである。立体物検知手段６は、動作制御手段４から検知判定の信号を受け取ると、図５に示すフローにより俯瞰画像３０上の立体物を検知する処理を行う。

図５においてステップＳ１からステップＳ８は、俯瞰画像３０に設けた検知領域のループ処理である。図６は、ステップＳ１からステップＳ８の検知領域のループ処理を説明するための図である。座標格子４０は、図６に示すように、俯瞰画像３０をカメラ２１の視点３１を中心とした距離ρと角度φの極座標を格子状に分割したものである。

俯瞰画像３０の検知領域は、座標格子４０の極座標の角度φごとに、座標格子４０の距離ρの区間を総組み合わせで設ける。例をあげると、図６の上では、（ａ１、ａ２、ｂ２、ｂ１）を４頂点とした領域が１つの検知領域であり、（ａ１、ａ３、ｂ３、ｂ１）および（ａ２、ａ３、ｂ３、ｂ２）も一つの検知領域である。

俯瞰画像３０におけるカメラ２１の視点２１および図６の極座標の格子は、事前に計算されてカメラ幾何記録７に格納されたデータを使う。ステップＳ１からステップＳ８のループ処理は、この検知領域を網羅的に繰り返す。以下、ステップＳ２からステップＳ７までの説明ではループの検知領域を、検知領域［Ｉ］と表記する。

図７は、図５におけるステップＳ２からステップＳ７までの処理を説明するための図である。図７（ａ）は俯瞰画像３０の一例であり、車両２０の影３８ａおよび砂利の路面３５をとらえた俯瞰画像３０ａを示している。図７（ｂ）は俯瞰画像３０の一例であり、立体物２２および車両２０の影３８ｂをとらえた俯瞰画像３０ｂを示している。

図７（ａ）および図７（ｂ）は、同一地点の車両２０で撮影された画像３０ａ、３０ｂである。図７（ａ）と図７（ｂ）では、日照の変化により、車両２０の影３８ａ、３８ｂの位置や大きさが変化している。図７（ａ）および図７（ｂ）において、３４は検知領域［Ｉ］、３３はカメラ２１の視点３１から検知領域［Ｉ］３４の中心を向いた視線方向、３６は俯瞰画像３０の面に沿う方向で且つ視線方向３３から−９０°回転して交差した直交方向、３７は俯瞰画像３０の面に沿う方向で且つ視線方向３３から＋９０°回転して交差した直交方向を示す。検知領域［Ｉ］は、座標格子４０において方向φを同一とした領域なので、検知領域［Ｉ］３４は、視線方向３３に沿ってカメラ２１の視点３１側から俯瞰画像３０の外側に向かって伸びる。

図７（ｃ）は、方向特徴成分抽出手段２が俯瞰画像３０ａから求めた明暗勾配方向角度θのヒストグラム４１ａを示し、図７（ｄ）は方向特徴成分抽出手段２が俯瞰画像３０ｂから求めた明暗勾配方向角度θのヒストグラム４１ｂを示している。ヒストグラム４１ａおよびヒストグラム４２ｂは、方向特徴成分抽出手段２が計算した明暗勾配方向角度θを、下記の（２）式より離散化して求める。

上記（２）式において、θ_ＴＩＣＳは角度の離散化の刻み、ＩＮＴ（）は少数点以下を切り捨てて整数化する関数である。θ_ＴＩＣＳは、立体物２２の輪郭が視線方向３３から外れる程度や画質の乱れに応じて事前に定めておけばよい。例えば立体物２２が歩行する人物を対象とする場合や画像の乱れが大きい場合には、人物の歩行による立体物２２の輪郭の変動や画像の乱れによる方向特徴成分抽出手段２の計算した明暗勾配方向角度θの各画素のばらつきを許容できるようにθ_ＴＩＣＳを大きくすればよい。なお、画像の乱れが小さく立体物２２の輪郭の変動も小さい場合には、θ_ＴＩＣＳを小さくすればよい。

図７（ｃ）及び図７（ｄ）において、符号４３は明暗勾配方向角度θがカメラ２１の視点３１から検知領域［Ｉ］３４に向かう視線方向３３の方向特徴成分、符号４６は明暗勾配方向角度θが視線方向３３から−９０°回転した直交方向３６に向かう方向特徴成分である直交方向特徴成分、符号４７は明暗勾配方向角度θが視線方向３３から＋９０°回転した直交方向３７に向かう方向特徴成分である直交方向特徴成分である。

俯瞰画像３０ａの検知領域３４内における路面３５は砂利であり、砂利の模様は局所的にはランダムな方向を向いている。従って、視線方向検出手段２が計算した明暗勾配方向角度θに偏りはない。また、俯瞰画像３０ａの検知領域３４内における影３８ａは、路面３５との境界部に明暗のコントラストを持つが、検知領域［Ｉ］３４における影３８ａと路面３５との境界部の線分長は、人物等の立体物２２の場合と比較して短く、その影響は小さい。よって、俯瞰画像３０ａから求めた明暗勾配方向角度θのヒストグラム４１ａでは、方向特徴成分は、図７（ｃ）に示すように、強い偏りを持たず、どの成分の頻度（量）もばらつく傾向にある。

一方、俯瞰画像３０ｂでは、検知領域［Ｉ］３４内に立体物２２と路面３５の境界が極座標の距離ρ方向に沿って含まれ視線方向３３と交差する方向に強いコントラストを持つので、俯瞰画像３０ｂから求めた明暗勾配方向角度θのヒストグラム４１ｂでは、直交方向特徴成分４６あるいは直交方向特徴成分４７に大きな頻度（量）を持つ。

なお、図７（ｄ）では、ヒストグラム４１ｂの直交方向特徴成分４７の頻度が高くなる（量が多くなる）例を示したが実際にはこの例に限らず、全体として立体物２２が路面３５よりも明度が低いときは直交方向特徴成分４７の頻度が高くなり（量が多くなり）、全体として立体物２２が路面３５よりも明度が高いときは直交方向特徴成分４６の頻度が高くなり（量が多くなり）、立体物２２あるいは路面の明度の高い検知領域［Ｉ］３４内でばらつく場合には直交方向特徴成分４６と直交方向特徴成分４７の両方の頻度が高くなる（量が多くなる）。

図５のステップＳ２では、第１の直交方向特徴成分として、記憶手段５に格納された始点５１（図４を参照）における俯瞰画像３０ａの検知領域［Ｉ］３４から直交方向特徴成分４６、４７を求める。そして、ステップＳ３では、第２の直交方向特徴成分として、終点５２（図４を参照）における俯瞰画像３０ｂの検知領域［Ｉ］３４から直交方向特徴成分４６、４７を求める。

ステップＳ２とステップＳ３の処理では、図７（ｃ）および図７（ｄ）に図示したヒストグラムの方向特徴成分のうち、直交方向特徴成分４６、４７以外は使わないので計算しなくてもよい。また、直交方向特徴成分４６、４７は、上記（２）式により離散化した角度θ_ｂｉｎ以外の角度を使っても計算することができる。

例えば、視線方向３３の角度をη、人物の歩行や画像の乱れを考慮した像３２の輪郭の視線方向３３からの許容誤差をεとすると、直交方向特徴成分４６は検知領域［Ｉ］３４において（η−９０±ε）の範囲の角度θをもつ画素の数、直交方向特徴成分４７は検知領域［Ｉ］３４において（η＋９０±ε）の範囲の角度θをもつ画素の数で計算できる。

図５のステップＳ４では、ステップＳ２で求めた第１の直交方向特徴成分４６の頻度Ｓ_ａ−および直交方向特徴成分４７の頻度Ｓ_ａ＋、およびステップＳ３で求めた第２の直交方向特徴成分４６の頻度Ｓ_ｂ−および直交方向特徴成分４７の頻度Ｓ_ｂ＋から、下記の（３）式、（４）式、（５）式を用いて、視線方向３３に対して直交に近い方向である略直交方向（直交方向も含む）の直交方向特徴成分４６、４７の増分ΔＳ_ａ＋あるいはΔＳ_ａ−あるいはΔＳ_ａ±を計算する。

図５のステップＳ５は、ステップＳ４で計算した直交方向特徴成分４６、４７の増分が所定のしきい値以上であるか否かを判断し、しきい値以上の場合は、図４に示す始点５１から終点５２までの区間５０の間において検知領域［Ｉ］３４内に立体物２２が出現したと判定する（ステップＳ６）。

一方、ステップＳ４で計算した直交方向特徴成分４６、４７の増分が所定のしきい値未満である場合は、図４に示す区間５０の間において検知領域［Ｉ］３４内に立体物２２の出現はなかったと判定する（ステップＳ７）。

例をあげると、図７（ａ）に示す俯瞰画像３０ａが始点５１における画像であり、図７（ｂ）に示す俯瞰画像３０ｂが終点５２における画像である場合、ステップＳ２で計算したヒストグラム４１ａに比べてステップＳ３で計算したヒストグラム４１ｂは、図７（ｂ）中の立体物２２の像３２によって直交方向特徴成分４６、４７の頻度が高くなり、ステップＳ４で計算する検知領域［Ｉ］３４内の直交方向特徴成分４６、４７の増分は大きく、ステップＳ６で立体物２２の出現ありと判定される。

反対に、図７（ｂ）に示す俯瞰画像３０ａが始点５１における画像であり、図７（ａ）に示す俯瞰画像３０ｂが終点５２における画像である場合、ステップＳ２で計算したヒストグラム４１ｂに比べてステップＳ３で計算したヒストグラム４１ａは、図７（ｂ）中の立体物２２の像３２によって直交方向特徴成分４６、４７の頻度は低くなり、ステップＳ７で立体物２２の出現なしと判定される。

図４に示す区間５０の間に立体物２２の出現がなく、検知領域［Ｉ］３４の背景にも変化がない場合、第１の直交方向特徴成分４６、４７と第２の直交方向特徴成分４６、４７は、ほぼ等しく、ステップＳ４で計算する直交方向特徴成分の増分はほとんどない。従って、ステップＳ７で立体物２２の出現はないと判定される。

また、図４に示す区間５０の間に立体物２２の出現はないが、検知領域［Ｉ］３４の背景に変化がある場合、例えば日照変動による全体的な明るさの変化や影の移動などがある場合でも、背景の変化が視線方向３３に沿ってあらわれない限り、第１の直交方向特徴成分４６、４７と第２の直交方向特徴成分４６、４７はほぼ等しく、ステップＳ７で立体物２２の出現はないと判定される。

一方で、図４に示す区間５０の間に立体物２２の出現があるものの、始点５１の検知領域［Ｉ］３４の背景の直交方向特徴成分４６、４７が、終点５２の立体物２２の直交方向特徴成分４６、４７に近い場合、例えば始点５１の検知領域［Ｉ］３４の背景に視線方向３３の方向に伸びる白線や支柱がある場合には、ステップＳ４で計算する視線方向３３の交差方向への方向特徴の増分はほとんどなく、Ｓ７で立体物２２の出現はないと判定される。

図５のステップＳ９は、ステップＳ１からステップＳ８までのループ処理で、２つ以上の検知領域［Ｉ］に立体物２２の出現ありと判定された場合に、空間中における同一の立体物２２がなるべく一つの検知領域に対応するように、立体物２２の出現ありと判定した検知領域を一つの検知領域に統合する処理を行う。

ステップＳ９では、まず極座標における同一方向φの距離ρ方向で検知領域を統合する。例えば、図１５に示すように、（ａ１、ａ２、ｂ２、ｂ１）と（ａ２、ａ３、ｂ３、ｂ２）の検知領域で立体物２２の出現ありと判定された場合には、（ａ１、ａ３、ｂ３、ｂ１）の検知領域で立体物２２の出現ありと統合する。

次にステップＳ９は、極座標において距離ρ方向で統合した検知領域のうち極座標の方向φが近いものを一つの検知領域に統合する。例えば、図１５のように、（ａ１、ａ３、ｂ３、ｂ１）の検知領域で立体物２２の出現あり、（ｐ１、ｐ２、ｑ２、ｑ１）の検知領域で立体物２２の出現ありと判定されたときには、２つの検知領域の方向φの差が小さいことより（ａ１、ａ３、ｑ３、ｑ１）を一つの検知領域とする。検知領域を統合する方向φの範囲は、俯瞰画像３０上における立体物２２の見かけのサイズに応じてあらかじめ上限を定めておく。

図１７（ａ）および図１７（ｂ）は、ステップＳ９の処理を補足説明するための図であり、符号９２は俯瞰画像３０上における足元の幅Ｗ、符号９１は俯瞰画像３０上におけるカメラ２１の視点３１から立体物２２の足元までの距離Ｒ、符号９０は俯瞰画像３０上においてカメラ２１の視点３１から見た立体物２２の足元の見かけの角度Ωである。

角度Ω９０は、足元の幅Ｗ９２と距離Ｒ９１から一意に定まる。足元の幅Ｗ９２が同じであれば、図１７（ａ）のように立体物２２とカメラ２１の視点３１が近いときは距離Ｒ９１は小さく角度Ω９０は大きくなり、反対に図１７（ｂ）のように立体物２２とカメラ２１の視点３１が遠いときには距離Ｒ９１は大きく角度Ω９０は小さくなる。

本発明の立体物出現検知装置は、立体物の中でも人物に近い幅と高さをもつ立体物２２を検知の対象とするので、立体物２２の空間中における足元の幅の範囲をあらかじめ見積もることができる。よって、空間中の立体物２２の足元の幅の範囲とカメラ幾何記録７のキャリブレーションデータから俯瞰画像３０上の立体物２２の足元の幅Ｗ９２の範囲をあらかじめ見積もることができる。

このあらかじめ見積もった足元の幅Ｗ９２の範囲から、足元までの距離Ｒ９１に対する、足元の見かけの角度Ω９０の範囲を計算することができる。ステップＳ９における検知領域を統合する角度φの範囲は、俯瞰画像３０上における検知領域からカメラ２１の視点３１までの距離と、前記の足元までの距離Ｒ９１と足元の見かけの角度Ω９０の関係を用いて定める。

以上述べたステップＳ９の検知領域の統合の方法はあくまで一例であり、俯瞰画像３０上における立体物２２のみかけのサイズに応じた範囲の検知領域を統合する方法であれば、ステップＳ９の検知領域の統合の方法に適用することができる。例えば、座標分割４０において立体物２２の出現ありと判定した検知領域の間の距離を計算し、俯瞰画像３０上における立体物２２のみかけのサイズの範囲で、近接する検知領域あるいは距離が近い検知領域のグループを形成する方法であれば、ステップＳ９の検知領域の統合の方法に適用することができる。

なお、ステップＳ５、ステップＳ６，ステップＳ７の説明において、図４に示す区間５０の間に立体物２２が出現した場合でも、検知領域［Ｉ］のうち始点５１の検知領域［Ｉ］内の背景が、終点５２の検知領域［Ｉ］内の立体物２２と近い直交方向特徴成分４６、４７を持つものは立体物２２の出現はないと判定してしまうと述べたが、立体物２２のシルエットをふくむ検知領域［Ｉ］の範囲内で始点５１の背景と終点５２の立体物２２の間で直交方向特徴成分４６、４７が異なる場合には、複数の検知領域［Ｉ］の判定結果を統合して判定するステップＳ９において立体物２２の出現を検知することができる。

また、ステップＳ１からステップＳ８のループ処理の座標分割４０については、図６に示した極座標の格子分割はあくまで座標分割４０の一例であり、距離ρの方向の座標軸と角度φの方向の座標軸の２つの座標軸をもつ座標系であれば、どんな座標系でも座標分割４０に適用することができる。

また、座標分割４０の距離ρおよび角度φの分割間隔は任意である。座標分割４０の分割間隔を細かくするほど、ステップＳ４では俯瞰画像３０上の局所的な直交方向特徴成分４６、４７の増分から小さな立体物２２の出現を検知できるメリットがある一方で、ステップＳ９では統合を判定する検知領域の数が多くなり計算量が増えるデメリットがある。なお、座標分割４０の分割間隔を最も小さくしたときは、座標分割４０の最初の検知領域は俯瞰画像上の１画素となる。

図５のステップＳ１０は、ステップＳ９で統合した検知領域の数、検知領域ごとの中心位置や中心方向および検知領域とカメラ２１の視点３１までの距離を計算して出力する。図１において、カメラ幾何記録７は事前に求められた俯瞰画像３０におけるカメラ２１の視点３１および図６の極座標の格子および立体物検出手段６で用いる数値データを蓄積している。また、カメラ幾何記録７は、空間中の点の座標と俯瞰画像３０の点の座標を対応付けるキャリブレーションデータを有している。

図１において、警報手段８は、立体物検出手段６が１つ以上の立体物の出現を検知した場合には、画面出力あるいは音声出力のいずれかあるいは両方で運転者に注意を促す警報を出力する。図８は、警報手段８の画面出力の一例であり、符号７１は画面表示、７０は画面表示７１上の立体物２２を示す折れ線（枠線）である。図８において、画面表示７１は俯瞰画像３０のほぼ全体を表示している。折れ線７０は、立体物検出手段６が立体物２２の出現ありと判定した検知領域、あるいは立体物検出手段６が立体物２２の出現ありと判定した検知領域に見栄え上の調整を加えた領域である。

尚、立体物検出手段６は、始点５１と終点５２の２つの俯瞰画像３０から直交方向特徴成分４６、４７の増分を基準に立体物２２を検出する方法をとる。従って、立体物検出手段６は、立体物２２の影や自車２０の影などの外乱が偶発的にカメラの視線方向３３と重ならない限り、立体物２２のシルエットを正確に抽出することができる。よって、折れ線７０は、大半のケースで立体物２２のシルエットに沿って描画され、運転者は折れ線７０から立体物２２の形状を把握することができる。

図１８は、立体物２２とカメラ２１との距離に応じた折れ線７０の変化を説明する図である。まず、立体物２２の見かけの角度Ω９０は、図１７（ａ）に示したように立体物２２がカメラ２１の視点３１に近いほど大きく、反対に図１７（ｂ）に示したように立体物２２がカメラ２１の視点３１から遠いほど小さくなる。この立体物２２の角度Ω９０の特性と、折れ線７０が大半のケースで立体物２２のシルエットに沿って描画されることから、折れ線７０の幅Ｌ９３は、図１８（ａ）のように立体物２２がカメラ２１の視点に近いときほど広くなり、反対に立体物２２がカメラ２１の視点から遠いときには図１８（ｂ）のように狭くなる。よって、運転者は画面表示７１上の折れ線７０の幅Ｌ９３から、立体物２２とカメラ２１の距離感を把握することができる。

なお、警報手段８は、画面表示７１において折れ線７０の代わりに、俯瞰画像３０上の立体物２２のシルエットに近い図形を描画してもよい。例えば、折れ線７０の代わりに放物線を描画してもよい。

図１６は、警報手段８の画面出力の他の一例を示す図である。図１６において、画面表示７１’は俯瞰画像３０上のカメラ２１の視点３１付近の範囲を表示している。画面表示７１と画面表示７１’と比べると、画面表示７１’は俯瞰画像３０上の表示範囲を絞り込むことによって、カメラ２１の視点３１のすぐ近く、すなわち車両２０のすぐ近くの縁石や車止めなどを、運転者が目視しやすいように高い解像度で表示することができる。

なお、車両２０に近いところを表示するためには、俯瞰画像３０の画角を車両２０の近傍に設定して、俯瞰画像３０の全体を画面表示７１に用いる構成も考えられるが、俯瞰画像３０の画角を狭めてしまうと視線方向３３に沿った立体物２２の伸張が小さくなってしまい、立体物検出手段６は良好な精度で立体物２２を検知することが困難となる。例えば、俯瞰画像３０の画角を画面表示７１’の範囲に狭めた場合には、俯瞰画像３０の画角内には立体物２２の足元しか入っていないので、図８のように俯瞰画像３０の画角内に立体物２２の脚部２２ａから胴体２２ｂまでが入っているときと比べると、立体物２２の視線方向３３に沿った伸張が小さいので立体物２２の検知は困難となる。

警報手段８は、図８あるいは図１６に例を示した画面表示７１の見易さを更に向上させるために、回転して向きを変える加工や明るさを調整する加工を施してもよい。また、上記した特許文献１に示される構成のように、車両２０に２つ以上のカメラ２１が取り付けられる場合には、複数のカメラ２１の複数の画面表示７１を運転者が一目できるように、複数の画面表示７１をひとまとめに合成して表示してもよい。

警報手段８の音声出力はビープ音などの警報音のほか、「車両の周囲に何か立体物が出現したようです。」や「車両の周囲に何か立体物が出現したようです。モニタ画面を確認ください。」のように、警報の内容を説明するアナウンス、あるいは警報音とアナウンスの両方であってよい。

本発明の実施例１では以上説明した機能構成により、運転者の注意が車両２０の周囲確認から一時的に離れる前後における画像の比較を、俯瞰画像３０上の方向特徴成分のうち、カメラ２１の視点３１からの視線方向と直交した方向の方向特徴成分である直交方向特徴成分の増分により判定することにより、周囲確認が途絶えた間に立体物２２が出現したときには警報を出力して、再び車両２０を発進させようとする運転者に周囲への注意を喚起することができる。

また、運転者の注意が車両２０の周囲確認から一時的に離れる前後の画像の変化を、俯瞰画像３０上におけるカメラ２１の視点３１からの視線方向と直交に近い方向の直交方向特徴成分の増分に絞りこむことにより、自車２０の影の変化や日照強度の変化などの出現物以外の誤検知による誤報を抑止することや、立体物２２が退去した場合の不必要な誤報を抑止することができる。

本発明の実施例２の機能ブロック図を図９に示す。尚、実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

図９において画像検知手段１０は、画像処理によって車両２０周囲の立体物２２による画像変化あるいは画像特徴を検知する手段である。画像検知手段１０は、現時刻で画像を入力とする手法以外にも、処理周期毎の画像をバッファに格納した画像の時系列を入力とする手法でもよい。

画像検知手段１０がとらえる立体物２２の画像変化は前提条件をつけてもよく、例えば立体物２２が動くことを前提条件として立体物２２の全体の移動や手足の動きをとらえる手法であってよい。

画像検知手段１０がとらえる立体物２２の画像特徴も前提条件をつけてよく、肌の露出があることを前提として肌色を検出する手法であってよい。画像検知手段１０の例には、立体物２２の全体や部分の動きをとらえるために２時刻の画像間の対応点を探索して求める移動量から移動物を検出する移動ベクトル法や、立体物２２の肌色部分を抽出するためにカラー画像の色空間から肌色成分を抽出する肌色検出法があるがこの例に限らない。画像検知手段１０は、現時刻あるいは時系列の画像を入力として、画像上の局所単位で検知条件を満たす場合には検知ＯＮ、検知条件を満たす場合には検知のＯＦＦを出力する。

図９において動作制御手段４は、画像検知手段１０が動作する条件を車両信号取得手段３の信号から判定し、画像検知手段１０が動作する条件で立体物検出手段６ａに検知判定の信号を送る。画像検知手段１０が動作する条件としては、例えば画像検知手段１０が移動ベクトル法のときには車両２０が停止している間であり、これは車速やパーキング信号から取得できる。なお、画像検知手段１０が車両２０の走行を通じて常時動作する場合には、図９において車両信号取得手段３および動作制御手段４を省くことができ、このとき立体物検出手段６ａは常に検知判定の信号を受け取ったものとして動作する。

図９において立体物検出手段６ａは、検知判定の信号を受信すると、図１１のフローで立体物２２を検出する。図１１において、ステップＳ１からステップＳ８のループ処理は、図５に示した実施例１と同一の検知領域［Ｉ］のループ処理である。図１１のフローに示すように、ステップＳ１からステップＳ８のループ処理で検知領域［Ｉ］を変えながら、ステップＳ１１で画像検知手段１０が検知ＯＦＦの場合には、検知領域［Ｉ］には立体物がないと判定する（ステップＳ７）。ステップＳ１１の判定が検知ＯＮの場合には、現時刻の俯瞰画像３０の方向特徴成分の中からカメラ２１の視点３１からの視線方向と直交に近い方向の直交方向特徴成分の量を計算する（ステップＳ３）。

ステップＳ３で求めたカメラ２１の視点３１からの視線方向と直交に近い直交方向特徴成分の量、すなわち上記した（３）式で求めたＳ_ｂ＋および上記した式（４）で求めたＳ_ｂ−の和が、所定のしきい値以上であるかを判定し（ステップＳ１４）、しきい値以上であれば検知領域［Ｉ］に立体物ありと判定し（ステップＳ１６）、しきい値未満であれば検知領域［Ｉ］に立体物なし（ステップＳ１７）と判定する。

続くステップＳ９では、実施例１と同様に複数の検知領域を統合し、ステップＳ１０では立体物２２の数および領域情報を出力する。なお、ステップＳ１４の判定は、カメラ２１の視点３１からの視線方向と直交に近い方向の直交方向特徴成分Ｓ_ｂ＋とＳ_ｂ−の和をしきい値と比較するほか、カメラ２１の視点３１からの視線方向と直交に近い方向の直交方向特徴成分Ｓ_ｂ＋のＳ_ｂ−の最大値のように、カメラ２１の視点３１からの視線方向と直交する２方向（例えば図７における方向３６および方向３７）を総合的に評価する方法であれば代替できる。そして、ステップＳ９では、実施例１と同様に複数の検知領域を統合し、ステップＳ１０では立体物２２の数および領域情報を出力する。

図１０は俯瞰画像３０の一例であり、立体物２２、立体物２２の影６３、支柱６２、白線６４が写っている。白線６４は、カメラ２１の視点３１から放射方向に伸びている。立体物２２および立体物２２の影６３は、俯瞰画像３０上で上方向６１に向かって歩行している。画像検知手段１０が移動ベクトル法であるケースをとって、図１０の状況を入力とした時の図１１のフローを説明する。

図１０において俯瞰画像３０上で立体物２２および立体物２２の影６３の部分では、上方向６１への移動により移動ベクトル法は検知ＯＮとなる。よって、検知領域［Ｉ］が立体物２２および立体物２２の影６３を含む時、ステップＳ１１の判定はｙｅｓとなる。ステップＳ１１の判定がｙｅｓとなった後のステップＳ１６の判定においては、立体物２２を含む検知領域［Ｉ］では立体物２２の輪郭がカメラ２１の視点３１からの視線方向に沿って伸長しているので、方向特徴成分がカメラ２１の視点３１からの視線方向と交差した成分に集中して判定がｙｅｓとなる。

一方、ステップＳ１６の判定において、立体物２２の影６３は、影６３がカメラ２１の視点３１からの視線方向に沿って伸長しないので判定がｎｏとなる。よって、図１０の場面においてステップＳ１０で検出されるのは立体物２２だけとなる。

なお仮に、カメラ２１の視点３１からの視線方向に沿って伸長する支柱６２や白線６４をステップＳ１５で判定する状況を考えると、支柱６２や白線６４ではカメラ２１の視点３１からの視線方向と直交に近い方向の直交方向特徴成分が集中して増大するのでステップＳ１５における判定結果はｙｅｓとなるが、支柱６２や白線６４では移動量がなく、ステップＳ１５よりも前段のステップＳ１１における判定がｎｏとなるので、支柱６２や白線６４を含む検知領域［Ｉ］では立体物なしと判定される（Ｓ１７）。

図１０以外の状況で例えば、車両２０の周囲で、立体物である草木が風に揺れる場面を想定すると、検知領域［Ｉ］が草木を含む時、移動ベクトル法では２時刻の画像間での草木の移動により検知ＯＮとなる（ステップＳ１１でｙｅｓ）。

しかしながら、草木の背が高くなく、カメラ２１の視点３１からの視線方向に沿って伸長しなければステップＳ１６の判定はｎｏとなり、立体物なしと判定される（ステップＳ１７）。その他、画像検知手段１０が偶発的に検知ＯＮとなってしまう対象であっても、偶発的に検知ＯＮとなった対象がカメラ２１の視点３１からの視線方向に沿って伸長しなければ立体物２２として検知されることはない。

なお、画像検知手段１０の処理の特性上、俯瞰画像３０にて立体物２２を部分的にしか検知できない場合には、図１１のフローにて検知領域［Ｉ］あるいは検知領域［Ｉ］の近傍の検知領域で画像検知手段１０が検知ＯＮとなるように、ステップＳ１１の判定条件を緩めてもよい。また、画像検知手段１０の処理の特性上、時系列でみたときに画像検知手段１０が断続的にしか立体物２２を検知できない場合には、図１１のフローにて検知領域［Ｉ］にて現時刻あるいは所定の処理周期前までに画像検知手段１０が検知ＯＮとなるように、ステップＳ１１の判定条件を緩めてもよい。

また、立体物２２が俯瞰画像３０上にて移動後に停止する状況のように、画像検知手段１０が一度検知ＯＮとなるがその後検知ＯＦＦとなり立体物２２を見失う場合には、図１１のフローにて検知領域［Ｉ］にて現時刻あるいは現時刻から所定のタイムアウト時間前までに画像検知手段１０が検知ＯＮであるようにステップＳ１１の判定条件を緩めてもよい。

上記の例では、画像検知手段１０を移動ベクトル法としたが、他の画像処理の手法でも同様に、画像検知手段１０にて検知ＯＮとなったときに、検知ＯＮとなった対象がカメラ２１の視点３１からの視線方向に沿って伸長しない限り、立体物２２以外のものが誤って検出されることを抑止することができる。また、画像検知手段１０が検知した対象を見失った後も所定のタイムアウト時間の間、検知ＯＮとなった対象がカメラ２１の視点３１からの視線方向に沿って伸長するときには立体物２２として検出され続ける。

本発明の実施例２では、以上説明した機能構成により、画像処理による画像検知手段１０を検知した対象のうち、カメラ２１の視点３１からの視線方向に沿って伸長するものに選別することで、画像検知手段１０が偶発的な外乱のように立体物２２以外を検知したときの不要な誤報を削減できる。

また本発明の実施例２では、画像検知手段１０が立体物２２の影６３のように立体物２２の周囲の不要な領域を検知した場合でも、警報手段８の画面における立体物２２以外の不要な部分を削除して出力することができる。また、実施例２では、画像処理手段１０が検知した対象を見失った後も、タイムアウト時間の間、検知ＯＮとなった対象がカメラ２１の視点３１からの視線方向に沿って伸長していれば、検知を継続することができる。

本発明の実施例３の機能ブロック図を図１２に示す。尚、実施例１、２と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

図１２においてセンサ１２は、車両２０の周囲の立体物２２を検知するセンサである。センサ１２は、少なくとも検知範囲内における立体物２２の有無を判定し、立体物２２が存在する場合には検知ＯＮ、立体物２２が存在しない場合には検知ＯＦＦを出力する。センサ１２の例としては、超音波センサやレーザセンサやミリ波レーダがあるが、この例に限らない。なお、俯瞰画像手段１以外の画角で車両周囲をとらえるカメラ２１の画像を入力として、立体物２２を検出するカメラ２１と画像処理の組み合わせもこのセンサ１２に含まれる。

図１２において動作制御手段４は、センサ１２が動作する条件を車両信号取得手段３の信号から判定し、画像検知手段１０が動作する条件で立体物検出手段６ｂに検知判定の信号を送る。画像検知手段１０が動作する条件としては、例えばセンサ１２が、車両２０の後退時に車両後部の立体物２２を検知する超音波センサであり、車両２０のギアがバックギヤの状態であれば立体物検出手段６ｂに検知判定の信号を送る。なお、センサ１２が車両２０の走行を通じて常時動作する場合には、図１２において車両信号取得手段３および動作制御手段４を省くことができ、このとき立体物検出手段６ｂは常に検知判定の信号を受け取ったものとして動作する。

図１２においてセンサ特性記録１３は、俯瞰画像取得手段１に画像を入力するカメラ２１とセンサ１２の空間中の位置や方向の関係およびセンサ１２の計測範囲などの特性からあらかじめ計算された、俯瞰画像３０上におけるセンサ１２の検知範囲を少なくとも記録している。また、センサ１２が立体物２２の有無の判定に加えて検知した立体物２２の距離や方位などの計測情報を出力する場合、センサ特性記録１３はあらかじめ計算されたセンサ１２の距離や方位などの計測情報と俯瞰画像３０上の領域の対応を記録している。

図１３は俯瞰画像３０の一例であり、符号７４はセンサ１２の検知範囲を示している。図１３では、立体物２２が検知範囲７４内に入っているがこの例に限らず、立体物２２は検知範囲７４外の場合もある。図１３において検知範囲７５は、センサ１２が検知ＯＮと検知ＯＦＦ以外に距離や方位などの計測情報を出力する場合には、センサ特性記録１３を参照してセンサ１２の距離や方位などの計測情報を変換した俯瞰画像３０上の領域である。

図１２において立体物検出手段６ｂは検知判定の信号を受信すると、図１４のフローで立体物２２を検出する。図１４において、ステップＳ１からステップＳ８のループ処理は、図５に示した実施例１と同一の検知領域［Ｉ］のループ処理である。図１４のフローでは、ステップＳ１からステップＳ８のループ処理で検知領域［Ｉ］を変えながら、ステップＳ１２で検知領域［Ｉ］とセンサ１２の検知範囲７４とが重なりかつセンサ１２が検知ＯＮの条件を満たす場合に、ステップＳ３に進むが、条件を満たさない場合には検知領域［Ｉ］に立体物なしと判定する（ステップＳ１７）。

ステップＳ１２の判定がｙｅｓの場合のステップＳ３、ステップＳ１５は実施例２と同一であり、ステップＳ３で現時刻の俯瞰画像３０の方向特徴からカメラ２１の視点３１からの視線方向と直交に近い直交方向特徴成分を計算したのち、ステップＳ１５ではステップＳ３で求めたカメラ２１の視点３１からの視線方向と直交に近い直交方向特徴成分が、しきい値以上であれば検知領域［Ｉ］に立体物ありと判定し（ステップＳ１６）、しきい値未満であれば検知領域［Ｉ］に立体物なし（ステップＳ１７）と判定する。

センサ１２の特性上、センサ１２の検知範囲７４が俯瞰画像３０上の限られた領域しかカバーしない場合、俯瞰画像３０上に立体物２２が存在している場合でもカメラ２１の視点３１からの視線方向に沿って伸びる立体物２２の一部しか検知できない。

例えば、図１３の場合にはセンサ１２の検知範囲７４は立体物２２の足元７５しかとらえていない。よって、センサ１２の検知範囲７４が俯瞰画像３０上の限られた領域しかカバーしない場合には、図１４のステップＳ１２の判定において、検知領域［Ｉ］あるいは検知領域［Ｉ］から極座標の距離ρに沿ったどこかの検知領域がセンサ１２の検知範囲７４とが重なるように、ステップＳ１２の判定条件を緩めてもよい。

例えば、図６の座標分割４０における（ｐ１、ｐ２、ｑ２、ｑ１）の検知領域がセンサ１２の検知範囲７４と重なるならば、（ｐ２、ｐ３、ｑ３、ｑ２）の検知領域が検知範囲７４と重ならなくても、ステップＳ１２の判定において（ｐ２、ｐ３、ｑ３、ｑ２）の検知領域と検知領域［Ｉ］とが重なりを持つとする。

センサ１２の特性上、時系列でみたときにセンサ１２が断続的にしか立体物２２を検知できない場合には、図１４のステップＳ１２の判定にて、検知領域［Ｉ］にて現時刻あるいは所定の処理周期前までにセンサ１２が検知ＯＮとなるように、ステップＳ１２の判定条件を緩めてもよい。

また、センサ１２が一度検知ＯＮとなるがその後検知ＯＦＦとなり立体物２２を見失う場合には、図１４のフローにおいて検知領域［Ｉ］にて現時刻あるいは現時刻から所定のタイムアウト時間前までに画像検知手段１０が検知ＯＮとなるようにステップＳ１２の判定条件を緩めてもよい。

センサ１２が検知ＯＮと検知ＯＦＦ以外に距離や方位などの計測情報を出力する場合には、検知範囲７５を検知範囲７４の実効的な領域として、ステップＳ１２において検知領域［Ｉ］が検知範囲７４内にあることから、検知領域［Ｉ］が検知範囲７５内にあることに条件を厳しくしてもよい。このようにステップＳ１２において検知領域［Ｉ］と検知範囲７５を比較する場合には、検知範囲７４内に立体物２２以外に、図１０のような支柱６２、白線６４が入っていても余分な検知を抑止することができる。

本発明の実施例３では、以上説明した機能構成により、センサ１２で検知した対象のうち、カメラ２１の視点３１からの視線方向に沿って伸長するものに選別することで、立体物２２以外の対象の検知あるいは偶発的な外乱の検知を抑止して誤報を減らすことができる。また、画像処理が検知した対象を見失った後も、タイムアウト時間の間検知ＯＮとなった対象がカメラ２１の視点３１からの視線方向に沿って伸長していれば、検知を継続することができる。

本実施例３では以上説明した機能構成により、センサ１２の検知範囲７４あるいは検知範囲７５から、カメラ２１の視点３１からの視線方向に沿って伸長する領域を選別することで、センサ１２が偶発的な外乱のように立体物以外を検知したときの不要な誤報を削減することができる。また、本実施例３では、センサ１２が俯瞰画像３０上の限られた立体物周囲の不要な領域を検知した場合でも、図８の画面における立体物以外の不要な部分を削除して出力することができる。

また、本実施例３では、検知領域［Ｉ］と検知範囲７４の重なりを座標格子４０の極座標に沿ってどこかで重なるというように判定条件を緩めることによって、領域センサ１２の検知範囲７４が俯瞰画像３０上において狭い場合でも、立体物２２の全体像を検出することができる。

本発明によれば、運転者の注意が車両２０の周囲確認から離れる区間５０の前後の画像（例えば俯瞰画像３０ａ、３０ｂ）の方向特徴成分の量を比較して立体物２２の出現を検出するので、車両２０が停止した状況でも車両周囲の立体物２２を検出することができる。また、単一のカメラ２１により立体物２２の出現を検知することができる。そして、立体物２２が退出した場合の不必要な警報を抑止できる。また、方向特徴成分のうち、直交方向特徴成分を用いることで、日照の揺らぎや影の移動のような偶発的な画像の変化による誤報を抑止することができる。

尚、本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

実施例１における立体物出現検知装置の機能ブロック図。 俯瞰画像取得手段が俯瞰画像を取得する状態を示す図。 方向特徴成分抽出手段による明暗勾配方向角度の算出方法を示す図。 動作制御手段が取得するタイミングを示す図。 実施例１の立体物検出手段による処理を示すフローチャート。 立体物検出手段による検知領域を説明する図。 検知領域内の方向特徴成分の分布特性を説明する図。 警報手段８の出力画面の一例を示す図。 実施例２における立体物出現検知装置の機能ブロック図。 俯瞰画像取得手段によって取得された俯瞰画像の一例を示す図。 実施例２の立体物検出手段による処理を示すフローチャート。 実施例３における立体物出現検知装置の機能ブロック図。 俯瞰画像取得手段によって取得された俯瞰画像の一例を示す図。 実施例３の立体物検出手段による処理。 ステップＳ９の処理を説明する図 警報手段８の画面出力の他の一例を示す図。 ステップＳ９の処理を補足説明するための図。 立体物とカメラとの距離に応じた折れ線の描画の変化を説明する図。

符号の説明

１ 俯瞰画像取得手段
２ 方向特徴成分抽出手段
３ 車両信号取得手段
４ 動作制御手段
５ 記憶手段
６ 立体物検出手段
７ カメラ幾何記録
８ 警報手段
１０ 画像検知手段
１２ センサ
２０ 車両
２１ カメラ
２２ 立体物
３０ 俯瞰画像
３１ 視点
３２ 像
３３ 視線方向
４０ 座標格子
４６、４７ 直交方向特徴成分
５０ 区間
５１ 始点
５２ 終点

Claims (10)

1. 車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、
   前記俯瞰画像から該俯瞰画像上でかつ前記カメラの視線方向に直交に近い方向の直交方向特徴成分を抽出し、該抽出した直交方向特徴成分の量に基づいて前記立体物の出現を検知することを特徴とする立体物出現検知装置。
2. 車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、
   前記カメラで所定の時間間隔をおいて撮像した複数の俯瞰画像を取得する俯瞰画像取得手段と、
   該俯瞰画像取得手段により取得した俯瞰画像から該俯瞰画像上でかつ前記車載カメラの視線方向に直交に近い方向の方向特徴成分である直交方向特徴成分を抽出する方向特徴成分抽出手段と、
   該方向特徴成分抽出手段により抽出した直交方向特徴成分の量を前記複数の俯瞰画像同士で比較して、前記直交方向特徴成分の増分が予め設定された閾値以上のときは前記立体物の出現ありと判定する立体物検出手段と、
   を有することを特徴とする立体物出現検知装置。
3. 車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、
   前記車両の制御装置と前記車両に搭載された情報装置のいずれか一つ以上から信号を取得する車両信号取得手段と、
   前記車両信号取得手段からの信号に基づいて前記車両の運転者による注意が前記車両の周囲確認から離れる区間の始点と終点を認識する動作制御手段と、
   該動作制御手段からの情報に基づいて前記カメラで所定の時間間隔をおいて撮像した複数の俯瞰画像を取得する俯瞰画像取得手段と、
   該俯瞰画像取得手段により取得した俯瞰画像から該俯瞰画像上でかつ前記車載カメラの視線方向に直交に近い方向の方向特徴成分である直交方向特徴成分を抽出する方向特徴成分抽出手段と、
   該方向特徴成分抽出手段により抽出した直交方向特徴成分の量を前記複数の俯瞰画像同士で比較して、前記直交方向特徴成分の増分が予め設定された閾値以上のときは前記立体物の出現ありと判定する立体物検出手段と、
   を有することを特徴とする立体物出現検知装置。
4. 車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、
   前記俯瞰画像を取得する俯瞰画像取得手段と、
   該俯瞰画像取得手段により取得した俯瞰画像を画像処理することによって前記立体物による画像変化あるいは画像特徴を検知する画像検知手段と、
   該画像検知手段により検知した前記画像変化あるいは画像特徴が予め設定された条件を満たす場合に、前記俯瞰画像取得手段により取得した俯瞰画像から該俯瞰画像上でかつ前記車載カメラの視線方向に直交に近い方向の方向特徴成分である直交方向特徴成分を抽出する方向特徴成分抽出手段と、
   該方向特徴成分抽出手段により抽出した直交方向特徴成分の量に基づいて前記立体物の出現を検出する立体物検出手段と、
   を有することを特徴とする立体物出現検知装置。
5. 前記画像検知手段は、検知した立体物を見失った場合にも、前記立体物検出手段による前記立体物の検出を継続することを特徴とする請求項４に記載の立体物出現検知装置。
6. 車両に搭載されたカメラで撮像した俯瞰画像に基づいて車両周辺における立体物の出現を検知する立体物出現検知装置において、
   前記俯瞰画像を取得する俯瞰画像取得手段と、
   前記車両の周囲に存在する立体物を検出するセンサと、
   該センサによって前記立体物を検出した場合に、前記俯瞰画像取得手段により取得した俯瞰画像から該俯瞰画像上でかつ前記車載カメラの視線方向に直交に近い方向の方向特徴成分である直交方向特徴成分を抽出する方向特徴成分抽出手段と、
   該方向特徴成分抽出手段により抽出した直交方向特徴成分の量に基づいて前記立体物の出現を検出する立体物検出手段と、
   を有することを特徴とする立体物出現検知装置。
7. 前記立体物検出手段により前記立体物の出現ありと判定された場合に、警報を発する警報手段を有することを特徴とする請求項２から請求項５のいずれか一項に記載の立体物出現検知装置。
8. 前記警報手段は、前記俯瞰画像とともに前記立体物のシルエットを示す枠線を画面表示することを特徴とすることを特徴とする請求項７に記載の立体物出現検知装置。
9. 前記警報手段は、前記カメラと前記立体物との距離に応じて前記枠線の大きさを変更することを特徴とする請求項８に記載の立体物出現検知装置。
10. 前記警報手段は、前記俯瞰画像取得手段により取得した俯瞰画像を、より画角が狭い俯瞰画像に変換して画像表示することを特徴とする請求項７から請求項９のいずれか一項に記載の立体物出現検知装置。

Images