JP2017117357A

JP2017117357A - 立体物検知装置

Info

Publication number: JP2017117357A
Application number: JP2015254631A
Authority: JP
Inventors: 恭佑河野; Kyosuke Kono
Original assignee: Fujitsu General Ltd
Current assignee: Fujitsu General Ltd
Priority date: 2015-12-25
Filing date: 2015-12-25
Publication date: 2017-06-29

Abstract

【課題】一般的な測距センサを省略することができ、しかも、比較的に小さい演算量で立体物を検知することができる立体物検知装置を提供する。【解決手段】立体物検知装置１２は、異なる視点から撮像された複数の画像から生成される複数の俯瞰画像から、俯瞰画像に共通する画像領域を抽出する共通領域特定部１７と、共通する画像領域内で俯瞰画像を比較し、相違点に基づき立体物を検知する立体物抽出部１８とを備える。水平面上に立体物が存在すると、俯瞰画像には立体物の投影像が描かれる。撮像の視点が異なれば、水平面に投影される投影像の位置や形は相違する。【選択図】図２

Description

本発明は、撮像された画像に基づき立体物を検知する立体物検知装置に関する。

特許文献１に記載されるように、車体に搭載されて車体周辺の障害物を検出する障害物検出装置は一般に知られる。この障害物検出装置は測距センサである２つの超音波センサとカメラとを備える。個々の超音波センサは障害物から反射する超音波を受信する。超音波の受信に応じて障害物から個々の超音波センサまでの距離は特定されることができる。複数の障害物がある場合には、２つの超音波センサだけでは複数とおりの障害物の候補を認識できても実在の障害物を特定することができない。認識された障害物の候補に基づき、カメラで撮像される画像中で実在の障害物は探し出される。こうして障害物は認識される。その他、いわゆるステレオカメラを利用して障害物を検出する障害物検出装置も散見される。

特開２００７−１４０８５２号公報

特許文献１では障害物の検出にあたって固有の超音波センサが必要とされる。超音波センサの用途は限られることから、既存の部品に追加されなければならず、コスト負担が増加してしまう。しかも、超音波そのものを視覚的に確認することができないので、車体への搭載にあたって超音波センサの向きとカメラの向きとを調整することが簡単ではない。２つの超音波センサ同士の距離が増大すれば障害物の検出精度は高まるものの、個別に超音波センサを構造物に取り付けるとなると、両者の向きの調整が難しい。また、いわゆるステレオカメラでは障害物の形状認識その他の画像処理が複雑化し、演算処理装置の負荷が大きい。

本発明は、一般的な測距センサを省略することができ、しかも、比較的に小さい演算量で立体物を検知することができる立体物検知装置を提供することを目的とする。

本発明の一形態は、異なる視点から撮像された複数の画像から生成される複数の俯瞰画像から、前記俯瞰画像に共通する画像領域を抽出する共通領域特定部と、
前記共通する画像領域内で前記俯瞰画像を比較して相違点を抽出し、前記相違点に基づき立体物を検知する立体物抽出部とを備える立体物検知装置に関する。

俯瞰画像では水平面が画像の二次元座標に重なる。水平面から突き出る立体物が存在しなければ、撮像の視点が異なっても、複数の俯瞰画像に共通する画像領域では画像は一致する。水平面上に立体物が存在すると、俯瞰画像には立体物の投影像が描かれる。撮像の視点が異なれば、水平面に投影される投影像の位置や形は相違する。したがって、複数の俯瞰画像に共通する画像領域内で相違点が検出されれば、相違点に基づき立体物は検知されることができる。こうして複数の画像から立体物は検知される。一般的な測距センサは省略されることができる。しかも、撮像された画像内で立体物の形状認識が施されてなくて済むので、演算量は小さくて済む。一般に、死角などの影響を受けずに広い範囲にわたって俯瞰画像を生成する際には、複数の俯瞰画像が合成されて１つの画面に映し出される。このとき、複数の俯瞰画像で共通する画像領域ではモーフィングといった視覚的合成処理が実施されることはあっても、それ以外の画像処理が実施されることはなかった。

立体物検知装置は、前記立体物の検知にあたって、前記俯瞰画像に映る被写体から相違点を検出する相違点検出部をさらに備えてもよい。相違点検出部は、２つの俯瞰画像の間で特定された相違点に基づき被写体の相違点を検出する。被写体の相違点は立体物に関する俯瞰画像の視差で引き起こされることから、こうした相違点に基づき立体物は特定されることができる。

立体物検知装置は、魚眼レンズを通じて前記画像を撮像する撮像装置を備えてもよい。魚眼レンズは広い範囲で被写体を撮像する。２つの撮像装置の間で共通する撮像領域を簡単に広げることができる。俯瞰画像でも共通する画像領域は広がる。効率的に立体物は検知される。

立体物検知装置は、前記複数の俯瞰画像を繋ぎ合わせ、画面に映し出す俯瞰画像を生成する画像合成部を備えてもよい。こうして俯瞰画像が合成され、撮像装置の死角の影響を受けずに広い範囲にわたって俯瞰画像は画面に映し出される。

立体物検知装置では、俯瞰視で車体の４角または４辺にそれぞれ前記撮像装置が配置されてもよい。こうして車両の全周にわたって俯瞰画像は生成されるとともに、車両の全周にわたって立体物の検知は実現される。

以上のように開示の装置によれば、一般的な測距センサを省略することができ、しかも、比較的に小さい演算量で立体物を検知することができる立体物検知装置は提供される。

第１実施形態に係る立体物検知装置の構成を概略的に示す模式図である。第１実施形態に係る立体物検知装置の構成を概略的に示すブロック図である。２つのカメラで撮像される立体物の概念図である。一方のカメラで撮像される立体物の投影像を示す概念図である。他方のカメラで撮像される立体物の投影像を示す概念図である。２つのカメラで撮像される立体物の概念図である。一方のカメラで撮像される立体物の投影像を示す概念図である。他方のカメラで撮像される立体物の投影像を示す概念図である。２つのカメラで撮像される立体物の概念図である。一方のカメラで撮像される立体物の投影像を示す概念図である。他方のカメラで撮像される立体物の投影像を示す概念図である。第２実施形態に係る立体物検知装置の構成を概略的に示すブロック図である。第３実施形態に係る立体物検知装置の構成を概略的に示す車体の俯瞰図である。第３実施形態に係る立体物検知装置の構成を概略的に示すブロック図である。（ａ）左前カメラ、（ｂ）右前カメラ、（ｃ）左後カメラ、および（ｄ）右後カメラでそれぞれ撮像された被写体の具体例を示す写真である。画面に映し出される合成俯瞰画像の一具体例を示す写真である。（ａ）左前カメラ、（ｃ）左後カメラ、および（ｄ）右後カメラから出力される画像信号に基づき生成される俯瞰画像の一具体例を示す写真である。第３実施形態の変形例に係る立体物検知装置の構成を概略的に示す車体の俯瞰図である。（ａ）フロントのカメラ、（ｂ）リアのカメラ、（ｃ）左サイドミラーのカメラ、および（ｄ）右サイドミラーのカメラでそれぞれ撮像された被写体の具体例を示す写真である。画面に映し出される合成俯瞰画像の一具体例を示す写真である。（ｂ）リアのカメラ、および（ｃ）左サイドミラーのカメラから出力される画像信号に基づき生成される俯瞰画像の一具体例を示す写真である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は本発明の第１実施形態に係る立体物検知装置１１を概略的に示す。立体物検知装置１１は本体装置１２および２台の撮像装置すなわちカメラ１３ａ、１３ｂを備える。カメラ１３ａ、１３ｂには魚眼レンズ１４ａ、１４ｂが組み込まれる。カメラ１３ａ、１３ｂは魚眼レンズ１４ａ、１４ｂを通じて被写体を撮像する。魚眼レンズ１４ａ、１４ｂは水平面ＨＲに向けられればよい。魚眼レンズ１４ａ、１４ｂの光軸は水平面ＨＲに特定の角度で交差してもよく直交してもよい。カメラ１３ａ、１３ｂは電気的に本体装置１２に接続される。接続にあたって有線が用いられてもよく無線が用いられてもよい。本体装置１２はマイクロプロセッサユニット（ＭＰＵ）といったプロセッサ装置で実現されればよい。

図２に示されるように、本体装置１２は、個々のカメラ１３ａ、１３ｂに接続される俯瞰変換ブロック１５ａ、１５ｂを備える。俯瞰変換ブロック１５ａ、１５ｂにはカメラ１３ａ、１３ｂの撮像素子１６から画像信号が供給される。撮像素子１６は、魚眼レンズを通じて撮像される画像に基づき画像信号を生成する。撮像素子１６にはＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサが用いられればよい。ただし、これらに限られるものではない。画像信号は撮像素子１６ごとに一時的にフレームメモリに格納されればよい。

俯瞰変換ブロック１５ａ、１５ｂは画像信号から個別に俯瞰画像を生成する。俯瞰画像の生成にあたって俯瞰変換ブロック１５ａ、１５ｂは２つのカメラ１３ａ、１３ｂのそれぞれから出力される２つの俯瞰画像の連続性を確保するように拡大縮小処理を実施する。前述のように２つのカメラ１３ａ、１３ｂの光軸は互いにずれることから、２つのカメラ１３ａ、１３ｂの間で撮像の視点は異なる。こうして異なる視点から撮像された２つの画像から２つの俯瞰画像は生成される。俯瞰変換ブロック１５ａ、１５ｂはカメラ１３ａ、１３ｂごとに接続される電子回路で形成されてもよく２つのカメラ１３ａ、１３ｂに共通に接続される電子回路で形成されてもよい。

本体装置１２は共通領域特定ブロック１７および立体物抽出ブロック１８を備える。俯瞰変換ブロック１５ａ、１５ｂは共通領域特定ブロック１７に接続される。共通領域特定ブロック１７は個々の俯瞰変換ブロック１５ａ、１５ｂから個々の俯瞰画像を特定する画像データを取得する。共通領域特定ブロック１７は、取得した画像データに基づき２つの俯瞰画像から共通する画像領域を抽出する。複数の俯瞰画像は連続性を確保するように拡大縮小処理されるので、共通する画像領域では個々のピクセルは１対１で対応することができる。

立体物抽出ブロック１８は、共通する画像領域内で２つの俯瞰画像を比較し、相違点に基づき立体物を検知する。立体物が検知されると、当該検知を特定する検知信号が立体物抽出ブロック１８から出力されればよい。立体物抽出ブロック１８は、立体物の検知の際に、水平面ＨＲに重ねられる二次元座標系に従って立体物の位置を特定してもよい。

立体物の検知にあたって立体物抽出ブロック１８は画像比較ブロック１９を備える。画像比較ブロック１９は、共通する画像領域内で２つの俯瞰画像を比較する。ここでは、対応するピクセル同士が互いに比較されればよい。比較にあたって例えばピクセルの色情報が用いられればよい。画像比較ブロック１９は比較に基づき２つの俯瞰画像の間で相違点を抽出する。こうして相違点を特定する相違点信号は画像比較ブロック１９から出力される。

立体物抽出ブロック１８では画像比較ブロック１９に相違点検出ブロック２１が接続される。相違点検出ブロック２１は画像比較ブロック１９から相違点信号を受信する。相違点検出ブロック２１は、俯瞰画像に映る被写体から相違点を検出する。相違点信号で特定されるピクセルの位置や色情報に基づき特定の被写体が特定されればよい。こうして被写体の相違点を特定する相違点信号は相違点検出ブロック２１から出力される。

立体物抽出ブロック１８では相違点検出ブロック２１に立体物特定ブロック２２が接続される。立体物特定ブロック２２は相違点検出ブロック２１から相違点信号を受信する。立体物特定ブロック２２は、相違点信号で特定される被写体の相違点に基づき立体物を特定する。相違点に係る被写体が立体物であるか否かが判断される。

次に立体物検知装置１１の動作を説明する。図１に示されるように、水平面ＨＲがそのまま２つのカメラ１３ａ、１３ｂで撮像されると、２つの俯瞰画像で共通する画像領域内で画像は一致する。画像比較ブロック１９で対応するピクセル同士が互いに比較されても、相違は検出されない。このとき、立体物抽出ブロック１８では立体物は検知されない。

例えば図３に示されるように、水平面ＨＲ上に立体物ＢＪが存在すると、共通する画像領域内で俯瞰画像は大きく異なる。カメラ１３ａの画像では立体物ＢＪの一方の側面２５ａおよび天面２６が被写体として撮像されるものの他方の側面２５ｂは撮像されない。カメラ１３ｂの画像では立体物ＢＪの他方の側面２５ｂおよび天面２６が被写体として撮像されるものの一方の側面２５ａは撮像されない。図４に示されるように、カメラ１３ａで撮像された画像に基づき俯瞰変換ブロック１５ａで生成される俯瞰画像では一方の側面２５ａおよび天面２６の投影像２７、２８ａが水平面ＨＲ内に描かれる。図５に示されるように、カメラ１３ｂで撮像された画像に基づき俯瞰変換ブロック１５ｂで生成される俯瞰画像では他方の側面２５ｂおよび天面２６の投影像２７、２８ｂが水平面ＨＲ内に描かれる。こうして一方の俯瞰画像にしか映されない被写体は立体物ＢＪの側面２５ａ、２５ｂと見做されることができ、両方の俯瞰画像に映るものの形状が異なる被写体は立体物ＢＪの天面２６と見做されることができる。ここでは、両方の俯瞰画像が重ねられる際に天面２６の投影像２８ａ、２８ｂの距離Ｌは立体物ＢＪの高さＨの推定に役立つ。俯瞰画像中で側面２５ａ、２５ｂや天面２６は画像認識処理に基づき特定されればよい。この場合には、共通する画像領域内で相違する画像で画像認識処理は実施されればよく、演算量は著しく縮小されることができる。

例えば図６に示されるように、立体物ＢＪの高さがカメラ１３ａ、１３ｂの設置位置よりも高い場合には、立体物ＢＪの天面２６は撮像されない。このとき、カメラ１３ａの画像に基づく俯瞰画像では、図７に示されるように、一方の側面２５ａの投影像２７が画面端まで大きく映し出される。同様に、カメラ１３ｂの画像に基づく俯瞰画像では、図８に示されるように、他方の側面２５ｂの投影像２９が画面端まで大きく映し出される。

例えば図９に示されるように、立体物ＢＪの高さＨが低い場合には、カメラ１３ａの画像では立体物ＢＪの一方の側面２５ａおよび天面２６が被写体として撮像され、カメラ１３ｂの画像では立体物ＢＪの他方の側面２５ｂおよび天面２６が被写体として撮像される。したがって、図１０に示されるように、カメラ１３ａで撮像された画像に基づき俯瞰変換ブロック１５ａで生成される俯瞰画像では一方の側面２５ａおよび天面２６の投影像２７、２８ａが水平面ＨＲ内に描かれる。図１１に示されるように、カメラ１３ｂで撮像された画像に基づき俯瞰変換ブロック１５ｂで生成される俯瞰画像では他方の側面２５ｂおよび天面２６の投影像２９、２８ｂが水平面ＨＲ内に描かれる。ただし、２つの俯瞰画像の間で天面２６の投影像２８ａ、２８ｂの距離Ｌは近い。

俯瞰画像では水平面ＨＲが画像の二次元座標に重なる。水平面ＨＲから突き出る立体物ＢＪが存在しなければ、撮像の視点が異なっても、複数の俯瞰画像に共通する画像領域では画像は一致する。水平面ＨＲ上に立体物ＢＪが存在すると、俯瞰画像には立体物ＢＪの投影像２７、２８ａ、２８ｂ、２９が描かれる。撮像の視点が異なれば、水平面ＨＲに投影される投影像２７、２８ａ、２８ｂ、２９の位置や形は相違する。したがって、複数の俯瞰画像に共通する画像領域内で相違点が検出されれば、当該相違点に基づき立体物ＢＪは検知されることができる。こうして複数の画像から立体物ＢＪは検知される。一般的な測距センサは省略されることができる。しかも、撮像された画像内で立体物ＢＪの形状認識が施されてなくて済むので、演算量は小さくて済む。一般に、死角などの影響を受けずに広い範囲にわたって俯瞰画像を生成する際には、複数の俯瞰画像が合成されて１つの画面に映し出される。このとき、個々の俯瞰画像は繋ぎ目で切り出される。したがって、共通する画像領域は特に利用されてはいない。

立体物検知装置１１は、立体物の検知にあたって、俯瞰画像に映る被写体から位置相違点を検出する相違点検出ブロック２１を備える。相違点検出ブロック２１は、２つの俯瞰画像の間で特定された相違点に基づき被写体の形状の相違を検出する。被写体の形状の相違は立体物ＢＪに関する俯瞰画像の視差で引き起こされることから、こうした形状の相違に基づき立体物ＢＪは容易く特定されることができる。

カメラ１３ａ、１３ｂは魚眼レンズ１４ａ、１４ｂを通じて画像を撮像する。魚眼レンズ１４ａ、１４ｂは広い範囲で被写体を撮像する。２つのカメラ１３ａ、１３ｂの間で共通する撮像領域を簡単に広げることができる。俯瞰画像でも共通する画像領域は広がる。効率的に立体物ＢＪは検知される。

図１２は第２実施形態に係る立体物検知装置１１ａを概略的に示す。立体物検知装置では個々のカメラ１３ａ、１３ｂ内に俯瞰変換ブロック１５ａ、１５ｂが組み込まれる。個々のカメラ１３ａ、１３ｂ内で撮像された画像は俯瞰画像に変換される。この場合には、ＮＴＳＣ方式といったインターレース画像がカメラ１３ａ、１３ｂから本体装置１２に向けて出力されても、高画質な映像は得られる。カメラ１３ａ、１３ｂ内には、俯瞰変換ブロック１５ａ、１５ｂを実現するＣＰＵ（中央演算処理装置）やＡＳＩＣ（特定用途向け集積回路）が組み込まれればよい。その一方で、前述のように本体装置１２内のプロセッサで俯瞰変換ブロック１５ａ、１５ｂが実現されると、インターレース画像に基づき俯瞰変換処理が実施されることから、画質劣化が否めない。

図１３は第３実施形態に係る衝突予測装置３１を概略的に示す。衝突予測装置３１は本体装置３２および４台の撮像装置すなわちカメラ３３ａ、３３ｂ、３３ｃ、３３ｄを備える。個々のカメラ３３ａ〜３３ｄは前述のカメラ１３ａ、１３ｂと同様に構成されればよい。カメラ３３ａ〜３３ｄは俯瞰視で４輪自動車の車体Ｍの４角にそれぞれ配置される。左前のカメラ３３ａは車体のフロントと左サイドパネルに沿って水平面たる地面を撮像する。右前のカメラ３３ｂは車体のフロントと右サイドパネルに沿って水平面たる地面を撮像する。左後のカメラ３３ｃは車体のリアと左サイドパネルに沿って水平面たる地面を撮像する。右後のカメラ３３ｄは車体のリアと右サイドパネルに沿って水平面たる地面を撮像する。したがって、前方２つのカメラ３３ａ、３３ｂはフロントライン３４よりも前方の範囲で共通する画像領域ＦＲを提供する。後方２つのカメラ３３ｃ、３３ｄはリアライン３５よりも後方の範囲で共通する画像領域ＲＥを提供する。左側２つのカメラ３３ａ、３３ｃは左サイドライン３６ａよりも左側の範囲で共通する画像領域ＬＦを提供する。右側２つのカメラ３３ｂ、３３ｄは右サイドライン３６ｂよりも右側の範囲で共通する画像領域ＲＴを提供する。こうして車体の全周にわたって共通する画像領域は生成される。

図１４に示されるように、本体装置３２は画像合成ブロック３７および立体物検知ブロック３８を備える。画像合成ブロック３７にはカメラ３３ａ〜３３ｄの俯瞰変換ブロック１５ａ〜１５ｄが接続される。同様に、立体物検知ブロック３８には俯瞰変換ブロック１５ａ〜１５ｄが接続される。画像合成ブロック３７および立体物検知ブロック３８は個々の俯瞰変換ブロック１５ａ〜１５ｄから個々の俯瞰画像を特定する画像データを取得する。

画像合成ブロック３７は繋ぎ合わせブロック４１およびマーキングブロック４２を備える。繋ぎ合わせブロック４１は、取得した画像データに基づき合成俯瞰画像を生成する。合成俯瞰画像の生成にあたって複数の俯瞰画像は順番に繋ぎ合わせられる。繋ぎ合わせにあたって個々の俯瞰画像は繋ぎ目で切り出される。ここでは、俯瞰画像相互で共通する画像領域でモーフィングといった視覚的合成処理が実施されてもよい。その他、個々の俯瞰画像は単純に繋ぎ目で切り出されて決められた位置に配置されるだけでもよい。繋ぎ合わせブロック４１は生成された合成俯瞰画像を特定する合成画像データを出力する。

マーキングブロック４２は位置情報データに基づき合成俯瞰画像にマーキングを施す。マーキングブロック４２には繋ぎ合わせブロック４１から合成画像データが供給される。マーキングにあたってマーキングブロック４２は合成俯瞰画像の二次元座標系に従って座標位置を特定する。座標位置の特定にあたってマーキングブロック４２には立体物検知ブロックＨＷで生成される位置情報データが供給される。マーキングブロック４２は位置情報データで特定される座標位置にマークを描くマーキングデータを生成する。

本体装置３２にはディスプレイ４３が接続される。ディスプレイ４３には画像合成ブロック３７から映像信号が供給される。映像信号はフレームごとに合成俯瞰画像を特定する。映像信号は、マーキングブロック４２から合成画像データおよびマーキングデータに基づき生成される。こうしてディスプレイ４３の画面には合成画像データおよびマーキングデータに基づき映像が映し出される。

立体物検知ブロック３８は前述の共通領域特定ブロック１７および立体物抽出ブロック１８を備える。共通領域特定ブロック１７は、カメラ３３ａ〜３３ｄうち１対のカメラは２つの俯瞰画像に共通する画像領域を抽出する。立体物抽出ブロック１８は、共通する画像領域内で２つの俯瞰画像同士を比較し、２つの俯瞰画像の相違に基づき立体物を検知する。立体物が検知されると、立体物検知ブロック３８は、当該検知を特定する検知信号、および、地面に重ねられる二次元座標系に従って立体物の位置を特定する位置情報信号を出力する。

本体装置３２は衝突予測ブロック４６を備える。衝突予測ブロック４６は立体物進路予測ブロック４７および自車体進路予測ブロック４８を備える。立体物進路予測ブロック４７は、画像比較ブロック４６から出力される検知信号および位置情報信号に基づき、検出された立体物の現在位置および過去位置からその後の立体物の位置を時系列で特定する。自車体進路予測ブロック４８は車速信号および舵角信号に基づき未来の自車体の位置を時系列で特定する。車速信号は、車体Ｍに搭載されて衝突予測ブロック４６に接続される車速センサ４９から供給されればよく、舵角信号は、車体Ｍに搭載されて衝突予測ブロック４６に接続される舵角センサ５１から供給されればよい。衝突予測ブロック４６は、立体物の位置と自車体の位置とを時系列で比較し、立体物と自車体とが重なれば、衝突予測ブロック４６は衝突の可能性を検出する。こうして衝突の可能性が検出されると、衝突予測ブロック４６は、本体装置３２に接続されるスピーカ５２に向けて音声信号を出力する。位置情報データは、地面に割り当てられる二次元座標系に従って立体物の位置を特定する。スピーカ５２は音声信号の受領に応じて警告音を出力する。

次に衝突予測装置３１の動作を説明する。図１５に示されるように、（ａ）左前カメラ３３ａ、（ｂ）右前カメラ３３ｂ、（ｃ）左後カメラ３３ｃ、および（ｄ）右後カメラ３３ｄで被写体は撮像される。個々のカメラ３３ａ〜３３ｄの撮像素子１６は映像のフレームごとに画像信号を出力する。画像信号はフレームメモリに一時的に格納される。俯瞰変換ブロック１５ａ〜１５ｄは、フレームメモリから取り出される画像信号に座標変換や拡大縮小処理を施して俯瞰画像を生成する。俯瞰画像の画像データは画像合成ブロック３７に送られる。画像合成ブロック３７は、複数の俯瞰画像を繋ぎ合わせ、合成画像データを出力する。その結果、図１６に示されるように、ディスプレイ４３の画面には俯瞰画像が映し出される。複数の俯瞰画像が合成されることから、個々のカメラ３３ａ〜３３ｄでは車体Ｍの陰で死角が形成されても、そうした死角に影響されずに広い範囲にわたって俯瞰画像は画面に映し出されることができる。特に、カメラ３３ａ〜３３ｄは俯瞰視で車体Ｍの４角にそれぞれ配置されることから、車体Ｍの全周にわたって俯瞰画像は生成される。

例えば車体Ｍの左斜め後に立体物（ここでは、折り畳まれたままのカメラ用三脚）が存在すると、図１７に示されるように、（ａ）左前カメラ３３ａ、（ｃ）左後カメラ３３ｃ、および（ｄ）右後カメラ３３ｄの画像信号に基づき生成される俯瞰画像に立体物（点線黒枠内）は映り込む。立体物と地面との接点はいずれの俯瞰画像でも同じ位置に位置するものの、立体物の先端の向く方向は異なることが理解される。共通領域特定ブロック１７は、左前カメラ３３ａの俯瞰画像（ａ）および左後カメラ３３ｃの俯瞰画像（ｃ）から共通領域を抽出し、左後カメラ３３ｃの俯瞰画像（ｃ）および右後カメラ３３ｄの俯瞰画像（ｄ）から共通領域を抽出する。立体物抽出ブロック１８は、特定された共通領域内で左前カメラ３３ａの俯瞰画像（ａ）および左後カメラ３３ｃの俯瞰画像（ｃ）を相互に比較し、特定された共通領域内で左後カメラ３３ｃの俯瞰画像（ｃ）および右後カメラ３３ｄの俯瞰画像（ｄ）を相互に比較する。２つの俯瞰画像同士の間で相違は特定される。特定された相違に基づき立体物は検知される。こうした画像の比較といった簡単な画像処理であっても的確に立体物の検知は実現されることができる。しかも、本実施形態では車体Ｍの４角にそれぞれカメラ３３ａ〜３３ｄが配置されることから、車体Ｍの全周（全方位）にわたって立体物の検知は実現される。

例えば道路の凹凸の凸部分など立体物の高さが十分低ければ、車体Ｍは乗り越えて走行し続けることができる。この場合、立体物の天面の位置のみ微妙に相違する。衝突予測装置３１が車体Ｍに搭載されて、わずかな凸部分等が「衝突」と判断されてしまうと、車体Ｍの走行に支障を来してしまう。したがって、２つの俯瞰画像の間で立体物の天面の距離が小さい場合には、立体物として検知しないこととしてもよい。こうした傾向はカメラ３３ａ〜３３ｄから遠い位置ほど顕著であって、わずかな凸部分でも距離が大きく離れる場合があることから、カメラ３３ａ〜３３ｄから遠ざかるほど未検知の距離を大きくしてもよい。

図１８に示されるように、衝突予測装置３１ではカメラ３３ａ〜３３ｄは俯瞰視で四輪自動車の車体Ｍの４辺、つまり車体のフロントの中央位置、リアの中央位置、左右のサイドミラーにそれぞれ取り付けられてもよい。フロントのカメラ３３ａはフロントライン３４よりも前方で水平面たる地面を撮像する。リアのカメラ３３ｂはリアライン３５よりも後方で水平面たる地面を撮像する。左サイドミラーのカメラ３３ｃは左サイドライン３６ａよりも左側で水平面たる地面を撮像する。右サイドミラーのカメラ３３ｄは右サイドライン３６ｂよりも右側で水平面たる地面を撮像する。したがって、フロントのカメラ３３ａと左サイドミラーのカメラ３３ｃはフロントライン３４よりも前方で左サイドライン３６ａよりも左側の範囲で共通する画像領域ＴＬを提供する。左サイドミラーのカメラ３３ｃとリアのカメラ３３ｂはリアライン３５よりも後方で左サイドライン３６ａよりも左側の範囲で共通する画像領域ＲＬを提供する。リアのカメラ３３ｂと右サイドミラーのカメラ３３ｄはリアライン３５よりも後方で右サイドライン３６ｂよりも右側の範囲で共通する画像領域ＲＲを提供する。右サイドミラーのカメラ３３ｄとフロントのカメラ３３ａはフロントライン３４よりも前方で右サイドライン３６ｂよりも右側の範囲で共通する画像領域ＴＲを提供する。こうして車体Ｍの左斜め前方、左斜め後方、右斜め後方および右斜め前方で共通する画像領域は生成される。こうした領域は車体Ｍのピラーで運転手の死角に入りやすい。

図１９に示されるように、（ａ）フロントのカメラ３３ａ、（ｂ）リアのカメラ３３ｂ、（ｃ）左サイドミラーのカメラ３３ｃ、および（ｄ）右サイドミラーのカメラ３３ｄで被写体は撮像される。図２０に示されるように、画像合成ブロック３７の働きでディスプレイ４３の画面には俯瞰画像が映し出される。例えば車体Ｍの左斜め後に立体物（ここでは、折り畳まれたままのカメラ用三脚）が存在すると、図２１に示されるように、（ｂ）リアのカメラ３３ｂおよび（ｃ）左サイドミラーのカメラ３３ｃの画像信号に基づき生成される俯瞰画像に立体物（点線黒枠内）は映り込む。共通領域特定ブロック１７は、リアのカメラ３３ｂの俯瞰画像（ｂ）および左サイドミラーのカメラ３３ｃの俯瞰画像（ｃ）から共通領域を抽出する。立体物抽出ブロック１８は、特定された共通領域内でリアのカメラ３３ｂの俯瞰画像（ｂ）および左サイドミラーのカメラ３３ｃの俯瞰画像（ｃ）を相互に比較する。２つの俯瞰画像同士の間で相違は特定される。特定された相違に基づき立体物は検知される。こうした画像の比較といった簡単な画像処理であっても的確に立体物の検知は実現されることができる。その他の構成は前述の通りである。

１１立体物検知装置、１１ａ…立体物検知装置、１３ａ…撮像装置（カメラ）、１３ｂ…撮像装置（カメラ）、１４ａ…魚眼レンズ、１４ｂ…魚眼レンズ、１７…共通領域特定部（共通領域特定ブロック）、１８…立体物抽出部（立体物抽出ブロック）、２１…相違点検出部（相違点検出ブロック）、３１…立体物検知装置（衝突予測装置）、３３ａ…撮像装置（カメラ）、３３ｂ…撮像装置（カメラ）、３３ｃ…撮像装置（カメラ）、３３ｄ…撮像装置（カメラ）、３７…画像合成部（画像合成ブロック）、４５…画像比較部（画像比較ブロック）、ＦＲ…画像領域、ＬＦ…画像領域、Ｍ…車体、ＲＥ…画像領域、ＲＬ…画像領域、ＲＲ…画像領域、ＲＴ…画像領域、ＴＬ…画像領域、ＴＲ…画像領域。

Claims

異なる視点から撮像された複数の画像から生成される複数の俯瞰画像から、前記俯瞰画像に共通する画像領域を抽出する共通領域特定部と、
前記共通する画像領域内で前記俯瞰画像を比較して相違点を抽出し、前記相違点に基づき立体物を検知する立体物抽出部と
を備えることを特徴とする立体物検知装置。
請求項１に記載の立体物検知装置において、前記立体物の検知にあたって、前記俯瞰画像に映る被写体から相違点を検出する相違点検出部をさらに備えることを特徴とする立体物検知装置。
請求項１または２に記載の立体物検知装置において、魚眼レンズを通じて前記画像を撮像する撮像装置を備えることを特徴とする立体物検知装置。
請求項１〜３のいずれか１項に記載の立体物検知装置において、前記複数の俯瞰画像を繋ぎ合わせ、画面に映し出す俯瞰画像を生成する画像合成部を備えることを特徴とする立体物検知装置。
請求項４に記載の立体物検知装置において、俯瞰視で車体の４角または４辺にそれぞれ前記撮像装置が配置されることを特徴とする立体物検知装置。