JP2010128795A

JP2010128795A - 障害物検出装置

Info

Publication number: JP2010128795A
Application number: JP2008302808A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2008-11-27
Filing date: 2008-11-27
Publication date: 2010-06-10

Abstract

【課題】立体物全体の画像を正確に抽出する障害物検出装置を構成する。
【解決手段】第１位置で撮影された第１画像を、第１射影変換部３において上方の視点から見下ろす像となる第１変換画像に変換し、第１位置から車両が移動した位置で撮影された第２画像を、第１画像と同様に第２射影変換部において第２変換画像に変換する。第１変換画像を、第１位置から第２位置まで車両が移動した際に予測される第１予測画像に変換し、かつ、対応する位置から更に所定量だけ変位させる位置補正部５を備え、第１予測画像と第２変換画像とから差分を取り、この差分に基づいて立体画像を抽出する立体物領域抽出部６を備えた。
【選択図】図１２

Description

本発明は、障害物検出装置に関し、詳しくは、車載カメラによって撮影された車両周辺の画像から鳥瞰画像を生成する技術に関する。

上記のように構成された障害物検出装置と関連する技術として特許文献１には、異なる位置で撮影された車両周囲の画像を路面に投影変換することで路面投影像を作成し、また、路面以外の物体の領域を抽出し、路面投影画像に重ね合わせ、差を求めることにより、路面外物体の領域を抽出する処理形態が記載されている。更に、この特許文献１では、路面外の物体の領域の輪郭を物体に由来するものと、投影の歪みによるものとに分類し、投影像から変換された画像に、その領域の輪郭を付加することで車両の周囲の状況を分かり易くする点が記載されている。

この特許文献１では、車両や人物のように高さ成分を有する立体物では、高さが高いほど、その物体を投影した画像の歪みが大きくなる不都合があり、鳥瞰画像とした場合には、実在の物体との対応が困難になることから、立体物を見やすく表示している。

特開２００１‐１１４０４７号公報（段落番号〔００１５〕〜〔００１８〕、〔００３２〕〜〔００５０〕、図１〜図９）

車載カメラで車両の周囲を撮影しモニタに表示する際の表示形態として、特許文献１に記載されるもののよう車載カメラで撮影された画像を路面に投影した投影像を生成し、この投影像をモニタに表示することも考えられる。このように表示される画像は、鳥瞰画像やトップビューとして説明されることも多く、その画像が車両の上方の視点から撮影されたもとなることから、車両の周囲の状況を把握しやすくすると云う良好な面もある。

このように車載カメラの画像を変換することで鳥瞰画像を生成するものでは、立体物も路面上に存在する表示形態となることから、特許文献１に記載されるように立体物を抽出して表示することにより、立体物の位置を容易に把握できるようにしている。

鳥瞰画像を生成する処理を考えた場合、複数の車載カメラを用いるものより１つの車載カメラを用いるものの方がコスト面で安価となる。また、１つの車載カメラを用い、車両の移動に伴い車載カメラで複数回撮影を行い、複数の画像のうちの２つの画像から生成した変換画像の差分から立体物を抽出する処理も考えられる。

つまり、２つの画像から路面に射影した像となる射影変換画像を生成し、先に撮影された画像に対応した射影変換画像に基づいて次の画像が撮影されたタイミングにおける斜里変換画像を予測して作り出す。この予測によって作り出した射影変換画像と、後に撮影された画像から生成した射影変換画像との差分を取ることにより、２つの撮影位置で撮影した画像における視差に対応する形態で立体物の領域を抽出することも考えられるのである。

このような処理では、道路標識の支柱のように縦方向の寸法が大きい立体物が存在する場合、２つの射影変換画像における支柱の上端位置の変位量が大きいことから、この上端位置の特定を容易に行える反面、支柱の下端位置の変位が小さいため、この下端位置の特定精度が低くなることが考えられる。また、この下端位置は、路面上の障害物の位置そのものを意味することになるため、車両の周辺を監視して運転者に障害物の存在を報知するシステム（車両と障害物の距離が比較的近い）においては、この下端位置の特定精度が低くなることは、車両と障害物の接触・衝突の可能性が高まってしまうことを意味する。

本発明の目的は、立体物全体の画像の抽出を正確に行い得る障害物検出装置を合理的に構成する点にある。

本発明の特徴は、車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、前記第１画像を撮影した位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換する第１射影変換部と、前記第２画像を前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、前記第１変換画像を、前記第１位置から第２位置まで車両が移動した際に予測される第１予測画像に変換すると共に、前記第２変換画像に対する前記第１予測画像の対比位置を、対応する位置から所定量だけ変位させる位置補正部と、前記対比位置における前記第２変換画像と前記第１予測画像との差分に基づいて、立体物が存在する領域を抽出する立体物領域抽出部とを備えている点にある。

この構成により、第１射影変換部が第１画像を第１変換画像に変換し、第２射影変換部が第２画像を第２変換画像に変換する。次に、位置補正部が第１変換画像から第１予測画像を生成し、第２変換画像と対比させ、この対比位置における第２変換加増と第１予測画像とから差分を取ることにより、第１予測画像と第２変換画像とにおいて路面に対応する領域のデータが消滅し、立体物が存在する領域の抽出が可能となる。このような処理を行う場合に、第１予測画像を対応する位置から所定量だけ変位させることにより、第１予測画像と第２変換画像とを適正に対応する対比位置で差分を取った場合と比較して、視差に対応する変位量が小さい部位における差分も確実に取得し、立体物全体の抽出を実現する。その結果、立体物全体の画像の抽出を正確に行い得る障害物検出装置が合理的に構成された。

本発明は、前記車両の移動距離を検出する移動距離検出部を備え、前記位置補正部は、前記移動距離検出部で検出される前記第１位置と第２位置との間の移動距離に基づいて前記第１予測画像を生成すると共に、前記車両の移動方向を前記変位の方向に設定しても良い。この構成によると、例えば、車両の前面に備えた車載カメラにより車両の前進時に撮影した画像に含まれる立体物の下端位置を明瞭にすることが可能になる。特に、抽出された立体物は路面上に存在する障害物と捉え得るものであり、立体物の下端位置が明瞭になることは、車両から障害物までの距離を正確にすることになり、結果として、障害物と車両との接触や衝突の回避を容易にする。

以下、本発明の実施形態を図面に基づいて説明する。本発明の障害物検出装置は、例えば、駐車支援装置や運転支援装置などに利用される。図１及び図２は、障害物検出装置が搭載される車両３０の基本構成を示したものである。運転席に備えられたステアリングホイール２４は、パワーステアリングユニット３３と連動し、回転操作力を前輪２８ｆに伝えて車両３０の操舵を行う。前輪２８ｆは本発明の操舵輪に相当する。車体前部にはエンジン３２と、このエンジン３２からの動力を変速して前輪２８ｆや後輪２８ｒに伝えるトルクコンバータやＣＶＴ等を有する変速機構３４とが配置されている。車両３０の駆動方式（前輪駆動、後輪駆動、四輪駆動）に応じて、前輪２８ｆ及び後輪２８ｒの双方もしくは何れかに動力が伝達される。運転席の近傍には走行速度を制御するアクセル操作手段としてのアクセルペダル２６と、前輪２８ｆ及び後輪２８ｒのブレーキ装置３１を介して前輪２８ｆ及び後輪２８ｒに制動力を作用させるブレーキペダル２７とが並列配置されている。

運転席の近傍のコンソールの上部位置には、モニタ２０（表示装置）が備えられている。モニタ２０は、バックライトを備えた液晶式のものである。モニタ２０には、感圧式や静電式によるタッチパネルも形成されており、指などの接触位置をロケーションデータとして出力することによって、利用者による指示入力を受け付け可能に構成されている。タッチパネルは、例えば、駐車支援開始の指示入力手段として用いられる。また、モニタ２０には、スピーカも備えられており、種々の案内メッセージや効果音を発することができる。車両３０にナビゲーションシステムが搭載される場合、モニタ２０はナビゲーションシステムの表示装置として用いるものを兼用すると好適である。尚、モニタ２０は、プラズマ表示型のものやＣＲＴ型のものであっても良く、スピーカはドアの内側など他の場所に備えられても良い。

ステアリングホイール２４の操作系にはステアリングセンサ１４が備えられ、ステアリング操作方向と操作量とが計測される。シフトレバー２５の操作系にはシフト位置センサ１５が備えられ、シフト位置が判別される。アクセルペダル２６の操作系にはアクセルセンサ１６が備えられ、操作量が計測される。ブレーキペダル２７の操作系にはブレーキセンサ１７が備えられ、操作の有無などが検出される。

また、移動距離センサとして、前輪２８ｆ及び後輪２８ｒの少なくとも一方の回転量を計測する回転センサ１８が備えられる。本実施形態では、後輪２８ｒに回転センサ１８が備えられた場合を例示している。尚、移動距離については、変速機構３４において、駆動系の回転量から車両３０の移動量を計測するようにしてもよい。また、車両３０には本発明の障害物検出装置として機能する鳥瞰画像生成装置の中核となるＥＣＵ（electronic control unit）１０が配置されている。

車両３０の後部には、車両３０の後方を撮影するカメラ１２が備えられている。カメラ１２は、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子を内蔵し、当該撮像素子に撮像された情報を動画情報としてリアルタイムに出力するデジタルカメラである。カメラ１２は、広角レンズを備えており、例えば左右約１４０度程度の画角を有している。カメラ１２は、略水平方向の視点を有して、車両３０の後方の情景を撮影可能に設置されている。カメラ１２は、車両３０の後方に向けて例えば３０度程度の俯角を有して設置され、概ね後方８ｍ程度までの領域を撮影する。撮影された画像は、ＥＣＵ１０に入力される。

鳥瞰画像生成装置（ＥＣＵ１０）は、図３に示すように、略水平方向からの視点を有するカメラ１２によって撮影された画像を、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換する。図４は、カメラ１２によって撮影された画像の一例である。図５は、略垂直方向から見下ろす視点を有するカメラ１２Ａによって撮影された画像へと変換された画像の一例である。変換された画像は、いわゆる鳥瞰画像である。図５において、左下、右下には、画像データが存在しないことによる空白域が生じている。

まず、鳥瞰画像を生成する際に立体物を特定する原理について説明する。立体物の特定には、以下に示す効果が利用される。まず、視差が生じている２枚の画像の一方から、鳥瞰画像の一種であるＧＰＴ（ground plane transformation ）画像を生成し、他方の画像の視点からのＧＰＴ画像を予測して、生成したＧＰＴ画像を位置補正する。次に、他方の画像からＧＰＴ画像を生成して、一方の画像から生成され、位置補正されたＧＰＴ画像との差分を取ると、立体物が抽出される。視差を生じる２枚の画像は、複数の異なるカメラにより撮影された画像でもよいし、同一のカメラを移動させて撮影された画像であってもよい。

以下、同一のカメラを移動させた場合を例として説明する。図６は、カメラ１２から略水平方向に撮影された撮影画像Ｉ（ＩＡ、ＩＢ）の一例である。図７は、図６の撮影画像Ｉ（ＩＡ、ＩＢ）を視点変換して得られたＧＰＴ画像Ａ（又はＢ）の一例である。図６に示すように、車両３０の周辺には、ほぼ直方体の立体物４０が存在する。この立体物４０が立体物ではなく路面上に存在する「模様」だとすれば、撮影画像上において遠方へ行ってもその横幅がほぼ一定であることから、遠方へ行くほど広い幅を有する「模様」が路面上に描かれていることとなる。従って、図６に示す撮影画像ＩＡ（Ｉ）を視点変換して生成されたＧＰＴ画像Ａは、図７に示すように、車両３０から遠方へ行くほど広い幅を持った「模様」として立体物を表現する。図７に示すように、直方体の立体物は台形状に表現される。

図８は、上述した立体物抽出原理を示す説明図である。図８では、ＧＰＴ画像上における立体物を便宜上、台形で示している。図８において台形ａは、視差が生じている２枚の撮影画像Ｉの内の一方の撮影画像ＩＡのＧＰＴ画像Ａにおける立体物４０である。本例では、同一のカメラを移動させて視差を生じさせる場合を例としているので、台形ａは、カメラ１２が移動する前における第１の仮想視点から見た立体物４０を示している。ここで、第１の仮想視点とは、図３に示したように、カメラ１２が仮想的にカメラ１２Ａに位置にあったと仮定した場合の略垂直方向から見下ろす視点である。撮影画像ＩＡじゃ、本発明の第１画像に相当し、ＧＰＴ画像Ａは本発明の第１変換画像に相当する。

台形ｂは、視差が生じている２枚の撮影画像Ｉの内の他方の撮影画像ＩＢのＧＰＴ画像Ｂにおける立体物４０である。つまり、台形ｂは、カメラ１２がΔＬだけ移動した後における第２の仮想視点から見た立体物４０を示している。そして、台形ａ’は、移動前の第１の仮想視点から見たＧＰＴ画像Ａから、カメラ１２がΔＬだけ移動した場合を予測して得られた立体物４０、即ち第２の仮想視点から見た立体物４０を示している。撮影画像ＩＢは、本発明の第２画像に相当し、ＢＰＴ画像は本発明の第２変換画像に相当する。また、台形ａ’を含むＧＰＴ画像は本発明の第１予測画像に相当する。台形ｂと台形ａ’との差分を取ると、差分として残った画素は、視差を生じさせる立体物４０が存在する位置に対応する。このようにして、立体物４０の存在する領域を抽出することができる。

図９は、図６に示すような撮影画像Ｉから得られたＧＰＴ画像から立体物４０の存在する領域（立体物領域Ｒ）を抽出する例を示す説明図である。図８に基づいて上述したように、カメラ１２が移動する前のＧＰＴ画像Ａ（第１変換画像の一例）に対してΔＬの位置補正を施したＧＰＴ画像Ａ’（第１予測画像）と、カメラ１２がΔＬだけ移動した後のＧＰＴ画像Ｂ（第２変換画像）との差分を取って、差分画像Ｓが得られる。差分画像Ｓにおいて、エッジを抽出すると、図９に示すように、ｅ１〜ｅ４の４辺からなる台形状の領域が、立体物領域Ｒとして抽出される。

尚、第１予測画像としてのＧＰＴ画像Ａ’は、第１変換画像としてのＧＰＴ画像Ａを撮影した後に、第２変換画像としてのＧＰＴ画像Ａ’を撮影するまでに車両３０が移動した際に、第１変換画像から予測される画像である。

ここで、辺ｅ３と辺ｅ４は、台形の上底及び下底に相当する。辺ｅ１と辺ｅ２とは、台形の上底及び下底以外の２辺、即ち、脚に相当する辺である。辺ｅ１と辺ｅ２とは、光学中心Ｃにおいて交差する。即ち、立体物領域Ｒは、平行しない２辺ｅ１及びｅ２が光学中心Ｃにおいて交差する台形状に抽出される。上記例においては、立体物４０が直方体であったので、立体物領域Ｒと、立体物４０とは略一致するものであった。しかし、立体物４０が直方体ではなく、任意の形状であっても、台形状の立体物領域Ｒが抽出される。

図１０は、立体物領域Ｒを抽出する他の例を示す説明図である。本例において、立体物４０は理解を容易にするために、星形形状である。光学中心Ｃから放射状に延びる点線の内、差分を取ることによって立体物４０として検出された画素を通る最も右側及び左側の２線が、立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２となる。また、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、２辺ｅ１とｅ２との中央を通る放射線ＣＬと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、放射線ＣＬと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。

図１１は、立体物領域Ｒを抽出するさらに別の例を示す説明図である。立体物領域Ｒにおける平行しない２辺ｅ１及びｅ２を設定する方法については、図１０に基づいて上述したものと同様であるので説明を省略する。本例では、車両３０に最も近い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線が、立体物領域Ｒにおける平行な２辺の内の一方の辺ｅ３（上底）となる。そして、車両３０に最も遠い側において立体物４０として検出された画素を通る直線の内、光軸ＣＸと直交する直線又は辺ｅ３に平行な直線が、立体物領域Ｒにおける平行な２辺の内の他方の辺ｅ４（下底）となる。このように、立体物４０がどのような形状であったとしても良好に台形状の立体物領域Ｒを抽出することができる。つまり、立体物領域Ｒは、立体物の形状に拘わらず、高い再現性で簡潔に抽出される。

尚、上述したΔＬは車両３０の実際の移動量に対応するものであって良く、移動する以前に設定される値であっても良い。従って第１予測画像Ａ’は、車両３０の実際の移動量ΔＬに基づいて第１変換画像が位置補正された画像でも良く、仮定された所定の移動量に基づいて第１変換画像が位置補正された画像でも良い。

これまで説明は、立体物４０が存在する領域を抽出する基本的は処理を明らかにするものである。しかしながら、図８に示す処理では、立体物４０の下端の位置の変位量が小さいため差分も小さくなり、この下端位置の特定精度が低くなる傾向にあり立体物全体の抽出を正確に行えない。この不都合を解消するため本発明では、ＧＰＴ画像Ｂ（第２変換画像の一例）とＧＰＴ画像Ａ’（第１予測画像）との対比位置を対応する位置から所定量だけ変位させ、この対比位置において差分を取る処理が行われる。本発明の処理を実現する制御構成と、立体物４０を抽出する処理とを以下に説明する。

図１２は、ＥＣＵ１０を中核とする本発明に係る鳥瞰画像生成装置（障害物検出装置の一例）の構成例を模式的に示すブロック図である。同図に示すように、鳥瞰画像生成装置（ＥＣＵ１０）は、第１画像受取部１と、第２画像受取部２と、第１射影変換部３と、第２射影変換部４と、位置補正部５と、立体物領域抽出部６と、射影歪補正部７と、自車位置演算部８（移動距離検出部の一例）と、重畳部９と、画像制御部１１との各機能部を有して構成されている。更に、第１射影変換部３と位置補正部５とで第１射影変換ユニットＵ１が構成されている。

ＥＣＵ１０は、例えば、マイクロコンピュータなどによって構成されており、上記各機能部は、プログラム等によってその機能を分担することが可能である。従って、上記各機能部は、物理的に独立して設けられる必要はなく、同一のハードウェアを兼用してプログラム等のソフトウェアとの協働によってその機能が実現されれば充分である。

第１画像受取部１は、略水平方向の第１の視点を有して車両３０の周辺を撮影するカメラ（車載カメラ）１２により第１位置において撮影された撮影画像Ｉを第１画像ＩＡとして受け取る機能部である。第２画像受取部２は、第１画像ＩＡを撮影した位置から車両３０が所定の移動量ΔＬを経た第２位置においてカメラ１２により撮影された撮影画像Ｉを第２画像ＩＢとして受け取る機能部である。画像制御部１１は、第１画像受取部１と第２画像受取部２とが撮影画像を受け取るタイミングを設定する。

第１射影変換部３は、第１画像ＩＡを略垂直方向からの第２の視点から見下ろす像となる第１変換画像Ａに射影変換する機能部である。第２射影変換部４は、第２画像ＩＢを第２の視点から見下ろす像となる第２変換画像Ｂに射影変換する機能部である。

１つの手法として、第１射影変換部３は、車両３０の移動量を検出する自車位置演算部８（移動距離検出部）の検出結果に基づいて、第１変換画像Ａを第２位置における第１予測画像Ａ’に補正する。また、別の手法として第１射影変換部３は、車両３０が所定の移動量だけ移動したと仮定した位置を第２位置として、第１変換画像Ａを第２位置における第１予測画像Ａ’に補正しても良い。この場合、第２画像受取部２は、車両３０の移動量を検出する自車位置演算部８が、車両３０が所定の移動量だけ移動したことを検出した際に、第２画像ＩＢを受け取ると好適である。第２画像受取部２が第２画像ＩＢを受け取るタイミングは、画像制御部１１によって制御される。

位置補正部５は、車両３０の移動量を検出する移動検出部１３の検出結果に基づいて、第１変換画像Ａを、第１位置から第２位置まで車両３０が移動した際に予測される第１予測画像Ａ’に変換すると共に、第２変換画像Ｂに対する第１予想画像Ａ’の対比位置を、対応する位置から所定量だけ変位させる補正する機能部である。

立体物抽出する処理において、図１３（ａ）に示すように、第１予測画像Ａ’と第２変換画像Ｂとを対応する位置関係で対比させた（重ね合わせた）場合、第１予測画像Ａ’において立体物４０が存在する台形の第１領域ｐと、第２変換画像Ｂにおいて立体物が存在する台形の第２領域ｑとは、下端の辺が一致する位置関係となる。この位置関係で対比させて差分により生成した立体物４０の差分画像は、図１４（ａ）に示すように、下端が少し不明瞭になる。尚、第２変換画像Ｂに対して予測された位置における第１予測画像Ａ’を重ね合わせる位置を「対応する位置」と称しており、本発明では、この対応する位置を基準にして第１予測画像Ａ’を所定量だけ変位させた位置が差分を取るための対比位置に設定される。

これに対して、この位置補正部５においては、図１３（ｂ）に示すように車両３０の移動方向に対応する方向（同図では上下方向）で対応する位置から所定量Δｓだけ変位させることで、差分を求めた際の立体物４０の下端の領域を明確にして立体物４０の全体形状を適正に抽出できるものにしている。この位置関係で対比させて差分により生成した差分画像は、図１４（ｂ）に示すように下端が明瞭になる。

このように、立体物４０を抽出する処理として（立体物領域抽出部６での処理）、適正は対比位置での差分に基づく立体物４０の画像と、対応する位置から第１予測画像Ａ’を所定量Δｓだけ変位させた対比位置での差分に基づく立体物４０の画像の下端位置を明瞭にする。特に、これらの画像を２値化して比較した場合には、図１５（ａ）に示すように画像を変位させないものと比較して、図１５（ｂ）に示すように画像を変位させた立体物４０の輪郭が明瞭になることが理解できる。

自車位置演算部８は、ステアリングセンサ１４、シフト位置センサ１５、アクセルセンサ１６、ブレーキセンサ１７、回転センサ１８等の各種センサによる検出結果を受けて、車両３０の移動量や位置を演算する機能部である。上記各種センサ１４〜１８や、自車位置演算部８は、本発明の移動検出部１３に相当する。尚、自車位置演算部８は、ＥＣＵ１０とは別のＥＣＵや制御装置等に含まれ、演算結果のみがＥＣＵ１０に入力される構成であってもよい。

立体物領域抽出部６は、第１予測画像Ａ’と第２変換画像Ｂとの差分に基づいて、立体物４０が存在する立体物領域Ｒを、平行しない２辺（ｅ１及びｅ２）が光学中心Ｃにおいて交差する台形状に抽出する機能部である。

前述したように第１予測画像Ａ’と第２変換画像Ｂとの対比位置が対応する位置から変位しているので、この立体物領域抽出部６で抽出される立体物４０の像は明瞭なものとなる。

射影歪補正部７は、第２変換画像Ｂにおける立体物領域Ｒの画像を光学中心Ｃの方向へ縮小して射影歪補正画像（図１７に示す符号Ｂ’）に補正する機能部である。重畳部９は、第２変換画像Ｂ上における立体物領域Ｒの中で縮小後の立体物４０の画像が存在する領域以外の領域にマスク処理を施したり、立体物４０の存在を報知する報知表示（図１９に示す符号Ｍ）を重畳させる機能部である。これら、射影歪補正部７及び重畳部９の有する機能の詳細については、後述する。

以下、射影歪と、その補正方法について説明する。図１６は、射影歪を補正する原理を示す説明図である。図１７は、射影歪を補正した後の射影歪補正画像Ｂ’の一例である。図１８は、射影歪補正画像Ｂ’にマスク処理を施した画像の一例である。図１９は、射影歪補正画像Ｂ’に報知表示Ｍを重畳した画像の一例である。

図７に示すように、視点変換後のＧＰＴ画像Ｂにおける立体物４０は、大きな歪みを有している。そこで、視認性を向上させるべく、射影歪補正部７は、図１６に示すように、ＧＰＴ画像Ｂ（第２変換画像）における立体物領域Ｒの画像を光学中心Ｃの方向へ縮小して、図１７に示すような射影歪補正画像Ｂ’に補正する。立体物４０は、図１６に示すように、光学中心Ｃの側の一辺ｅ３、即ち立体物４０が路面に接する位置である下端位置を基準として、光学中心Ｃの方向（下端方向）へ縮小される。ここでは、比例配分によって縮小する例を示しているが、その他の縮小方法を用いてもよい。この補正の結果、図１７に示すように、立体物４０の像に対する違和感が低減される。

但し、立体物領域Ｒの中で圧縮後の立体物４０の領域以外に相当する領域Ｇには、元の歪みのある画像が残っている。このままでは、立体物４０の像に対して違和感を軽減させた効果が限定的となる可能性がある。そこで、例えば、立体物領域Ｒの外側の近傍の背景色によって、領域Ｇを塗りつぶすと良い。マスクされる領域Ｇは、立体物４０の背景であるから、カメラ１２による撮影画像Ｉに現れない部分である。また、この領域Ｇは、いわゆる、死角領域よりも、立体物４０の方が車両３０に近い側にあるので、死角領域がマスクされても問題とはならない。

あるいは、図１８に示すように、領域Ｇが目立ちにくくなるように、ハーフトーン処理を施してマスクすると好適である。例えば、暖色系の色によってハーフトーン効果を施した場合には、立体物４０の陰に入って死角となる領域を目立たせて注意を促す効果が得られる。つまり、領域Ｇが死角であることを、穏やかに報知して利用者の注意を喚起することができる。一般的に路面の色は、モノトーンや寒色系であるので、暖色系の配色を用いると、視認性がよい。一方ハーフトーン処理を施すことによって、大きく目立たせることなく、穏やかに死角であるｋとを報知することができる。

また、立体物４０が存在することを積極的に報知するようにしても好適である。図１９に示すように、領域Ｇに重なるように、メッセージで成る報知表示Ｍを重畳させてもよい。このようなメッセージで成る報知表示Ｍを重畳させることによって、元の歪みのある画像が残っていても、注目されることなく、違和感を低減させることが可能となる。歪みのある画像が残る領域Ｇは、立体物４０の背景に隠れたいわゆる死角である。従って、カメラ１２による撮影画像Ｉに含まれておらず、無理に画像を表示させる必要のない領域でもある。このような理由から、この領域Ｇにメッセージを重畳させると、報知表示Ｍにより必要な画像が隠されることがなく好適である。報知表示Ｍが任意の場所に重畳されると、立体物４０以外の例えば路面上の道路標識などを隠してしまう可能性が生ずる。しかし、立体物４０の背景であって、画像を表示させる必要のない領域Ｇも報知表示Ｍを重畳させることによって、利用者に対して鳥瞰画像及び報知表示Ｍの双方を視認性良く示すことができる。このような報知表示Ｍの重畳、上記マスク処理や塗りつぶし処理は、上述した重畳部９によって実施される。

〔実施形態の効果〕
このように本発明によると、カメラ１２で撮影された画像データを鳥瞰画像としてモニタ２０に表示する際には、カメラ１２で撮影された画像に立体物４０が含まれる場合でも、その立体物４０の全体の形状を明瞭にすることで、立体物４０が存在する位置をモニタ２０から適正に把握できる。

特に、抽出された立体物４０は路面上に存在する障害物と捉え得るものであり、立体物４０の下端位置が明瞭になることは、車両３０から障害物（立体物４０）を検出し、その障害物までの距離を画像処理により高い精度で取得できるものとなる。このような理由から、車両３０から立体物４０（障害物）までの距離を画像処理によって取得し、取得した距離が設定値より小さい値に達した場合に、ブザーを作動させる処理や、合成された人の言葉で障害物に接近している情報をスピーカから出力する処理を行うように障害物検出装置を構成しても良い。

つまり、本発明の障害物検出装置は、カメラ１２で撮影された画像をモニタ２０に表示する処理を必ずしも行う必要はなく（画像をモニタ２０に表示する処理と障害物の検出と並行して行っても良い）、カメラ１２で撮影した画像から障害物を検出し、画像処理により車両３０から立体物４０（障害物）までの正確な距離を特定し、障害物に車両３０が接触することや衝突する可能性があると判断できる場合には、ブザーや、合成された人の言葉で成る音声により障害物に接近していることを運転者に報知することにより、車両３０と障害物との接触を未然に回避する操作を促すことも可能となる。

また、立体物４０を抽出する処理として、複数のカメラを用いるのではなく１つのカメラ１２で撮影した２つの画像の画像処理によって行うので、カメラを複数備える必要は無い。しかも、立体物４０が存在する位置を抽出するための処理も特別の処理のプロセスを設定するのではなく、第１予測画像Ａ’と第２変換画像Ｂとの対比位置の設定を変更することで済み、処理速度を低下させることもない。

車両の運転席前方の説明図車両の基本構成を示すブロック図視点変換の一例を示す説明図略水平方向からの視点を有するカメラによって撮影された画像の一例略垂直方向からの視点の画像へと変換された画像の一例略水平方向に撮影された撮影画像の一例図６の撮影画像を視点変換して得られたＧＰＴ画像の一例立体物抽出原理を示す説明図図６に示す撮影画像から得られたＧＰＴ画像から立体物の存在する領域を抽出する例を示す説明図立体物の存在する領域を抽出する他の例を示す説明図立体物の存在する領域を抽出するさらに他の例を示す説明図鳥瞰画像生成装置の構成例を模式的に示すブロック図立体物の抽出する際の第１予測画像と第２変換画像との対比位置を説明する図適正な対比位置と変位した対比位置との差分画像を示す図図１４の差分画像を２値化した図射影歪を補正する原理を示す説明図射影歪を補正した後射影歪補正画像の一例射影歪補正画像にマスク処理を施した画像の一例射影歪補正画像に報知表示を重畳した画像の一例

符号の説明

１第１画像受取部
２第２画像受取部
３第１射影変換部
４第２射影変換部
５位置補正部
６立体物抽出部
８移動距離検出部（自車位置演算部）
１２車載カメラ
３０車両
ＩＡ第１画像
ＩＢ第２画像
Ａ第１変換画像
Ａ’ 第１予測画像
Ｂ第２変換画像

Claims

車両の周辺を撮影する車載カメラにより第１位置において撮影された撮影画像を第１画像として受け取る第１画像受取部と、
前記第１画像を撮影した位置から前記車両が所定の移動量を経た第２位置において前記車載カメラにより撮影された撮影画像を第２画像として受け取る第２画像受取部と、
前記第１画像を略垂直方向の視点から見下ろす像となる第１変換画像に射影変換する第１射影変換部と、
前記第２画像を前記視点から見下ろす像となる第２変換画像に射影変換する第２射影変換部と、
前記第１変換画像を、前記第１位置から第２位置まで車両が移動した際に予測される第１予測画像に変換すると共に、前記第２変換画像に対する前記第１予測画像の対比位置を、対応する位置から所定量だけ変位させる位置補正部と、
前記対比位置における前記第２変換画像と前記第１予測画像との差分に基づいて、立体物が存在する領域を抽出する立体物領域抽出部とを備えている障害物検出装置。
前記車両の移動距離を検出する移動距離検出部を備え、前記位置補正部は、前記移動距離検出部で検出される前記第１位置と第２位置との間の移動距離に基づいて前記第１予測画像を生成すると共に、前記車両の移動方向を前記変位の方向に設定している請求項１記載の障害物検出装置。