JP2012065225A - 車載用画像処理装置、周辺監視装置、および、車両 - Google Patents

Abstract

【課題】車両に取り付けられたカメラの撮影画像を俯瞰画像に変換・合成して表示する際に、運転者が車両後方にある立体障害物までの距離を直感的に把握することが可能な車載用画像処理装置、周辺監視装置、および、車両を提供する。
【解決手段】本発明の車載用画像処理装置、周辺監視装置、および、車両は、投影面決定部１１１が、測距情報取得部１１０が取得した距離情報に基づいて、少なくとも地面を表す平面と自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面に決定し、俯瞰画像生成部１１３が、投影面決定部１１１が決定した地面を表す平面と自車両後方の平面を投影面として画像取得部１１２が撮影した画像を俯瞰画像に変換する。
【選択図】図１

Description

本発明は、車両に搭載されたカメラによって撮影された車両後方の画像を視点変換し、この変換画像を運転者等に提供する車載用画像処理装置、周辺監視装置、および、車両に関する。

車両周囲の確認のため、車両に搭載されたカメラで撮影した画像を視点変換処理することにより、路面上の物体を運転者の視点や上方からの視点で見た画像である俯瞰画像へと変換して、この俯瞰画像をモニタに表示する周辺監視装置が知られている。

例えば、特許文献１では、異なる位置に取り付けられた複数のカメラで撮影された複数の画像に対して、仮想的にカメラ視点を車上に設定して地面へ投影することで俯瞰画像を生成し、この地面を投影面とした複数の俯瞰画像を１つの画像に合成することで車上から自車両の周囲を見下ろした合成画像を生成している。

このような周辺監視装置では、視点変換した合成画像により車両全体を見渡すことが可能であるため、運転者には直感的に受け入れやすい。

特開２００５−１６７３０９号公報

しかしながら、上述の方法で生成した合成画像は、地面に投影した画像であるため、実際のカメラの設置位置より高いところにある物体は合成画像に入らず、消失するという問題が発生する。このため、例えばカメラより高い位置にある木の枝等は合成画像では確認できず、後退運転時に接触事故を起こす危険性が考えられる。

そこで本発明では、車両に取り付けられたカメラの撮影画像を俯瞰画像に変換・合成して表示する際に、運転者が車両後方にある立体障害物までの距離を直感的に把握することが可能な車載用画像処理装置、周辺監視装置、および、車両を提供することを目的とする。

本発明は、投影面決定部が、測距情報取得部が取得した距離情報に基づいて、少なくとも地面を表す平面と自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面に決定し、俯瞰画像生成部が、投影面決定部が決定した地面を表す平面と自車両後方の平面を投影面として画像取得部が撮影した画像を俯瞰画像に変換することを特徴とする。

本発明によれば、車両に取り付けられたカメラの撮影画像を俯瞰画像に変換・合成して表示する際に、運転者が車両後方にある立体障害物までの距離を直感的に把握することができる。

本発明の実施形態における周辺監視装置の全体構成を示すブロック図 車体へのカメラおよびソナーセンサの取付け例を示す図 俯瞰画像を生成するための投影面決定方法を示す図 撮像画像の投影変換方法を示す図 マッピングテーブルを使った俯瞰画像の生成方法を示す図 俯瞰画像に車両の進行予測軌跡線を重畳した表示画像の例を示す図 同図１の要部である車載用画像処理装置による画像処理を示すフローチャート図

以下、本発明の実施形態について、図面を参照して説明する。

図１は、本発明の実施形態に係る周辺監視装置の全体構成を示すブロック図である。図２は、車体へのカメラおよびソナーセンサの取付け例を示す図である。

図1に示すように、周辺監視装置は、車載用画像処理装置１００と、カメラ１０１と、ソナーセンサ１０２と、測距センサモジュール１０３と、車両情報取得部１０４と、ディスプレイ１０５とを備える。

車載用画像処理装置１００は、ＥＣＵ（Ｅｌｅｃｔｏｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）でカメラ１０１と、ソナーセンサ１０２と、測距センサモジュール１０３と、車両情報取得部１０４と、ディスプレイ１０５と接続する。車載用画像処理装置１００は、カメラ１０１と、ソナーセンサ１０２と、測距センサモジュール１０３と、車両情報取得部１０４から入力された情報に基づいて画像処理を行い、この処理結果をディスプレイ１０５に出力する。

カメラ１０１は、ＣＣＤ、ＣＭＯＳデバイス等の固体撮像素子、および、魚眼レンズなどの広視野角のレンズを有するカラーまたはモノクロの撮像装置で構成される。本実施形態では図２に示すようにこのカメラ１００は車両後端の中心に設置される。カメラ１０１は撮像画像を車載用画像処理装置１００に出力する。

ソナーセンサ１０２は、第１〜第４ソナーセンサ２０１〜２０４の４つのセンサで構成される。ソナーセンサ１０２は車両が進行した際に接触・衝突する可能性のある領域をカバー可能な位置に設置される。本実施形態では図２に示すように第１〜第４ソナーセンサ２０１〜２０４は車両後端に設置される。第１〜第４ソナーセンサ２０１〜２０４は、超音波信号を発信し、その反射信号を受信することで距離を測定するセンサデバイスである。第１〜第４ソナーセンサ２０１〜２０４は、およそ０．１mから２．０mくらいまでの範囲を、１〜１０ｃｍ単位の精度で測定可能である。ソナーセンサ１０２は、検出結果を測距センサモジュール１０３に出力する。

測距センサモジュール１０３は、ソナーセンサ１０２が出力する検出信号を受け、予め定められた車両進行領域の中に進行の妨げとなる障害物が存在する場合、その障害物までの距離を測定する。測距センサモジュール１０３は、この測距情報を車載用画像処理装置１００に出力する。

車両情報取得部１０４は、ＣＡＮなどを介して車両の運転や制御状態に関する情報を取得するインタフェース装置である。本実施形態では、車速、シフトの位置、ステアリングの舵角など、車両の進行予測に必要な情報を取得する。車両情報取得部１０４は、この取得した車両情報を車載用画像処理装置１００に出力する。

ディスプレイ１０５は、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスで
構成される。本実施形態では、ディジタルまたはアナログ映像信号を受けて表示できるデバイスであれば何でも良い。ディスプレイ１０５は、車載用画像処理装置１００から入力された処理結果を表示する。

次に、車載用画像処理装置１００の内部構成について説明する。

車載用画像処理装置１００は、ＣＰＵやＲＡＭで構成され、測距情報取得部１１０と、投影面決定部１１１と、画像取得部１１２と、俯瞰画像生成部１１３と、表示画像合成部１１４とを有する。

測距情報取得部１１０は、測距センサモジュール１０３および投影面決定部１１１と接続する。測距情報取得部１１０は、測距センサモジュール１０３から自車両周辺に存在する障害物についての距離情報を取得する。特に、自車両後方の空間に存在する立体的な障害物の情報を取得する。測距情報取得部１１０は、この取得した距離情報を投影面決定部１１１に出力する。

投影面決定部１１１は、測距情報取得部１１０から入力された障害物までの距離情報に基づいて、自車両の後端を基準にどの位置に立体物が存在するかを推定し、俯瞰画像を生成する際に必要となる投影面を決定する。特に、投影面決定部１１１は、少なくとも地面と略一致する平面と、自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面として決定する。この投影面決定方法については後述する。

画像取得部１１２は、カメラ１０１と接続し、カメラ１０１が撮像した自車両後方の撮像画像を取得する。

俯瞰画像生成部１１３は、投影面決定部１１１および画像取得部１１２と接続する。俯瞰画像生成部１１３は、投影面決定部１１１が決定した投影面に基づいて、画像取得部１０２から入力された撮像画像を仮想視点から見た俯瞰画像へ投影変換するためのマッピングテーブルを生成する。俯瞰画像生成部１１３は、この生成したマッピングテーブルに基づいて画像取得部１０２から入力された撮像画像を仮想視点から見た俯瞰画像に変換する。なお、マッピングテーブルは、ＲＯＭ、またはＲＡＭに格納されている。これにより、合成画像の生成処理を高速に行うことができる。画像取得部１０２から入力された撮像画像と、投影面決定部１１１が決定した投影面に基づいて変換された俯瞰画像との関係については後述する。

表示画像合成部１１４は、車両情報取得部１０４と、測距情報取得部１１０と、俯瞰画像生成部１１３と接続する。表示画像合成部１１４は、俯瞰画像生成部１１３から入力された俯瞰画像に、車両情報取得部１０４から入力された自車両を示すイラストや自車両の状態情報、進路軌跡線、測距情報取得部１１０から入力された立体物の測距結果などの情報をグラフィカルな付加画像として重畳した表示画像を合成する。例えば、表示画像合成部１１４は、自車両後方の空間に存在する立体的な障害物の画像を重畳する。表示画像合成部１１４は、この合成した表示画像をディスプレイ１０５に出力する。

次に、投影面決定部１１１による投影面決定方法について説明する。

図３は、俯瞰画像を生成するための投影面決定方法を示す図である。

図３に示すように、投影面決定部１１１は、自車両３００と立体障害物３１０、３２０、３３０との距離に応じて投影面を決定する。

ここで、仮想カメラ３０１は、実際のカメラ画像をどの位置から見た画像に投影変換するかを決めるものである。仮想カメラ３０１は、撮像位置と撮像方向を表す所定の情報を有する。仮想カメラ３０１の撮像位置は後述する仮想カメラ固定位置３０３に設定される。仮想カメラ３０１の撮像方向は撮像位置から自車両３００の後端中心を撮像する向きに設定されている。

また、固定距離３０２は、自車両３００の助手席側の側方から後述する側方投影面３２４、３３４までの直線距離であり、予め定められた固定値が用いられる。

自車両後方に存在する立体障害物３１０、３２０、３３０は自車両３００からそれぞれ距離が異なる位置にある障害物である。仮想カメラ固定位置３０３は、自車両３００の後端線上で運転席側の側方からおよそ１ｍ離れた位置に予め設定される。最大測定距離３１１は、第１〜第４ソナーセンサ２０１〜２０４が測定できる最大距離である。測定距離３２１、３３１は第１〜第４ソナーセンサ２０１〜２０４が測定した立体障害物３２０、３３０までの直線距離である。

地面投影面３１２、３２２、３３２は自車両３００から立体障害物３１０、３２０、３３０までの間に存在する地面を表す平面である。地面投影面３１２、３２２、３３２と実際の地面とは略一致する。後方投影面３２３、３３３は地面に垂直で、自車両３００の後端に略対向する平面で構成される。また、後方投影面３２３、３３３は、それぞれ車体後端から測定距離３２１、３３１だけ離れた位置に設けられる。側方投影面３２４、３３４は地面に垂直で、自車両３００の側面と略対向する平面で構成される。また、側方投影面３２４、３３４は、それぞれ車体側面から固定距離３０２だけ外側の位置に存在する平面である。

図３に示すように、自車両３００の後方に存在する立体障害物３１０が、第１〜第４ソナーセンサ２０１〜２０４の測定範囲外に存在する場合、投影面決定部１１１は、障害物までの距離測定は不可能であるが、最大測定距離３１１までは障害物が存在しないと判定する。このとき、投影面決定部１１１は、俯瞰画像を生成するための投影面が地面投影面３１２であると決定する。地面投影面３１２は、自車両２００から最大測定距離３１１までの間の平面として設定される。

一方、図３に示すように、自車両３００の後方に存在する立体障害物３２０が、第１〜第４ソナーセンサ２０１〜２０４の測定範囲内に存在する場合、投影面決定部１１１は、障害物までの測定距離３２１の情報を取得することができる。このとき、投影面決定部１１１は、俯瞰画像を生成するための投影面が地面投影面３２２、後方投影面３２３、側方投影面３２４であると決定する。

同様に、図３に示すように、自車両３００の後方に存在する立体障害物３３０が、第１〜第４ソナーセンサ２０１〜２０４の測定範囲内に存在する場合、投影面決定部１１１は、障害物までの測定距離３３１の情報を取得することができる。このとき、投影面決定部１１１は、俯瞰画像を生成するための投影面が地面投影面３３２、後方投影面３３３、側方投影面３３４であると決定する。

なお、図３では、投影面決定部１１１は、障害物を検知していない場合は地面投影面３１２を投影面として決定し、障害物を検知している場合は地面投影面３２２、後方投影面３２３、側方投影面３２４の３つの投影面を決定したが、障害物を検知している場合は少なくとも地面投影面３２２と後方投影面３２３の２つの投影面を決定すればよい。

また、図３では、投影面決定部１１１は、側方投影面３２４、３３４を固定距離３０２で決定したが、第４ソナーセンサ２０４で車両側方の障害物を検出した場合は、その障害物までの距離を固定距離３０２の代わりに用いて側方投影面３２４、３３４を設定しても良い。

さらに、図３では、投影面決定部１１１は、仮想カメラ３０１の位置を仮想カメラ固定位置３０３として予め設定しているが、第１ソナーセンサ２０１で車両側方の障害物を検出した場合は、その障害物までの距離を用いて仮想カメラ固定位置３０３を設定しても良い。

次に、カメラ１０１によって撮像された撮像画像と、投影面決定部１１１が決定した投影面に基づいて変換された俯瞰画像との関係について説明する。

図４は、撮像画像の投影変換方法を示す図である。
図４に示すように、俯瞰画像生成部１１３は、投影面決定部１１１が投影面として決定した地面投影面３２２、後方投影面３２３、側方投影面３２４に基づいて、撮像画像４１１から俯瞰画像４２１を生成する。

立体物４０２は第１〜第４ソナーセンサ２０１〜２０４によって検出された実際に存在する立体障害物である。後方境界線４０３は地面投影面３２２と後方投影面３２３との境界線を表し、立体境界線４０４は後方投影面３２３と側方投影面３２４との境界線を表し、
側方境界線４０５は地面投影面３２２と側方投影面３２４との境界線を表す。
撮像画像４１１は、自車両３００後端に取り付けられたカメラ１０１で撮像した画像である。撮像された立体物４１２は撮像画像４１１に写し出された立体物４０２に対応する。俯瞰画像４２１は仮想カメラ３０１の視点から撮像画像４１１を投影変換した画像である。投影された立体物４２２は撮像された立体物４１２に対応する。換言すると、投影された立体物４２２は俯瞰画像４２１に投影された立体物４０２に対応する。同様に俯瞰画像上の後方境界線４２３は後方境界線４０３を俯瞰画像４２１に投影した境界線であり、俯瞰画像上の立体境界線４２４は立体境界線４０４を俯瞰画像４２１に投影した境界線であり、俯瞰画像上の側方境界線４２５は側方境界線４０５を俯瞰画像４２１に投影した境界線である。

図４に示すように、画像取得部１１２は、カメラ１０１が車両後方を撮像することで立体情報が失われた撮像画像４１１を記録する。したがって、画像取得部１１２に記憶される立体物４０２は撮像画像４１１内では平面情報しか持たなくなる。続いて、投影面決定部１１１は、測距情報取得部１１０が取得した第１〜第４ソナーセンサ２０１〜２０４による立体物４０２についての検出情報に基づいて、立体物４０２の位置に後方投影面３２３を設定する。これによって撮像画像４１１において平面情報で表された立体物４１２に対して、立体情報を復元することが可能である。俯瞰画像４２１は、立体物が存在すると仮定して設定された地面投影面３２２、後方投影面３２３、および側方投影面３２４に俯瞰画像生成部１１３が撮像画像４１１を投影し、仮想カメラ３０１からの視点で再サンプリングすることで生成される。俯瞰画像生成部１１３は、この原理に基づき、撮像画像４１１を俯瞰画像４２１に変換する対応関係をマッピングテーブルとして保存する。

なお、俯瞰画像４２１は地面投影面３２２、後方投影面３２３、および側方投影面３２４を用いて生成していることを明示的に示すため、この投影面同士の境界にあたる後方境界線４０３、立体境界線４０４、および側方境界線４０５を俯瞰画像上の後方境界線４２３、俯瞰画像上の立体境界線４２４、および俯瞰画像上の側方境界線４２５として、俯瞰画像４２１に表示しても良い。

次に、俯瞰画像生成部１１３がマッピングテーブルを参照して撮像画像から俯瞰画像を生成する方法について説明する。

図５はマッピングテーブルを使った俯瞰画像の生成方法を示す図である。図５に示すように、マッピングテーブル５０１は俯瞰画像４２１の座標と撮像画像４１１の座標が１対１で対応づけられたテーブルである。俯瞰画像４２１のある座標５２１に対応する撮像画像４１１の画素座標５１１を知りたい場合、俯瞰画像生成部１１３は、マッピングテーブル５０１の俯瞰画像座標一覧の中から画素座標５２１を探し、対応する撮像画像４１１の座標５１１を獲得する。このように、俯瞰画像生成部１１３は、マッピングテーブル５０１に基づいて撮像画像４１１の画素座標を取得し、この画素座標を用いて仮想カメラ３０１からの俯瞰画像４２１に変換する。

次に、表示画像合成部１１４による画像合成処理について説明する。

図６は俯瞰画像に車両の進行予測軌跡線を重畳表示した表示画像の例を示す図である。図６に示すように、表示画像合成部１１４は、俯瞰画像４２１から実際にドライバーに提示する範囲を矩形領域で切り出して表示画像６００、６１０を生成する。

表示画像６００は、自車両後方の位置から車幅方向を見る仮想カメラ３０１による視点変換画像である。車両イラスト６０１は仮想カメラ３０１による視点で自車両を俯瞰した場合の投影イメージである。表示画像合成部１１４は、車両後方の仮想カメラ３０１の位置、およびその撮影方向によって車両イラスト６０１を表示画像６００のどの位置に重畳するか決定する。表示画像合成部１１４は、車両情報取得部１０４から取得した舵角情報に基づき、自車両の進路および障害物までの距離指標を示す予測軌跡線６０２を表示画像６００に重畳する。予測軌跡線６０２は、表示画像６００中の地面領域６０４上に表示される。表示画像合成部１１４は、仮想カメラ３０１から見た予測軌跡線６０２を舵角ごとに予め用意しておき、舵角が変更される度に重畳する軌跡線を切り替える。検出マーカ６０３は第１〜第４ソナーセンサ２０１〜２０４で検出した後方障害物６０５の位置を強調表示するための透過マーカである。表示画像合成部１１４は、マーカ位置にある後方障害物６０５が消えてしまわないように検出マーカ６０３をブレンド合成する。

なお、表示画像合成部１１４は、予測軌跡線６０２が後方障害物６０５に到達する場合、境界を超える部分を非表示とする。

検出マーカ６０３は、表示画像６００中の後方投影面、すなわち後方障害物６０５の位置に重畳される。車両イラスト６０１は、地面領域６０４、表示画像６００中の側方投影面を示す側方領域６０６に重畳される。

表示画像６１０は、自車両上方の位置から下方を見る仮想カメラによる視点変換画像である。車両イラスト６１１は、この仮想カメラによる視点で自車両を俯瞰した場合の投影イメージである。表示画像合成部１１４は、車両情報取得部１０４から取得した舵角情報に基づき、自車両の進路示す予測軌跡線６１２を表示画像６１０に重畳する。表示画像合成部１１４は、予測軌跡線６１２を舵角ごとに予め用意しておき、舵角が変更される度に重畳する軌跡線を切り替える。予測軌跡線６１２は、表示画像６１０中の地面投影面を示す地面領域６１４に重畳される。予測軌跡線６１２は、表示画像６００中の後方投影面位置に存在する後方障害物６１５と重なった場合、この後方障害物６１５の位置までを表示する。車両イラスト６１１は、地面領域６１４に重畳される。

表示画像合成部１１４は、例えば、予測軌跡線６１２が後方障害物６１５に重なるまで
は、表示画像６１０をディスプレイ１０５に出力し、予測軌跡線６１２が後方障害物６１５に重なった場合、表示画像６００をディスプレイ１０５に出力する。これにより、後方の障害物が自車両に近接していない段階では、上方視点の俯瞰画像により自車両の後方と側方の両方を平面的に確認でき、後方の障害物が自車両に近接している段階では、側方視点の俯瞰画像により自車両の後方を立体的に確認することができる。したがって、自車両後方の障害物についてある高さにおいて自車両に向かって突出した部分があっても、障害物が自車両に近接した段階でその突出部分をユーザが直感的に把握することができる。また、障害物が自車両に近接していない段階では、自車両の周囲をユーザが直感的に把握することができる。これらによって、ユーザは、自車両の周囲の把握と、自車両後方の障害物の立体的な把握との両立を図ることができる。

なお、上記説明では、表示画像合成部１１４は、予測軌跡線６１２が後方障害物６１５に重なったときに側方視点の視点変換画像と上方視点の俯瞰画像の切り替えを行ったが、別な方法によって切り替えを行ってもよい。例えば、図示しないスイッチやボタン等の入力部の操作によって切り替えてもよいし、一定時間経過後に自動的に切り替えてもよい。

また、表示画像合成部１１４は、俯瞰画像中の障害物までの距離を数値として表示してもよい。

次に、このように構成された車載用画像処理装置１００の画像処理動作について説明する。

図７は、車載用画像処理装置１００による画像処理を示すフローチャート図である。

まず、ステップＳ００１に示すように、測距情報取得部１１０は、測距センサモジュール１０３から第１〜第４ソナーセンサ２０１〜２０４による検出情報（距離情報）を取得し、ステップＳ００２の処理が行われる。

次に、ステップＳ００２に示すように、投影面決定部１１１は、測距情報取得部１１０が取得した検出結果に基づき、障害物の検出があったかどうかを判定する。

投影面決定部１１１が、車両の後進方向に障害物を検出したと判定した場合（ステップＳ００２でＹＥＳの場合）、ステップＳ００３に示すように、投影面決定部１１１は、測距情報取得部１１０が取得した１つ前のフレームの検出情報と、現在の検出情報との差を比較する。投影面決定部１１１が検出結果に変化がないと判定した場合、ステップＳ００７の処理が行われる。一方、投影面決定部１１１が検出結果に変化があると判定した場合、ステップＳ００４の処理が行われる。

ステップＳ００３でＹＥＳの場合、ステップＳ００４に示すように、投影面決定部１１１は、測距情報取得部１１０が取得した障害物までの距離情報に基づき、自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を後方投影面に、この後方投影面の高さ方向の辺を共有し、車長方向に延びる平面を側方投影面に、後方投影面と側方投影面とから定められる地面に略一致する地面投影面に決定する。

次に、ステップＳ００５に示すように、俯瞰画像生成部１１３は、投影面決定部１１１が決定した投影面を用いて、画像取得部１１２から取得した撮像画像を仮想視点から見た俯瞰画像に変換するためのマッピングテーブルを作成する。

次に、ステップＳ００６に示すように、俯瞰画像生成部１１３は、ステップＳ００５で作成したマッピングテーブルに基づいて、測距情報取得部１１０が取得した自車両後方の
障害物の検出位置が俯瞰画像のどの座標に該当するのか求める。

一方、ステップＳ００３でＮＯの場合、ステップＳ００７に示すように、俯瞰画像生成部１１３は、１つ前のフレームで使用したマッピングテーブルを選択する。

また、ステップＳ００２でＮＯの場合、ステップＳ００８に示すように、俯瞰画像生成部１１３は、デフォルトのマッピングテーブルを選択する。

ステップＳ００６、ステップＳ００７、ステップＳ００８のいずれかの処理がなされた場合、ステップＳ００９に示すように、俯瞰画像生成部１１３は、撮像画像と俯瞰画像との対応関係が記述されたマッピングテーブルを参照しながら、撮像画像を俯瞰画像へ変換する。

次に、ステップＳ０１０に示すように、表示画像合成部１１４は、俯瞰画像生成部１１３が生成した俯瞰画像に自車両のイラストなど、付加情報を追加することで実際にドライバーに提示する表示画像を作成する。ステップＳ００２で障害物が検出されていた場合、その検出された障害物が俯瞰画像のどの座標に表示されているのかがステップＳ００６で計算されているので、表示画像合成部１１４は、俯瞰画像のその座標に障害物を検出したことを示す警告用のマーカを重畳する。

次に、ステップＳ０１１に示すように、表示画像合成部１１４は、車両情報取得部１０４から取得した舵角情報に基づいて予測軌跡線を表示画像上に重畳描画する。表示画像合成部１１４は、予め各舵角に対応する座標情報を記憶しており、入力された舵角情報に基づいて表示画像上の対応する座標に予測軌跡線を描画する。また、表示画像合成部１１４は、描画する俯瞰画像中の座標位置が地面を投影面として示された地面領域である場合のみ重畳描画する。

以上のように、車載用画像処理装置１００は、ステップＳ００１からステップＳ０１１までの処理を１フレームの処理として、３０フレーム／秒の間隔で実現する。これにより、一般的な動画に対しても本発明に係る画像処理を実現することができる。

このような動作により、本発明によれば、駐車場などでの後退運転時に、自車両の進行方向に存在する障害物までの距離を直感的に把握しやすく、かつユーザの必要性に応じた立体物の死角がない画像提示が可能な車載用画像処理装置、周辺監視装置、および、車両を提供することができる。

以上のように、本発明は、車両に搭載され、撮影された車両後方画像を合成し、その合成画像を運転者等に提供する車載用画像処理装置として有用である。

１００ 車載用画像処理装置
１０１ カメラ
１０２ ソナーセンサ
１０３ 測距センサモジュール
１０４ 車両情報取得部
１０５ ディスプレイ
１１０ 測距情報取得部
１１１ 投影面決定部
１１２ 画像取得部
１１３ 俯瞰画像生成部
１１４ 表示画像合成部

Claims (8)

1. 自車両後方の撮影画像を取得する画像取得部と、
   自車両後方の空間に存在する立体的な障害物までの距離情報を取得する測距情報取得部と、
   前記測距情報取得部が取得した距離情報に基づいて、俯瞰画像の投影面を決定する投影面決定部と、
   前記投影面決定部が決定した投影面の情報に基づいて、前記画像取得部が撮影した画像を俯瞰画像に変換する俯瞰画像生成部と、
   前記俯瞰画像生成部が変換した俯瞰画像に付加画像を重畳した表示画像を合成して表示手段に出力する表示画像合成部とを備え、
   前記投影面決定部は、前記測距情報取得部が取得した距離情報に基づいて、少なくとも地面を表す平面と自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面に決定し、
   前記俯瞰画像生成部は、前記投影面決定部が決定した地面を表す平面と自車両後方の平面を投影面として前記画像取得部が撮影した画像を俯瞰画像に変換することを特徴とする車載用画像処理装置。
2. 前記表示画像合成部は、前記俯瞰画像生成部が変換した俯瞰画像に、自車両の画像、および、自車両後方の空間に存在する立体的な障害物の画像を重畳して表示画像を合成することを特徴とする請求項1に記載の車載用画像処理装置。
3. 自車両後方を撮像する撮像部と、
   自車両後方の空間に存在する立体的な障害物までの距離を計測する測距部と、
   前記測距部が測定した距離情報に基づいて、俯瞰画像の投影面を決定する投影面決定部と、
   前記投影面決定部が決定した投影面の情報に基づいて、前記撮像部が撮影した画像を俯瞰画像に変換する俯瞰画像生成部と、
   前記俯瞰画像生成部が変換した俯瞰画像に付加画像を重畳した表示画像を合成する表示画像合成部と、
   前記表示画像合成部が合成した表示画像を表示する表示部とを備え、
   前記投影面決定部は、前記測距部が計測した距離情報に基づいて、少なくとも地面を表す平面と自車両後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面に決定し、
   前記俯瞰画像生成部は、前記投影面決定部が決定した地面を表す平面と自車両後方の平面を投影面として前記画像取得部が撮影した画像を俯瞰画像に変換することを特徴とする周辺監視装置。
4. 前記表示画像合成部は、前記俯瞰画像生成部が変換した俯瞰画像に、自車両の画像、および、自車両後方の空間に存在する立体的な障害物の画像を重畳して表示画像を合成することを特徴とする請求項３に記載の周辺監視装置。
5. 前記撮像部が撮像した撮像画像を取得して前記俯瞰画像生成部に出力する画像取得部と、
   前記測距部が測定した距離情報を取得して前記投影面決定部および表示画像合成部に出力する測距情報取得部と、前記俯瞰画像生成部に重畳する付加画像の設定に用いられる自車両情報を取得する車両情報取得部をさらに備えたことを特徴とする請求項４に記載の周辺監視装置。
6. 車体後部に取り付けられて後方を撮像する撮像部と、
   車体後部に取り付けられて後方の空間に存在する立体的な障害物までの距離を計測する測距部と、
   車内に取り付けられて前記撮像部から入力された撮像画像と前記測距部から入力された距離情報に基づいて画像処理を行う車載用画像処理装置と、
   車内に取り付けられて前記車載用画像処理装置によって処理された画像を表示する表示装置とを備え、
   前記車載用画像処理装置は、
   前記撮像部から撮影画像を取得する画像取得部と、
   前記測距部から距離情報を取得する測距情報取得部と、
   前記測距情報取得部が測定した距離情報に基づいて、俯瞰画像の投影面を決定する投影面決定部と、
   前記投影面決定部が決定した投影面の情報に基づいて、前記画像取得部が取得した画像を俯瞰画像に変換する俯瞰画像生成部と、
   前記俯瞰画像生成部が変換した俯瞰画像に付加画像を重畳した表示画像を合成して前記表示装置に出力する表示画像合成部とを有し、
   前記投影面決定部は、前記測距情報取得部が取得した距離情報に基づいて、少なくとも地面を表す平面と後方の立体的な障害物の位置における高さ方向の軸および車幅方向の軸から構成される平面を投影面に決定し、
   前記俯瞰画像生成部は、前記投影面決定部が決定した地面を表す平面と自車両後方の平面を投影面として前記画像取得部が撮影した画像を俯瞰画像に変換することを特徴とする車両。
7. 前記表示画像合成部は、前記俯瞰画像生成部が変換した俯瞰画像に、自車両の画像、および、自車両後方の空間に存在する立体的な障害物の画像を重畳して表示画像を合成することを特徴とする請求項６に記載の車両。
8. 車内に取り付けられて車両情報を取得し、この取得した車両情報を前記車載用画像処理装置に出力する車両情報取得部をさらに備えたことを特徴とする請求項７に記載の車両。

Images