JP2010079455A - 運転支援装置 - Google Patents

Abstract

【課題】車両周辺の鳥瞰図画像を表示する際、運転者の負担を増大させずにより有益な情報を提供したい。
【解決手段】画像生成部３０は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する。表示装置１４は、画像生成部３０において生成された鳥瞰図画像を表示する。画像生成部３０は、車両の速度に応じて、表示装置１４に表示される鳥瞰図画像の構図を変更する。制御部４０は、車両の速度に応じて、画像生成部３０において生成される鳥瞰図画像の視点の高さが変更されるよう制御してもよい。
【選択図】図２

Description

本発明は、運転支援技術に関し、特に車両に設置された撮像装置によって撮像した画像をもとに、運転を支援する運転支援装置に関する。

車両周囲に設置された複数のカメラにより撮像された画像をそれぞれ鳥瞰図画像に変換し、それらの鳥瞰図画像を合成することにより、車両の全周囲を俯瞰することができる鳥瞰図画像（以下適宜、全周鳥瞰図画像という）を生成する技術が提案されている。この全周鳥瞰図画像は、運転者に有益な情報を提供することができ、運転を支援することができる。特に、駐車時、狭道走行時、車線変更時など、運転者が車両の周囲により注意を払う必要がある時に、運転者に有益な情報を提供することができる。
特開２００７−２８８４４４号公報 特開２００５−１８６６４８号公報

一般に、車両が高速に移動している場合、運転者は車両の近くから遠くまでの広範囲の状況を把握する必要があり、車両が低速に移動している場合、運転者は車両の近くの状況をより正確に把握することが重要である。また一般に、運転時、運転者はハンドル操作、アクセル操作およびブレーキ操作に注力すべきであり、運転者によるそれ以外のアクションは最小限に止められることが好ましい。

本発明者はこうした状況を認識して本発明をなしたものであり、その目的は、車両周辺の鳥瞰図画像を表示する際、運転者の負担を増大させずにより有益な情報を提供することができる技術を提供することである。

本発明のある態様の運転支援装置は、車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、画像生成部において生成された鳥瞰図画像を表示する表示部と、を備える。画像生成部は、車両の速度に応じて、表示部に表示される鳥瞰図画像の構図を変更する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、駐車の際における障害物の警告を高精度に実行できる。

図１は、本発明の実施の形態に係る運転支援装置１０を搭載した車両１００の構成を示す。車両１００は運転支援装置１０、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃ、第４撮像装置１２ｄ（以下、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄを総称して撮像装置１２と表記する）、および表示装置１４を含む。なお、車両１００にはエンジン、シャーシ、ハンドル、ブレーキ等、様々な構成要素が含まれるが、ここでは省略して描いている。また、図１に示された車両１００の左側が前方に相当する。

撮像装置１２は画像を連続的に撮像し、撮像した画像を運転支援装置１０へ出力する。本明細書では、画像そのものあるいは画像のデータを区別せずに「画像」という。第１撮像装置１２ａと第２撮像装置１２ｂは、車両１００のフロント部分に設置され、第３撮像装置１２ｃと第４撮像装置１２ｄは、車両１００のリア部分に設置されている。ここで、第１撮像装置１２ａから第４撮像装置１２ｄは、任意の組合せにてステレオカメラを形成する。ステレオカメラとは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラのことである。なお、撮像装置１２の数は「４」に限定されない。

運転支援装置１０には、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄにより撮像された画像がそれぞれ入力される。運転支援装置１０は、入力された画像をそれぞれ鳥瞰図画像に変換し、それらの鳥瞰図画像を合成することにより、合成鳥瞰図画像を生成する。運転支援装置１０はその合成鳥瞰図画像を表示装置１４に出力する。表示装置１４は運転支援装置１０から入力される（より具体的には、後述する画像生成部３０により生成された）合成鳥瞰図画像を表示する。表示装置１４は専用の端末装置であってもよいし、カーナビゲーション装置の表示部を転用したものであってもよい。また、運転支援装置１０と表示装置１４とが一体的に構成されてもよい。

運転支援装置１０は車両周辺における障害物を検出する。運転支援装置１０は障害物を検出した場合、運転者にその旨を示す警告を出力する。

図２は、実施の形態１に係る運転支援装置１０の構成を示す。運転支援装置１０は、第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃ、第４フレームバッファ２０ｄ（第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄを総称してフレームバッファ２０と表記する）、変換テーブル記憶部２４、画像生成部３０および制御部４０を備える。

運転支援装置１０の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄには、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄにより撮像された画像がそれぞれ入力される。フレームバッファ２０は、撮像装置１２から入力された画像を一時的に保持し、画像生成部３０に出力する。

変換テーブル記憶部２４は、撮像装置１２により撮像された画像を鳥瞰図画像に変換するための変換式を記憶する。この変換式は実際に設置された撮像装置１２の視点を仮想撮像装置の視点（以下、仮想視点という）から見た画像に変換するためのものである。この仮想視点の位置は設計者が任意に設定可能である。変換テーブル記憶部２４は、鳥瞰変換マッピングルックアップテーブルの形式で構築されてもよい。この場合、画像変換部３２はこのルックアップテーブルを参照して、フレームバッファ２０から入力される画像の座標を変換する。

画像生成部３０は、車両１００に設置された少なくともひとつの撮像装置（たとえば、第１撮像装置１２ａ、第２撮像装置１２ｂ、第３撮像装置１２ｃおよび第４撮像装置１２ｄ）によって撮像された画像をもとに、車両１００周辺の鳥瞰図画像を生成する。この鳥瞰図画像は上記全周鳥瞰図画像であってもよい。また上述した、車両１００周辺の鳥瞰図画像には車両全体が含まれる構図であることが好ましいが、必ずしも車両全体が含まれる構図でなくてもよい。すなわち、車両の一部が含まれる構図または車両が含まれない構図であってもよい。以下、画像生成部３０が全周鳥瞰図画像を生成する例を説明する。

画像生成部３０は、車両１００の速度に応じて、表示装置１４に表示される全周鳥瞰図画像の構図を変更する。この構図の変更は制御部４０の指示にしたがい行われることが可能である。

撮像装置１２から連続的に画像が運転支援装置１０に入力される場合、画像生成部３０は全周鳥瞰図画像を連続的に生成する。すなわち、画像生成部３０は全周鳥瞰図の動画像を生成する。

画像生成部３０は、画像変換部３２および画像合成部３４を含む。画像変換部３２は、第１フレームバッファ２０ａ、第２フレームバッファ２０ｂ、第３フレームバッファ２０ｃおよび第４フレームバッファ２０ｄから入力されるそれぞれの画像を、変換テーブル記憶部２４に保持される変換式を用いて、鳥瞰図画像にそれぞれ変換する。この変換には公知の技術、たとえば特開２００８−４８３４５号公報に開示された技術を使用することができる。

画像合成部３４は、画像変換部３２により変換された複数の鳥瞰図画像を合成することにより、全周鳥瞰図画像を生成する。この全周鳥瞰図画像の生成には、公知の技術、たとえば特開２００８−４８３４５号公報に開示された技術を使用することができる。

制御部４０は、画像生成部３０を制御する。制御部４０は、車両１００の速度に応じて、表示装置１４に表示される全周鳥瞰図画像の構図が変更されるよう画像生成部３０を制御する。たとえば、車両１００の速度に応じて、画像生成部３０において生成される全周鳥瞰図画像の視点の高さが変更されるよう制御する。さらに具体的には、制御部４０は、車両１００の速度が速いほど、画像生成部３０において生成される全周鳥瞰図画像の視点の高さが高くなるよう制御してもよい。制御部４０は車両１００の速度を車両１００内に設置される図示しない、車速センサから速度情報として取得することができる。

つぎに、車両１００の速度に応じて、制御部４０が表示装置１４に表示される全周鳥瞰図画像の構図を変更するための二つの手法について説明する。以下、説明を簡略化するため、表示装置１４に表示される全周鳥瞰図画像の構図には高速走行時の広範囲表示と、低速走行（停止を含む）時の狭範囲表示の二パターンがある例を説明する。高速か低速かを判定するための基準速度は、実験やシミュレーションにもとづき設計者により任意に設定されることができる。

第１手法は、車両の速度に応じて、制御部４０が画像生成部３０において生成される全周鳥瞰図画像のうち表示装置１４に表示させる範囲を変更する手法である。上述した例に沿って説明すると、高速走行時には制御部４０は画像生成部３０において生成される全周鳥瞰図画像全体を表示装置１４に表示させる。低速走行時には制御部４０は画像生成部３０において生成される全周鳥瞰図画像から、その中央の領域に位置する、あらかじめ設定されたサイズの画像を切り出す。制御部４０はその切り出した画像を上記全周鳥瞰図画像のサイズに拡大して、拡大された画像を表示装置１４に表示させる。

第２手法は、撮像装置１２により撮像された画像を鳥瞰図画像に変換するときの、仮想視点の高さを変更する手法である。上述した例に沿って説明すると、変換テーブル記憶部２４は高速走行時用の仮想視点が高く設定されている変換式と、低速走行時用の仮想視点が低く設定されている変換式をあらかじめ保持する。たとえば、その二パターンの座標変換用のルックアップテーブルを保持する。制御部４０は車両１００の速度に応じて、いずれの変換式を使用するか画像変換部３２に指定する。たとえば、車両１００の速度が上記基準速度より遅いとき、制御部４０は撮像装置１２により撮像されたそれぞれの画像を、低速走行時用の仮想視点が低く設定されている変換式をそれぞれ用いて、複数の鳥瞰図画像を生成するよう制御する。なお、画像変換部３２は、仮想視点の移動に応じて、基準となる変換式を補正して使用してもよい。

ここでは、表示装置１４に表示される全周鳥瞰図画像の構図のパターンが二つの場合を説明したが、車両１００の速度をさらに多段階に分類することにより、その構図のパターンを三つ以上にすることができることは、当業者が容易に理解されるところである。

図３は、実施の形態１に係る、画像生成部３０により生成される全周鳥瞰図画像と、表示装置１４の表示領域７０に表示される全周鳥瞰図画像との関係を示す。

図３（ａ）は、表示装置１４の表示領域７０に表示される全周鳥瞰図画像を示す。実施の形態３では、車両１００の速度に関わらず、制御部４０は車両１００が中央に位置する全周鳥瞰図画像を表示装置１４の表示領域７０に表示させる。当然のことながら、速度が速いほどより広範囲の周辺領域を表示させるため車両１００が小さくなる。一方、速度が遅いほど車両１００に近接する領域を大きく表示させるため車両１００が大きくなる。

図３（ｂ）は、画像生成部３０により生成される全周鳥瞰図画像７２の表示範囲を示す。高速走行時には制御部４０は、画像生成部３０により生成される全周鳥瞰図画像７２の全体領域を表示装置１４の表示領域７０に表示させる。低速走行時には制御部４０は、画像生成部３０により生成される全周鳥瞰図画像７２の部分領域７３を切り出して、その部分領域７３のサイズを全周鳥瞰図画像７２の全体領域のサイズに拡大し、表示装置１４の表示領域７０に表示させる。

以上説明したように実施の形態１によれば、車両１００の速度に応じて、表示装置１４に表示される鳥瞰図画像の構図が自動的に変更（たとえば、車両１００の速度が速いほど広範囲な領域が表示されるように切り替えられる）されることにより、運転者の負担を増大させずに、より有益な情報を運転者に提供することができる。すなわち、運転者は車両１００の速度が速いとき、より遠方の領域まで網羅的に安全確認することができ、速度が遅いとき、車両１００に近接する領域を詳細に安全確認することができる。しかも、上記構図の変更は自動的に行われるため、運転者はボタン押下などの操作を行う必要がなく、利便性および安全性が高い。

図４は、実施の形態２に係る運転支援装置１０の構成を示す。実施の形態２に係る運転支援装置１０は、実施の形態１に係る運転支援装置１０に検知部５０および警告部６０が追加された構成である。以下、実施の形態１と重複する説明は適宜、省略する。

検知部５０は撮像装置１２によって撮像された画像をもとに、車両１００周辺の障害物を検知する。検知部５０は、表示装置１４に表示される全周鳥瞰図画像の構図に応じて、上記障害物の検出領域の範囲を変更する。この検出領域の範囲の変更は制御部４０の指示にしたがい行われることが可能である。

以下、より具体的に説明する。検知部５０は静体検知部５２および動体検知部５４を含む。静体検知部５２には、画像変換部３２から変換前の、撮像装置１２により撮像された画像が入力される。静体検知部５２は、入力された複数の画像に対して、平面投影ステレオ法を使用することによって、それらの画像に含まれる物体の高さを特定する。平面投影ステレオ法は、視点の異なる複数の撮像装置によって撮像された複数の画像をひとつの基準平面上に投影し、それらの画像の差分から高さのある物体の領域を求めるという手法である。

平面投影ステレオ法は公知の技術であるため、ここではその詳細な説明を省略する。静体検知部５２は、第１検出範囲において、物体の高さがしきい値より高い場合に、静体を検出したと判定する。制御部４０は、表示装置１４に表示される鳥瞰図画像の構図に応じて、第１検出領域の範囲を変更する。たとえば、制御部４０は画像生成部３０において生成される全周鳥瞰図画像のうち、実際に表示装置１４に表示させる領域と第１検出範囲とを一致または略一致させる。

なお、必ずしもその領域の大きさと第１検出範囲の大きさは一致する必要はなく、その領域と第１検出範囲とが一定の関係を保つように、制御部４０は、その領域の移動に連動させて第１検出範囲を移動させる。たとえば、その領域の重心と第１検出範囲の重心とが常に一致するように第１検出範囲を移動させる。

静体検知部５２は、静体を検出した場合にその旨を警告部６０へ出力する。また、表示装置１４に表示される全周鳥瞰図画像に写るべき当該静体を強調して表示させるべく、その静体の位置情報を表示装置１４に出力してもよい。なお、静体検知部５２による静体検知処理は、衝突回避可能性を考慮し、第１検出範囲内にて検出される静体との衝突回避が不可能な速度を超えると自動的に終了されるように設定されていてもよい。

動体検知部５４には、画像変換部３２から変換後のそれぞれの鳥瞰図画像が連続的に入力される。動体検知部５４は、連続的に入力されるそれぞれの鳥瞰図画像をもとに、第２検出範囲において動体の存在を検出する。動体の検出には、オプティカルフローが使用される。オプティカルフローとは、動物体解析の手法のひとつであり、全周鳥瞰図画像中の輝度情報から動きを解析し、速度ベクトルによって動体の運動を表す技術である。このようなオプティカルフローの検出は、公知の技術であるため、ここではその詳細な説明を省略する。制御部４０は、表示装置１４に表示される鳥瞰図画像の構図に応じて、第２検出領域の範囲を変更する。たとえば、制御部４０は、画像生成部３０において生成される全周鳥瞰図画像のうち、実際に表示装置１４に表示させる領域と第２検出範囲とを一致または略一致させる。

なお、必ずしもその領域の大きさと第２検出範囲の大きさは一致する必要はなく、その領域と第２検出範囲とが一定の関係を保つように、制御部４０は、その領域の移動に連動させて第２検出範囲を移動させる。なお、第１検出範囲の大きさと第２検出範囲の大きさも異なっていてもよい。たとえば、子供の飛び出しなどがより広範囲に検出されるべく、後者のほうが広く設定されてもよい。

動体検知部５４は、動体を検出した場合にその旨を警告部６０に出力する。また、表示装置１４に表示される全周鳥瞰図画像に写るべき当該動体を強調して表示させるべく、その動体の位置情報を表示装置１４に出力してもよい。なお、動体検知部５４による動体検知処理も、衝突回避可能性を考慮し、第２検出範囲内にて検出される動体との衝突回避が不可能な速度を超えると自動的に終了されるように設定されていてもよい。

警告部６０は、静体検知部５２により静体が検出された場合、または動体検知部５４により動体が検出された場合、その旨の音声メッセージまたは警告音を外部に出力する。

図５は、実施の形態２に係る、画像生成部３０により生成される全周鳥瞰図画像７２と、第２検出範囲８０との関係を示す。高速走行時には制御部４０は、画像生成部３０により生成される全周鳥瞰図画像７２の全体領域に対応する領域を第２検出範囲８０ａに設定する。低速走行時には制御部４０は、画像生成部３０により生成される全周鳥瞰図画像７２の部分領域７３に対応する領域を第２検出範囲８０ｂに設定する。第２動体８４は高速走行時にも低速走行時にも第２検出範囲８０内にあるため、動体検知部５４により検出される。一方、第１動体８２は高速走行時には第２検出範囲８０ａ内にあるため、動体検知部５４により検出されるが、低速走行時には第２検出範囲８０ｂ外にあるため、動体検知部５４により検出されない。

以上説明したように実施の形態２によれば、車両１００の速度に応じて、障害物の検出範囲を変更することにより、障害物の検出処理に必要な演算量を抑制しながら、より有益な障害物検知情報を運転者に提供することができる。すなわち、低速走行時には車両１００の遠方に存在する障害物に関する情報は優先度が高くなく、その障害物にある程度近づいてからその検知情報を運転者に提供しても時間的に余裕がある。したがって、低速走行時には障害物の検出範囲を制限することにより、演算量を低減することができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

図６は、実施の形態１に係る運転支援装置１０の変形例を示す。変形例に係る運転支援装置１０は、実施の形態１に係る運転支援装置１０に動き検出部４２が追加された構成である。動き検出部４２は、画像変換部３２から鳥瞰図画像を取得し、その鳥瞰図画像内の車両１００の動きを検出する。たとえば、動き検出部４２はその鳥瞰図画像内の車両１００に複数の特徴点を設定し、その特徴点のオプティカルフローを検出することにより、車両１００の速度を検出する。動き検出部４２は検出した車両１００の動きを動き情報として制御部４０に出力する。

実施の形態１では制御部４０は車両１００の速度を車速センサから速度情報を取得することにより特定した。変形例では、制御部４０は車両１００の速度を動き検出部４２から動き情報として取得する。この変形例によれば、運転支援装置１０と車両１００内の車速センサとを接続する必要がなく、車両１００内への運転支援装置１０の設置が容易である。また、車両１００内の配線の増大を抑制することができる。

実施の形態１、２に係る運転支援方法は、それぞれが個別に実施されてもよいし、組み合わせられて実施されてもよい。

本発明の実施の形態に係る運転支援装置を搭載した車両の構成を示す図である。 実施の形態１に係る運転支援装置の構成を示す図である。 実施の形態１に係る、画像生成部により生成される全周鳥瞰図画像と、表示装置の表示領域に表示される全周鳥瞰図画像との関係を示す図である。 実施の形態２に係る運転支援装置の構成を示す図である。 実施の形態２に係る、画像生成部により生成される全周鳥瞰図画像と、第２検出範囲との関係を示す図である。 実施の形態１に係る運転支援装置の変形例を示す図である。

符号の説明

１０ 運転支援装置、 １２ 撮像装置、 １４ 表示装置、 ２０ フレームバッファ、 ２４ 変換テーブル記憶部、 ３０ 画像生成部、 ３２ 画像変換部、 ３４ 画像合成部、 ４０ 制御部、 ４２ 動き検出部、 ５０ 検知部、 ５２ 静体検知部、 ５４ 動体検知部、 ６０ 警告部、 １００ 車両。

Claims (4)

1. 車両に設置された少なくともひとつの撮像装置によって撮像された画像をもとに、車両周辺の鳥瞰図画像を生成する画像生成部と、
   前記画像生成部において生成された鳥瞰図画像を表示する表示部と、を備え、
   前記画像生成部は、車両の速度に応じて、前記表示部に表示される鳥瞰図画像の構図を変更することを特徴とする運転支援装置。
2. 車両の速度に応じて、前記画像生成部において生成される鳥瞰図画像の視点の高さが変更されるよう制御する制御部をさらに備えることを特徴とする請求項１に記載の運転支援装置。
3. 前記制御部は、車両の速度が速いほど、前記画像生成部において生成される鳥瞰図画像の視点の高さが高くなるよう制御することを特徴とする請求項２に記載の運転支援装置。
4. 前記撮像装置によって撮像された画像をもとに、車両周辺の障害物を検知する検知部をさらに備え、
   前記検知部は、前記表示部に表示される鳥瞰図画像の構図に応じて、前記障害物の検出領域の範囲を変更することを特徴とする請求項１から３のいずれかに記載の運転支援装置。

Images