JP2012037924A - 運転支援装置 - Google Patents
運転支援装置 Download PDFInfo
- Publication number
- JP2012037924A JP2012037924A JP2010174486A JP2010174486A JP2012037924A JP 2012037924 A JP2012037924 A JP 2012037924A JP 2010174486 A JP2010174486 A JP 2010174486A JP 2010174486 A JP2010174486 A JP 2010174486A JP 2012037924 A JP2012037924 A JP 2012037924A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle
- image
- index
- display image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】撮影された画像を用いて、ドライバーに障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知させる。
【解決手段】車載カメラにより動画として撮影された車両90の周辺の撮影画像を表示画像として車両内の表示装置に表示させる際に、障害物検出装置により検出された車両90の周辺に存在する障害物Pが表示画像内に含まれる場合には、障害物Pの位置情報を含む障害物情報に基づいて、表示画像において車両90が存在する側から動的に移動する指標Mを生成して、その指標Mを表示画像に重畳させる。
【選択図】図6
【解決手段】車載カメラにより動画として撮影された車両90の周辺の撮影画像を表示画像として車両内の表示装置に表示させる際に、障害物検出装置により検出された車両90の周辺に存在する障害物Pが表示画像内に含まれる場合には、障害物Pの位置情報を含む障害物情報に基づいて、表示画像において車両90が存在する側から動的に移動する指標Mを生成して、その指標Mを表示画像に重畳させる。
【選択図】図6
Description
本発明は、車両の周辺の障害物を検出し、車両の周辺の画像上においてドライバーに報知する運転支援装置に関する。
車両の周辺の障害物を検出し、車載カメラにより撮影した車両の周辺の画像を用いて検出した障害物に関する情報をドライバーに報知する車両周辺監視機能を備えた駐車支援装置や運転支援装置が知られている。特開2002−344958号公報(特許文献1)には、そのような装置の一例として、移動体の周辺画像において障害物が存在し得る範囲(領域)を概略的に表示する周辺状況表示装置が開示されている。この周辺状況表示装置は、超音波センサにより検出された障害物までの距離に応じ、領域原点から遠ざかるに従って明度値が低くなる色画像を撮影画像上に重畳表示させる。車両周辺を撮影して撮影画像を得るカメラは車両の後部に設置されて後方画像を撮影する。この際、リアバンパーの一部も撮影画像に含んで撮影される。また、リアバンパーには超音波センサが設置される。領域原点は、おおよそ超音波センサの設置位置に設定され、撮影画像上においてはほぼリアバンパーが写っている位置となる。この装置は、障害物自体を特定表示して障害物を正確に特定するよりも、おおよその領域を画像上に示した方が、撮影画像を参照したドライバーの運転操作を容易にするという考えの基に考案されたものである(特許文献1:第3〜5段落、第18〜23段落、図2〜6等。)。
但し、この周辺状況表示装置においても、ドライバーが障害物までの距離を直感的に
把握することは容易ではない。一般的に、カメラによる撮影画像においては、物体の立体感が低下する。ドライバーは、撮影画像上の障害物の立体感を画像上から把握した上で、撮影画像上において車両と障害物との間の距離感を把握する。上記周辺状況表示装置においては、表示される画像の比較的広範囲にわたって色画像が重畳されるため、この色画像がドライバーによる立体感や距離感の把握の妨げとなる可能性がある。その結果、ドライバーの視認性を低下される可能性もある。
把握することは容易ではない。一般的に、カメラによる撮影画像においては、物体の立体感が低下する。ドライバーは、撮影画像上の障害物の立体感を画像上から把握した上で、撮影画像上において車両と障害物との間の距離感を把握する。上記周辺状況表示装置においては、表示される画像の比較的広範囲にわたって色画像が重畳されるため、この色画像がドライバーによる立体感や距離感の把握の妨げとなる可能性がある。その結果、ドライバーの視認性を低下される可能性もある。
上記背景に鑑み、撮影された画像上において、ドライバーが障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知できる技術が望まれる。
上記課題に鑑みた、本発明に係る運転支援装置の特徴構成は、
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える点にある。
車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える点にある。
この構成によると、障害物の位置情報を含む障害物情報に基づいて、表示画像上において車両が存在する側から動的に指標が移動する。障害物検出装置により、多少の誤差は生じていたとしても、障害物のおおよその位置は検出されているから、表示画像上において車両が存在する側から概ね障害物が存在する位置へ向かって動的に指標が移動する。従って、障害物が存在する位置が明確に報知される。射影面上に投影された2次元画像上でドライバーが立体物を立体物として認知するには、その物体を知っていて脳において立体の概念を構築する必要がある。障害物が明確に報知されることによって、ドライバーによる立体概念の構築が促進され、ドライバーは、障害物とその周辺の物体の立体感を容易且つ迅速に得ることができる。つまり、無意識のうちに、ドライバーは直感的に立体感を得ることができる。また、指標が動的に移動する時間によって、車両から障害物までの距離感を直感的に認知させることができる。
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させると好適である。指標が繰り返し、車両から障害物に向かって移動することによって、ドライバーが障害物を認知する可能性を向上させることが可能となる。
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。当然ながら、車両と障害物との距離が近いと、車両とその障害物とが接触する可能性が高くなる。車両と障害物との距離に応じて異なる表示形態で指標が生成されることにより、例えば、より車両に近い障害物に対する指標の色を相対的に目立つ色としたり、点滅させて相対的に目立つ表示方法で表示させたりすることができる。その結果、ドライバーに対して迅速に認知させることが好ましい障害物を、指標によって優先して示すことができる。
また、本発明に係る運転支援装置の前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させると好適である。例えば、指標が、車両から障害物に向かって画像面上を移動する際に、指標を次第に淡くする、あるいは次第に濃くするなどの視覚効果が付加されると、動的な指標がさらに動的となる。その結果、ドライバーは、障害物とその周辺の物体の立体感や、障害物までの距離感をさらに直感的に認知することができる。
また、本発明に係る運転支援装置の前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出すると好適である。障害物は、撮影画像を画像認識処理するパッシブ型の検出方法によって検出することも可能である。車両の側から送信波を放ち、障害物からの反射波を受信するアクティブ型の検出方法は、より積極的な障害物検出方法である。画像処理の場合には、背景と障害物との画像におけるコントラストが近い場合には検出精度が低下するが、アクティブ型の場合にはそのような心配はなく、より確実に障害物を検出することが可能となる。また、障害物までの距離も精度よく計測されるので、視認性のよい指標を生成することができる。
ここで、本発明に係る運転支援装置が前記障害物検出装置を複数備え、前記指標が各障害物検出装置に対応して設定されると好適である。障害物検出装置を複数個備えることによって障害物の検出精度が向上する。また、車両から障害物へと動的に移動する指標が各障害物検出装置に対応することで、障害物への送信波が可視化され、障害物に到達するような視覚効果をドライバーに与えることが可能となる。
本発明に係る運転支援装置の前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像であると好適である。一般的な運転支援装置において用いられる表示画像には、車載カメラの搭載位置をほぼそのまま視点とするものもあるが、画像処理によって視点の位置を変換する場合もある。このような視点変換の例としては、車両の高さよりもやや高い位置から斜め下方を見るような画像へ変換するものや、車両の上方から見下ろすようないわゆる俯瞰画像へと変換するものがある。俯瞰画像は、ほぼ路面を射影面とした画像であるから、障害物と車両との距離感は平面的に把握し易いものである。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感が損なわれる。車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像の場合には、射影面は、路面に対して概ね45度以上の角度を有する。俯瞰画像とは異なり、障害物と車両との距離感は把握しにくいものの、立体物の立体感や現実感は維持されている。本発明に係る動的な指標は、そのような車載カメラの搭載位置をほぼそのまま視点とする画像や、車両の高さよりもやや高い位置から斜め下方を見るような画像において、良好に障害物までの距離感を容易且つ直感的に認知可能とする。従って、射影面が路面に対して概ね45度以上の角度を有するこれらの画像のように、表示画像が車両の進行方向に沿った方向に消失点を有する透視投影画像であると、動的な指標によって良好に障害物までの距離感を容易且つ直感的に認知可能とすることができる。
以下、本発明の実施形態を図面に基づいて説明する。図1及び図2に示すように、本実施形態では、車両に備えられたカメラ1(車載カメラ)により動画として撮影された車両90の周辺の撮影画像を表示画像としてモニタ装置4(表示装置)に表示する運転支援装置(駐車支援装置・周辺監視装置)を例として説明する。カメラ1はCCD(charge coupled device)やCIS(CMOS image sensor)などの撮像素子を用いて、毎秒15〜30フレームの2次元画像を時系列に撮影し、デジタル変換して動画データ(撮影画像)をリアルタイムに出力するデジタルカメラである。カメラ1は、広角レンズを備えて構成される。特に、本実施形態においては、水平方向に140〜190°の視野角が確保されている。カメラ1は、光軸に約30度程度の俯角を有して車両90に設置され、車両90からおおよそ8m程度までの領域を撮影可能である。本実施形態においては、カメラ1として車両90の後方を撮影するバックカメラを例示しているが、車両90の前方や側方を撮影するカメラであってもよい。また、車両90に備えられるカメラ1は1つに限るものではなく、後方と助手席側の側方、後方と助手席側の側方と前方、後方と両側方と前方など、複数のカメラが車両90に備えられていてもよい。
カメラ1により撮影された画像は、図1に示すように、スーパーインポーズ部2a、グラフィック描画部2b、フレームメモリ2cなどを有する画像処理モジュール2を介して、モニタ装置4に表示可能である。各フレームの2次元画像は、フレームメモリ2cに格納され、フレームごとに画像処理やグラフィックの重畳を施されて表示画像となる。また、画像処理モジュール2は、撮影画像の視点を変換して車両90のやや上から斜め下方を見た画像として表示画像を生成することも可能である。また、カメラ1が複数個備えられている場合には、画像処理モジュール2は、複数のカメラ1により撮影された撮影画像を合成して、より広い視野の合成画像を生成することも可能である。グラフィック描画部2bへの描画指示や、スーパーインポーズ部2aへのグラフィック重畳指示は、後述するCPU(central processing unit)5から発せられる。
モニタ装置4は、例えば、ナビゲーションシステムのモニタ装置が兼用される。図1に示すように、モニタ装置4は、表示部4aと、表示部4aに形成されたタッチパネル4bと、スピーカ4cとを有している。表示部4aは、画像処理モジュール2から提供されるカメラ1の撮影画像や、グラフィック画像、それらが合成された合成画像などを表示する。一例として、表示部4aは液晶ディスプレイによって構成される。タッチパネル4bは、表示部4aと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置である。図1においては、スピーカ4cは、モニタ装置4に備えられている場合を例示しているが、スピーカ4cはドアの内側など、他の場所に備えられても良い。スピーカ4cは、CPU5の指示に応じて音声処理モジュール8から提供される音声を出力する。尚、CPU5は、単純にブザー45を介して報知音を鳴らす場合もある。
CPU5は、画像認識や進路予想などの高度な演算処理を行い、運転支援装置10の中核を担う。CPU5は、プログラムメモリ5aに格納されたプログラムやパラメータを利用して各種演算処理を実行する。また、CPU5は、必要に応じてワークメモリ5bに一時的に撮影画像などを格納して演算を実行する。ここでは、プログラムメモリ5aやワークメモリ5bが、CPU5とは別のメモリである例を示しているが、CPU5と同一のパッケージ内に集積されていてもよい。運転支援装置10は、CPU5やメモリ、その他の周辺回路と共に、運転支援ECU(electronic control unit)9として構成される。本例では、CPU5を中核としたが、運転支援装置10は、DSP(digital signal processor)など、他の論理演算プロセッサや論理回路を中核として構成されてもよい。
CPU5は、図1において符号50で示す車内ネットワークを介して種々のシステムやセンサと通信可能に接続されている。本実施形態においては、車内ネットワークとしてCAN(controller area network)50を例示している。図1に示すように、運転支援装置10(CPU5)は、車内のパワーステアリングシステム31やブレーキシステム37と接続される。これら各システムは、駐車支援装置10と同様にCPUなどの電子回路を中核として構成され、運転支援ECU9と同様に周辺回路と共に構成されたECUを中核として構成される。
パワーステアリングシステム31は、電動パワーステアリング(EPS : electric power
steering)システムやSBW(steer-by-wire)システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ41によりアシストトルクを付加する。自動操舵機能が搭載された車両では、ステアリングホイールや操舵輪をアクチュエータ41により駆動することによって自動操舵を行う。ブレーキシステム37は、ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、BBW(brake-by-wire)システムである。このシステムは、アクチュエータ47を介して車両90に制動力を付加することもできる。
steering)システムやSBW(steer-by-wire)システムである。このシステムは、ドライバーにより操作されるステアリングホイールにアクチュエータ41によりアシストトルクを付加する。自動操舵機能が搭載された車両では、ステアリングホイールや操舵輪をアクチュエータ41により駆動することによって自動操舵を行う。ブレーキシステム37は、ブレーキのロックを抑制するABS(anti lock braking system)や、コーナリング時の車両の横滑りを抑制する横滑り防止装置(ESC : electronic stability control)、ブレーキ力を増強させるブレーキアシストなどを有した電動ブレーキシステムや、BBW(brake-by-wire)システムである。このシステムは、アクチュエータ47を介して車両90に制動力を付加することもできる。
図1において、各種センサの一例として、ステアリングセンサ21や車輪速センサ23、シフトレバースイッチ25、アクセルセンサ29がCAN50に接続されている。ステアリングセンサ21は、ステアリングホイールの操舵量(回転角度)を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置10は、ドライバーによるステアリングホイールの操舵量や、自動操舵時の操舵量をステアリングセンサ21から取得して各種制御を実行する。
車輪速センサ23は、車両90の車輪の回転量や単位時間当たりの回転数を検出するセンサであり、例えばホール素子などを用いて構成される。運転支援装置10は、車輪速センサ23から取得した情報に基づいて車両90の移動量などを演算し、各種制御を実行する。車輪速センサ23は、ブレーキシステム37に備えられている場合もある。ブレーキシステム37は、左右の車輪の回転差などからブレーキのロックや、車輪の空回り、横滑りの兆候などを検出して、各種制御を実行する。車輪速センサ23がブレーキシステム37に備えられている場合には、運転支援装置10は、ブレーキシステム37を介して情報を取得する。ブレーキセンサ27は、ブレーキペダルの操作量を検出するセンサであり、運転支援装置10は、ブレーキシステム37を介して情報を取得する。運転支援装置10は、例えば、自動操舵中にブレーキペダルが踏み込まれたような場合に、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
シフトレバースイッチ25は、シフトレバーの位置を検出するセンサ又はスイッチであり、変位センサなどを用いて構成される。例えば、シフトがリバースにセットされた場合に、運転支援装置10は支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
また、ステアリングホイールへの操作トルクを検出するトルクセンサ22は、ドライバーがステアリングホイールを握っているか否かについても検出することが可能である。運転支援装置10は、自動操舵中にドライバーがステアリングホイールを操作するために強く握った場合などに、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。また、自動操舵時には、一般的にエンジンのアイドリングによる車両90のクリーピングが利用される。従って、ドライバーがアクセルを操作したことがアクセルセンサ29により検出された場合、運転支援装置10は、自動操舵に不都合な環境下にあるとして自動操舵を中断したり中止したりする制御を行うことができる。
クリアランスソナー3(3L,3M,3R)は本発明の障害物検出装置に相当する。本実施形態では、図2に示すように、クリアランスソナー3は、後部バンパーの中央、および両サイドに計3つ備えられる。また、本実施形態においては、クリアランスソナー3は超音波センサにより構成される。図3の原理図に示すように、超音波センサ3から超音波が送信され、この超音波が物体に当たって生じる反射波を超音波センサ3が受信する。超音波センサ3は、この送信から受信までの時間により、超音波センサ3と物体との間の距離及び位置を検知する。
図3に示すように、超音波センサ3は、送信器32と受信器34とを有したセンサヘッド30と、送信部3aと、受信部3bと、検波部3cと、演算部3dとを有している。送信部3aは、演算部3dから出力される送信指令に基づいて所定の送信タイミングごとに送信器32に超音波(送信波)を送信させる。受信部3bは、送信された超音波に対する物体からの反射波を含み、受信器3bに達した超音波(受信波)を電気信号である受信信号として受信する。検波部3cは、受信信号から包絡線を取得し、受信波を検波する。演算部3dは、送信部3aを介して所定の送信タイミングごとに送信器32から送信波を送信させると共に、検波結果から物体の有無や物体までの距離、物体の位置を演算する。
演算部3dは、マイクロプロセッサや論理回路群などを中核として構成される。本実施形態においては、演算部3dは、A/Dコンバータを内蔵したマイクロコンピュータによって構成される。送信部3aは、バースト波発生回路、発振器、昇圧回路などを有して構成されており、演算部3dから出力される送信指令に基づいて、送信器32を振動させて超音波を送信させる。受信部3bは、受信器34から受け取る電気信号に対してインピーダンス変換や増幅を行うアンプや、所定周波数帯域の信号を通過させるバンドパスフィルタを備えて構成される。検波部3cは、バンドパスフィルタの出力を整流し、積分して包絡線を取得する。本実施形態では、検波部3cはダイオードとコンデンサとを用いたアナログ回路により構成される。検波部3cの出力は、演算部3dを構成するマイクロコンピュータにより制御される不図示のサンプルホールド回路を介して、当該マイクロコンピュータに内蔵されるA/Dコンバータに入力され、デジタル変換される。勿論、この実施形態に限定されることはなく、受信部3bの出力をA/D変換し、デジタル信号処理によって整流及び包絡線処理を伴う検波を行ってもよい。
車両90の周辺に存在する立体物の検出は、公知の三角測量の手法を用いて実現可能である。精度の良い三角測量を実現するためには、受信器34、受信部3b、検波部3cの受信系は複数個備えられることが好ましい。図4には、そのような超音波センサ3のセンサヘッドを模式的に示している。超音波センサ3は、1つの送信器32と、3つの受信器34a,34b,34cとの4つの振動部を有している。受信部及び検波部については不図示であるが、超音波センサ2は、3つの受信器34a,34b,34cに対応する3系統の受信系を備えることにより、3次元的に障害物の位置を検知することができる。
4つの振動部は、正方形の各頂点部に1つの振動部が対応する形態で配置される。この正方形の一辺の長さd、即ち隣接する振動部の間隔dが小さいほど、物体を検出する際の分解能が高くなる。但し、間隔dが狭いと、他の振動部の振動の影響を受け易くなるため、間隔dは適切に設定される。また、送信波の1/2波長は、振動部の間隔dよりも充分小さい値に設定される。一例として、間隔dは10〜12mm程度とすることができる。送信波の周波数が40kHzの場合、その波長は8.5mmとなり、1/2波長は4.25mmであるから、振動部の間隔dよりも充分小さい値となり、分解能が確保される。図4においてx軸は車幅方向、z軸は超音波センサ2の送信方向の中心軸30cに沿う方向、y軸はx軸及びz軸に直交する方向の軸である。z軸は、4つの振動部が配置される正方形の重心20cを貫く軸である。
超音波センサ3は、3つの受信器34a,34b,34cに対応する3系統の受信系を備えて構成される。図4に示すように、3つの受信器34a,34b,34cの位置は、異なっているため、同一の障害物からの距離も基本的には異なることになる。従って、それぞれの受信系は、この障害物からの反射波を異なった時刻に受信する。3つの受信器34a,34b,34cの幾何学的な関係は演算部3dにとって既知の情報である。従って、演算部3dは、それぞれの受信器34a,34b,34cと障害物などの物体との距離と、3つの受信器34a,34b,34cの幾何学的な関係とに基づいて、公知の三角測量演算により、物体の方向を求めることができる。
図1に示す各種システムやセンサ、これらの接続形態については一例であり、他の構成や接続形態が採用されてもよい。また、上述したように、センサは直接CAN50に接続されても良いし、種々のシステムを介して接続されてもよい。
さて、本発明に係る運転支援装置10は、車両90の周辺の障害物を検出し、カメラ1により撮影した車両の周辺の撮影画像上において、検出された障害物に関する情報をドライバーに報知する車両周辺監視機能を備えている。具体的には、運転支援装置10は、動画として撮影された撮影画像を表示画像としてモニタ装置4に表示させると共に、障害物検出装置3により検出された障害物の位置情報を取得する。障害物が表示画像内に含まれる場合には、運転支援装置10は、表示画像において車両90が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる。この指標は、撮影画像(表示画像)の視認性の低下を抑制するため、半透明など透過性を有して生成され、重畳されると好適である。
運転支援装置10は、図5に示すように運転支援ECU9においてハードウェアとソフトウェアとの協働によって実現される各種機能部を有して構成される。運転支援装置10は、画像受取部11と、グラフィック制御部12と、障害物情報取得部13と、画像出力部14とを有して構成される。画像受取部11は、カメラ1により動画として撮影された車両の周辺の撮影画像を受け取る機能部である。画像出力部14は、撮影画像を表示画像として車両内の表示装置に表示させる機能部である。障害物情報取得部13は、車両90の周辺に存在する立体物を障害物として、障害物検出装置4により検出された障害物の位置情報を含む障害物情報を取得する機能部である。グラフィック制御部12は、障害物が表示画像内に含まれる場合に、表示画像において車両90が存在する側から障害物へ向かって動的に移動する指標を生成して、その指標を表示画像に重畳させる機能部である。
図6は、表示画像上を指標Mが動的に移動する一例を示している。図6(a)〜(d)は動画のフレームを表しており、図6は動画の分解図である。各フレームの下方には、車両90のバンパーが写っている。また、本実施形態では障害物Pの例としてコーンを例示している。クリアランスソナー3によって障害物Pが検出され、その障害物Pが表示画像内に含まれる場合には、動的に移動する指標Mが表示画像上に重畳される。即ち、図6(a)から(b)、(c)、(d)と順に指標Mが、表示画像において車両90が存在する側から障害物Pへ向かって移動する。図6(a)〜(d)は動画のフレームであるから、指標Mは、表示画像上を動的に移動することになる。図6における破線は動的に移動した指標Mの軌跡を表している。表示画像上において障害物Pに達した指標Mは、再び車両90側から障害物Pへ向かって動的に移動する。即ち、指標Mは、車両90が存在する側から障害物Pへ向かって繰り返し、動的に移動する。
このような動作について、運転支援装置10の各機能部による作用に基づいて説明する。画像受取部11は、カメラ1により動画として撮影された撮影画像を受け取る。画像受取部11は、上述したように運転支援ECU9において構築される機能部であり、特に画像処理モジュール2を中核として構築される機能部である(図1参照)。
一方、障害物情報取得部13は、クリアランスソナー3(障害物検出装置)により検出された障害物Pの位置情報を含む障害物情報を取得する。尚、この位置情報は、厳密なものではなく、クリアランスソナー3の検出精度や、カメラ1、クリアランスソナー3の車両90への取り付け精度などに依存する誤差を許容し、概ね障害物Pが存在する位置を示すものであってよい。具体的には、CAN50を介してCPU5が障害物情報を取得する。カメラ1の撮影範囲は、車両90を基準とした3次元のワールド座標系におけるカメラ1の2次元の射影面として予め定義可能である。障害物Pの位置情報は、クリアランスソナー3の車両90における設置位置との関係によりワールド座標系において同定することが可能である。カメラ1の撮影範囲は概ね表示画像に一致するから、グラフィック制御部12は、障害物情報に基づいて障害物Pが表示画像内のどこに位置するかを同定することができる。
また、グラフィック制御部12は、障害物情報に基づいて障害物Pが表示画像内に含まれるか否かも判定可能である。撮影画像が視点変換、歪み補正などの画像処理を施されたのちに表示画像となる場合にも、予め座標範囲は規定されるからグラフィック制御部12は、障害物情報に基づいて障害物Pが表示画像内に含まれるか否かを判定可能である。クリアランスソナー3の検出範囲と、カメラ1による撮影範囲(表示画像の範囲)とは、通常一致しない。特にクリアランスソナー3の検出範囲がカメラ1の撮影範囲よりも広い場合や、撮影範囲を超えた領域が検出範囲に含まれるような場合には、検出された障害物Pが撮影画像上に存在していない可能性がある。そのような場合には、必ずしも障害物Pの存在を報知する必要はない。従って、グラフィック制御部12が、障害物情報に基づいて障害物Pが表示画像内に含まれるか否かを判定すると好適である。
グラフィック制御部12は、障害物Pが表示画像内に含まれると判定した場合に、障害物情報に基づいて、表示画像において車両90が存在する側から概ね障害物Pの存在する方向へ動的に移動する指標Mを生成する。グラフィック制御部12は、表示画像の動画を構成する1フレームごとに指標Mを重畳させる。画像処理モジュール2を中核として構成される画像出力部14は、撮影画像に指標Mが重畳された画像を表示画像として車両90内のモニタ装置に表示させる。上述したように、障害物Pが表示画像内に含まれていない場合には、必ずしも障害物Pの存在を報知する必要はない。しかし、この場合であっても、障害物Pの方向へ向かって動的に移動し、障害物Pには達することなく表示画像の端で消失する指標Mが生成され、重畳されることを妨げるものではない。
説明を容易にするために車両90及び障害物Pが動いておらず、撮影画像に変化がない場合を例として、指標Mが重畳される座標の決定方法について説明する。グラフィック制御部12は表示画像の動画を構成する1つ前のフレームにおいて指標Mを重畳させた表示画像上の座標を記録している。従って、新たなフレームにおいては、指標Mを重畳させる座標を表示画像上における障害物Pの方向へ所定量移動させる。順次、これを繰り返すことによって、各フレームにおいて指標Mが重畳される座標が変わり、指標Mは車両90から障害物Pの方向へと動的に移動する。指標Mが障害物Pに達すると、再び指標Mの座標は車両90の側に戻り、以降、車両90から障害物Pへの動的な移動が繰り返される。このような処理を実行するグラフィック制御部12は、CPU5及び画像処理モジュール2を中核として構成される。
尚、一例として、指標Mは路面上を移動するものとして表示画像上の座標が決定されると好適である。また、障害物Pの表示画像上の座標も立体物としての障害物Pが路面と接する位置の路面上の座標であると好適である。車両90が存在する路面を基準面とすることによって座標の演算が容易となる。また、この際、障害物Pの座標を、障害物Pの方向への指標Mの移動の終点とすれば、どのような障害物Pであっても、その足下まで指標Mが移動することとなる。その結果、演算を簡略化することができると共に、種々の障害物Pに対して一貫性のある表現となり、ドライバーの視認性も向上する。
次に、車両90及び障害物Pの少なくとも一方が動いている場合について説明する。上述したように、本実施形態において運転支援装置10は、車輪速センサ23やステアリングセンサ21などとCAN50を介して接続されている。従って、運転支援装置10は、車両90が移動しているか否かは勿論のこと、車両90の移動速度や移動方向を知ることができる。車両90が移動しており、障害物Pが移動していない場合には、グラフィック制御部12は、車両90のオドメトリより、指標Mを重畳させる座標を演算する。具体的には、グラフィック制御部12は、車両90のオドメトリより、先のフレームにおける車両90と障害物Pとの位置関係を予測し、前回のフレームにおける指標Mの座標と先のフレームにおける指標Mの座標の予測位置とが円滑につながるように、現フレームにおける指標Mの座標を決定する。
車両90が停止しており、障害物Pが移動している場合には、グラフィック制御部12は、障害物Pのオドメトリに基づいて同様の演算を実施する。障害物Pが移動しているか否かは、クリアランスソナー3による障害物Pの検出結果から判定することができる。また、クリアランスソナー3による障害物Pの検出結果の蓄積より、障害物Pの軌跡及び未来の予想軌跡を演算することができ、それら軌跡及び予想軌跡に基づいて、指標Mの座標が決定されると好適である。車両90及び障害物Pの双方が移動している場合には、車両90のオドメトリと、障害物Pのオドメトリとの双方を用いて、指標Mの座標が決定される。
指標Mは、表示画像上において車両90から障害物Pの方へ移動するが、図6に示すように表示画像における車両90は、表示画像の下方の一辺の全てに亘っている。従って、指標Mは車両90の種々の位置から移動を開始することが可能である。例えば、図7に示すように、障害物Pが車両90の後方右寄りに存在する場合には、車両90の右寄りから指標Mの移動を開始させてもよい。あるいは、障害物Pの位置に拘わらず、車両90の任意の位置から指標Mの移動を開始させてもよい。図8には、障害物Pの位置に拘わらず、車両90の中央から指標Mの移動を開始させる場合を例示している。尚、車両90の後方が撮影された撮影画像に基づく表示画像は、運転席のドライバーがルームミラーによって車両90の後方を見る場合と同様の視覚効果を提供するために、左右が反転した鏡像としてモニタ装置4に表示されている。
また、グラフィック制御部12は、クリアランスソナー3により複数の障害物Pが検出された場合には、図9に示すように、各障害物Pに対して指標Mを生成して表示画像に重畳させる。1つのクリアランスソナー3により2つ以上の障害物Pを検出することが可能であるから、クリアランスソナー3の設置数には依存されない。各障害物P(P1,P2)に対する指標M(M1,M2)の生成及び重畳の方法については、上述した通りであるので詳細な説明は省略する。図9では、図7と同様に、障害物Pの位置に応じて車両90の側における指標Mのスタート位置が異なる場合を例示しているが、図8と同様に障害物Pの位置に拘わらず、車両90の中央から指標Mの移動を開始させてもよい。
尚、図1及び図2に示すように、クリアランスソナー3が車両90に複数個備えられている場合には、障害物Pを検出したクリアランスソナー3から出発した指標Mが障害物Pに向かって移動すると好適である。図10では、右側に備えられたクリアランスソナー3Rにより障害物P1が検出され、中央に備えられたクリアランスソナー3Mにより障害物P2が検出され、左側に備えられたクリアランスソナー3Lにより障害物P3が検出された場合を例示している。当然ながら、1つの障害物P(P1,P2,P3)は複数のクリアランスソナー3(3R,3M,3L)により検出される場合がある。各クリアランスソナー3は、障害物Pまでの距離も検出するから距離に応じて指標Mのスタート位置が決定されると好適である。一例として、グラフィック制御部12は、障害物Pを検出したクリアランスソナー3の内、最もその障害物に近いクリアランスソナー3により検出されたものとして、指標Mを生成すると好適である。
図6〜図10においては、モニタ装置4に表示される表示画像が、カメラ1の車両90における搭載位置をそのまま視点とした透視投影画像である場合を例とした。カメラ1は車両90の後部にやや俯角を有して搭載されたカメラであるから、撮影画像は、図11(a)に示すように、車両90の後方D2への進行方向Dに沿った方向に消失点(vanishing point)を有する透視投影画像である。3次元空間上で平行な複数の直線の投影像は、透視投影画像上の一点で交わるが、消失点とは、その「点」のことである。消失点は、直線上で無限に遠いところにある点、無限遠点(point at infinity)であり、表示画像における観念的な奥行き方向に存在する。図11(a)に示すように、カメラ1の視野(撮影範囲)には路面Gによって遮断されない領域を含むので、図6〜図10に示すように、撮影画像がほぼそのまま表示画像のベースとなっている場合には、表示画像の奥行きの方向は路面Gに沿って深く延びることになる。
透視投影画像では深い奥行きが同一平面上、即ち射影面に投影されるために、障害物Pと車両90との距離感が把握しにくいものとなるが、立体物の現実感は良好に維持される。動的な指標Mが、そのような画像に付加されることにより、良好に障害物Pまでの距離感や立体感をドライバーに直感的に認知させることが可能となる。尚、カメラ1が、俯角30度を有して設置されている場合には、光軸Xと路面Gとの成す角度θも30度である。車両90の前方に前方D1を撮影するカメラが搭載される場合も同様である。尚、「車両90の進行方向Dに沿った方向に消失点を有する」とした場合の沿った方向とは、概ね進行方向Dに対して45度程度まで(例えば45度以下)を指すものとする。また、別の観点からは、「概ね45度内の範囲で光軸Xが車両90の進行方向Dに沿う」と考えてもよい。ここで、光軸Xは、カメラ1の実際の光軸に限定されるものではなく、撮影画像を視点変換した画像における仮想光軸も含む。そのような場合も含めると、「射影面における2次元座標の光学中心を通り、射影面に直交する光軸が概ね45度内の範囲で車両90の進行方向Dに沿う」と考えることもできる。
図11(b)は、そのような視点変換を例示している。即ち、仮想的にカメラ1の視点を車両90の高さよりもやや高い位置へと移動させ、その視点から斜め下方(後方)を見るような画像へ撮影画像を変換した際の画像座標系の概念を模式的に示している。この場合でも、仮想的な光軸Xと路面Gとの成す角度θが概ね45以内であれば、「車両90の進行方向Dに沿った方向に消失点を有する」と考えて良い。
一方、図11(c)は、さらに視点を移動させ、車両90の上方から見下ろすようないわゆる俯瞰画像へと変換する場合の画像座標系の概念を模式的に示している。図11(c)の例では、仮想的な光軸Xと路面Gとの成す角度θはほぼ直角である。俯瞰画像は、ほぼ路面Gを射影面とした画像であるから、障害物Pと車両90との距離感は平面的に把握し易いものとなる。一方、立体物が俯瞰画像へと視点変換されると一般的には非常に歪んだ画像となり、立体感や現実感は大きく損なわれる。一方、俯瞰画像においては、少なくとも、障害物Pと車両90との距離感は把握し易いものであるから、改めて動的な指標Mを俯瞰画像に付加することによる効果は、非俯瞰画像(例えば図11(a)及び(b))に比べて小さい。俯瞰画像に対して、動的な指標Mが付加されることを妨げるものではないが、動的な指標Mの付加は、奥行き感がある非俯瞰画像において大きな効果を奏することが容易に理解できよう。
以上説明したように、本発明によれば、撮影された画像を用いて、ドライバーに障害物とその周辺の物体の立体感や、障害物までの距離感を容易且つ直感的に認知させる運転支援装置を提供することができる。
1:カメラ(車載カメラ)
3:クリアランスソナー、超音波センサ(障害物検出装置)
4:モニタ装置(表示装置)
90:車両
11:画像受取部
12:グラフィック制御部
13:障害物情報取得部
14:画像出力部
D:車両の進行方向に沿った方向
M:指標
P:障害物
3:クリアランスソナー、超音波センサ(障害物検出装置)
4:モニタ装置(表示装置)
90:車両
11:画像受取部
12:グラフィック制御部
13:障害物情報取得部
14:画像出力部
D:車両の進行方向に沿った方向
M:指標
P:障害物
Claims (7)
- 車載カメラにより動画として撮影された車両の周辺の撮影画像を受け取る画像受取部と、
前記撮影画像を表示画像として前記車両内の表示装置に表示させる画像出力部と、
前記車両の周辺に存在する立体物を障害物として、障害物検出装置により検出された前記障害物の位置情報を含む障害物情報を取得する障害物情報取得部と、
前記障害物が前記表示画像内に含まれる場合に、前記障害物情報に基づいて、前記表示画像において前記車両が存在する側から動的に移動する指標を生成して、前記指標を前記表示画像に重畳させるグラフィック制御部と、を備える運転支援装置。 - 前記グラフィック制御部は、前記車両が存在する側から前記障害物へ向かって繰り返し、動的に前記指標を移動させる請求項1に記載の運転支援装置。
- 前記グラフィック制御部は、前記車両と前記障害物との距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項1又は2に記載の運転支援装置。
- 前記グラフィック制御部は、前記表示画像上を動的に移動する前記指標と前記表示画像上の前記障害物との画像面上での距離に応じて異なる表示形態で前記指標を生成して重畳させる請求項1〜3の何れか一項に記載の運転支援装置。
- 前記障害物検出装置は、前記車両の側から送信した送信波と、当該送信波に対する物体からの反射波とに基づいて前記車両の周辺に存在する立体物を前記障害物として検出する請求項1〜4の何れか一項に記載の運転支援装置。
- 前記障害物検出装置を複数備え、前記指標は各障害物検出装置に対応して設定される請求項5に記載の運転支援装置。
- 前記表示画像は、前記車両の進行方向に沿った方向に消失点を有する透視投影画像である請求項1〜6の何れか一項に記載の運転支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010174486A JP2012037924A (ja) | 2010-08-03 | 2010-08-03 | 運転支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010174486A JP2012037924A (ja) | 2010-08-03 | 2010-08-03 | 運転支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012037924A true JP2012037924A (ja) | 2012-02-23 |
Family
ID=45849904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010174486A Pending JP2012037924A (ja) | 2010-08-03 | 2010-08-03 | 運転支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012037924A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015021737A (ja) * | 2013-07-16 | 2015-02-02 | 三菱電機株式会社 | 障害物検知装置 |
CN112947401A (zh) * | 2019-12-09 | 2021-06-11 | 深动科技(北京)有限公司 | 一种自动驾驶系统中的感知数据的显示方法 |
US11433808B2 (en) | 2018-11-08 | 2022-09-06 | Toyota Jidosha Kabushiki Kaisha | Vehicle information provision device |
CN116645830A (zh) * | 2022-09-26 | 2023-08-25 | 深圳海冰科技有限公司 | 车辆夜间弯道辅助用视觉增强系统 |
-
2010
- 2010-08-03 JP JP2010174486A patent/JP2012037924A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015021737A (ja) * | 2013-07-16 | 2015-02-02 | 三菱電機株式会社 | 障害物検知装置 |
US11433808B2 (en) | 2018-11-08 | 2022-09-06 | Toyota Jidosha Kabushiki Kaisha | Vehicle information provision device |
CN112947401A (zh) * | 2019-12-09 | 2021-06-11 | 深动科技(北京)有限公司 | 一种自动驾驶系统中的感知数据的显示方法 |
CN116645830A (zh) * | 2022-09-26 | 2023-08-25 | 深圳海冰科技有限公司 | 车辆夜间弯道辅助用视觉增强系统 |
CN116645830B (zh) * | 2022-09-26 | 2024-02-13 | 深圳海冰科技有限公司 | 车辆夜间弯道辅助用视觉增强系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094266B2 (ja) | 駐車支援装置、駐車支援方法およびプログラム | |
EP3124360B1 (en) | Parking assistance device | |
US10467789B2 (en) | Image processing device for vehicle | |
JP6575445B2 (ja) | 車両用画像処理装置 | |
WO2016039411A1 (ja) | 車両位置検出装置 | |
EP3135565A2 (en) | Parking assistance device | |
JP2012076483A (ja) | 駐車支援装置 | |
CN107818581B (zh) | 车辆的图像处理系统 | |
EP3664014B1 (en) | Display control device | |
EP3291545B1 (en) | Display control device | |
JP2012056428A (ja) | 運転支援装置 | |
WO2020116352A1 (ja) | 路面検出装置および路面検出プログラム | |
WO2019053922A1 (ja) | 画像処理装置 | |
JP2014004930A (ja) | 駐車支援装置、駐車支援方法、及び駐車支援プログラム | |
WO2019008824A1 (ja) | 周辺監視装置 | |
JP2016189576A (ja) | 画像表示制御装置 | |
JP2012037924A (ja) | 運転支援装置 | |
WO2018220915A1 (ja) | 周辺監視装置 | |
JP2022023870A (ja) | 表示制御装置 | |
JP2014004931A (ja) | 駐車支援装置、駐車支援方法、及び駐車支援プログラム | |
US10977506B2 (en) | Apparatus for determining visual confirmation target | |
CN110546047A (zh) | 停车辅助装置 | |
JP2019125193A (ja) | 周辺監視装置 | |
WO2017056989A1 (ja) | 車両用画像処理装置 | |
JP2014000921A (ja) | 車両周辺監視装置、車両周辺監視方法およびプログラム |