JP2005056320A

JP2005056320A - 運転支援装置及び運転支援方法

Info

Publication number: JP2005056320A
Application number: JP2003288976A
Authority: JP
Inventors: Kazufumi Mizusawa; 和史水澤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2005-03-03
Anticipated expiration: 2023-08-07
Also published as: US7756618B2; EP1652734A1; EP1652734B1; CN100488813C; KR20060060005A; CN1863694A; EP1652734A4; WO2005014341A1; US20060209188A1; JP3916240B2

Abstract

【課題】コストの上昇を最小限に抑えつつ、精度の高い予測軌跡をカメラ映像中に重畳表示することができ、更には全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで軌跡を表示することができる運転支援装置を提供する。
【解決手段】ハンドルの舵角に対応した車両の走行予測軌跡を車載モニタ５の画面上に重畳表示するための表示データを作成し、更に走行予測軌跡の表示位置を調整するための調整データを設定し、ハンドル操作に伴ってハンドルの舵角に対応する表示データに基づく走行予測軌跡を調整データに基づいて表示位置調整を行って車載モニタ５の画面上に重畳表示する。
【選択図】図２

Description

本発明は、車載カメラにより取得した車両後方の映像と、当該映像上に運転支援のためのガイドとを運転者に提示する運転支援装置及び運転支援方法に関する。

従来、車両の後退時に車載カメラにて撮影した車両後方の映像を運転席内のモニタの画面上に表示する運転支援装置が開発されている。この運転支援装置では、直進後退時の予測軌跡や車両後端から一定の距離を示す距離線等の運転支援のための様々なガイドを車載カメラ映像に重畳して表示する方式が多く採用されている。また、ハンドルの舵角に応じた後退時の走行予測軌跡を重畳表示する運転支援装置もある。このような運転支援装置においては、車載カメラ映像中の正しい位置にガイドを表示する必要がある。ガイドを正しい位置に表示する方法としては、ハンドルの舵角に対応した車両の予測軌跡の表示データを記憶しておき、舵角センサの信号に基づいて表示データを読み出して重畳表示する方法が提案されている（例えば、特許文献１参照）。

特許第２６１０１４６号公報

しかしながら、ハンドルの舵角に対応した車両の予測軌跡の表示データを記憶しておき、舵角センサの信号に基づいて表示データを読み出して重畳表示する方法においては、次のような問題がある。

予測軌跡の表示データ算出に使用したカメラパラメータと実際のカメラパラメータとがほとんどの場合異なっており、またカメラ映像中に設定した代表点により調整量を決定するため、必ずしも精度が十分ではない。ここで、カメラパラメータには内部パラメータと外部パラメータの２つのパラメータがある。内部パラメータには焦点距離、レンズの歪曲係数、縦横の倍率比、画像中心位置の座標があり、外部パラメータにはチルト角、パン角、ロール角がある。

また、最大にハンドルを切ったときや遠方まで予測軌跡を表示する場合、表示すべき予測軌跡が表示画面外にはみ出すことがある。表示すべき予測軌跡を用意する場合、画面内のデータのみを保持すると、表示位置を調整した場合、表示画面外にはみ出した軌跡部分はデータが無いために表示されない。画面外の軌跡を保持するためには例えば本来はありえない画面外の表示位置をデータとして持つ必要があるが、データの整合性の確認が困難になる。

更に、予め軌跡データを用意する場合、変動するカメラパラメータとしては、少なくともパン角、ロール角、チルト角の３パラメータを考慮する必要があるが、単純に各角度に対して３つの値を用意するだけでも合計２７通りのデータを用意する必要があることになり、必要とするメモリ量が増大してコスト高になる。

本発明は、かかる点に鑑みてなされたものであり、コストの上昇を最小限に抑えつつ、精度の高い予測軌跡をカメラ映像中に重畳表示することができ、更には全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで軌跡を表示することができる運転支援装置及び運転支援方法を提供することを目的とする。

上記目的を達成するため、本発明の運転支援装置は、車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示する運転支援装置において、ハンドルの舵角に対応した車両の走行予測軌跡を画面上に表示するための軌跡表示データとその軌跡表示データに基づく走行予測軌跡の画面上の表示位置を調整するための調整データとを含む軌跡データを記憶するデータテーブルと、ハンドルの舵角を検出する舵角検出手段と、前記舵角検出手段で検出された舵角に対応する前記軌跡データを前記データテーブルから読み出し、その軌跡データに含まれる軌跡表示データと調整データに基づいて走行予測軌跡を車両周囲の画像に重畳した運転支援画像を生成し、前記車載モニタに出力する運転支援画像生成手段と、を備えている。

この構成によれば、舵角に対応して走行予測軌跡の表示位置を最新の調整データに基づいて調整するので、予め用意した走行予測軌跡を最適な位置に表示することができ、軌跡のガイドとしての精度の向上が図れる。

また、本発明の運転支援装置は、前記舵角に対応する軌跡データに含まれる調整データの値を設定する表示位置調整量設定手段を備えていてもよい。

この構成によれば、舵角に対応する軌跡データに含まれる調整データの値を容易に設定することができる。

また、本発明の運転支援装置では、前記表示位置調整量設定手段は、代表的な舵角に対する前記軌跡データの調整データの値を基に他の全ての舵角に対する前記軌跡データの調整データの値を算出してもよい。

この構成によれば、代表的な舵角に対してのみ走行予測軌跡の表示位置を調整するだけで全ての舵角に対して最適な位置に設定することができる。また、表示位置の調整量を求める作業を大幅に簡単化できる。

また、本発明の運転支援装置では、前記データテーブルに記憶される軌跡データは、軌跡表示データと調整データの他に、軌跡表示データに基づく走行予測軌跡の初期位置を設定するための初期位置設定データを含んでもよい。

この構成によれば、画面外の表示位置を記録する例外的な処理等を必要とせずに全ての軌跡データに対して表示位置の調整量に関係なく画面の端まで走行予測軌跡を表示することができる。

また、本発明の運転支援装置では、前記データテーブルは、舵角に対応する軌跡表示データとして、パン角又はロール角の異なる複数の軌跡データセットを記憶してもよい。

この構成によれば、走行予測軌跡のガイドとしての精度を落とすことなく必要なメモリ量を削減することができ、コストの削減が可能となる。

また、本発明の運転支援方法は、車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示する運転支援方法において、ハンドルの舵角に対応した車両の走行予測軌跡を前記車載モニタの画面上に重畳表示するための表示データを作成するステップと、前記走行予測軌跡の表示位置を調整するための調整データを設定するステップと、ハンドル操作に伴ってハンドルの舵角に対応する表示データに基づく走行予測軌跡を前記調整データに基づいて表示位置調整を行って前記車載モニタの画面上に重畳するステップと、を備えている。

この方法によれば、舵角に対応して走行予測軌跡の表示位置を最新の調整データに基づいて調整するので、予め用意した走行予測軌跡を最適な位置に表示することができ、軌跡のガイドとしての精度の向上が図れる。

本発明によれば、舵角に対応した軌跡表示データと表示位置の調整データとを保持し、舵角センサの検知結果に応じて走行予測軌跡の表示位置を細かく調整するようにしたので、予め用意した走行予測軌跡を常に最適な位置に表示でき、走行予測軌跡のガイドとしての精度の向上が図れる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の実施の形態の運転支援装置の構成を示すブロック図である。図１において、本実施の形態の運転支援装置は、車両１の後方に設置された車載カメラ２と、車両１の操舵角を検出する舵角センサ３と、車載カメラ２の撮像画像に舵角センサ３の出力に応じた予測軌跡を重畳して出力する軌跡重畳装置４と、軌跡重畳装置４の出力を表示して運転者に提示する車載モニタ５とを備えている。

車載カメラ２は、車両１の後方を撮影した画像を軌跡重畳装置４に入力する。舵角センサ３は、車両１のステアリングコラムの回転量を検知し、その結果を軌跡重畳装置４に入力する。軌跡重畳装置４は、舵角センサ３から入力される舵角に応じて車両１の予測軌跡を車載カメラ２の映像に重畳して出力する。車載モニタ５は軌跡重畳装置４の出力を表示する。

図２は、軌跡重畳装置４の詳細な構成を示すブロック図である。図２において、軌跡重畳装置４は、データ設定部４０、軌跡データ選択部４３、表示位置調整部４４、軌跡重畳部４５及びデータテーブル４６を備えており、データ設定部４０は、個別調整量設定部４１と軌跡データセット選択部４２を有している。

データテーブル４６は、図２に示すように予め用意した複数の「軌跡データセット０〜Ｎ」と、軌跡データセット０〜Ｎのうちで実際に使用するものを示す「選択セット番号」とから構成される。そして、各軌跡データセット０〜Ｎは、使用する軌跡データセットを選択する際に用いる「基準データ」と、個別の調整量を決定する際に用いる「マーカーデータ」と、各操舵角に対応した「軌跡データ０〜Ｈ」とから構成される。ここで、軌跡データの数は、分解能を例えば操舵角１°とし、左右４０°までのデータを保持する場合、「８１」個になる。各軌跡データ０〜Ｈは、予め設定される「初期調整量」と、車載カメラ設置後に設定される「個別調整量」と、軌跡を表示するための画像データである「表示データ」とから構成される。個別調整量をデータとして保持することで、操舵角毎に表示位置を調整することが可能となる。

次に、軌跡重畳装置４の動作を説明する。車載カメラ２の取り付け位置に応じて、予め用意しておいた軌跡データ０〜Ｈの表示位置を調整する場合、想定される車載カメラ２の取り付け誤差を考慮して複数の軌跡データセットを用意しておき、その中から最適な軌跡データセットを選択することが望ましい。例えば、車載カメラ２の車両１への取り付け角度が理想のロール角からずれている場合、正しい画面上での予測軌跡は車両中心に対して左右対称とはならず歪んだ形となる。この場合、理想のロール角で作成した予測軌跡データの表示位置を調整しても一致することは無い。したがって、理想ロール角の軌跡データセットの他に、ロール角がずれた場合の軌跡データセットを複数用意しておき、その中から最適な軌跡データセットを選択することが望ましい。

軌跡データセット選択部４２は、予め用意されている複数の軌跡データセットの中から最適な軌跡データセットを選択する。この軌跡データセットの選択は、例えば図３のように、車両１から後方に一定距離だけ離れた位置に車両１の後輪軸と平行になるように軌跡データセット選択用ターゲット板３１を設置し、この軌跡データセット選択用ターゲット板３１のモニタ画面上の映像を見ることで行う。

ここで、理想のロール角を０°として、（１）ロール角のずれが無い場合、（２）ロール角が左に一定角度ずれた場合、（３）ロール角が右に一定角度ずれた場合の３種類の軌跡データセットを用意するものとする。また、それぞれのロール角のずれに応じて軌跡データセット選択用ターゲット板３１が車載カメラ２の映像中に写る位置を計算したデータ（基準データ）を用意する。なお、これらのデータは予めデータテーブル４６に記録されている。

さて、軌跡データセット選択部４２には、例えば図４に示すように軌跡データセットと対応した複数（この図では３つであるので、以下「３」として扱う）の選択ボタン５１(数字表示)があり、３つのうちのいずれかが押されると、それが押されたことを検知して、軌跡データセットの選択であることと、その選択ボタン５１に対応する軌跡データセットの番号が軌跡データ選択部４３に通知される。

軌跡データ選択部４３は、この通知内容に従ってデータテーブル４６から、押された選択ボタン５１に対応する軌跡データセットの基準データを読み出して、それに含まれる表示データを軌跡重畳部４５に入力する。また同時に基準データに含まれる初期調整量及び個別調整量を読み出して表示位置調整部４４に入力する。なお、基準データの初期調整量は予め設定されているが、個別調整量は設定されていない。また、軌跡データセットの選択に際しては、個別調整量は不要なので省略してもよい。

表示位置調整部４４は、ポインチングデバイスの１つであるジョイスティックを有し、このジョイスティックの操作結果と軌跡データ選択部４３からの各種調整量とから表示位置を算出し、その結果を軌跡重畳部４５に与える。表示位置は、例えば軌跡データ選択部４３から通知される各調整量を初期値としてジョイスティックによる移動分を逐次足し合わせて算出する。

軌跡重畳部４５は、軌跡データ選択部４３から入力される表示データを表示位置調整部４４から通知される調整量だけ移動させて、車載カメラ２の映像に重畳する。その結果が車載モニタ５の画面上に表示される。而して、軌跡データセット選択部４２の３つの選択ボタン５１を一つひとつ押すことにより、図５に示すような軌跡データセット「１」から「３」のいずれかの基準形状が車載カメラ映像に重畳されて車載モニタ５に表示される。

数字「１」の選択ボタン５１を押すことにより、軌跡データセット「１」（一番上の図）の基準形状が車載カメラ映像に重畳され、数字「２」の選択ボタン５１を押すことにより、軌跡データセット「２」（真中の図）の基準形状が車載カメラ映像に重畳され、数字「３」の選択ボタン５１を押すことにより、軌跡データセット「３」（一番下の図）の基準形状が車載カメラ映像に重畳される。

そして、これらの基準形状の中から車載カメラ映像内の軌跡データセット選択用ターゲット板３１と最もよく傾きが一致する軌跡データセットがこの図では「１」である。ここで、軌跡データセット「１」を表示させた状態で、軌跡データセット選択部４２にある確定ボタン５４(「確」表示)を押すと、軌跡データ選択部４３がデータテーブル４６内の選択セット番号を現在選択されたデータセットの番号即ち「１」に変更する。以上により、車載カメラ２の取り付け位置に対して最適な軌跡データセットが選択される。

次に、選択した軌跡データセットに対する個別調整量の設定を行う。個別調整量設定部４１には、例えば図４に示す選択ボタンと同様の複数の選択ボタン（これを５１Ａとする）がある。これらの選択ボタン５１Ａは、調整の基準となるマーカー（基準マーカー）位置と対応している。個別調整量設定部４１は、いずれかの選択ボタン５１Ａが押されると、それを検知して個別調整量の設定であることと、その選択ボタン５１Ａに対応する基準マーカーの番号を軌跡データ選択部４３に通知する。

軌跡データ選択部４３は、データテーブル４６からこの通知内容に対応する基準マーカーのデータ(マーカーデータ)を読み出して軌跡重畳部４５に入力する。また同時にマーカーデータに含まれる初期調整量を読み出して表示位置調整部４４に通知する。なお、マーカーとしては、例えば図３にその一部を示すように、予測軌跡上の車両から一定距離だけ離れた位置とし、右方向の最大舵角時の軌跡上のマーカー３２、直進時の軌跡上のマーカー３３、左方向の最大舵角時の軌跡上のマーカー３４の３つを設置して使用する。

表示位置調整部４４は、ジョイスティックの操作結果と軌跡データ選択部４３からの初期調整量とから表示位置を算出して、その結果を軌跡重畳部４５に通知する。軌跡重畳部４５は、軌跡データ選択部４３から入力される表示データを表示位置調整部４４から通知される調整量だけ移動させて車載カメラ２の映像に重畳する。その結果が車載モニタ５の画面上に表示される。而して、個別調整量設定部４１の選択ボタン５１を一つひとつ押すことにより、図６に示すようなマーカー「１」から「３」のいずれかが車載カメラ映像に重畳されて車載モニタ５に表示される。

そして、個々のマーカーについて、表示位置調整部４４のジョイスティックを用いてその表示位置が車載カメラ映像中のマーカーと最もよく一致するように調整し、調整後に個別調整量設定部４１の確定ボタン（これを５４Ａとする）を押す。確定ボタン５４Ａが押されると、それが軌跡データ選択部４３に通知され、軌跡データ選択部４３はそのマーカーに対する調整量を一時的に記録する。

そして、残りの全てのマーカーに対して確定ボタン５４が押されると、軌跡データ選択部４３は、確定されたマーカー毎の調整量から各操舵角の調整量を算出し、データテーブル４６内の個別調整量データに設定する。ここで、左右の最大舵角をそれぞれΘL（＜０）、ΘR（＞０）、マーカー「１」、マーカー「２」、マーカー「３」の調整量をそれぞれＤＭ１、ＤＭ２、ＤＭ３として、舵角Θの調整量Ｄ（Θ）は、例えば次式によって求まる。

Ｄ(Θ)＝ＤＭ１・Θ／ΘL ＋ＤＭ２・（ΘL−Θ）／ΘL （Θ＜０の時）
Ｄ(Θ)＝ＤＭ２（Θ＝０の時）
Ｄ(Θ)＝ＤＭ３・Θ／ΘR ＋ＤＭ２・（ΘR−Θ）／ΘR （Θ＞０の時）

このように、舵角毎に個別調整量を設定することにより、舵角毎に最適な調整量を設定することが可能となる。なお、代表舵角の調整量からその他の舵角の調整量を算出することで、全ての舵角に対して表示位置の調整を実施することなく簡易的に最適な調整量を設定することも可能である。なお、各舵角の調整量の設定方法は、これに限らず全ての舵角に対して実際に位置合わせを行ったり、一定範囲にある舵角に同じ調整量を設定するなど、変更可能である。

次に、通常動作時の動作について説明する。軌跡データ選択部４３は、舵角センサ３からのセンサ信号が入力されると、データテーブル４６の選択セット番号に従い、該当するデータセットから舵角センサで検知した角度に対応する軌跡データを読み出す。その後、軌跡データ内の初期調整量及び個別調整量を表示位置調整部４４に通知し、また表示データを軌跡重畳部４５に通知する。

表示位置調整部４４は、軌跡データ選択部４３から入力された初期調整量と個別調整量とから最終の調整量を算出して、その結果を軌跡重畳部４５に通知する。軌跡重畳部４５は車載カメラ映像のフレームの変わり目となる垂直ブランキング期間に表示位置調整部４４から入力される表示位置の調整量と軌跡データ選択部４３から入力される表示データとを最新のものに変更し、常に最新の軌跡データに基づいて軌跡を車載カメラ映像に重畳する。なお、軌跡データ選択部４３から入力される表示データは表示データそのものではなく、データテーブル４６内の表示データを参照するためのアドレスとしても良い。而して、車載モニタ５には舵角に応じた予測軌跡が重畳された車載カメラ映像が表示される。

このように、軌跡重畳部４５がフレーム表示前に、表示データと、表示位置調整量を確認して細かく軌跡の表示位置を最新のデータに基づいて調整するため、予め用意した軌跡を最適な位置に表示することができる。結果的に軌跡のガイドとしての精度の向上が図れる。

次に、図７及び図８を用いて初期調整量の使用方法について説明する。表示位置を調整しない場合、軌跡の一部が画面からはみ出して表示される軌跡データをデータテーブル４６に格納する際は、画面内に軌跡全体が表示されるように表示位置を移動する。このときの軌跡データを表示データとして、また元の表示位置に表示するために必要な移動量を初期調整量として設定する。軌跡データ選択部４３は、この初期調整量により本来の表示位置を算出し、本来の表示位置から個別調整量分だけ移動した位置を軌跡重畳部４５に入力する。このように初期調整量を設定することにより、画面外の表示位置を記録する例外的な処理等を必要とせずに、全ての軌跡データに対して表示位置の調整量に関係なく、画面の端まで軌跡を表示できる。

次に、予め用意するデータセットについて説明する。データセットとしては、ロール角又はパン角のみが異なる複数の軌跡データを用意する。車載カメラ２の設置ではカメラの外部パラメータであるチルト角、パン角及びロール角の３変数が未知となる。しかしながら、パン角、ロール角のずれの影響はいずれも画面上では図９に示すように回転として現れ、どちらかの回転角で代用することができる。

図９は、左右に同一角度ハンドルを転舵した時並びに直進時の予測軌跡を、適当な車載カメラにより撮影した時の画面上での表示位置を示したものである。軌跡は３本表示してあり、一定角度ロールしている軌跡、一定角度パンしている軌跡、一定角度ロールしている軌跡を、一定角度パンしている軌跡の表示位置とできるだけ一致するように平行移動した軌跡を示している。また、チルト角のずれの影響は画面上では平行移動として現れるため、表示位置の調整によってこの影響をほぼ除去できる。

このように、ロール角又はパン角のみを変数として軌跡データを用意することで、軌跡のガイドとしての精度を落とすことなく、必要なメモリ量を削減できる効果がある。

なお、本実施の形態では、ボタンとジョイスティックを用いたが、カーナビゲーション画面のタッチパネルを利用したり、メンテナンス用の外部端末等を利用するようにしても良い。

また、本実施の形態では、軌跡データセット選択用ターゲット板３１の傾きを使用して軌跡データセットを選択したが、マーカーの位置ずれ等、他の方法によって選択することも可能である。また、軌跡データセットを選択する必要がない場合、データ設定部４０には軌跡データセット選択部４２を設ける必要はない。

本発明は、予め用意した走行予測軌跡を常に最適な位置に表示でき、走行予測軌跡のガイドとしての精度の向上が図れるといった効果を有し、自動車等の車両に用いて有用である。

本発明の実施の形態の運転支援装置の構成を示すブロック図本発明の実施の形態の運転支援装置における軌跡重畳装置の詳細な構成を示すブロック図本発明の実施の形態の運転支援装置における軌跡データセットの選択と個別調整量の設定を説明するための図本発明の実施の形態の運転支援装置における軌跡データセット及びマーカーの選択と確定を行うスイッチを示す図本発明の実施の形態の運転支援装置における軌跡データセットの選択を説明するための図本発明の実施の形態の運転支援装置における個別調整量の設定を説明するための図本発明の実施の形態の運転支援装置における初期調整量の設定を説明するための図本発明の実施の形態の運転支援装置における初期調整量の設定を説明するための図本発明の実施の形態の運転支援装置におけるパン角、ロール角ずれの軌跡表示への影響を説明するための図

符号の説明

１車両
２車載カメラ
３舵角センサ
４軌跡重畳装置
５車載モニタ
３１軌跡データセット選択用ターゲット板
３２、３３、３４マーカー
４０データ設定部
４１個別調整量設定部
４２軌跡データセット選択部
４３軌跡データ選択部
４４表示位置調整部
４５軌跡重畳部
４６データテーブル
５１、５１Ａ選択ボタン
５４、５４Ａ確定ボタン

Claims

車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示する運転支援装置において、
ハンドルの舵角に対応した車両の走行予測軌跡を画面上に表示するための軌跡表示データとその軌跡表示データに基づく走行予測軌跡の画面上の表示位置を調整するための調整データとを含む軌跡データを記憶するデータテーブルと、
ハンドルの舵角を検出する舵角検出手段と、
前記舵角検出手段で検出された舵角に対応する前記軌跡データを前記データテーブルから読み出し、その軌跡データに含まれる軌跡表示データと調整データに基づいて走行予測軌跡を車両周囲の画像に重畳した運転支援画像を生成し、前記車載モニタに出力する運転支援画像生成手段と、
を備える運転支援装置。
前記舵角に対応する軌跡データに含まれる調整データの値を設定する表示位置調整量設定手段を備える請求項１に記載の運転支援装置。
前記表示位置調整量設定手段は、代表的な舵角に対する前記軌跡データの調整データの値を基に他の全ての舵角に対する前記軌跡データの調整データの値を算出する請求項２に記載の運転支援装置。
前記データテーブルに記憶される軌跡データは、軌跡表示データと調整データの他に、軌跡表示データに基づく走行予測軌跡の初期位置を設定するための初期位置設定データを含む請求項１乃至請求項３のいずれかに記載の運転支援装置。
前記データテーブルは、舵角に対応する軌跡データとして、パン角又はロール角の異なる複数の軌跡データセットを記憶する請求項１乃至請求項４のいずれかに記載の運転支援装置。
車載カメラで撮影した車両周囲の画像を車載モニタの画面上に表示する運転支援方法において、
ハンドルの舵角に対応した車両の走行予測軌跡を前記車両モニタの画面上に重畳表示するための表示データを作成するステップと、
前記走行予測軌跡の表示位置を調整するための調整データを設定するステップと、
ハンドル操作に伴ってハンドルの舵角に対応する表示データに基づく走行予測軌跡を前記調整データに基づいて表示位置調整を行って前記車両モニタの画面上に重畳表示するステップと、
を備えた運転支援方法。