JP2020140603A - 表示制御装置、表示制御方法、および表示制御プログラム - Google Patents
表示制御装置、表示制御方法、および表示制御プログラム Download PDFInfo
- Publication number
- JP2020140603A JP2020140603A JP2019037280A JP2019037280A JP2020140603A JP 2020140603 A JP2020140603 A JP 2020140603A JP 2019037280 A JP2019037280 A JP 2019037280A JP 2019037280 A JP2019037280 A JP 2019037280A JP 2020140603 A JP2020140603 A JP 2020140603A
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- vehicle
- display control
- image
- traveling direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 230000008569 process Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Instrument Panels (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】移動体内の乗員に、当該移動体と進行方向に位置する対象物が衝突するか否かを、リアルに実感させる。【解決手段】表示制御部(111)は、移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像を表示させる。移動体(1)の進行方向の所定の範囲内に対象物が存在する場合、表示制御部(111)は、移動体(1)の予測進路上であって、かつ透過面(2)上における対象物の少なくとも一部と重複している状態または対象物と近接している状態で、移動体(1)を示す画像を表示させる。【選択図】図1
Description
本開示は、HUD(Head-up Display)に自車両の画像を表示する表示制御装置、表示制御方法、および表示制御プログラムに関する。
近年、運転支援を目的としたHUDを搭載した車両が増えてきている。例えば、フロントガラスに速度や最適なレーンなどを表示するHUDが実用化されている。また、運転者が自車両の幅を把握しやすくなるように、自車両が走行可能な幅、タイヤの軌跡、後方から見た自車両に相当する架空の車両などを、HUDに表示させることが提案されている(例えば、特許文献1参照)。
上述したようにHUDに、自車両が走行可能な幅などを表示させると、運転者は現状のステアリング状態のまま進んだ場合に、進行方向に位置する障害物と衝突するか否かを客観的に判断することができる。本発明者は運転者に、進行方向に位置する障害物と衝突するか否かを、よりリアルに実感させる技術を見出した。
本開示はこうした状況に鑑みなされたものであり、その目的は、移動体の乗員に、進行方向に位置する対象物と衝突するか否かをリアルに実感させることができる技術を提供することにある。
上記課題を解決するために、本開示のある態様の表示制御装置は、移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる表示制御部を備える。前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示制御部は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる。
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、などの間で変換したものもまた、本開示の態様として有効である。
本開示によれば、移動体の乗員に、進行方向に位置する対象物と衝突するか否かを、リアルに実感させることができる。
図1は、実施の形態に係る表示制御装置10を説明するための図である。実施の形態に係る表示制御装置10は、車両1のフロントガラス2に画像を投影するHUD20に、表示すべき画像データを出力する装置である。フロントガラス2は、車両1内の乗員が車両1の進行方向の景色を見るための透過面である。図1に示すフロントガラス照射型のHUD20は、映像表示部21及び凹面鏡22を備える。映像表示部21及び凹面鏡22は、インストルメントパネルに内蔵されている。
映像表示部21は光源となるディスプレイであり、例えば、小型の液晶ディスプレイ、有機ELディスプレイ、マイクロLEDディスプレイを使用することができる。映像表示部21は、表示制御装置10から入力される画像を表示する。
凹面鏡22は、映像表示部21に表示される画像(実像)の光を、設定された倍率で拡大し、フロントガラス2の所定の位置に照射する。観察者(運転者)からは、映像表示部21に表示される画像がフロントガラス2より奥側に虚像として見える。なお、映像表示部21と凹面鏡22との間に、光路を折り曲げるための平面鏡などの追加の光学部材が設けられてもよい。その場合、狭いスペースにおいて映像表示部21から凹面鏡22までの距離を長くすることができ、虚像の拡大率を調整することができる。
車両1は、自車両の周囲の状況、および自車両の状態を把握するための検知部30を備える。例えば検知部30として、カメラ31、ミリ波レーダ32、ソナー33、及び舵角センサ34を備える。
カメラ31は、少なくとも車両1の前方を撮影可能な位置に設置される。カメラ31は、固体撮像素子(例えばCMOSイメージセンサ、CCDイメージセンサ)及び信号処理回路を備える。当該固体撮像素子は入射光を電気信号に変換し、当該信号処理回路は、当該固体撮像素子により光電変換された画像データに対してA/D変換、ノイズ除去などの信号処理を施して出力する。
カメラ31は車両1の前方、後方、左右の4箇所に設置されてもよい。この場合、これら4つのカメラ31で撮影された前方画像、後方画像、左側画像、右側画像を合成することにより俯瞰画像が生成可能となる。なお各位置に設置されるカメラ31は単眼カメラでなく、ステレオカメラであってもよい。この場合、対象物までの距離も推定することができる。また可視光カメラに加えて赤外線カメラを設置してもよい。この場合、夜間においても車両1の周囲環境を、カメラ31で撮影された画像をもとに把握することができる。
ミリ波レーダ32は、車両1の周囲に電波(ミリ波)を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。複数のミリ波レーダ32を設置することにより、車両1の周囲の広範囲の対象物を検出することができる。
ソナー33は、車両1の周囲を覆うように車両1の周囲に複数設置される。ソナー33の検知範囲はカメラ31の撮像範囲より狭いため、カメラ31の数より多くのソナー33を設置することが好ましい。ソナー33は、単眼カメラでは検出が難しい対象物までの距離を測定することができる。なお車両1の周囲環境をより詳細に把握するためにカメラ31、ミリ波レーダ32及びソナー33に加えて、LIDAR(Light Detection and Ranging)を搭載してもよい。
舵角センサ34は、車両1のステアリングホイールの操舵角を検出する。その他にも、車両1内には様々なセンサが設置される。例えば、車速センサ、GPSセンサ、アクセルペダル開度センサ、ブレーキペダル開度センサ、ジャイロセンサ等が設置される。
車両1内の各種の検知部30で検知された検知データは、車載ネットワーク(例えば、CAN(Controller Area Network)やLIN(Local Interconnect Network))を介して、表示制御装置10に送信される。
表示制御装置10は、処理部11、記憶部12及び操作部13を備える。処理部11は表示制御部111及び判断部112を含む。処理部11の機能はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源として、CPU、ROM、RAM、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、その他のLSIを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
記憶部12は、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ等の不揮発性の記録媒体を含み、各種のプログラム及びデータを記憶する。また記憶部12は補助記憶部として、半導体メモリカード等の記録媒体が装着可能な構成であってもよい。操作部13は、物理的なボタンやタッチパネル等を含み、ユーザ(車両1の乗員)の操作に応じた信号を処理部11に出力する。
本実施の形態では、記憶部12は車両画像保持部121を含む。車両画像保持部121は、市販されている各種車両を、後方から見たときの画像データを保持する。車両の画像データは、360度視点に対応した3D画像データであることが好ましい。少なくとも後方からの180度視点に対応した3D画像データであることが好ましい。車両の画像データは、CG画像であってもよいし、実写画像であってもよい。
なお表示制御装置10が特定の車両1のみに搭載される純正品の場合、車両画像保持部121は、当該車両1の画像データのみを保持していればよい。表示制御装置10が様々な車両1に搭載され得る汎用品の場合、市販されている各種車両の画像データを保持している必要がある。
処理部11の判断部112は、車両1内のECU(Electronic Control Unit)40から車種情報を取得することができる。また判断部112は、車両1内のカーナビゲーションシステム50と連携して、地図データと自車両のルート設定情報を取得することができる。以下、フローチャートを参照しながら表示制御装置10の動作を説明する。
図2は、表示制御装置10の初期設定時の動作を示すフローチャートである。表示制御装置10の処理部11は、ECU40から車種情報を取得する(S1)。処理部11は、取得した車種情報をもとに車両画像保持部121内を探索して、フロントガラス2に表示すべき、自車両の画像を決定する(S2)。
図3は、表示制御装置10の全体動作を示すフローチャートである。処理部11は、自車両の画像の表示機能がオンに設定されているかオフに設定されているか判定する(S10)。当該表示機能のオン/オフは、例えば、車両1の乗員(主に運転者)による操作部13に対する操作に基づき決定される。また当該表示機能のオン/オフは、処理部11が自動的に決定してもよい。例えば処理部11は、カーナビゲーションシステム50から取得した地図データをもとに、自車両が現在走行している道路が高速道路または幹線道路であるか否か判定し、高速道路または幹線道路である場合は当該表示機能をオフに設定し、高速道路または幹線道路でない場合は当該表示機能をオンに設定してもよい。また自車両が現在走行している道路の道幅が取得できる場合、処理部11は、道幅が所定値以上の道路である場合は当該表示機能をオフに設定し、道幅が所定値未満の道路である場合は当該表示機能をオンに設定してもよい。
自車両の画像の表示機能がオンに設定されている場合(S10のY)、処理部11は、マニュアルモードに設定されているか、オートモードに設定されているか判定する(S20)。マニュアルモードは、HUD20に虚像として表示される自車両の画像が常に、自車両の現在位置から同じ距離に保たれるモードである。即ち、自車両の実際の現在位置と、自車両の画像の仮想的な表示位置との距離が常に一定に保たれるモードである。当該距離は乗員により設定される。当該距離の設定方法は、数値で指定するものであってもよいし、複数の候補(例えば、「近」、「中」、「遠」)から選択するものであってもよい。また乗員は適宜、当該距離の設定を変更可能である。乗員により指定されない場合、デフォルト値が使用される。
オートモードは、自車両の進行方向の所定の範囲内に、障害物となる対象物が存在する場合、自車両の予測進路上であって、フロントガラス2における当該対象物の少なくとも一部と重複している状態または当該対象物と近接している状態で、自車両の画像を表示させるモードである。オートモードでは、フロントガラス2における当該対象物の位置の変化に応じて、自車両の画像の表示位置も適応的に変化する。より具体的には、フロントガラス2における当該対象物の位置と衝突または最接近した状態の自車両の画像を仮想的に表示し続ける。本明細書では、衝突は接触を含む概念とする。
なお、自車両の進行方向の所定の範囲内に対象物が存在しない場合、オートモードでもマニュアルモードと同様に、自車両の実際の現在位置と、自車両の画像の仮想的な表示位置との距離が常に一定に保たれるように自車両の画像が表示される。
処理部11は、マニュアルモードに設定されている場合(S20のM)、マニュアルモード時の表示制御処理を実行し(S30)、オートモードに設定されている場合(S20のA)、オートモード時の表示制御処理を実行する(S40)。
図4は、図3のマニュアルモード時の表示制御処理のサブルーチンを示すフローチャートである。処理部11の表示制御部111は、自車両の画像の表示サイズを、上述した設定された距離に応じたサイズに調整する(S31)。表示制御部111は、運転者の想定される視点EPの位置と当該設定された距離をもとに、自車両が実際に当該設定された距離前方に存在した場合に運転者に見える自車両のサイズを算出する。表示制御部111は、算出したサイズに、自車両の画像データの縮尺を変更する。なお、縮尺の変更は幅方向に対してのみ行ってもよい。
判断部112は、舵角センサ34から舵角情報を取得する(S32)。判断部112は、舵角情報をもとにタイヤの向きを特定し、特定した現在のタイヤの向きから自車両の予測進路を推定する(S33)。
表示制御部111は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該設定された距離進んだ位置に、自車両の画像を虚像として表示させる(S34)。表示制御部111は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる(S35)。進路ガイドは、自車両の車幅に対応する幅を持つガイド線で規定されることが好ましい。
判断部112は、カメラ31、ミリ波レーダ32及びソナー33の少なくとも1つから取得した検知データをもとに、自車両の進行方向の所定の範囲内に対象物が存在するか否か判定する(S36)。自車両の進行方向の所定の範囲は、例えば、上記予測進路を幅方向に左右それぞれ所定の距離拡大した範囲であってもよい。また自車両が走行中の車両通行帯の車道外側線と車両通行帯境界線の位置を検知できる場合、自車両の進行方向の所定の範囲は、車道外側線と車両通行帯境界線の間の領域を、幅方向に左右それぞれ所定の距離拡大した範囲であってもよい。なお、車道と歩道の間にガードレールや防護柵が検知される場合、ガードレールや防護柵の外側は、対象物の探索範囲から除外してもよい。
自車両の進行方向の所定の範囲内に対象物が検知された場合(S36のY)、判断部112は自車両が現在の操舵角の状態を維持したまま進むと、対象物に衝突するか否か判断する(S37)。例えば、対象物の少なくとも一部が自車両の予測進路上の領域に含まれる場合、対象物に衝突すると判断することができる。対象物に衝突すると判断した場合(S37のY)、表示制御部111は、自車両の画像の、対象物と衝突する部分に対応する領域を強調した表示態様に変更する(S38)。例えば、衝突する部分に対応する領域の表示色を目立つ色(赤色など)に変更する。また衝突する部分に対応する領域の色の濃さを他の領域より濃くしてもよい。また衝突する部分に対応する領域を点滅させてもよい。また表示制御部111は、上記進路ガイドの、対象物と衝突する位置に対応する領域を強調した表示態様に変更してもよい。例えば、衝突する位置に対応する領域の表示色を目立つ色(赤色など)に変更する。
ステップS37において、自車両が現在の操舵角の状態を維持したまま進んでも対象物に衝突しないと判断した場合(S37のN)、ステップS38の処理はスキップされる。またステップS36において、自車両の進行方向の所定の範囲内に対象物が検知されない場合(S36のN)、ステップS37及びステップS38の処理はスキップされる。
図5は、図3のオートモード時の表示制御処理のサブルーチンを示すフローチャート(その1)である。図6は、図3のオートモード時の表示制御処理のサブルーチンを示すフローチャート(その2)である。表示制御部111は、自車両の画像の当初の表示サイズを、上述した設定された距離に応じたサイズに調整する(S41)。
判断部112は、舵角センサ34から舵角情報を取得する(S42)。判断部112は、舵角情報をもとにタイヤの向きを特定し、特定した現在のタイヤの向きから自車両の予測進路を推定する(S43)。
表示制御部111は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該設定された距離進んだ位置に、自車両の画像を虚像として表示させる(S44)。表示制御部111は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる(S45)。
判断部112は、カメラ31、ミリ波レーダ32及びソナー33の少なくとも1つから取得した検知データをもとに、自車両の進行方向の所定の範囲内に対象物が存在するか否か判定する(S46)。自車両の進行方向の所定の範囲内に対象物が検知された場合(S46のY)、判断部112は、自車両の現在位置から対象物までの距離を推定する(S47)。なお、自車両の進行方向の所定の範囲内に複数の対象物が検知された場合、自車両の現在位置に最も近い位置の対象物までの距離を推定する。
表示制御部111は、自車両の画像の表示サイズを、判断部112により推定された対象物までの距離に応じたサイズに変更する(S48)。表示制御部111は、運転者から見て自車両の現在位置から、現在の操舵角の状態を維持したまま当該推定された距離進んだ位置に、自車両の画像を虚像として表示させる(S49)。表示制御部111は、運転者から見て自車両の現在位置から、自車両の画像の表示位置までの間に、進路ガイドを虚像として表示させる(S410)。
判断部112は自車両が現在の操舵角の状態を維持したまま進むと、対象物に衝突するか否か判断する(S411)。対象物に衝突すると判断した場合(S411のY)、表示制御部111は、自車両の画像の、対象物と衝突する部分に対応する領域を強調した表示態様に変更する(S412)。例えば、衝突する部分に対応する領域の表示色を目立つ色(赤色など)に変更する。ステップS416に遷移する。
ステップS411において、自車両が現在の操舵角の状態を維持したまま進んでも対象物に衝突しないと判断した場合(S411のN)、判断部112は、対象物と予測進路上において自車両が横に並んだときの両者の距離を算出する(S413)。判断部112は、算出した両者の距離と所定の第1閾値(例えば、1.0〜1.5mの範囲内の値)を比較する(S414)。両者の距離が第1閾値以下の場合(S414のY)、表示制御部111は、両者の距離を示す数値情報を、両者が接近する領域の中または近傍に虚像として表示させる(S415)。両者の距離が第1閾値を超える場合(S414のN)、ステップS415の処理はスキップされる。
判断部112は、対象物と自車両の現在位置との距離を算出する(S416)。判断部112は、算出した両者の距離と所定の第2閾値を比較する(S417)。両者の距離が第2閾値以下の場合(S417のY)、表示制御部111は、自車両の画像を消去する(S418)。第2閾値は、予め実行された実験やシミュレーションの結果にもとづき、最適なユーザインタフェースとなる距離に設定される。
自車両が現在の操舵角の状態を維持したまま進むと対象物に衝突する場合(S419のY)、表示制御部111は、対象物との衝突を警告する警告画像を虚像として表示させる(S420)。例えば、対象物の自車両と衝突する部分に対応する領域に、警告画像を重畳して表示させてもよい。
対象物と予測進路上において自車両が横に並んだときの両者の距離が第1閾値以下の場合(S419のN、S421のY)、表示制御部111は、両者の距離を示す数値情報を、対象物に関連付けて虚像として表示させる(S422)。両者の距離が第1閾値を超える場合(S419のN、S421のN)、ステップS420及びステップS422の処理はスキップされる。
ステップS417において、対象物と自車両の現在位置との距離が第2閾値を超える場合(S417のN)、ステップS418からステップS422までの処理はスキップされる。またステップS46において、自車両の進行方向の所定の範囲内に対象物が検知されない場合(S46のN)、ステップS47からステップS422までの処理はスキップされる。
以下、フロントガラス2への自車両の画像、及び進路ガイドの投影例を、図面を参照しながら説明する。
図7(a)−(c)は、マニュアルモード時の自車両の画像、及び進路ガイドの投影例を示す図である。図7(a)は、現在の操舵角を維持したまま直進しても安全と判断できるケースを示している。マニュアルモード時は、設定された距離前方に自車両の画像V1が虚像として表示される。自車両の画像V1の仮想的な表示位置と自車両の現在位置との間に、進路ガイドV2が虚像として表示される。現在の操舵角を維持したまま直進した場合でも、運転者は、対象物となる自転車O1と自車両が衝突しないことを直感的に把握することができる。
図7(b)は、現在の操舵角を維持したまま直進した場合、対象物となる自転車O1と衝突する危険があると判断できるケースを示している。運転者は、前方を走る自転車O1と自車両が衝突する可能性があることを直感的に把握することができる。
図7(c)は、図7(a)と比較して、自車両の画像V1の仮想的な表示位置を遠距離に設定したケースを示している。このように運転者は、自身の好みに応じて、自車両の画像V1の仮想的な表示位置を変更することができる。
図8(a)−(b)は、マニュアルモード時の自車両の画像、及び進路ガイドの別の投影例を示す図である。図8(a)は、前方の対象物であるバスO2との衝突を回避するために、運転者がステアリングを右に切った状態を示している。ステアリングの位置が変わることにより、舵角センサ34から取得する舵角情報の値が変化する。これに伴い進路ガイドV2の形状、及び自転車の画像V1の向きと表示位置が変化する。
図8(b)は、現在の操舵角を維持したまま直進した場合のケースを示している。そのまま直進した場合、運転者は、前方の対象物であるバスO2と自車両が衝突することを直感的に把握することができる。
図9は、マニュアルモード時において、現在の操舵角を維持したまま直進した場合、対象物と衝突するケースの投影例を示す図である。自車両の画像V1の、前方の自転車O1と衝突する部分に対応する領域V1pが強調して表示されている。例えば、その領域V1pが赤色で表示される。また、進路ガイドV2の、前方の自転車O1と衝突する位置に対応する領域Vp2が強調して表示されている。例えば、その領域V2pが赤色で表示される。
図10(a)−(b)は、オートモード時の投影例を説明するための図である。図10(a)は、運転者の視線から見た実際のフロントガラス2への投影例を示し、図10(b)は、図10(a)に示す状況を真上から見た説明図であり、実際に表示されるものではない。オートモードでは、対象物が検知されると、対象物と横に並んだ位置に自車両の画像が表示される。図10(a)に示す例では、前方の自転車O1と横に並んだ位置に自車両の画像V1が表示される。なお、自車両の画像V1が表示される位置は、予測進路上の範囲に限られる。
前方の自転車O1と自車両の画像V1が横に並んだ状態の両者の距離が第1閾値以下の場合、両者の距離を示す数値情報V3が虚像として表示される。図10(a)に示す例では、前方の自転車O1と自車両の画像V1との距離が50cmの場合を示している。数値情報V3は、両者が接近している領域の中または近傍に表示することが好ましい。
図10(b)において符号V1は、図10(a)における自車両の画像V1の仮想的な表示位置を示している。当該仮想的な表示位置と、実際の自車両R1の現在位置との間に進路ガイドV2が表示される。進路ガイドV2は、実際の自車両R1の幅と同じ幅のガイド線で表示されることが好ましい。図10(b)に示すガイド線は、隙間が空いた不連続な線であるが、隙間のない連続線でもよい。
図11(a)−(b)は、オートモード時において、対象物を回避する前後の例を示す図である。図11(a)−(b)は、ある状況を真上から見た説明図であり、実際に表示されるものではない。図11(a)において、歩道にいる歩行者O3は対象物の検知範囲から外れており、対象物としてカウントされていない。前方の自転車O1は対象物の検知範囲に含まれており、対象物としてカウントされている。前方の自転車O1の一部と重複した位置に自車両の画像V1が虚像として表示される。これにより、運転者は、前方の自転車O1を回避するためにステアリングを切る必要があることを直感的に把握することができる。なお、前方の自転車O1が、自車両の予測進路上の領域に含まれない場合は、前方の自転車O1と横に並んだ位置に自車両の画像V1が表示される。
図11(b)は、図11(a)の自転車O1を回避した後の状況を示している。前方に先行車両O4が存在し、前方の先行車両O4は対象物の検知範囲に含まれるため、前方の先行車両O4の一部と重複した位置に自車両の画像V1が虚像として表示される。このようにオートモードでは、前方の最も近い対象物との距離が計測され、自車両の画像V1の表示位置が自動的に調整される。
図12(a)−(b)は、オートモード時において、対象物の位置と自車両の現在位置が接近した場合の問題点を説明するための図である。図12(a)は、対象物となる電柱O5と、実際の自車両R1が接近している状況を真上から見た説明図であり、実際に表示されるものではない。図12(b)は図12(a)に示す状況において、運転者の視線から見た実際のフロントガラス2への投影例を示している。この場合、自車両の画像V1が大きくなり過ぎて、電柱O5が見づらくなっている。
図13(a)−(b)は、オートモード時において、対象物の位置と自車両の現在位置とが接近した場合の問題点の解決例を説明するための図である。対象物の位置と自車両の現在位置との距離が第2閾値以下になると、自車両の画像V1の投影を中止する。これにより、自車両の画像V1が邪魔になって、対象物が見づらくなることを回避することができる。
図13(a)は、現在の操舵角の状態を維持したまま進むと電柱O5と衝突する場合の例を示している。図13(a)に示す例では、電柱O5との衝突を警告する警告画像が表示されており、より具体的には、電柱O5の自車両と衝突する部分に対応する領域O5pに、警告用のマーカが重畳されている。当該マーカは目立ちやすい色(赤など)で表示される。
図13(b)は、現在の操舵角の状態を維持したまま進んでも電柱O5と衝突しないが、電柱O5と自車両が横に並んだときの両者の距離が第1閾値以下の場合の例を示している。図13(b)に示す例では、電柱O5と自車両が横に並んだときの両者の距離を示す数値情報が、電柱O5に関連付けて虚像として表示されている。運転者は、電柱O5の横を通過するときの幅間隔を具体的な数値で把握することができる。
図14(a)−(b)は、オートモード時における進路ガイドV2の表示例を説明するための図である。図14(a)において、前方の電柱O5の一部と重複した位置に自車両の画像V1が表示される。自車両の画像V1の仮想的な表示位置と、実際の自車両R1の現在位置との間に進路ガイドV2が表示される。
図14(b)は、図14(a)に示す状況から、実際の自車両R1が前進した状況を示している。前方の電柱O5は固定されており、自車両の画像V1は電柱O5の一部と重複した位置に表示され続けるため、自車両の画像V1の仮想的な表示位置と実際の自車両R1の現在位置との距離が近づいていく。その際、進路ガイドV2としのガイド線を、運転者から見て、手前から消えていくように表示する。この場合、運転者は前方の電柱O5との距離感を把握しやすくなる。
以上説明したように本実施の形態によれば、運転者に自車両の車幅を直感的に把握させることができ、進行方向に位置する対象物と衝突するか否かをリアルに実感させることができる。特にオートモードでは、自車両の画像を、対象物の少なくとも一部と重複している状態または対象物と横に並んだ状態で表示させる。また対象物の少なくとも一部と重複している場合、衝突する箇所を強調して表示させる。これにより、自車両のどの部分が衝突する可能性があるかを運転者はリアルに把握することができる。また、ステアリングの操作に追従して進路ガイドと自車両の画像が変化するため、運転者は、どれぐらいステアリングを切れば、衝突を回避できるかをリアルに把握することができる。
また対象物と横に並んだ状態の両者の距離が第1閾値以下の場合、両者の距離を数値情報で表示させる。これにより、運転者は対象物の横を通過する際、どれぐらいの間隔で並ぶかを事前に客観的に把握することができ、安心して対象物の横を通過することができる。
また対象物と自車両との距離が短くなったとき、自車両の画像を消去することにより、運転者の対象物に対する視認性を確保することができる。
以上、本開示を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素または各処理プロセスの組み合わせに、いろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
上述した実施の形態では、車両1内の乗員が車両1のフロントガラス2に、自車両を示す画像V1を虚像として表示させる例を説明した。この点、車両1は移動体の一例であり、二輪車(バイクを含む)、船舶、列車、飛行機などのフロントガラスに、自己を示す画像を虚像として表示させてもよい。
また自己を示す画像は、移動体のフロントガラスではなく、フロントガラスと重畳した位置に設置された透明のコンバイナに投影されてもよい。その場合、コンバイナは、乗員が進行方向の景色を見るための透過面の一部をなす。この場合も、移動体の乗員は、当該移動体の進行方向の景色と、自己を示す画像を同一の視野内で重畳された状態で見ることができる。
上述した実施の形態において対象物も移動体の場合、判断部112は、対象物の動きベクトルを画像処理等を用いて検出してもよい。判断部112は、車速センサ(不図示)から取得する自車両の速度情報と、舵角センサ34から取得する自車両の操舵角情報をもとに、自車両の予測進路を到達時間を含めて推定する。判断部112は、対象物の動きベクトルと自車両の到達時間を含む予測進路をもとに、両者が衝突する場合の位置と時刻を予測する。表示制御部111は、両者の衝突予測時における衝突予測位置に、自車両の画像と対象物の画像の両方を虚像として表示させる。
なお、実施の形態は、以下の項目によって特定されてもよい。
[項目1]
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像(V1)を表示させる表示制御部(111)を備え、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示制御部(111)は、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像(V1)を表示させる、表示制御装置(10)。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目2]
前記表示制御部(111)は、前記透過面(2)上における前記対象物(O1)の位置の変化に応じて、前記移動体(1)を示す画像(V1)の表示位置を適応的に変化させ、前記移動体(1)の現在位置と前記移動体(1)を示す画像(V1)の仮想的な表示位置との距離に応じて、前記移動体(1)を示す画像(V1)のサイズを適応的に変更する、項目1に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、移動体(1)の幅の感覚をリアルに把握させることができる。
[項目3]
前記対象物(O1)の少なくとも一部が前記移動体(1)の予測進路上の領域に含まれる場合、前記表示制御部(111)は、前記移動体(1)を示す画像(V1)の、前記対象物(O1)と衝突する部分に対応する領域を強調した表示態様に変更する、項目1または2に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、対象物と衝突する箇所をリアルに実感させることができる。
[項目4]
前記対象物(O1)と前記予測進路上において前記移動体(1)が横に並んだときの両者の距離が所定の第1閾値以下の場合、前記表示制御部(111)は、前記両者の距離を示す数値情報を、前記透過面(2)に表示させる、項目1から3のいずれかに1項に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、移動体(1)が対象物(O1)の横を通過する際の両者の幅間隔をリアルに実感させることができる。
[項目5]
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合において、前記対象物(O1)と前記移動体(1)の現在位置との距離が所定の第2閾値以下となった場合、前記表示制御部(111)は、前記移動体(1)を示す画像(V1)を前記透過面(2)に表示させずに、前記対象物(O1)との衝突を警告する警告画像、または前記対象物(O1)と前記予測進路上において前記移動体(1)が横に並んだときの両者の距離を示す数値情報を前記透過面(2)に表示させる、項目1から4のいずれか1項に記載の表示制御装置(10)。
これによれば、移動体(1)を示す画像(V1)が大きくなり過ぎて、対象物(O1)が見づらくなることを回避することができる。
[項目6]
前記移動体(1)の予測進路は、前記移動体(1)の操舵角情報をもとに生成される、項目1から5のいずれか1項に記載の表示制御装置(10)。
これによれば、移動体(1)の進路を高精度に予測することができる。
[項目7]
前記移動体(1)は車両(1)であり、
前記透過面(2)は前記車両(1)のフロントガラス(2)であり、
前記移動体(1)の画像(V1)は、前記車両(1)を後方から見たときの画像(V1)である、項目1から6のいずれか1項に記載の表示制御装置(10)。
これによれば、車両(1)内の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目8]
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像を表示させるステップを有し、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示させるステップは、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像を表示させる、表示制御方法。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目9]
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像を表示させる処理をコンピュータに実行させ、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示させる処理は、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像を表示させる、表示制御プログラム。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像(V1)を表示させる表示制御部(111)を備え、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示制御部(111)は、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像(V1)を表示させる、表示制御装置(10)。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目2]
前記表示制御部(111)は、前記透過面(2)上における前記対象物(O1)の位置の変化に応じて、前記移動体(1)を示す画像(V1)の表示位置を適応的に変化させ、前記移動体(1)の現在位置と前記移動体(1)を示す画像(V1)の仮想的な表示位置との距離に応じて、前記移動体(1)を示す画像(V1)のサイズを適応的に変更する、項目1に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、移動体(1)の幅の感覚をリアルに把握させることができる。
[項目3]
前記対象物(O1)の少なくとも一部が前記移動体(1)の予測進路上の領域に含まれる場合、前記表示制御部(111)は、前記移動体(1)を示す画像(V1)の、前記対象物(O1)と衝突する部分に対応する領域を強調した表示態様に変更する、項目1または2に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、対象物と衝突する箇所をリアルに実感させることができる。
[項目4]
前記対象物(O1)と前記予測進路上において前記移動体(1)が横に並んだときの両者の距離が所定の第1閾値以下の場合、前記表示制御部(111)は、前記両者の距離を示す数値情報を、前記透過面(2)に表示させる、項目1から3のいずれかに1項に記載の表示制御装置(10)。
これによれば、移動体(1)の乗員に、移動体(1)が対象物(O1)の横を通過する際の両者の幅間隔をリアルに実感させることができる。
[項目5]
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合において、前記対象物(O1)と前記移動体(1)の現在位置との距離が所定の第2閾値以下となった場合、前記表示制御部(111)は、前記移動体(1)を示す画像(V1)を前記透過面(2)に表示させずに、前記対象物(O1)との衝突を警告する警告画像、または前記対象物(O1)と前記予測進路上において前記移動体(1)が横に並んだときの両者の距離を示す数値情報を前記透過面(2)に表示させる、項目1から4のいずれか1項に記載の表示制御装置(10)。
これによれば、移動体(1)を示す画像(V1)が大きくなり過ぎて、対象物(O1)が見づらくなることを回避することができる。
[項目6]
前記移動体(1)の予測進路は、前記移動体(1)の操舵角情報をもとに生成される、項目1から5のいずれか1項に記載の表示制御装置(10)。
これによれば、移動体(1)の進路を高精度に予測することができる。
[項目7]
前記移動体(1)は車両(1)であり、
前記透過面(2)は前記車両(1)のフロントガラス(2)であり、
前記移動体(1)の画像(V1)は、前記車両(1)を後方から見たときの画像(V1)である、項目1から6のいずれか1項に記載の表示制御装置(10)。
これによれば、車両(1)内の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目8]
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像を表示させるステップを有し、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示させるステップは、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像を表示させる、表示制御方法。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
[項目9]
移動体(1)の乗員が進行方向の景色を見るための透過面(2)に、当該移動体(1)を示す画像を表示させる処理をコンピュータに実行させ、
前記移動体(1)の進行方向の所定の範囲内に対象物(O1)が存在する場合、前記表示させる処理は、当該移動体(1)の予測進路上であって、かつ前記透過面(2)上における前記対象物(O1)の少なくとも一部と重複している状態または前記対象物(O1)と近接している状態で、前記移動体(1)を示す画像を表示させる、表示制御プログラム。
これによれば、移動体(1)の乗員に、進行方向に位置する対象物(O1)と衝突するか否かをリアルに実感させることができる。
1 車両、 2 フロントガラス、 10 表示制御装置、 11 処理部、 111 表示制御部、 112 判断部、 12 記憶部、 121 車両画像保持部、 13 操作部、 20 HUD、 21 映像表示部、 22 凹面鏡、 30 検知部、 31 カメラ、 32 ミリ波レーダ、 33 ソナー、 34 舵角センサ、 40 ECU、 50 カーナビゲーションシステム。
Claims (9)
- 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる表示制御部を備え、
前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示制御部は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御装置。 - 前記表示制御部は、前記透過面上における前記対象物の位置の変化に応じて、前記移動体を示す画像の表示位置を適応的に変化させ、前記移動体の現在位置と前記移動体を示す画像の仮想的な表示位置との距離に応じて、前記移動体を示す画像のサイズを適応的に変更する、請求項1に記載の表示制御装置。
- 前記対象物の少なくとも一部が前記移動体の予測進路上の領域に含まれる場合、前記表示制御部は、前記移動体を示す画像の、前記対象物と衝突する部分に対応する領域を強調した表示態様に変更する、請求項1または2に記載の表示制御装置。
- 前記対象物と前記予測進路上において前記移動体が横に並んだときの両者の距離が所定の第1閾値以下の場合、前記表示制御部は、前記両者の距離を示す数値情報を、前記透過面に表示させる、請求項1から3のいずれかに1項に記載の表示制御装置。
- 前記移動体の進行方向の所定の範囲内に対象物が存在する場合において、前記対象物と前記移動体の現在位置との距離が所定の第2閾値以下となった場合、前記表示制御部は、前記移動体を示す画像を前記透過面に表示させずに、前記対象物との衝突を警告する警告画像、または前記対象物と前記予測進路上において前記移動体が横に並んだときの両者の距離を示す数値情報を前記透過面に表示させる、請求項1から4のいずれか1項に記載の表示制御装置。
- 前記移動体の予測進路は、前記移動体の操舵角情報をもとに生成される、請求項1から5のいずれか1項に記載の表示制御装置。
- 前記移動体は車両であり、
前記透過面は前記車両のフロントガラスであり、
前記移動体の画像は、前記車両を後方から見たときの画像である、請求項1から6のいずれか1項に記載の表示制御装置。 - 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させるステップを有し、
前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示させるステップは、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御方法。 - 移動体の乗員が進行方向の景色を見るための透過面に、当該移動体を示す画像を表示させる処理をコンピュータに実行させ、
前記移動体の進行方向の所定の範囲内に対象物が存在する場合、前記表示させる処理は、当該移動体の予測進路上であって、かつ前記透過面上における前記対象物の少なくとも一部と重複している状態または前記対象物と近接している状態で、前記移動体を示す画像を表示させる、表示制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037280A JP2020140603A (ja) | 2019-03-01 | 2019-03-01 | 表示制御装置、表示制御方法、および表示制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019037280A JP2020140603A (ja) | 2019-03-01 | 2019-03-01 | 表示制御装置、表示制御方法、および表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020140603A true JP2020140603A (ja) | 2020-09-03 |
Family
ID=72265014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019037280A Pending JP2020140603A (ja) | 2019-03-01 | 2019-03-01 | 表示制御装置、表示制御方法、および表示制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020140603A (ja) |
-
2019
- 2019-03-01 JP JP2019037280A patent/JP2020140603A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6466899B2 (ja) | 車両用表示装置 | |
CN111052733B (zh) | 周围车辆显示方法及周围车辆显示装置 | |
US11008016B2 (en) | Display system, display method, and storage medium | |
JP6252304B2 (ja) | 車両用認知通知装置、車両用認知通知システム | |
US10293690B2 (en) | Vehicle information projecting system and vehicle information projecting method | |
EP3650285B1 (en) | Parking assistance method and parking assistance device | |
EP2936065B1 (en) | A system for a vehicle | |
EP2487906B1 (en) | Control device and vehicle surrounding monitoring device | |
EP3235684B1 (en) | Apparatus that presents result of recognition of recognition target | |
WO2016147547A1 (ja) | 画像生成装置 | |
US10452930B2 (en) | Information display device mounted in vehicle including detector | |
US20170330463A1 (en) | Driving support apparatus and driving support method | |
JP6459205B2 (ja) | 車両用表示システム | |
CN111034186B (zh) | 周围车辆显示方法及周围车辆显示装置 | |
JP7047824B2 (ja) | 車両制御装置 | |
CN110015247B (zh) | 显示控制装置和显示控制方法 | |
JP7011559B2 (ja) | 表示装置、表示制御方法、およびプログラム | |
JP6736268B2 (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
KR20180094992A (ko) | 표시 장치의 제어 방법 및 표시 장치 | |
JP2023174676A (ja) | 車両用表示制御装置、方法およびプログラム | |
CN112758013A (zh) | 车辆的显示装置和显示方法 | |
JP2024091729A (ja) | 表示制御装置、表示装置、表示制御方法及びプログラム | |
JP2018092290A (ja) | 車両用表示装置 | |
JP2019199135A (ja) | 車両用表示制御装置 | |
JP6589991B2 (ja) | ヒューマンインターフェース |