JP2021104803A - 表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】前景の煩雑さを回避しながら運転者の操作に好適な情報を表示すること。【解決手段】本発明の一態様に係る表示装置は、移動体に備えられた表示部と、検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成部と、を備え、前記画像生成部は、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する。【選択図】図８

Description

本発明は、表示装置、表示方法及びプログラムに関する。

従来、車両のフロントウインドシールド等に各種情報を指示する指示画像を投射することで、指示画像の虚像を車両の前景に重畳表示し、車両の運転者に視認させるヘッドアップディスプレイ等の表示装置が知られている。

車両の前景に重畳表示される各種情報には、車両に取り付けられた各種センサで検出され、車両前方に存在する障害物や歩行者、車両等の情報が含まれるが、センサが検出した情報の全てを表示すると、前景が煩雑になり、運転者に煩わしさや迷いを感じさせてしまう場合がある。

これに対し、虚像表示領域全体に占める虚像の割合が所定の割合以下になるように制限して表示する技術が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１の技術では、運転者が車両等の移動体を操作するために好適な情報が表示できない場合がある。

本発明は、前景の煩雑さを回避しながら運転者の操作に好適な情報を表示することを課題とする。

本発明の一態様に係る表示装置は、移動体に備えられた表示部と、検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成部と、を備え、前記画像生成部は、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する。

前景の煩雑さを回避しながら運転者の操作に好適な情報を表示できる。

実施形態に係る表示装置が車両に搭載された構成例を示す図である。 表示部の構成例を示す図である。 表示装置が車両に搭載された車載システムの構成例を示すブロック図である。 検出装置の構成例を示すブロック図である。 認識装置の機能構成例を示すブロック図である。 車両又は車両の表示部品に対する対象物の相対位置例を示す図である。 実施形態に係る制御部のハードウェア構成例のブロック図である。 実施形態に係る制御部の機能構成例のブロック図である。 実施形態に係る制御部による処理例を示すフローチャートである。 優先度格納部に格納される情報例を示す図である。 操作重み格納部に格納される情報例を示す図である。 距離重み格納部に格納される情報例を示す図である。 距離に応じた優先度の更新結果例を説明する図である。 画像生成部が生成する画像データの一例を示す図である。 距離に応じて更新された優先度に基づく表示例を示す図であり、（ａ）は車両の周囲状況を示す図、（ｂ）は指示画像が重畳表示された前景を示す図である。 右ウィンカ操作に応じた優先度の更新結果例を説明する図である。 右ウィンカ操作に応じて更新された優先度に基づく表示例を示す図であり、（ａ）は車両の周囲状況を示す図、（ｂ）は指示画像が重畳表示された前景を示す図である。

以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成の部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に係る表示装置は、移動体に備えられた表示部と、検出装置により検出された移動体の周囲にある対象物の情報に基づき、対象物を指示する指示画像を生成する画像生成部と、を備え、画像生成部は、検出装置により検出された移動体に対する操作に基づき、表示部により表示された指示画像を変更する。例えば、画像生成部は、検出装置により検出された移動体に対する操作と、移動体の周囲にある対象物毎に定められた優先度と、に基づき、対象物を指示する指示画像を生成する。

これにより、移動体の前景に多くの指示画像の虚像が重畳表示されて前景が煩雑になることを回避する。また運転者による操作に基づき指示画像を生成することで、運転者の操作に好適な情報を表示する。

＜実施形態における用語について＞
（対象物）
移動体の周囲にある物体をいう。具体的には、移動体としての車両の前方を走行する先行車両や、車両の周囲の歩行者、ガードレール等の物体が挙げられる。

（対象物の分類）
対象物を種類別に分けた区分をいう。対象物の分類として、車両、歩行者、ガードレール等の分類が挙げられる。

（優先度）
優先させる度合をいう。

（距離重み係数）
移動体に対する対象物の距離の重要度を示す情報をいう。値が大きいほど重要度が高いことを意味する。優先度に掛け算して優先度の値を更新するために用いられる。

（操作重み係数）
移動体に対する運転者の操作の重要度を示す情報をいう。値が大きいほど重要度が高いことを意味する。優先度に掛け算して優先度の値を更新するために用いられる。

（適用分類）
操作重み係数を適用する対象物の分類情報をいう。対象物の分類によって操作重み係数が異なるため、操作重み係数とセットでこの適用分類の情報が用いられる。

（前景）
移動体の運転者が視認する移動体の前方の風景をいう。例えば、車両のフロントウインドシールドを通じて運転者が視認する前方の風景が前景に該当する。

（運転者）
移動体を運転又は操縦する者のことをいう。

（指示画像）
移動体の前景における対象物を指し示す画像をいう。移動体の前景に視認される対象物の近傍に指示画像の虚像を重畳表示することで、対象物を指示する。運転者は、移動体の前景で指示画像の虚像を視認することで、対象物を認識しやすくなる。

（操作）
移動体を運転又は操縦するための運転者の動作をいう。

以下、車両に搭載されるヘッドアップディスプレイ（ＨＵＤ；Head Up Display）を表示装置の一例として、実施形態を説明する。

＜構成例＞
図１は、実施形態に係る表示装置１が自車両８に搭載された構成の一例を示す図である。図１に示すように、表示装置１は制御部２０と表示部１０を備えている。

表示装置１は自車両８に設けられたダッシュボードの内部に埋め込まれており、表示装置１の上面に設けられた射出窓３からフロントウインドシールド７１に向けて画像を投射する。投射された画像はフロントウインドシールド７１よりも正のＹ方向に虚像Ｉとして表示され、自車両８の運転者Ｖにより視認される。運転者Ｖは、虚像Ｉを視認することで、自車両８の正のＹ方向にある他の車両や路面等に視線を保ったまま、少ない視線移動で運転のために有用な情報を取得できる。

なお、表示装置１はフロントウインドシールド７１に画像を投射できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。

図１に示すように、表示装置１は、主要な構成要素として、表示部１０と、制御部２０とを備えている。表示部１０は、フロントウインドシールド７１に向けて画像を投射する。表示部１０による画像の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像（後述するスクリーンに投射される実像）を形成する方式である。パネル方式は、液晶パネル、ＤＭＤ（Digital Micro-mirror Device）パネル、蛍光表示管（ＶＦＤ；Vacuum Fluorescent Display）等のイメージングデバイスで中間像を形成する方式である。

レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成できる点で好適である。高コントラストであることで視認性が向上するため、パネル方式のＨＵＤよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。

特に、パネル方式では情報がない領域でも遮光しきれない光が投射され、ＨＵＤが画像を表示できる範囲に表示枠が投射されてしまう（この現象をポストカードという）。レーザ走査方式ではこのような現象がなく、コンテンツのみを投影できる。特に、ＡＲ（Augmented Reality）において、実在する風景に生成した画像を重ねて表示する際のリアリティが向上する。

なお、ＡＲとは、「拡張現実」と訳され、実在する風景に実在しないオブジェクトの画像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術をいう。但し、パネル方式のＨＵＤであってもより少ない注意資源で視認できる（疲れにくい）態様で情報を表示できるＨＵＤであればよい。

図２は、表示部１０の構成の一例を示す図である。表示部１０は、主に、光源部１０１と、光偏向器１０２と、ミラー１０３と、スクリーン１０４と、凹面ミラー１０５とを備えている。なお、図２は主要な構成要素を示したに過ぎず、図示する以外の構成要素を備えてもよいし、図示する構成要素の一部を備えていなくてもよい。

光源部１０１は、Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）及びＢｌｕｅ（Ｂ）に対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子及びレンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器１０２の反射面に向かって導く。光偏向器１０２の反射面に導かれたレーザビームは、光偏向器１０２により２次元的に偏向される。

光偏向器１０２としては、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器１０２は、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器１０２は、圧電素子の変形力を駆動力とするアクチュエータにより駆動できる。但し、光偏向器１０２として、ガルバノミラーやポリゴンミラー等を用いてもよい。

光偏向器１０２により２次元的に偏向されたレーザビームはミラー１０３に入射し、ミラー１０３により折り返され、スクリーン１０４の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー１０３としては、凹面鏡等を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器１０２とミラー１０３でレーザビームの方向を偏向することで、表示部１０の小型化又は構成要素の配置を柔軟に変更できる。

スクリーン１０４としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。一般に光源部１０１からスクリーン１０４まではＨＵＤ装置と呼ばれる。但し、この他の部品を含んでもよい。

スクリーン１０４から射出されたレーザビームは、凹面ミラー１０５で反射され、フロントウインドシールド７１に投影される。凹面ミラー１０５はレンズと似た働きを備え、所定の焦点距離に像を結像させる機能を備える。このため、凹面ミラー１０５がレンズであるとすると物体に相当するスクリーン１０４上の像は凹面ミラー１０５の焦点距離によって定まる距離Ｒ_２の位置に結像する。従って、自車両８の運転者Ｖ等の乗員から見た場合、フロントウインドシールド７１から距離Ｒ_１＋Ｒ_２の位置に虚像Ｉが表示される。自車両８の運転者Ｖからフロントウインドシールド７１までの距離をＲ_３とすると、図２では自車両８の運転者Ｖの視点Ｅから距離Ｒ（＝Ｒ_１＋Ｒ_２＋Ｒ_３）の位置に虚像Ｉが表示される（結像する）。

フロントウインドシールド７１への光束の少なくとも一部は自車両８の運転者Ｖの視点Ｅに向けて反射される。この結果、自車両８の運転者Ｖはフロントウインドシールド７１を介してスクリーン１０４の中間像が拡大された虚像Ｉを視認可能となる。換言すると、自車両８の運転者Ｖから見て、フロントウインドシールド７１越しに中間像が拡大表示された虚像Ｉが表示される。

なお、一般にフロントウインドシールド７１は平面ではなく僅かに湾曲している。このため、凹面ミラー１０５の焦点距離だけでなくフロントウインドシールド７１の曲面によっても虚像Ｉの結像位置が決定されるが、距離Ｒは上述したようにほぼ距離Ｒ_１＋Ｒ_２によって定まる。視線移動が少なくて済むように虚像Ｉを遠方に結像させるには、距離Ｒ_１又はＲ_２を長くする。距離Ｒ_１を長くする方法としてはミラーで光路を折り返す方法があり、距離Ｒ２を長くする方法としては凹面ミラー１０５の焦点距離を調整する方法がある。

なお、フロントウインドシールド７１の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー１０３及び凹面ミラー１０５の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。

また、フロントウインドシールド７１よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー１０５からの光を照射するようにしても、フロントウインドシールド７１に凹面ミラー１０５からの光を照射した場合と同様に、虚像Ｉとして情報を提示することができる。

＜表示装置１が搭載される車載システム２の構成例＞
次に、表示装置１が自車両８に搭載された車載システム２を、図３を参照して説明する。図３は、表示装置１が自車両８に搭載された車載システム２の構成の一例を示すブロック図である。

車載システム２はＣＡＮ（Controller Area Network）バス等の車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１と、エンジンＥＣＵ（Electronic Control Unit）１２と、表示装置１と、ブレーキＥＣＵ１３と、ステアリングＥＣＵ１４と、認識装置１５と、検出装置１６とを備えている。

カーナビゲーションシステム１１は、ＧＰＳ（Global Positioning System）に代表されるＧＮＳＳ（Global Navigation Satellite System）を備え、自車両８の現在地を検出して電子地図上に自車両８の位置を表示する。

また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で自車両８の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を自車両８に送信したり経路検索を行ったりすることができる。

エンジンＥＣＵ１２は、各センサからの情報と自車両８の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構等の制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照する等して変速の必要性を判断する。エンジンＥＣＵ１２はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。

ブレーキＥＣＵ１３は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、対象物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、自車両８の運転者Ｖによるブレーキペダルの操作がなくても自車両８の車輪毎に制動力を制御する。

ステアリングＥＣＵ１４は、自車両８の運転者Ｖによるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は対象物との接近を回避する方向に、自車両８の運転者Ｖによるハンドル操作がなくても操舵する。

検出装置１６は各種のセンサを備えており、自車両８の周囲の対象物の検出や、運転者Ｖによる自車両８の操作情報の検出等を行う。

認識装置１５は検出装置１６が検出した対象物が何か、自車両８に対する障害物の相対位置（方向と距離）及び自車両８を示す表示部品に対する障害物の相対位置（方向と距離）を認識する。車速等の情報、及び対象物の識別結果と相対位置は表示装置１に入力される。

＜検出装置１６の構成例＞
次に、検出装置１６の構成を、図４を参照して説明する。図４は、検出装置１６の構成の一例を示すブロック図である。検出装置１６は、表示装置１が表示する車速を検出する車速センサ１６１、表示装置１が表示する車両情報を取得する車両情報センサ１６２、対象物を検出するレーダセンサ１６３と周囲カメラ１６４、乗員に関する情報である乗員状態情報を取得する乗員状態情報センサ１６５、外部から渋滞情報などを受信するＶＩＣＳ受信装置１６６（登録商標。ＶＩＣＳ：Vehicle Information and Communication System Center）、及びインターネットなどに接続する外部通信装置１６７等を備えている。

なお、検出装置１６が備える各センサは検出装置１６にまとまって存在する必要はなく、車載されていればよい。

車速センサ１６１は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。

車両情報センサ１６２は、車速センサ１６１以外の車両情報を検出する１つ以上のセンサを備えている。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び水温センサ等である。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。

シフトレバー位置センサは自車両８の運転者Ｖが操作したシフトレバー位置を検出する。オドメータは自車両８の走行距離を累積して総走行距離を提供する。トリップメータは自車両８の運転者Ｖが初期化してから現在までの区間走行距離を提供する。

ウィンカセンサは自車両８の運転者Ｖが操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、自車両８から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量等も取得できる。

周囲カメラ１６４は車両の周囲を撮像する撮像装置である。取り付け場所は好ましくは車用の側方から後方を撮像できるように、複数の場所に設置される。例えば、自車両８のルーフやバンパにおいて車両の左後方コーナー、右後方コーナー、及び、後部などに設置される。後部に設置された撮像装置をバックモニタというが、後部の周囲カメラ１６４はバックモニタに限られない。この他、サイドミラー、ピラー、ルーフのサイド部分、又はドアなどに配置されてもよい。なお、周囲カメラ１６４には前方を撮像する撮像装置が含まれてよい。例えばルームミラーの裏側やその近くに取り付けられる。

周囲カメラ１６４は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ１６３がなくてもよい。しかし、距離情報を取得できる周囲カメラ１６４に加え、レーダセンサ１６３があることで、周囲カメラ１６４の距離情報とレーダセンサ１６３の距離情報をフュージョンし（統合し），互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ１６３と周囲カメラ１６４の他にソニックセンサ（超音波センサ）等を有していてもよい。

レーダセンサ１６３は自車両８の前方、側方、後方など自車両８の周囲にレーダを送信し、物体で反射して戻ってくるレーダを受信する。配置場所は自車両８の周囲の対象物を検出できる場所であればよい。レーダセンサ１６３は送信から受信までの時間により物体までの距離を検出すると共に、レーダの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Fright）がある。

ＴＯＦ方式のレーダセンサとしてＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）が知られている。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。

乗員状態情報センサ１６５は自車両８の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。代表的なものに顔カメラがある。顔カメラは自車両８の乗員の顔を撮像して顔認証を行い、自車両８の乗員を特定又は識別する。また、顔画像から顔向きや視線方向を検出することが可能になる。

この他、乗員状態情報センサ１６５は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサ等でもよい。乗員状態情報センサ１６５としては例えば、腕時計型のウェアラブル端末（スマートウォッチ）を車両の乗員が装着する形態がある。

ＶＩＣＳ受信装置１６６はＶＩＣＳが配信する電波を受信する。なお、ＶＩＣＳは渋滞や交通規制等の道路交通情報を、ＦＭ多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置１６７は３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及び無線ＬＡＮ等のネットワークを介してインターネット等に接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。

また、ニュース、音楽、動画等を受信してもよい。また、外部通信装置１６７は、例えば信号機の状態情報と信号が変わるまでの時間等を取得できる。このように、ＶＩＣＳ受信装置１６６と外部通信装置１６７は路車間通信を行う場合がある。この他、外部通信装置１６７は車間通信で他車両６が検出した情報を取得してもよい。

なお、先進運転システム(ADAS)では情報を表示して警告するだけでなく、自車両８の制御を行う場合もある。この場合、ＥＣＵはレーダセンサ１６３又は周囲カメラ１６４の少なくとも一方が検出する対象物の距離情報に基づいてエンジンＥＣＵ１２、ブレーキＥＣＵ１３及びステアリングＥＣＵ１４と連携して各種の運転支援を行う。例えば、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、対象物の回避操舵等を行う。このような制御のために、周囲カメラ１６４が撮像した画像から、ＥＣＵが白線等の道路ペイント等を認識する。

追従走行時の加減速制御では、ＥＣＵは車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、ＴＴＣに応じて、警告、ブレーキペダルの押下を促す表示、及び衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ＥＣＵ３６は撮像された画像から白線（走行区分線）を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。

また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。対象物の回避操舵では、制動では衝突を回避できないと判断した場合に、対象物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。

また、例えば車線変更時にレーダセンサ１６３又は周囲カメラ１６４により、隣の車線のドアミラーに映らない領域（死角領域）を併走する車両を検知した場合に、乗員に警告する。このような支援をブラインドスポットモニタという。

＜認識装置１５の機能構成例＞
次に、認識装置１５の機能構成について図５を参照して説明する。図５は認識装置１５が有する機能構成の一例を示すブロック図である。認識装置１５は対象判断部１５１と相対位置決定部１５２を有する。

対象判断部１５１は主に周囲カメラ１６４が撮像して得た周囲画像データを解析して写っている対象物の分類を判断する。実施形態では、例えば、他車両、歩行者、二輪車、又はその他等を判断する。

なお、周囲カメラ１６４がステレオカメラの場合、周囲画像データの各画素又は画素ブロックには距離情報が含まれている。このような周囲画像データを距離画像という。また、対象判断部１５１は周囲画像データだけでなく、レーダ測距情報からも対象物を判断できる。例えば、ＬＩＤＡＲの点群の密度が十分に高い場合、対象物の形状が得られるので、形状を解析して対象物の分類を判断できる。

対象判断部１５１が対象を判断する方法の１つとして、機械学習を用いた画像認識方法がある。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがある。

相対位置決定部１５２は、図６に示すように、自車両８又は自車両８を示す表示部品６２に対する障害物の相対位置（方向と距離）を決定する。図６は、自車両８又は自車両８を示す表示部品６２に対する障害物の相対位置の一例を説明する図である。図６に示すように、自車両８を示す表示部品６２（虚像Ｉの中心）が、自車両８の中心から車幅方向にＱ、車長方向にＰの位置に表示されるものとする。

周囲画像データ又はレーダ測距情報により他車両６が自車両８の中心を原点に（Ａ，Ｂ）の座標であることが検出されたものとする。また、自車両８の中心から他車両６までの距離をＬ_１、その方向をθ_１で表す。なお、周囲画像データが距離画像の場合、（Ａ，Ｂ）を直接求められるが、レーダ測距情報の場合は距離と方向を（Ａ，Ｂ）に分解すればよい。相対位置決定部１５２は座標（Ａ，Ｂ）を、自車両８を示す表示部品６２を基準とする座標（Ｃ，Ｄ）に変換する。

自車両８を示す表示部品６２は虚像Ｉとして提示されるので自車両８の前方の決まった位置に存在する。上記のように車両の中心から自車両８を示す表示部品６２までの車幅方向の距離をＱ、車長方向の距離をＰとすると、座標（Ｃ，Ｄ）は以下のように決定される。
（Ｃ、Ｄ）＝（Ａ＋Ｑ,Ｂ＋Ｐ）

相対位置決定部１５２は車両に配置された各レーダセンサ又は周囲カメラ毎に同様の処理を行い、自車両８を示す表示部品６２に対する障害物の相対位置を決定する。相対位置を決定することで距離と方向も求められる。自車両８を示す表示部品６２から他車両６までの距離をＬ_２、その方向をθ_２で表す。図６の例では、距離Ｌ_２＝√（Ｃ^２＋Ｄ^２）、方向θ_２＝arctan（D/C）である。なお、方向θ_１、θ_２の基準（どの方向を0度とするか）は適宜設定されてよい。図６では９時の方向を０度としている。

認識装置１５は、対象判断部１５１が判断した対象物の分類を示す分類情報と、相対位置決定部１５２が取得した自車両８から対象物までの距離情報と、自車両８に対する対象物の相対位置を示す位置情報とを制御部２０に出力する。

＜制御部２０のハードウェア構成例＞
次に、制御部２０のハードウェア構成を、図７を参照して説明する。図７は、制御部２０のハードウェア構成の一例を示す図である。図７に示すように、制御部２０は、ＦＰＧＡ（Field-Programmable Gate Array）２０１と、ＣＰＵ（Central Processing Unit）２０２と、ＲＯＭ（Read Only Memory）２０３と、ＲＡＭ（Random Access Memory）２０４と、Ｉ／Ｆ（Interface）２０５と、バスライン２０６と、ＬＤドライバ２０７と、ＭＥＭＳコントローラ２０８と、ＨＤＤ（Hard Disk Drive）２１０とを備えている。ＦＰＧＡ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、Ｉ／Ｆ２０５及びＨＤＤ２１０は、バスライン２０６を介して相互に電気的に接続されている。

ＣＰＵ２０２は、制御部２０の各機能を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が、制御部２０の各機能を制御するために実行するプログラム２０３ｐを記憶している。ＲＡＭ２０４にはプログラム２０３ｐが展開され、ＣＰＵ２０２がプログラム２０３ｐを実行するためのワークエリアとして使用される。また、ＲＡＭ２０４は画像メモリ２０９を有している。

画像メモリ２０９は虚像Ｉとして投影される画像の生成に使用される。Ｉ／Ｆ２０５は、認識装置１５や検出装置１６と通信するためのインターフェイスであり、例えば自車両８のＣＡＮ（Controller Area Network）バス又はイーサネット（登録商標）等に接続される。

ＨＤＤ２１０は、制御部２０による処理を実行するプログラムや優先度等の各種データが記憶された不揮発性メモリであり、大容量記憶装置である。なお、ＨＤＤはＳＳＤ（Solid State Drive）等であってもよい。

ＦＰＧＡ２０１は、ＣＰＵ２０２が生成した画像に基づいてＬＤドライバ２０７を制御する。ＬＤドライバ２０７は表示部１０の光源部１０１のＬＤを駆動させることで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ２０１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ２０８を介して表示部１０の光偏向器１０２を動作させる。

［第１実施形態］
＜制御部２０の機能構成例＞
次に、第１実施形態に係る制御部２０の機能を、図８を参照して説明する。図８は、制御部２０の機能構成の一例を示すブロック図である。

制御部２０は、運転者Ｖが自車両８に対して行った操作情報と、自車両８と対象物との間の距離情報とに基づいて対象物の分類毎に予め定められた優先度を更新し、更新された優先度に基づいて指示画像を生成して、表示部１０に出力する。また指示画像は対象物の位置情報に基づいて、所定位置に配置されて生成される。指示画像の虚像は自車両８の前景に重畳表示され、運転者Ｖは、前景で対象物の近傍に対象物を指示するように表示された指示画像を視認できる。

図８に示すように、制御部２０は操作重み格納部２１と、操作重み取得部２２と、距離重み格納部２３と、距離重み取得部２４と、優先度格納部２５と、優先度取得部２６と、優先度更新部２７と、画像生成部２８と、出力部２９とを備えている。

これらのうち、操作重み格納部２１、距離重み格納部２３及び優先度格納部２５のそれぞれの機能は、ＨＤＤ２１０等により実現される。また、操作重み取得部２２、距離重み取得部２４、優先度取得部２６、優先度更新部２７及び画像生成部２８のそれぞれの機能は、ＣＰＵ２０２が所定のプログラムを実行すること等により実現される。出力部２９の機能は、Ｉ／Ｆ２０５等により実現される。

操作重み格納部２１は、運転者Ｖが自車両８を運転するために行う操作の種類を示す操作情報毎に予め定められた操作重み係数と、この操作重み係数を適用する対象物の分類情報とを格納する。この操作にはハンドル操作やウィンカ操作等が挙げられる。

ここで、操作の重要度は対象物の分類に応じて異なる。例えば、右折するためのハンドル操作や、右方を示すウィンカ操作の場合には、右車線を走行する車両や右側に存在する歩行者の情報等が重要になり、運転者Ｖが自車両８を操作するにあたって好適な情報となる。一方、左車線を走行する車両や右側に存在する歩行者の情報等は、運転者Ｖが自車両８を操作するにあたっては比較的重要でない。そのため、操作重み格納部２１は、操作重み係数、及び操作重み係数を適用する対象物の分類情報のそれぞれを操作情報に対応付けて格納している。なお、以下では操作重み係数を適用する対象物の分類情報を「適用分類」という。

操作重み取得部２２は、ステアリングＥＣＵ１４又は検出装置１６等から操作情報を入力する。操作重み取得部２２は、入力した操作情報に基づき、操作重み格納部２１を参照して操作重み係数と適用分類を取得し、これらを優先度更新部２７に出力する。

距離重み格納部２３は、自車両８から対象物までの距離毎に予め定められた距離重み係数を格納する。より詳しくは、５ｍ毎や１０ｍ毎等の所定の距離区間毎に、距離重み係数が定められている。距離重み係数は、多くの場合には対象物までの距離が近いほど、対象物を認識させる重要度は高いため、距離が近いほど距離重み係数は大きくなる。

距離重み取得部２４は、認識装置１５から入力した自車両８から対象物までの距離情報に基づき、距離重み格納部２３を参照して距離重み係数を取得する。複数の対象物が検出された場合には、複数の対象物毎に距離重み係数が取得される。距離重み取得部２４は、取得した距離重み係数を優先度更新部２７に出力する。

優先度格納部２５は、対象物の分類情報毎に予め定められた優先度情報を格納する。この優先度情報は数値情報であり、優先度が高いほど数値が大きくなる。

優先度取得部２６は、認識装置１５から入力した対象物の分類情報に基づき、優先度格納部２５を参照して優先度情報を取得する。複数の対象物が検出された場合は、複数の対象物毎に優先度情報が取得される。優先度取得部２６は、取得した優先度情報を優先度更新部２７に出力する。

優先度更新部２７は、操作重み係数と距離重み係数を用いて対象物毎の優先度を更新する。具体的には、適用分類に該当する対象物の場合には、対象物の優先度と操作重み係数と距離重み係数とを掛け算して優先度を更新する。

また適用分類に該当しない対象物の場合には、対象物の優先度と距離重み係数とを掛け算して優先度を更新する。或いは操作重み係数を「１」（掛け算しても優先度が変化しない）として、対象物の優先度と操作重み係数と距離重み係数とを掛け算して優先度を更新する。優先度更新部２７は、更新後の優先度情報を画像生成部２８に出力する。

画像生成部２８は、更新後の優先度に基づき、優先度の高い所定数の対象物を指示する指示画像を生成する。例えば、１０個の対象物が自車両８の周囲に検出された場合に、所定数として３個が定められている場合には、画像生成部２８は、１０個の対象物のうちの３個の対象物に対してのみ、指示画像を生成する。また、この３個の対象物の位置情報に基づき、自車両８の前景における３つの対象物のそれぞれの近傍に指示画像が重畳されるように、所定の位置に配置された指示画像を生成する。換言すると、検出装置１６により検出された自車両８に対する操作に基づき、表示部１０により表示された指示画像を変更する機能を備える。

さらに、画像生成部２８は、優先度に応じて予め定められた形態の指示画像を生成できる。この形態は、色又は形状の少なくとも一方等である。例えば画像生成部２８は、優先度が高いものからオレンジ色、青色、緑色の指示画像を生成する。なお、対象物の分類によって指示画像の形状等を変更してもよい。

出力部２９は、画像生成部２８が生成した指示画像の画像データを表示部１０に出力する。すなわち、ＬＤドライバ２０７及びＭＥＭＳコントローラ２０８を制御して、画像生成部２８が生成した指示画像を表示部１０に投射させて虚像として表示させる。

＜制御部２０による処理例＞
次に、制御部２０による処理について、図９を参照して説明する。図９は、制御部２０による処理の一例を示すフローチャートである。

まず、ステップＳ９１において、操作重み取得部２２は、ステアリングＥＣＵ１４又は検出装置１６等から操作情報を入力する。

続いて、ステップＳ９２において、操作重み取得部２２は、入力した操作情報に基づき、操作重み格納部２１を参照して操作重み係数と適用分類情報を取得し、取得した操作重み係数と適用分類情報を優先度更新部２７に出力する。

続いて、ステップＳ９３において、距離重み取得部２４は、認識装置１５から自車両８から対象物までの距離を示す距離情報を入力する。

続いて、ステップＳ９４において、距離重み取得部２４は、距離重み格納部２３を参照して距離重み係数を取得し、取得した距離重み係数を優先度更新部２７に出力する。

続いて、ステップＳ９５において、距離重み取得部２４は、検出された全ての対象物の距離重み係数が取得されたか否かを判定する。

ステップＳ９５で全ての対象物の距離重み係数が取得されていないと判定された場合は（ステップＳ９５、Ｎｏ）、ステップＳ９４の処理が再度行われる。一方、全ての対象物の距離重み係数が取得されたと判定された場合は（ステップＳ９５、Ｙｅｓ）、処理はステップＳ９６に移行する。

続いて、ステップＳ９６において、優先度取得部２６は、認識装置１５から対象物の分類情報を入力する。

続いて、ステップＳ９７において、優先度取得部２６は、対象物の分類情報に基づき、優先度格納部２５を参照して優先度情報を取得し、取得した優先度情報を優先度更新部２７に出力する。

続いて、ステップＳ９８において、優先度取得部２６は、検出された全ての対象物の優先度情報が取得されたか否かを判定する。

ステップＳ９８で全ての対象物の優先度情報が取得されていないと判定された場合は（ステップＳ９８、Ｎｏ）、ステップＳ９７の処理が再度行われる。一方、全ての対象物の優先度情報が取得されたと判定された場合は（ステップＳ９８、Ｙｅｓ）、処理はステップＳ９９に移行する。

なお、操作重み係数を取得する処理（ステップＳ９１〜Ｓ９２）と、距離重み係数を取得する処理（ステップＳ９３〜Ｓ９５）と、優先度情報を取得する処理（ステップＳ９６〜Ｓ９８）の処理は適宜順序を入れ替えてもよく、これらが並行して実行されてもよい。

続いて、ステップＳ９９において、優先度更新部２７は、操作重み係数と距離重み係数を用いて対象物毎の優先度を更新する。

続いて、ステップＳ１００において、画像生成部２８は、入力された更新後の優先度に基づき、優先度の高い所定数の対象物を指示する指示画像を生成する。また画像生成部２８は、自車両８の前景における対象物の近傍に指示画像が重畳されるように、所定位置に配置された指示画像を生成する。

続いて、ステップＳ１０１において、出力部２９は、画像生成部２８が生成した指示画像の画像データを表示部１０に出力する。

このようにして、制御部２０は、対象物の優先度と、運転者Ｖによる操作とに基づき生成した指示画像を表示部１０に出力できる。そして表示装置１は、表示部１０により指示画像を自車両８の前景に重畳表示できる。

＜格納情報例＞
次に、操作重み格納部２１、距離重み格納部２３及び優先度格納部２５により格納される情報の一例を説明する。

（優先度例）
まず、図１０は、優先度格納部２５に格納される情報の一例としての優先度テーブル１２０を示す図である。優先度テーブル１２０は、対象物の分類と優先度との対応関係を示すものである。優先度テーブル１２０では、優先度を１〜１０の数値とし、数値が大きいほど優先度が高いことを意味している。図１０に示す例では、歩行者が最も優先度が高く、ガードレールが最も優先度が低くなっている。

（操作重み係数例）
次に、図１１は、操作重み格納部２１に格納される情報の一例としての操作重みテーブル１３０を示す図である。操作重みテーブル１３０は、運転者Ｖが自車両８に対して行う操作と、操作重み係数と、適用分類との対応関係を示すものである。操作重みテーブル１３０では、操作重み係数を１以上の数値とし、数値が大きいほど、操作重み係数を掛け算した時に優先度の値が大きくなり、優先度が高くなるようにしている。

図１１に示す例では、操作情報が右ハンドルや右ウィンカで自車両８が右側に進行方向を変える場合には、自車両８の右側に位置する対象物の情報が重要になるため、適用分類を右車線車両とし、その操作重み係数を３にして大きくしている。なお、ウィンカは「方向指示器」の一例である。

また、操作情報が左ハンドルや左ウィンカで自車両８が左側に進行方向を変える場合には、自車両８の左側に位置する対象物の情報が重要になるため、適用分類を左車線車両とし、その操作重み係数を３にして大きくしている。

また、操作情報がアクセルで自車両８が前方に加速する場合には、自車両８の前方に位置する対象物の情報が重要になるため、適用分類を前方車両とし、その操作重み係数を３にして大きくしている。

実施形態では、検出された複数の対象物のうち、適用分類以外の対象物の操作重み係数を１とする。これにより、操作重み係数として３が掛け算される適用分類の対象物の優先度は、適用分類以外の対象物の優先度に対して相対的に高くなる。

また、図１１では、１つの操作情報に対して１つの適用分類の例を示したが、複数の適用分類を設定してもよい。

（距離重み係数例）
次に、図１２は、距離重み格納部２３に格納される情報の一例としての距離重みテーブル１４０を示す図である。距離重みテーブル１４０は、自車両８と対象物との間の距離と、距離重み係数との対応関係を示すものである。距離重みテーブル１４０では、距離重み係数を１以下の数値とし、数値が小さいほど、距離重み係数を掛け算した時に優先度の値が小さくなり、優先度が低くなるようにしている。図１１に示す例では、距離が遠いほど、距離重み係数を掛け合わせた時に優先度が低くなるようになっている。

なお、上述した優先度、操作重み係数、距離重み係数は、車両や運転者の属性等により適正値が異なるため、表示装置１の製造者、自車両８の製造者、自車両８の運転者又は管理者等により設定又は変更できるようにすることが好ましい。操作情報に対する適用分類の設定又は変更においても同様である。

＜適用例＞
次に、優先度の更新例と、自車両８の前景に重畳表示される指示画像の虚像の具体例を用いて、表示装置１の適用例を説明する。

まず、図１３は、距離に応じた優先度の更新結果の一例を説明する図である。テーブル１５０は、距離に応じた距離重み係数により、対象物毎の優先度が更新された結果を示している。なお、テーブル１５０は格納部に格納される情報ではなく、更新演算の経過を説明しやすいように、数値をまとめて示したテーブルである。

図１３に示す例では、検出された対象物として前方車両、対向車両、右車線車両、ガードレール及び歩行者の５つを示している。対象物の分類毎に取得された優先度と、距離と、距離重み係数と、更新後の優先度を示している。

例えば前方車両に対しては、予め定められた優先度の７が対象物の分類に応じて優先度取得部２６により取得されている。また自車両８から前方車両までの距離の２０ｍに応じて距離重み係数の０．０５が、距離重み取得部２４により取得されている。優先度更新部２７は、これらの７と０．０５を掛け算して更新後の優先度の０．３５を取得している。同様にして、対向車両、右車線車両、ガードレール及び歩行者の更新後の優先度が示されている。

５つの対象物の指示画像を全て生成して自車両８の前景に重畳表示すると、前景が煩雑になる場合がある。これに対し、実施形態では、更新後の優先度の高い３つの対象物の指示画像として、前方車両（０．３５）、対向車両（０．３）及び右車線車両（０．１７）のそれぞれに対する指示画像を生成し、前景に重畳表示する。これにより、前景に表示される指示画像の数が削減され、煩雑さを回避できる。但し、表示させる数である上記の３つは一例であり、増減させてもよい。

ここで、図１４は画像生成部２８が生成する画像データの一例を示す図である。画像データ２５０は、指示画像２１１と、指示画像２１２と、指示画像２１３とを含んでいる。このような画像データ２５０が出力部２９を介して表示部１０に出力され、表示部１０が画像データ２５０に応じた画像を投射することで、指示画像２１１、指示画像２１２及び指示画像２１３の虚像が自車両８の前景に重畳表示される。

図１５は、距離に応じて更新された優先度に基づく表示装置１による表示の一例を説明する図である。（ａ）は自車両８の周囲状況を説明する図、（ｂ）は（ａ）の周囲状況において、指示画像の虚像が重畳表示された自車両８の前景１７０を説明する図である。なお、図１５は図１３に示した例が適用された場合の表示装置１による表示を示している。

図１５（ａ）では、自車両８が走行する左側車線２２１と、右側車線２２２と、対向車線２２３及び２２４の４つの車線から構成された道路２２０が示されている。左側車線２２１では、自車両８の前方を前方車両８１が走行している。また右側車線２２２では右車線車両８２が走行し、対向車線２２３では対向車両８３等が走行している。

図１５（ｂ）では、前方車両８１に対して指示虚像９１が表示され、右車線車両８２に対して指示虚像９２が表示され、対向車両８３に対して指示虚像９３が表示されている。ここで、指示虚像９１は、指示画像２１１（図１４参照）の虚像であり、画像生成部２８が生成した指示画像２１１を表示部１０が投射することで運転者Ｖにより自車両８の前景に視認される虚像である。同様に、指示虚像９２は、指示画像２１２の虚像であり、指示虚像９３は、指示画像２１３の虚像である。但し、本実施形態では、指示画像の一例として指示画像２１１、指示画像２１２及び指示画像２１３について説明するが、指示画像はこれらに限定されるものではない。例えば、指示画像は、対象物を指し示す画像であればよいため、対象物の背景の色を変える、明度を変える、点滅させる等により対象物を指し示すことができる画像であれば、如何なる画像でもよい。

図１３で説明したように、前方車両８１が最も優先度が高く、対向車両８３、右車線車両８２の順に優先度が低くなる。そのため、前方車両８１は最も優先度が高いことを示す実線の指示虚像９１で指示され、対向車両８３は次に優先度が高いことを示す破線の指示虚像９３で指示され、右車線車両８２は、その次に優先度が高いことを示す一点鎖線の指示虚像９２で指示されている。ガードレールや歩行者等の他に検出された対象物は優先度が低いため、指示虚像が表示されていない。

次に、図１６は、右ウィンカ操作に応じた優先度の更新結果の一例を説明する図である。テーブル１８０は、距離に応じた距離重み係数と、右ウィンカ操作に応じた操作重み係数により、対象物毎の優先度が更新された結果を示している。なお、テーブル１８０は格納部に格納される情報ではなく、更新演算の経過を説明しやすいように、数値をまとめて示したテーブルである。

図１６に示す例では、図１３と同様に、検出された対象物として右車線車両、前方車両、対向車両、ガードレール及び歩行者の５つを示し、対象物の分類毎に取得された優先度と、距離と、距離重み係数と、操作重み係数と、更新後の優先度を示している。

また図１６に示す例では、運転者Ｖが右ウィンカ操作をしているため、右ウィンカ操作の適用分類に該当する右車線車両の操作重み係数が３になっており、適用分類以外の対象物では操作重み係数が１になっている。

例えば、右車線車両では、予め定められた優先度の５に、距離重み係数の０．０３と操作重み係数の３が掛け算され、更新後の優先度は０．４５になる。また前方車両では、予め定められた優先度の７に、距離重み係数の０．０５と操作重み係数の１が掛け算され、更新後の優先度は０．３５になる。また対向車両は、予め定められた優先度の６に、距離重み係数の０．０５と操作重み係数の１が掛け算され、更新後の優先度は０．３になる。この結果、図１３の場合と比較して優先度の順序が入れ替わり、右車線車両が最も優先度が高く、前方車両、対向車両の順に優先度が低くなる。

図１７は、右ウィンカ操作に応じて更新された優先度に基づく表示装置１による表示の一例を説明する図であり、（ａ）は自車両８の周囲状況を説明する図、（ｂ）は（ａ）の周囲状況で指示画像が重畳表示された自車両８の前景１９０を説明する図である。図１７は、図１６に示した例が適用された場合の表示装置１による表示を示している。

図１７（ａ）では、図１５（ａ）と同様に自車両８が走行する左側車線２２１と、右側車線２２２と、対向車線２２３及び２２４の４つの車線から構成された道路２２０が示されている。左側車線２２１では、自車両８の前方を前方車両８１が走行している。また右側車線２２２では右車線車両８２が走行し、対向車線２２３では対向車両８３が走行している。それぞれの車両が走行したことで、図１５（ａ）の場合と比較して車両間隔が多少変化している。

図１６及び図１７に示す例では、運転者Ｖは、自車両８を左側車線２２１から右側車線２２２に車線変更させるために、右ウィンカ操作をしている。

図１７（ｂ）では、前方車両８１に指示虚像１１１が表示され、右車線車両８２に指示虚像１１２が表示され、対向車両８３に指示虚像１１３が表示されている。図１６で説明したように、右車線車両８２が最も優先度が高く、前方車両８１、対向車両８３の順に優先度が低くなる。そのため、右車線車両８２は最も優先度が高いことを示す実線の指示虚像１１２で指示され、前方車両８１は次に優先度が高いことを示す破線の指示虚像１１１で指示され、対向車両８３は、その次に優先度が高いことを示す一点鎖線の指示虚像１１３で指示されている。ガードレールや歩行者等の他に検出された対象物は優先度が低いため、指示虚像が表示されていない。

このように、優先度が高い対象物のみを指示する指示虚像を重畳表示することで、前景１７０に多くの指示虚像が表示されることによる煩雑さを回避している。また優先度に応じて予め定められた形状（線種）の指示虚像を重畳表示することで、運転者Ｖに対象物の重要度を認識させられるようになっている。さらに右ウィンカ操作の操作重み係数で優先度を更新することで、右ウィンカ操作後に運転者Ｖが右側に車線変更（進路変更）するという操作を行うにあたり、好適な情報を表示している。

＜表示装置１の作用効果＞
車両における各種センサで検出された各種情報に対する指示画像の虚像の全てを車両の前景に重畳表示すると、前景が煩雑になり、運転者に煩わしさや迷いを感じさせてしまう場合がある。これに対し、虚像表示領域全体に占める虚像の割合が所定の割合以下になるように制限して表示する技術が開示されているが、この技術では、運転者の操作等を考慮して表示する虚像を制限していないため、運転者が操作するために好適な情報が表示できない場合がある。

本実施形態では、自車両８に備えられた表示部１０と、検出装置により検出された移動体の周囲にある対象物の情報に基づき、対象物を指示する指示画像を生成する画像生成部２８と、を備え、画像生成部２８は、検出装置１６により検出された自車両８に対する操作に基づき、表示部１０により表示された指示画像を変更する。例えば、画像生成部２８は、自車両８の周囲にある対象物の分類毎に予め定められた優先度と、自車両８の運転者Ｖによる操作とに基づき、対象物を指示する指示画像を生成し、自車両８の前景に指示画像の虚像を重畳表示する。換言すると、検出装置１６により検出された自車両８に対する操作に基づき、表示部１０により表示された指示画像を変更する。

対象物の分類に応じた優先度に基づき、優先度が高い対象物を指示する指示画像のみを生成し、その虚像を表示することで、自車両８の前景に多くの指示画像の虚像が重畳表示されて前景が煩雑になることを回避することができる。

また運転者Ｖによる右ウィンカ操作等の操作に基づき指示画像を生成して表示することで、運転者Ｖが自車両８を操作するにあたり好適な情報を表示できる。このように本実施形態では、自車両８の前景の煩雑さを回避しながら運転者Ｖの操作に好適な情報を表示することができる。

また本実施形態では、表示装置１は、運転者Ｖによる操作が、自車両８が右側に進路変更する方向を指示する右ウィンカ操作である場合に、進路変更先の右方向に存在する右車線車両８２を指示する指示虚像１１２を表示する。これにより、運転者Ｖが右側に進路変更する操作を行うにあたり好適な情報を表示でき、運転者Ｖは、進路変更先の右方向に存在する右車線車両８２の挙動に注意を払うことができる。なお、本実施形態では進路変更の例を挙げたが、右左折のためのウィンカ操作でも同様である。

また本実施形態では、対象物と自車両８との間の距離と、運転者Ｖによる操作とに基づき、優先度を更新する。例えば、自車両８の前方車両との車両間隔が短くなると、運転者Ｖは前方車両に対してより注意を払うほうが好ましいため、前方車両の重要度が高くなる。本実施形態では、対象物と自車両８との間の距離に基づき、優先度を更新することで、自車両８と対象物との距離に応じて好適な情報を表示し、運転者Ｖに認識させることができる。

また本実施形態では、自車両８の周囲にある複数の対象物のうち、優先度の高い３個（所定数の一例）の対象物を指示する指示画像を生成し、その虚像を表示する。これにより、前景の煩雑さを回避できる。前景が煩雑と感じるか否かは個人差があるため、上記の所定数を調整可能にすると、運転者Ｖの感覚に合せることができて、より好適である。

また本実施形態では、優先度に応じて予め定められた形態の指示画像を生成し、その虚像を表示する。この形態は、例えば、色又は形状の少なくとも一方である。指示画像の虚像の形態が異なることで運転者Ｖに指示画像の虚像毎の優先度を認識させ、対象物の重要度を認識させることができる。

＜その他の実施形態＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

なお、上述した実施形態において、認識装置１５の備える機能の一部、又は全部を制御部２０が備える構成にしてもよい。また、制御部２０の備える機能の一部を認識装置１５やエンジンＥＣＵ１２、検出装置１６等の他の構成要素が備える構成にしてもよい。また、操作重み格納部２１や距離重み格納部２３、優先度格納部２５等が格納する情報を外部サーバが格納し、ネットワークを介して外部サーバにアクセスすることで格納情報を参照できるように構成することもできる。

また、実施形態では、優先度を更新するための重み係数として、操作重み係数と距離重み係数の例を示したが、これらの他に、これら以外の重み係数を適用してもよい。

また、実施形態は表示方法も含む。例えば、表示方法は、移動体に備えられた表示部により表示する表示工程と、検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成工程と、を行い、前記画像生成工程では、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する工程を行う。このような表示方法により、上述した表示装置と同様の効果を得ることができる。

また、実施形態はプログラムも含む。例えば、プログラムは、移動体に備えられた表示部により表示する表示処理と、検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成処理と、をコンピュータに実行させ、前記画像生成処理では、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する処理をコンピュータに実行させる。このようなプログラムにより、上述した表示装置と同様の効果を得ることができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 表示装置
２ 車載システム
８ 自車両（移動体の一例）
１０ 表示部
１５ 認識装置
１５１ 対象判断部
１５２ 相対位置決定部
１６ 検出装置
１６２ 車両情報センサ
１６３ レーダセンサ
１６４ 周囲カメラ
２０ 制御部
２１ 操作重み格納部
２２ 操作重み取得部
２３ 距離重み格納部
２４ 距離重み取得部
２５ 優先度格納部
２６ 優先度取得部
２７ 優先度更新部
２８ 画像生成部
２９ 出力部
７１ フロントウインドシールド
８１ 前方車両（対象物の一例）
８２ 右車線車両（対象物の一例）
８３ 対向車両（対象物の一例）
９１、９２、９３、１１１、１１２、１１３ 指示虚像（指示画像の虚像の一例）
１２０ 優先度テーブル
１３０ 操作重みテーブル
１４０ 距離重みテーブル
１７０、１９０ 前景
２５０ 画像データ
２１１、２１２、２１３ 指示画像
２１０ ＨＤＤ

特開２０１９−１１３８０９号公報

Claims (12)

1. 移動体に備えられた表示部と、
   検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成部と、を備え、
   前記画像生成部は、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する
   表示装置。
2. 前記操作が、前記移動体が右左折又は進路変更の少なくとも１つを行う方向を指示する操作である場合に、前記指示画像の表示を変更する
   請求項１に記載の表示装置。
3. 前記画像生成部は、前記操作と、前記移動体の周囲にある対象物毎に定められた優先度と、に基づき、前記対象物を指示する前記指示画像を生成する
   請求項１、又は２に記載の表示装置。
4. 前記操作に基づき、前記移動体の周囲にある対象物毎に定められた優先度を更新する優先度更新部を備え、
   前記画像生成部は、更新された前記優先度に基づき、前記指示画像を生成する
   請求項１乃至３の何れか１項に記載の表示装置。
5. 前記優先度更新部は、前記対象物と前記移動体との間の距離と、前記操作と、に基づき、前記優先度を更新する
   請求項４に記載の表示装置。
6. 前記画像生成部は、複数の前記対象物のうち、前記移動体の周囲にある対象物毎に定められた優先度が高い所定数の前記対象物を指示する前記指示画像を生成する
   請求項１乃至５の何れか１項に記載の表示装置。
7. 前記画像生成部は、前記移動体の周囲にある対象物毎に定められた優先度に応じて予め定められた形態の前記指示画像を生成する
   請求項１乃至６の何れか１項に記載の表示装置。
8. 前記形態は、色又は形状の少なくとも一方である
   請求項７の何れか１項に記載の表示装置。
9. 前記方向を指示する操作は、前記移動体に備えられた方向指示器に対する操作である
   請求項２に記載の表示装置。
10. 請求項１乃至９の何れか１項に記載の表示装置を備える移動体であって、
    前記表示部を備える
    移動体。
11. 移動体に備えられた表示部により表示する表示工程と、
    検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成工程と、を行い、
    前記画像生成工程では、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する工程を行う
    表示方法。
12. 移動体に備えられた表示部により表示する表示処理と、
    検出装置により検出された前記移動体の周囲にある対象物の情報に基づき、前記対象物を指示する指示画像を生成する画像生成処理と、をコンピュータに実行させ、
    前記画像生成処理では、前記検出装置により検出された前記移動体に対する操作に基づき、前記表示部により表示された前記指示画像を変更する
    処理をコンピュータに実行させるプログラム。

Images