JP2020046892A - Vehicle display device, method, and computer program - Google Patents
Vehicle display device, method, and computer program Download PDFInfo
- Publication number
- JP2020046892A JP2020046892A JP2018174354A JP2018174354A JP2020046892A JP 2020046892 A JP2020046892 A JP 2020046892A JP 2018174354 A JP2018174354 A JP 2018174354A JP 2018174354 A JP2018174354 A JP 2018174354A JP 2020046892 A JP2020046892 A JP 2020046892A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- light pattern
- real object
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本開示は、車両で使用され、車両の前景に画像を重畳して視認させる車両用表示装置、方法、及びコンピュータ・プログラムに関する。 The present disclosure relates to a vehicle display device, a method, and a computer program that are used in a vehicle and superimpose an image on a foreground of the vehicle to visually recognize the image.
特許文献1には、車両の灯具ユニットにより照明される領域を、車両の前方に存在する人物(歩行者)を避けるように設定する車両用の前照灯制御システムが開示されている。
また、特許文献2では、歩行者に道路の横断を促す模様、又は横断禁止を知らせる模様を、車両に設けられた模様照射手段(例えば、車両の灯具ユニット)によって、歩行者の近傍の路面に投影する技術が記載されている。
Further, in
しかしながら、特許文献1、2の車両の灯具ユニットで、車両の前方の歩行者に対して、歩行者を避ける、歩行者に向ける、又は歩行者に自車両(又は運転者)の意思を提示することが可能であるが、歩行者に対して灯具ユニットがどのような光を照射しているか車両の運転者が認識しづらいといった問題があった。
However, in the vehicle lighting units of
本明細書に開示される特定の実施形態の要約を以下に示す。これらの態様が、これらの特定の実施形態の概要を読者に提供するためだけに提示され、この開示の範囲を限定するものではないことを理解されたい。実際に、本開示は、以下に記載されない種々の態様を包含し得る。 A summary of certain embodiments disclosed herein is provided below. It should be understood that these aspects are presented merely to provide the reader with an overview of these particular embodiments, and are not intended to limit the scope of this disclosure. Indeed, the present disclosure may encompass various aspects not described below.
本開示の概要は、車両の運転者に灯具ユニットが照射する光に関する情報を効果的に認識させることに関する。より具体的には、灯具ユニットが照射する光パターンの状態を認識させやすくすることで、この光パターンに合った車両の運行を促すことも可能とする。 The summary of the present disclosure relates to making a driver of a vehicle effectively recognize information about light emitted by a lamp unit. More specifically, by making it easy to recognize the state of the light pattern emitted by the lamp unit, it is possible to encourage the operation of the vehicle that matches this light pattern.
したがって、本明細書に記載される車両用表示装置は、車両が照射する光パターンの状態と位置とを取得し、実景に存在する実オブジェクト対して照射された光パターンの近傍に車両の運転者が視認可能な位置に、光パターンの状態を表す報知画像を表示する。いくつかの実施形態では、この報知画像は、実オブジェクトと光パターンとの位置関係を表す画像を含んでもよく、さらに、車両の運転席から前方を向いた際の光パターンと実オブジェクトとの左右方向の位置関係を示すように、光パターンを表す第1画像と実オブジェクトを表す第2画像とが車両の運転席から前方を向いた際の左右方向に並んで表示してもよい。 Therefore, the display device for a vehicle described in this specification acquires the state and position of the light pattern emitted by the vehicle, and the driver of the vehicle moves in the vicinity of the light pattern emitted to the real object existing in the actual scene. A notification image representing the state of the light pattern is displayed at a position where is visible. In some embodiments, the notification image may include an image representing the positional relationship between the real object and the light pattern, and further, the left and right sides of the light pattern and the real object when facing forward from the driver's seat of the vehicle. The first image representing the light pattern and the second image representing the real object may be displayed side by side in the left-right direction when facing forward from the driver's seat of the vehicle so as to show the positional relationship in the direction.
以下に、本発明に係る実施形態について図面を参照して説明する。なお、本発明は以下の実施形態(図面の内容も含む。)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができる。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The present invention is not limited by the following embodiments (including the contents of the drawings). Modifications (including deletion of components) can be made to the following embodiments. In the following description, well-known technical items are not described in order to facilitate understanding of the present invention.
以下、図1及び図2では、例示的な車両用表示装置の説明を提供する。図3A〜図3C、図4A、及び図4Bでは、表示例を提供する。図5は、画像を移動するプロセスを示すフロー図である。 In the following, FIGS. 1 and 2 provide a description of an exemplary vehicle display device. 3A to 3C, 4A, and 4B provide display examples. FIG. 5 is a flowchart showing a process of moving an image.
図1を参照する。第1の実施形態の車両用表示装置10における画像を表示する画像表示部11は、自車両1のダッシュボード5内に設けられたヘッドアップディスプレイ(HUD:Head−Up Display)装置である。HUD装置は、表示光11aをフロントウインドシールド2(被投影部材の一例である)に向けて出射し、仮想的な表示領域100内に画像を表示することで、フロントウインドシールド2を介して視認される現実空間である前景300に重ねて画像を視認させる。
Please refer to FIG. The
また、第2の実施形態の車両用表示装置10における画像を表示する画像表示部12は、ヘッドマウントディスプレイ(以下、HMD)装置である。運転者4は、HMD装置を頭部に装着して自車両1の座席に着座することで、表示される画像を、自車両1のフロントウインドシールド2を介した前景300に重畳して視認する。車両用表示装置10が所定の画像を表示する表示領域100は、自車両1の座標系を基準とした特定の位置に固定され、運転者4がその方向を向くと、その特定の位置に固定された表示領域100内に画像を視認することができる。
The
画像表示部11,12は、自車両1のフロントウインドシールド2を介して視認される現実空間である前景300に存在する歩行者310、路面320、図示しない道路標識、建物、障害物(自転車、自動二輪車、他車両)などの実オブジェクトの近傍、又は実オブジェクトに重なる位置に画像を視認させることで、視覚的な拡張現実(AR、Augmented Reality)を形成することもできる。
The
図2は、いくつかの実施形態に係る、車両用表示装置10のブロック図である。車両用表示装置10は、画像表示部11(12)、周辺インタフェース14、1つ又はそれ以上のプロセッサ16、記憶部18、及び画像処理回路20を備える。図2に記載される様々な機能ブロックは、ハードウェア、ソフトウェア、又はこれら両方の組み合わせで構成されてもよい。図2は、実施態様の一実施例に過ぎず、図示された構成要素は、より数の少ない構成要素に組み合わされてもよく、又は追加の構成要素があってもよい。例えば、画像処理回路20(例えば、グラフィック処理ユニット)が、1つ又はそれ以上のプロセッサ16に含まれてもよい。
FIG. 2 is a block diagram of the
図示するように、プロセッサ16及び画像処理回路20は、記憶部18と動作可能に連結される。より具体的には、プロセッサ16及び画像処理回路20は、記憶部18に記憶されているプログラムを実行することで、例えば画像データを生成又は/及び送信するなど、車両用表示装置10の操作を行うことができる。プロセッサ16又は/及び画像処理回路20は、少なくとも1つの汎用マイクロプロセッサ(例えば、中央処理装置(CPU))、少なくとも1つの特定用途向け集積回路(ASIC)、少なくとも1つのフィールドプログラマブルゲートアレイ(FPGA)、又はそれらの任意の組み合わせを含むことができる。記憶部18は、ハードディスクのような任意のタイプの磁気媒体、CD及びDVDのような任意のタイプの光学媒体、揮発性メモリのような任意のタイプの半導体メモリ、及び不揮発性メモリを含む。揮発性メモリは、DRAM及びSRAMを含み、不揮発性メモリは、ROM及びNVROMを含んでもよい。
As shown, the
図示するように、プロセッサ16は、周辺インタフェース14と動作可能に連結されている。例えば、周辺インタフェース14は、車両用表示装置10を、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(PAN)、802.11x Wi−Fi(登録商標)ネットワークなどのローカルエリアネットワーク(LAN)、4G又はLTE(登録商標)セルラーネットワークなどの広域ネットワーク(WAN)に接続する無線通信インタフェースを含むことができる。また、周辺インタフェース14は、例えば、USBポート、シリアルポート、パラレルポート、OBDII、及び/又は他の任意の適切な有線通信ポートなどの有線通信インタフェースを含むことができる。
As shown,
図示するように、プロセッサ16は、周辺インタフェース14と相互動作可能に連結されることで、車両用表示装置10(周辺インタフェース14)に接続される種々の他の電子機器等と情報を授受可能となる。周辺インタフェース14には、例えば、自車両1に設けられた車両ECU401、道路情報データベース403、自車位置検出部405、車外センサ407、アイポイント検出部409、及び車外通信接続機器420などが動作可能に連結される。画像表示部11,12は、プロセッサ16及び画像処理回路20に動作可能に連結される。したがって、画像表示部11,12によって表示される画像は、プロセッサ16又は/及び画像処理回路20から受信された画像データに基づいてもよい。プロセッサ16及び画像処理回路20は、周辺インタフェース14から得られる情報に基づき、画像表示部11,12が表示する画像を制御する。なお、周辺インタフェース14は、車両用表示装置10に接続される他の電子機器等から受信する情報を加工(変換、演算、解析)する機能を含んでいてもよい。
As shown in the figure, the
自車両1は、自車両1の運転状態(走行中、停車中、加速中、減速中、高速走行中)、及びその他の取得可能な情報(例えば、例えば、走行距離、速度、エンジン回転数、アクセル開度、操舵角、各種警告状態)などを検出する車両ECU401を含んでいる。車両ECU401は、自車両1の各部を制御するものであり、例えば、自車両1の現在の速度(運転状態を推定可能な情報の一例)をプロセッサ16へ送信することができる。なお、車両ECU401は、車両用表示装置10が表示する画像を指示する指示信号を周辺インタフェース14に送信してもよく、この際、画像の座標、画像の報知必要度、又は/及び報知必要度を決定する元となる必要度情報を、指示信号に付加して送信してもよい。
The
また、車両ECU401は、自車両1の前方を照らす灯具ユニット(図示しない)の制御ユニット(図示しない)を動作可能に連結される。前記灯具ユニットは、例えば、複数の画素を有するDMD(Digital Micro−Mirror Device)を有し、単に自車両1の前方を照らすだけではなく、特定の実オブジェクトを避ける光パターン、特定の実オブジェクトに向ける光パターン、又は特定の実オブジェクトの路面320に投影画像(光パターンの一例)で光を照射することが可能である。車両ECU401は、前記制御ユニットから前記灯具ユニットが照射する光パターンの状態と、光パターンの位置とを取得し、周辺インタフェース14に送信してもよい。光パターンの状態とは、特定の実オブジェクトを避ける光パターンであるのか、特定のオブジェクトに向ける光パターンであるのか、又は特定の実オブジェクトの近傍(例えば、路面320)へ表示する投影画像の内容など灯具ユニットの通常の前方照射と異なる状態を含んでもよい。また、光パターンの位置とは、灯具ユニットが光の照射を避ける座標、照射を向ける座標、又は投影画像を表示する座標を含んでもよい。また、座標とは、自車両1の所定の位置を基準とした3次元の車両基準座標系であってもよい。
The
自車両1は、ナビゲーションシステム等からなる道路情報データベース403(道路環境取得部の一例)を含んでいてもよい。道路情報データベース403は、後述する自車位置検出部405から取得される自車両1の位置に基づき、実オブジェクト情報の一例である自車両1が走行する道路情報(車線,白線,停止線,横断歩道,道路の幅員,車線数,交差点,カーブ,分岐路,交通規制等の有無、位置(自車両1までの距離を含む)、形状、種類(例えば、高速道路、街中の道路)などを含む)を読み出し、プロセッサ16に送信することができる。
The
自車両1は、GNSS(全地球航法衛星システム)等からなる自車位置検出部405を含んでいてもよい。道路情報データベース403、又は/及び後述する車外通信接続機器420は、自車位置検出部405から自車両1の位置情報を連続的又は断続的に取得することで、自車両1の周辺の情報を選択・生成して、プロセッサ16に送信することができる。
The
自車両1は、自車両1の周辺(本実施形態では特に前景300)に存在する実オブジェクトを検出する1つ又はそれ以上の車外センサ407を含んでもよい。車外センサ407が検知する実オブジェクトは、例えば、歩行者310、路面320、区画線321,322,323(図3A〜図3C参照)、図示しない自転車、自動二輪車、他車両(先行車等)、路側物、又は/及び建物などを含んでいてもよい。外界センサとしては、例えば、ミリ波レーダ、超音波レーダ、レーザレーダ等のレーダセンサ、カメラと画像処理装置からなるカメラセンサがあり、レーダセンサ、カメラセンサの両方の組み合わせで構成されてもよく、どちらか一方だけで構成されてもよい。これらレーダセンサやカメラセンサによる物体検知については従来の周知の手法を適用する。これらのセンサによる物体検知によって、三次元空間内での実オブジェクトの有無、実オブジェクトが存在する場合には、その実オブジェクトの位置(自車両1からの相対的な距離、自車両1の進行方向を前後方向とした場合の左右方向の位置、上下方向の位置等)、大きさ(横方向(左右方向)、高さ方向(上下方向)等の大きさ)、又は/及び種類等を検出してもよい。1つ又はそれ以上の車外センサ407は、各センサの検知周期毎に、自車両1の前方の実オブジェクトを検知して、実オブジェクト情報の一例である実オブジェクト情報(実オブジェクトの有無、実オブジェクトが存在する場合には実オブジェクト毎の位置、大きさ、又は/及び種類等の情報)をプロセッサ16に送信することができる。なお、これら実オブジェクト情報は、他の機器(例えば、車両ECU401)を経由してプロセッサ16に送信されてもよい。また、夜間等の周辺が暗いときでも実オブジェクトが検知できるように、センサとしてカメラを利用する場合には赤外線カメラや近赤外線カメラが望ましい。また、センサとしてカメラを利用する場合、視差で距離等も取得できるステレオカメラが望ましい。
The
自車両1は、運転者4の目の位置を検出する赤外線カメラ等からなるアイポイント検出部409を含んでいてもよい。プロセッサ16は、赤外線カメラが撮像した画像(目の位置を推定可能な情報の一例)を取得し、この撮像画像を解析することで運転者4の目の位置を特定することができる。なお、プロセッサ16は、赤外線カメラの撮像画像から特定された運転者4の目の位置の情報を周辺インタフェース14から取得するものであってもよい。なお、自車両1の運転者4の目の位置、又は運転者4の目の位置を推定可能な情報を取得する方法は、これらに限定されるものではなく、既知のアイポイント検出(推定)技術を用いて取得されてもよい。プロセッサ16は、運転者4の目の位置に基づき、報知画像120の位置を少なくとも調整することで、前景300の所望の位置に重畳した画像を視認させてもよい。
The
車外通信接続機器420は、自車両1と情報のやりとりする通信機器であり、例えば、自車両1と車車間通信(V2V:Vehicle To Vehicle)により接続される他車両、歩車間通信(V2P:Vehicle To Pedestrian)により接続される歩行者(歩行者が携帯する携帯情報端末)、路車間通信(V2I:Vehicle To roadside Infrastructure)により接続されるネットワーク通信機器であり、広義には、自車両1との通信(V2X:Vehicle To Everything)により接続される全てのものを含む。車外通信接続機器420は、例えば、上記の自車位置検出部405と同様の機能を有し、自車両1の位置情報を取得し、プロセッサ16に送信してもよく、さらに上記の道路情報データベース403の機能も有し、前記道路情報(実オブジェクト情報の一例)を取得し、プロセッサ16に送信してもよい。なお、車外通信接続機器420から取得される情報は、上記のものに限定されない。
The external
記憶部18に記憶されたソフトウェア構成要素は、光パターン検出モジュール502、実オブジェクト検出モジュール504、実オブジェクト位置推定モジュール506、画像位置決定モジュール508、運転状態判定モジュール510、アイポイント検出モジュール512、及びグラフィックモジュール514を含む。
The software components stored in the storage unit 18 include a light
光パターン検出モジュール502は、後述する報知画像120の内容、及び表示位置を決定する元となる、自車両1の灯具ユニットが照射する光パターンの状態と、光パターンの位置を取得する。光パターン検出モジュール502は、例えば、車両ECU401から、自車両1の前景300(路面320)に投影された報知画像120(図3A〜図3C、図4A、図4B)の位置を取得してもよい。また、光パターン検出モジュール502は、車両ECU401から取得した光パターンの位置と、車外センサ407で取得した前景300に照射された光パターンの位置と、の組み合わせにより光パターンの位置を推定してもよい。
The light
実オブジェクト検出モジュール504は、後述する報知画像120の座標を決定する元となる、前景300に存在する実オブジェクトの位置を検出する。実オブジェクト検出モジュール504は、例えば、車外センサ407又は車外通信接続機器420から、自車両1の前景300に存在する実オブジェクト(図3A〜図3C、図4A、図4Bの歩行者310)の位置(実オブジェクト情報の一例)を取得してもよい。実オブジェクト検出モジュール504は、実オブジェクト310の大きさ(横方向、高さ方向の大きさ)、又は/及び種類等を検出してもよい。
The real
実オブジェクト位置推定モジュール506は、後述する報知画像120の座標を決定する元となる、前景300に存在する実オブジェクトの位置を推定する。実オブジェクト位置推定モジュール506は、光パターン検出モジュール502が取得した光パターン(図3A〜図3C、図4A、図4Bの符号200)の状態、及び位置から、実オブジェクトの位置を推定してもよい。例えば、実オブジェクト位置推定モジュール506は、光パターンが特定の実オブジェクトを避ける、又は向ける状態である場合、光パターンの位置に実オブジェクトが存在すると推定してもよく、光パターンが歩行者310の近傍の路面320に投影されるものであれば、光パターンの左側又は右側に実オブジェクトが存在すると推定してもよい。なお、光パターンの位置が車線の左側であるか、右側であるかにより、光パターンの左右どちらに実オブジェクトが存在するか推定してもよく、例えば、光パターンの位置が車線の左側にあれば、光パターンの左側に実オブジェクトが存在すると推定してもよい。
The real object
画像位置決定モジュール508は、光パターン検出モジュール502により検出された光パターンの位置に基づき、報知画像120の座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)を決定する。画像位置決定モジュール508は、灯具ユニットにより照射された光パターン200と所定の位置関係になるように報知画像120の座標を決定する。例えば、報知画像120が光パターン200の上側(Y軸正方向)に視認されるように、報知画像120の左右方向、及び上下方向の位置を決定する。また、画像位置決定モジュール508は、実オブジェクト検出モジュール504により検出された前記実オブジェクト情報、又は実オブジェクト位置推定モジュール506により推定された実オブジェクトの位置に基づき、報知画像120の座標を決定してもよい。すなわち、画像位置決定モジュール508は、特定の実オブジェクト310と所定の位置関係になるように報知画像120の座標を決定してもよい。例えば、報知画像120の右側(X軸負方向)に視認されるように、報知画像120の左右方向、及び上下方向の位置を決定してもよい。また、画像位置決定モジュール508は、自車両1が走行する路面320の左側の区画線321、中央の区画線322、又は右側の区画線323(図3A〜図3C、図4A、図4Bを参照)を基準に、報知画像120の座標を決定してもよい。なお、『所定の位置関係』は、実オブジェクト310、又は自車両1の状況などにより調整され得る。
The image
運転状態判定モジュール510は、車両ECU401、又は図示しない自車両1に設けられたセンサから、自車両1の運転状態を取得する、又は自車両1の運転状態を推定可能な情報を取得し、自車両1の運転状態が所定の条件を満たすかを判定する。運転状態判定モジュール510が判定する自車両1の運転状態の条件とは、例えば、自車両1の停車、減速などである。また、これを判定するための自車両1の運転状態とは、例えば、自車両1の停車、又は減速を推定可能な情報である。自車両1の運転状態を推定可能な情報とは、例えば、自車両1の走行距離、速度、エンジン回転数、又はアクセル開度などである。なお、運転状態判定モジュール510が判定する自車両1の運転状態の条件、運転状態判定モジュール510が取得する自車両1の運転状態、又は自車両1の運転状態を推定可能な情報は、上記のものに限定されない。
The driving state determination module 510 acquires the driving state of the
アイポイント検出モジュール512は、自車両1の運転者4の眼の位置を検出する。アイポイント検出モジュール512は、複数段階で設けられた高さ領域のどこに運転者4の眼の高さがあるかの判定、運転者4の眼の高さ(Y軸方向の位置)の検出、運転者4の眼の高さ(Y軸方向の位置)及び奥行方向の位置(Z軸方向の位置)の検出、運転者4の眼の位置(X,Y,Z軸方向の位置)の検出、に関係する様々な動作を実行するための様々なソフトウェア構成要素を含む。アイポイント検出モジュール512は、例えば、アイポイント検出部409から運転者4の眼の位置を取得する、又は、アイポイント検出部409から運転者4の目の高さを含む目の位置を推定可能な情報を受信し、運転者4の目の高さを含む目の位置を推定する。目の位置を推定可能な情報は、例えば、自車両1の運転席の位置、運転者4の顔の位置、座高の高さ、運転者4による図示しない操作部での入力値などであってもよい。
The eye
グラフィックモジュール514は、表示される報知画像120の、視覚的効果(例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性)、サイズ、表示位置、表示距離(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)における運転者4から報知画像120までの距離)を変更するための様々な既知のソフトウェア構成要素を含む。グラフィックモジュール514は、画像位置決定モジュール508が設定した座標(運転者4が自車両1の運転席から表示領域100の方向を見た際の左右方向(X軸方向)、及び上下方向(Y軸方向)を少なくとも含む)で運転者4に視認されるように報知画像120の表示位置を表示する。グラフィックモジュール514は、自車両1の進行に伴い運転者4から見える前景300が接近すると、その前景300に対する報知画像120の相対位置が変化していないように、前景300に追従して報知画像120の表示位置を連続的に調整してもよい。なお、グラフィックモジュール514は、光パターン検出モジュール502で検出する光パターンの奥行方向(Z軸方向)の位置、又は実オブジェクト検出モジュール504で検出される灯具ユニットの光パターンが向けられた特定の実オブジェクト310と自車両1までの距離に応じて、報知画像120のサイズを調整してもよい。具体的には、グラフィックモジュール514は、光パターン又は実オブジェクト310の位置が自車両1に接近するに従い、段階的又は連続的に報知画像120のサイズを大きくしてもよい。また、逆に、グラフィックモジュール514は、光パターン又は実オブジェクト310の位置が自車両1に接近するに従い、段階的又は連続的に報知画像120のサイズを小さくしてもよい。また、グラフィックモジュール514は、運転状態判定モジュール510が取得又は推定できる運転状態に応じて、画像(報知画像120)を表示するタイミングを調整してもよい。
The graphic module 514 displays a visual effect (e.g., brightness, transparency, saturation, contrast, or other visual characteristics), a size, a display position, and a display distance of the displayed notification image 120 (when the driver 4 determines that the driver's
また、記憶部18は、図示しない報知必要度検出モジュールを含んでいてもよい。報知必要度検出モジュールは、実オブジェクト検出モジュール504が検出した実オブジェクト情報とともに、その実オブジェクト情報を運転者4に報知する必要度(報知必要度)を検出する。報知必要度検出モジュールは、周辺インタフェース14に接続される種々の他の電子機器から報知必要度を検出してもよい。また、図2で周辺インタフェース14に接続された電子機器が車両ECU401に情報を送信し、報知必要度検出モジュールは、受信した情報に基づき車両ECU401が決定した報知必要度を検出してもよい。『報知必要度』は、例えば、起こり得る自体の重大さの程度から導き出される危険度、反応行動を起こすまでに要求される反応時間の長短から導き出される緊急度、自車両1や運転者4(又は自車両1の他の乗員)の状況から導き出される有効度、又はこれらの組み合わせなどで決定され得る。
Further, the storage unit 18 may include a notification necessity detection module (not shown). The notification necessity detection module detects the necessity of notifying the driver 4 of the real object information together with the real object information detected by the real object detection module 504 (necessity of notification). The notification necessity detection module may detect the notification necessity from various other electronic devices connected to the peripheral interface 14. In addition, the electronic device connected to the peripheral interface 14 in FIG. 2 may transmit information to the
また、記憶部18は、図示しない報知必要度推定モジュールを含んでいてもよい。報知必要度推定モジュールは、報知画像120の報知必要度を推定する元となる必要度情報を検出し、これから報知必要度を推定する。報知画像120の報知必要度を推定する元となる必要度情報は、例えば、実オブジェクト310又は灯具ユニットの光パターンの位置、又は種類などで推定されてもよく、周辺インタフェース14に接続される種々の他の電子機器から入力される他の情報に基づいて、又は他の情報を加味して推定されてもよい。
The storage unit 18 may include a notification necessity estimation module (not shown). The notification necessity estimating module detects the necessity information serving as a source for estimating the notification necessity of the
上記のモジュールのそれぞれは、1つ以上の上記の機能を実行する実行可能な命令及び本出願に記載の方法(例えば、コンピュータにより実行されるプログラム)に対応する。 Each of the above modules corresponds to executable instructions for performing one or more of the above functions, and methods (eg, computer executed programs) described in this application.
上記のモジュールの一部又は全部は、所定の間隔で周辺インタフェース14を介して、車両ECU401、道路情報データベース403、自車位置検出部405、車外センサ407、アイポイント検出部409、車外通信接続機器420に各種情報を送信するように要求を送る。これに応じて、周辺インタフェース14は、車両ECU401、道路情報データベース403、自車位置検出部405、車外センサ407、アイポイント検出部409、車外通信接続機器420から各種情報を取得してプロセッサ16に送出する。他のいくつかの実施形態において、上記のモジュールの一部又は全部は、定期的、又は所定のイベント(例えば、自車両1の走行開始を検出したこと、所定の光パターン200の照射が予定されたことを検出したこと)毎に情報の送出を要求してもよい。
Some or all of the above modules are provided at predetermined intervals via the peripheral interface 14 via the
図3A、図3B、図3Cは、自車両1の進行に伴う、車両用表示装置10が表示する画像の変化を示す図である。車両用表示装置10は、運転者4から見て、自車両1の前景300に存在する特定の実オブジェクト310への注意を促すような注意画像110を表示する。図3Aの例では、注意画像110は、「横断者あり、停止して下さい」というテキストを含む。なお、注意画像110は、テキストに限定されず、図形、イラスト、静止画、又は動画などを含んでもよい。注意画像110は、図3Aに示すように、運転者4に自車両1の運転状態が特定の条件を満たすように促す内容であってもよい。図3Aで示した状態の後、車両用表示装置10は、報知画像120を表示する。図3Bの報知画像120は、光パターン200の内容を表す第1画像121、実オブジェクト310を表す第2画像122、光パターン200の方向を指示する吹き出し形状の第3画像123を含む。図3Bで示した状態の後、自車両1の灯具ユニットは、実オブジェクト310の近傍の路面320に、特定の光パターン200を照射する。図3Cでは、報知画像120は、自車両1の運転席から前方を向いた際の実オブジェクト310の右方向(X軸負方向)にずれた位置であり、かつ、光パターン200の上方向(Y軸正方向)にずれた位置で、運転者4に視認される。図3Cに示すように、光パターン200は、路面320の左端の区画線321から右端の区画線323まで、路面320の中央の区画線322と交差する横断歩道形状であってもよい。この場合、図3B、図3Cで示すように、第1画像121は、上方(Y軸正方向)から見た光パターン200(横断歩道形状)を模した画像であってもよく、又は/及び第2画像122は、上方(Y軸正方向)から見た実オブジェクト310を模したような画像であってもよい。
3A, 3B, and 3C are diagrams showing changes in images displayed by the
図4A及び図4Bは、光パターン200の変形例、及び報知画像120の変形例を示す図である。図4Aに示すように、光パターン200は、歩行者(特定の実オブジェクト310)から見て「STOP」と視認されるテキストを含む標識を模した画像であり、自車両1からの通知情報を含んでいてもよい。この場合も、第1画像121は、上方(Y軸正方向)から見た光パターン200(横断歩道形状)を模した画像であってもよい。また、図4Bに示すように、光パターン200は、歩行者(特定の実オブジェクト310)から見て「GO」と視認されるテキストと、歩行者に進行して欲しい方向を示す矢印画像と、からなる誘導画像124を含んでもよい。
4A and 4B are diagrams illustrating a modification of the
図5は、いくつかの実施形態に係る、報知画像を表示する際のプロセスを示すフロー図である。車両用表示装置10は、例えば、自車両1が灯具ユニットを点灯させたことを検出した場合、この処理を開始し、灯具ユニットが消灯するまで処理を繰り返し実行してもよい。
FIG. 5 is a flow diagram illustrating a process for displaying a notification image, according to some embodiments. For example, when detecting that the
車両用表示装置10は、自車両1に設けられた車両ECU401(又は灯具ユニット)から、灯具ユニットが照射する特定の光パターン200に関する情報(状態、及び位置)を取得し(ステップS01)、光パターン200の対象となる実オブジェクト(例えば、歩行者)310に運転者4の注意を向けさせる注意画像110を表示し(ステップS02)、車両ECU401から自車両1の運転状態が所定の条件を満たしたかを判定する(ステップS03)。自車両1の運転状態が所定の条件を満たさない場合(ステップS03でNO)、ステップS07に移行し、車両用表示装置10が報知画像120を表示することなく、灯具ユニットは特定の光パターン200を含む光を照射する。
The
自車両1の運転状態が所定の条件を満たした場合(ステップS03でYES)、車両用表示装置10は、実オブジェクト検出モジュール504が実オブジェクト310の位置を取得する、又は実オブジェクト位置推定モジュール506が実オブジェクト310の位置を推定可能な情報を取得し(ステップS04)、ステップS01で取得した光パターン200の状態から報知画像120の内容を決定し、ステップS04で取得した実オブジェクト310の位置に基づいて報知画像120の位置を決定し(ステップS05)、報知画像120を表示し(ステップS06)、その後、灯具ユニットは特定の光パターン200を含む光を照射する(ステップS07)。
When the driving state of the
以上に説明したように、本実施形態では、1つ又はそれ以上の周辺インタフェース14から、自車両1の前方に存在する実オブジェクト310に対して自車両1が照射する光パターン200の状態と、光パターン200の位置を取得し、光パターン200の状態に関する情報を含む報知画像120の表示位置を、報知画像120が光パターン200の位置の近傍で運転者に視認されるように決定し、画像表示部11(12)が、決定された表示位置に報知画像120を表示する。
As described above, in the present embodiment, the state of the
また、いくつかの実施形態において、報知画像120は、光パターン200の状態を示す第1画像121と、実オブジェクト310の、光パターン200との位置関係を表すように第1画像121の近傍に表示される第2画像122と、を含んでもよい。
In some embodiments, the
また、いくつかの実施形態において、報知画像120は、自車両1の運転席から前方を向いた際の、光パターン200と実オブジェクトとの左右方向の位置関係を示すように、第1画像121と第2画像122とが自車両1の運転席から前方を向いた際の左右方向に並べて配置されてもよい。
In some embodiments, the
また、いくつかの実施形態において、第1画像121は、上方から見た光パターン200を模したような画像であり、第2画像122は、上方から見た実オブジェクト310を模したような画像であってもよい。
Further, in some embodiments, the
また、いくつかの実施形態において、報知画像120の表示位置は、自車両1の運転席から前方を向いた際の実オブジェクト310の左右方向にずれた位置であり、かつ、光パターン200の上下方向にずれた位置であってもよい。
Further, in some embodiments, the display position of the
また、いくつかの実施形態において、報知画像120は、光パターン200の方向を指示する第3画像123を含んでいてもよい。第3画像123は、光パターン200の方向を指示する吹き出し形状、引出線形状などであってもよい。
In some embodiments, the
また、いくつかの実施形態において、報知画像120が、光パターン200が表示される前に表示されてもよい。
[変形例]
In some embodiments, the
[Modification]
図1では、表示領域100を、自車両1の進行方向(Z軸方向)に対して垂直に設けられているが、これに限定されない。いくつかの実施形態において、表示領域100は、例えば、自車両1の車幅方向(X軸方向)を中心に回転し、自車両1の進行方向(Z軸方向)に対して垂直にならないように設けられてもよい。また、表示領域100は、1箇所ではなく、例えば、自車両1の進行方向(Z軸方向)の離れた位置に2箇所以上設けられてもよい。また、表示領域100は、面積領域ではなく、3次元の体積領域であってもよい。すなわち、画像110,120は、3次元空間に奥行き方向に移動可能であってもよい。換言すると、画像110,120は、表示距離が変化可能であってもよい。
In FIG. 1, the
また、いくつかの実施形態において、光パターン200の位置は、自車両1の運転席から前方を向いた際の奥行方向の位置も含み、光パターン200の奥行方向の位置に近付くように、報知画像120の奥行方向の位置を調整してもよい。換言すると、自車両1の運転席から運転者4が前方を向いた際の奥行方向(Z軸方向)の報知画像120の位置が、光パターン200の奥行方向の位置と一致、又は近傍になるように調整されてもよい。
In some embodiments, the position of the
また、上記実施形態において、グラフィックモジュール514は、座標データ及び他のプロパティデータ(サイズ)を連続的に変化させることで、報知画像120が自車両1に接近しているように視認させていたが、いくつかの実施形態におけるグラフィックモジュール514は、自車両1の進行に伴い、さらにプロパティデータ(俯角/仰角)を徐々に変化させてもよい。また、さらに、プロパティデータ(方位角)を徐々に変化させてもよい。
In the above embodiment, the graphic module 514 continuously changes the coordinate data and the other property data (size) so that the
1・・・自車両、2・・・フロントウインドシールド、4・・・運転者、5・・・ダッシュボード、10・・・車両用表示装置、11・・・画像表示部、12・・・画像表示部、14・・・周辺インタフェース、16・・・プロセッサ、18・・・記憶部、20・・・画像処理回路、100・・・表示領域、110・・・注意画像、120・・・報知画像、121・・・第1画像、122・・・第2画像、123・・・第3画像、124・・・誘導画像、200・・・光パターン、300・・・前景、310・・・歩行者(実オブジェクト)、320・・・路面(実オブジェクト)、321・・・区画線、322・・・区画線、323・・・区画線、401・・・車両ECU、403・・・道路情報データベース、405・・・自車位置検出部、407・・・車外センサ、409・・・アイポイント検出部、420・・・車外通信接続機器、502・・・光パターン検出モジュール、504・・・実オブジェクト検出モジュール、506・・・実オブジェクト位置推定モジュール、508・・・画像位置決定モジュール、510・・・運転状態判定モジュール、512・・・アイポイント検出モジュール、514・・・グラフィックモジュール
DESCRIPTION OF
Claims (10)
画像表示部(11,12)と、
1つ又はそれ以上の周辺インタフェース(14)と、
1つ又はそれ以上のプロセッサ(16)と、
メモリ(18)と、
前記メモリ(18)に格納され、前記1つ又はそれ以上のプロセッサ(16)によって実行されるように構成される1つ又はそれ以上のコンピュータ・プログラムと、を備え、
前記1つ又はそれ以上のコンピュータ・プログラムは、
前記1つ又はそれ以上の周辺インタフェース(14)から、前記車両(1)の前方に存在する実オブジェクト(310)に対して前記車両(1)が照射する光パターン(200)の状態と、前記光パターン(200)の位置を取得し、
前記光パターン(200)の状態に関する情報を含む報知画像(120)の表示位置を、前記報知画像(120)が前記光パターン(200)の位置の近傍で運転者に視認されるように決定し、
前記画像表示部(11,12)が、前記表示位置に前記報知画像(120)を表示する、
命令を含む、車両用表示装置。 In a vehicle display device for displaying an image in an area overlapping a foreground (300) of a vehicle (1),
Image display units (11, 12);
One or more peripheral interfaces (14);
One or more processors (16);
A memory (18);
One or more computer programs stored in the memory (18) and configured to be executed by the one or more processors (16);
The one or more computer programs comprises:
A state of a light pattern (200) emitted by the vehicle (1) from the one or more peripheral interfaces (14) to a real object (310) existing in front of the vehicle (1); Obtain the position of the light pattern (200),
The display position of the notification image (120) including information on the state of the light pattern (200) is determined so that the driver can visually recognize the notification image (120) near the position of the light pattern (200). ,
The image display unit (11, 12) displays the notification image (120) at the display position.
A display device for a vehicle, including instructions.
請求項1に記載の車両用表示装置。 The notification image (120) includes a first image (121) indicating a state of the light pattern (200) and the second image (121) indicating a positional relationship between the real object (310) and the light pattern (200). A second image (122) displayed near the first image (121).
The vehicle display device according to claim 1.
請求項2に記載の車両用表示装置。 The notification image (120) is configured to display the first image (120) so as to show a left-right positional relationship between the light pattern (200) and the real object when facing forward from the driver's seat of the vehicle (1). 121) and the second image (122) are arranged side by side in the left-right direction when facing forward from the driver's seat of the vehicle (1).
The vehicle display device according to claim 2.
請求項3に記載の車両用表示装置。 The first image (121) is an image imitating the light pattern (200) viewed from above, and the second image (122) is imitating the real object (310) viewed from above. Is an image like
The vehicle display device according to claim 3.
請求項1に記載の車両用表示装置。 The display position of the notification image (120) is a position shifted in the left-right direction of the real object (310) when facing forward from the driver's seat of the vehicle (1), and the light pattern (200). ) In the vertical direction,
The vehicle display device according to claim 1.
請求項1に記載の車両用表示装置。 The notification image (120) includes a third image (123) indicating a direction of the light pattern (200).
The vehicle display device according to claim 1.
前記光パターン(200)が表示される前に実行される、
請求項1に記載の車両用表示装置。 An instruction for the image display unit (11, 12) to display the notification image (120) at the display position is:
Executed before the light pattern (200) is displayed;
The vehicle display device according to claim 1.
前記画像表示部(11,12)は、前記車両(1)の運転席から前方を向いた際の前記報知画像(120)の奥行方向の位置を調整可能であり、
前記1つ又はそれ以上のコンピュータ・プログラムは、
前記光パターン(200)の前記奥行方向の位置に近付くように、前記報知画像(120)の前記奥行方向の位置を調整する命令をさらに含む、
請求項1に記載の車両用表示装置。 The position of the light pattern (200) also includes a position in a depth direction when facing forward from a driver's seat of the vehicle (1),
The image display units (11, 12) are capable of adjusting a position in a depth direction of the notification image (120) when facing forward from a driver's seat of the vehicle (1),
The one or more computer programs comprises:
Further comprising an instruction for adjusting the position of the notification image (120) in the depth direction so as to approach the position of the light pattern (200) in the depth direction;
The vehicle display device according to claim 1.
前記画像表示部(11,12)が、車両(1)の前景(300)に重なる所定の表示領域(100)に画像(200)を表示することと、
前記1つ又はそれ以上の周辺インタフェース(14)から、前記車両(1)の前方に存在する実オブジェクト(310)に対して前記車両(1)が投影する光パターン(200)の内容と、前記光パターン(200)の位置を取得することと、
前記光パターン(200)の内容に関する情報を含む報知画像(120)の表示位置を、前記報知画像(120)が前記光パターン(200)の位置の近傍で運転者に視認されるように決定することと、
前記画像表示部(11,12)が、前記表示位置に前記報知画像(120)を表示することと、
を含む、方法。 In a vehicle display device having an image display unit (11, 12) and one or more peripheral interfaces (14),
The image display units (11, 12) displaying an image (200) in a predetermined display area (100) overlapping the foreground (300) of the vehicle (1);
The content of a light pattern (200) projected by the vehicle (1) from the one or more peripheral interfaces (14) to a real object (310) existing in front of the vehicle (1); Obtaining the position of the light pattern (200);
The display position of the notification image (120) including information on the content of the light pattern (200) is determined so that the driver can visually recognize the notification image (120) near the position of the light pattern (200). That
The image display unit (11, 12) displaying the notification image (120) at the display position;
Including, methods.
A computer program comprising instructions for performing the method of claim 9.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018174354A JP2020046892A (en) | 2018-09-19 | 2018-09-19 | Vehicle display device, method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018174354A JP2020046892A (en) | 2018-09-19 | 2018-09-19 | Vehicle display device, method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020046892A true JP2020046892A (en) | 2020-03-26 |
Family
ID=69901483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018174354A Pending JP2020046892A (en) | 2018-09-19 | 2018-09-19 | Vehicle display device, method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020046892A (en) |
-
2018
- 2018-09-19 JP JP2018174354A patent/JP2020046892A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6861375B2 (en) | Display system, information presentation system, display system control method, program, and mobile | |
JP7254832B2 (en) | HEAD-UP DISPLAY, VEHICLE DISPLAY SYSTEM, AND VEHICLE DISPLAY METHOD | |
JP4715325B2 (en) | Information display device | |
US11996018B2 (en) | Display control device and display control program product | |
JP7309724B2 (en) | Vehicle display system and vehicle | |
JP2020032866A (en) | Vehicular virtual reality providing device, method and computer program | |
JP6796806B2 (en) | Display system, information presentation system, display system control method, program, and mobile | |
JP7423837B2 (en) | Information presentation device for self-driving cars | |
JP2018200626A (en) | Vehicle display control device and display control program | |
JP7255608B2 (en) | DISPLAY CONTROLLER, METHOD, AND COMPUTER PROGRAM | |
JP2023052970A (en) | Display device | |
JP2018163501A (en) | Information display device, information display method, and program | |
JP7459883B2 (en) | Display control device, head-up display device, and method | |
JP7283448B2 (en) | Display controller and display control program | |
JP2020117105A (en) | Display control device, method and computer program | |
WO2021200914A1 (en) | Display control device, head-up display device, and method | |
JP2020046892A (en) | Vehicle display device, method, and computer program | |
JP7318431B2 (en) | Display control device and display control program | |
JP2020154468A (en) | Driving support device, method, and computer program | |
JP2020121607A (en) | Display control device, method and computer program | |
JP2020121704A (en) | Display control device, head-up display device, method and computer program | |
JP7434894B2 (en) | Vehicle display device | |
WO2022102374A1 (en) | Vehicular display system | |
JP2021054205A (en) | Display control device, head-up display device, method and computer program | |
JP7340607B2 (en) | Vehicle lighting systems, vehicle systems and vehicles |