JP2019081480A - Head-up display device - Google Patents

Head-up display device Download PDF

Info

Publication number
JP2019081480A
JP2019081480A JP2017210349A JP2017210349A JP2019081480A JP 2019081480 A JP2019081480 A JP 2019081480A JP 2017210349 A JP2017210349 A JP 2017210349A JP 2017210349 A JP2017210349 A JP 2017210349A JP 2019081480 A JP2019081480 A JP 2019081480A
Authority
JP
Japan
Prior art keywords
virtual image
range
viewer
gaze
real object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017210349A
Other languages
Japanese (ja)
Inventor
友也 倉石
Tomoya Kuraishi
友也 倉石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2017210349A priority Critical patent/JP2019081480A/en
Publication of JP2019081480A publication Critical patent/JP2019081480A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

To easily attract a visual attention to a virtual image or an actual object that is not recognized.SOLUTION: A display control device 20 controls an image display portion 10 on the basis of positional information obtained from an object information obtaining portion 30, thereby displaying a virtual image V at a position overlapping with or near an actual object 300. When a first condition that a gaze range GZ obtained by a gaze information obtaining portion 40 or a peripheral range GZa surrounding the gaze range GZ exists on the actual object 300 or the virtual image V is satisfied, visibility of the virtual image V is deteriorated, and the area of the peripheral range is changed according to a speed obtained by a vehicle speed obtaining portion 70 or/and a number of the specific actual objects 300 to be notified to a viewer which an object information obtaining portion 30 obtains.SELECTED DRAWING: Figure 3

Description

本発明は、車両で使用され、車両の前景に虚像を重畳して視認させるヘッドアップディスプレイ装置に関する。   The present invention relates to a head-up display device that is used in a vehicle and causes a virtual image to be superimposed and viewed on the foreground of the vehicle.

実景に存在し、車両の運行に影響を与える可能性のある実オブジェクト(例えば、他車両、歩行者、路上落下物等)の位置を検出し、この実オブジェクトに重なって視認される位置に虚像を表示することで実オブジェクトに対する注意を促すヘッドアップディスプレイ装置がある。   Detects the position of a real object (for example, another vehicle, pedestrian, falling object on the road, etc.) that exists in a real scene and may affect the operation of a vehicle, and a virtual image is displayed at a position visible superimposed on this real object There is a head-up display device that draws attention to a real object by displaying.

特許文献1のヘッドアップディスプレイ装置では、視認者の角膜の微小運動に伴う振幅、周期、滞留時間等を検出し、これらから視認者の視線を推定し、視認者の視線が実オブジェクトに重なる虚像に所定時間一致していた場合、この虚像を視認者が認識したと判定して虚像を消去している。すなわち、視線が向けられていない虚像の表示は維持させ、視線が向けられて認識された虚像は視認性又は目立ち具合を低下(表示の消去も含む)させることで、認識されていない虚像又は実オブジェクトに視覚的注意を向けやすくすることができる。   The head-up display device of Patent Document 1 detects an amplitude, a period, a dwell time, etc. accompanying a minute movement of a cornea of a viewer, estimates a gaze of the viewer from these, and a virtual image in which the gaze of the viewer overlaps the real object If the virtual image is matched for a predetermined time, it is determined that the viewer has recognized this virtual image, and the virtual image is erased. That is, the display of a virtual image in which the line of sight is not directed is maintained, and the virtual image in which the line of sight is directed and recognized is lowered in visibility or appearance (including deletion of display). It makes it easy to give visual attention to an object.

特開2017−39373号公報JP 2017-39373 A

しかしながら、1点に視線を向けた(注視した)際にその周辺における視認者がオブジェクト(虚像や実景上の実オブジェクト)を認識可能な範囲(有効視野)は、環境(速度、道路状況など)により変化する。したがって、視認者がオブジェクトを認識したと判定した場合であっても、実際は有効視野が狭くなっていて認識できていない、逆に、視認者がオブジェクトを認識していないと判定した場合であっても、実際は有効視野が広くなっていて認識できていた、ということが発生する恐れがある。   However, the range (effective visual field) within which the viewer (in the virtual image or real object on the real scene) can be recognized by the viewer around that when the gaze is directed to one point (gaze) is the environment (speed, road conditions, etc.) It changes by Therefore, even when it is determined that the viewer has recognized the object, the effective field of view is actually narrow and can not be recognized. Conversely, it is determined that the viewer has not recognized the object. In fact, it may happen that the effective field of view is wide and recognized.

本発明は、上記の問題点に鑑みてなされたものであり、認識されていない虚像又は実オブジェクトに視覚的注意を向けやすくすることができるヘッドアップディスプレイ装置を提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a head-up display device capable of facilitating visual attention to an unrecognized virtual image or a real object.

本発明は、前記課題を解決するため、以下の手段を採用した。
本発明のヘッドアップディスプレイ装置は、前景に存在する実オブジェクト又はこの実オブジェクトに対して表示される虚像上に、視認者の注視範囲又は前記注視範囲を囲む周辺範囲がある場合、虚像の視認性を低下させ、かつ速度又は/及び報知すべき実オブジェクトの数に応じて前記周辺範囲の広さを変えることで、環境に応じて変化する有効視野の拡大、縮小に合わせて視認性を低下させる虚像を決定することができ、認識されていない虚像又は実オブジェクトに視覚的注意を向けやすくすることができる、ことを要旨とする。
The present invention adopts the following means in order to solve the problems.
In the head-up display device of the present invention, when there is a gaze area of the viewer or a peripheral area surrounding the gaze area on the real object present in the foreground or on the virtual image displayed for the real object, the visibility of the virtual image By changing the size of the peripheral area according to the speed or / and the number of real objects to be notified, thereby reducing the visibility in accordance with the expansion or reduction of the effective visual field which changes according to the environment. The gist is that a virtual image can be determined and visual attention can be easily directed to an unrecognized virtual image or real object.

本発明のヘッドアップディスプレイ装置の第1の態様は、車両の前景に虚像(V)を重畳して表示可能な画像表示部(10)と、視認者に報知すべき前記前景に存在する実オブジェクト(300)の位置情報を取得するオブジェクト情報取得部(30)と、視認者の注視範囲(GZ)を取得する注視情報取得部(40)と、自車両の速度を取得する車速取得部(70)と、前記オブジェクト情報取得部(30)から取得した前記位置情報に基づいて前記画像表示部(10)を制御することで、前記実オブジェクト(300)に重畳する位置又は近傍に前記虚像(V)を表示させ、前記実オブジェクト(300)又は前記虚像(V)上に、前記注視情報取得部(40)が取得した前記注視範囲(GZ)又は前記注視範囲(GZ)を囲む周辺範囲(GZa)があることを少なくとも含む第1の条件を満たした場合、前記虚像(V)の視認性を低下させる表示制御部(20)と、を備え、前記表示制御部(20)は、前記車速取得部(70)が取得する前記速度又は/及び前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)の数により、前記周辺範囲の広さを変えるものである。   According to a first aspect of the head-up display device of the present invention, an image display unit (10) capable of displaying a virtual image (V) superimposed on the foreground of a vehicle and a real object present in the foreground to be notified to a viewer An object information acquisition unit (30) for acquiring position information of (300), a gaze information acquisition unit (40) for acquiring a gaze range (GZ) of a viewer, and a vehicle speed acquisition unit (70) for acquiring the speed of the host vehicle And the image display unit (10) based on the position information acquired from the object information acquisition unit (30), the virtual image (V) is displayed at or near the position to be superimposed on the real object (300). ), And on the real object (300) or the virtual image (V), the gaze range (GZ) acquired by the gaze information acquisition unit (40) or the peripheral range surrounding the gaze range (GZ) A display control unit (20) for reducing the visibility of the virtual image (V) when the first condition including at least the presence of GZa) is satisfied; and the display control unit (20) controls the vehicle speed Depending on the speed acquired by the acquisition unit (70) and / or the number of real objects (300) present in the foreground to be notified to the viewer acquired by the object information acquisition unit (30), It changes the size.

第1の態様は、視認者の注視範囲に基づいて、注視範囲を囲む周辺範囲を決定し、注視範囲又は周辺範囲内に、実オブジェクト又は実オブジェクトに対応する虚像がある場合、この実オブジェクトに対応する虚像の視認性を低下させる。また、速度や報知すべき(虚像を表示して強調すべき)実オブジェクトの数に基づいて、視認者が認識できる有効視野の拡大/縮小を推定して、視認性を低下させる虚像を決定する。すなわち、有効視野が比較的広くなる傾向がある環境においては、虚像の視認性を低下させる範囲(周辺範囲)を拡大し、有効視野が比較的狭くなる傾向がある環境においては、虚像の視認性を低下させる範囲(周辺範囲)を縮小し、視認者が認識した実オブジェクトに対応する虚像の視認性を低下させ、相対的に視認者が認識していない実オブジェクトに視覚的注意を向けやすくすることができる。   The first aspect determines the peripheral range surrounding the gaze range based on the gaze range of the viewer, and when there is a virtual image corresponding to the real object or the real object in the gaze range or the peripheral range, this real object Reduce the visibility of the corresponding virtual image. Also, based on the speed and the number of real objects to be notified (the virtual image should be displayed and emphasized), the enlargement / reduction of the effective field of view that can be recognized by the viewer is estimated to determine the virtual image that reduces the visibility. . That is, in an environment in which the effective visual field tends to be relatively wide, the range (peripheral area) for reducing the visibility of the virtual image is enlarged, and in an environment in which the effective visual field tends to be relatively narrow Reduce the range of reduction (peripheral range), reduce the visibility of the virtual image corresponding to the real object recognized by the viewer, and make it easier to direct visual attention to the real object that the viewer does not recognize relatively be able to.

また、第1の態様に従属する第2の態様では、前記表示制御部(20)は、前記車速取得部(70)が取得する前記速度が速い場合、前記周辺範囲を小さくしてもよい。   In the second aspect subordinate to the first aspect, the display control unit (20) may reduce the peripheral range when the speed acquired by the vehicle speed acquisition unit (70) is high.

車両の速度が速くなると、視認者がオブジェクトを認識できる有効視野範囲が縮小する傾向がある。第2の態様では、車両の速度が速くなると、視認者の有効視野が狭くなると推定し、虚像の視認性を低下させる範囲(周辺範囲)を縮小する。これにより、実際は有効視野が狭くなっていて認識できていないにも関わらず、視認者がオブジェクトを認識したと判定して虚像の視認性を低下させてしまう頻度を減少させることができる。   As the speed of the vehicle increases, the effective visual field range in which the viewer can recognize the object tends to be reduced. In the second aspect, when the speed of the vehicle increases, it is estimated that the effective visual field of the viewer is narrowed, and the range (peripheral range) in which the visibility of the virtual image is reduced is reduced. As a result, it is possible to reduce the frequency with which it is determined that the viewer has recognized the object and the visibility of the virtual image is reduced even though the effective field of view is narrowed and not recognized in practice.

また、第1又は第2の態様に従属する第3の態様では、前記表示制御部(20)は、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)の数が多い場合、前記周辺範囲を小さくしてもよい。   In addition, in a third aspect subordinate to the first or second aspect, the display control unit (20) is present in the foreground to be notified to the viewer, which is acquired by the object information acquisition unit (30). When the number of real objects (300) is large, the peripheral range may be reduced.

第3の態様によれば、視認すべきオブジェクトの数が多くなると、視認者がオブジェクトを認識できる有効視野範囲が縮小する傾向がある。第3の態様では、視認者に報知すべき前景に存在する実オブジェクトの数が多くなると、視認者の有効視野が狭くなると推定し、虚像の視認性を低下させる範囲(周辺範囲)を縮小する。これにより、実際は有効視野が狭くなっていて認識できていないにも関わらず、視認者がオブジェクトを認識したと判定して虚像の視認性を低下させてしまう頻度を減少させることができる。   According to the third aspect, when the number of objects to be viewed increases, the effective visual field range in which the viewer can recognize the objects tends to be reduced. In the third aspect, when the number of real objects present in the foreground to be notified to the viewer increases, it is estimated that the effective visual field of the viewer is narrowed, and the range (peripheral range) for reducing the visibility of the virtual image is reduced. . As a result, it is possible to reduce the frequency with which it is determined that the viewer has recognized the object and the visibility of the virtual image is reduced even though the effective field of view is narrowed and not recognized in practice.

また、第1乃至3のいずれかに従属する第4の態様では、前記表示制御部(20)は、視認者の視線移動により、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)が、前記注視範囲(GZ)又は前記周辺範囲(GZa)内に入ってから第1の時間後に、この実オブジェクト(300)に対して表示していた前記虚像(V)の視認性を徐々に低下させてもよい。   In the fourth aspect according to any one of the first to third aspects, the display control unit (20) notifies the viewer, who is acquired by the object information acquisition unit (30), by the gaze movement of the viewer. The real object (300) present in the foreground to be displayed on the real object (300) a first time after entering the gaze range (GZ) or the peripheral range (GZa) The visibility of the virtual image (V) may be gradually decreased.

第4の態様によれば、注視範囲又は周辺範囲内が、視認者に報知すべき実オブジェクトが向いてから直ちに、実オブジェクトに対応して表示された虚像の視認性を低下させるのではなく、第1の時間(例えば、3秒)後に、視認性を低下させ始める。したがって、実オブジェクトは、視認され始めてから第1の時間が経過するまでは虚像により強調されるため、視認者の視覚的注意が向きやすくなる。そして、視認者が実オブジェクトを認識が完了したであろう時間(第1の時間)が経過すると、自動的に虚像の視認性を低下させ、目立ちにくくすることができる。   According to the fourth aspect, the gaze range or the peripheral range does not lower the visibility of the virtual image displayed corresponding to the real object immediately after the real object to be notified to the viewer is directed, After a first time (e.g. 3 seconds), the visibility begins to decline. Therefore, since the real object is emphasized by the virtual image until the first time passes from the beginning of visual recognition, the visual attention of the viewer tends to be directed. Then, when the time (first time) when the viewer will recognize the real object has passed, the visibility of the virtual image can be automatically reduced to make it less noticeable.

また、第1乃至4のいずれかに従属する第5の態様では、前記表示制御部(20)は、前記実オブジェクト(300)の移動により、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)が、前記注視範囲(GZ)又は前記周辺範囲(GZa)内に入ってから第2の時間後に、この実オブジェクト(300)に対して表示していた前記虚像(V)の視認性を徐々に低下させてもよい。   In the fifth aspect according to any one of the first to fourth aspects, the display control unit (20) is configured to obtain the visual information acquired by the object information acquisition unit (30) by moving the real object (300). When the real object (300) present in the foreground to be notified to the person enters the gaze range (GZ) or the peripheral area (GZa), the real object (300) will be generated after a second time The visibility of the virtual image (V) displayed may be gradually reduced.

第5の態様によれば、視認者に報知すべき実オブジェクトが、注視範囲又は周辺範囲内に入ってから直ちに、実オブジェクトに対応して表示された虚像の視認性を低下させるのではなく、第2の時間(例えば、5秒)後に、視認性を低下させ始める。したがって、実オブジェクトは、視認され始めてから第2の時間が経過するまでは虚像により強調されるため、視認者の視覚的注意が向きやすくなる。そして、視認者が実オブジェクトを認識が完了したであろう時間(第2の時間)が経過すると、自動的に虚像の視認性を低下させ、目立ちにくくすることができる。なお、実オブジェクトが注視範囲又は周辺範囲内に入ってきた場合に実オブジェクトの認識にかかる時間は、注視範囲又は周辺範囲を実オブジェクトに向けた場合に実オブジェクトの認識にかかる時間よりも長くなる傾向があり、第2の時間を第4の態様における第1の時間より長く設定することが望ましい。   According to the fifth aspect, the real object to be notified to the viewer does not lower the visibility of the virtual image displayed corresponding to the real object immediately after entering the gaze range or the peripheral range, After a second time (e.g. 5 seconds), the visibility begins to decline. Therefore, since the real object is emphasized by the virtual image until the second time passes from the beginning of visual recognition, the visual attention of the viewer tends to be directed. Then, when the time (second time) when the viewer will recognize the real object has passed, the visibility of the virtual image can be automatically reduced to make it less noticeable. Note that the time taken to recognize the real object when the real object enters the gaze range or the peripheral range is longer than the time taken to recognize the real object when the gaze range or the peripheral range is directed to the real object It is desirable that the second time be set longer than the first time in the fourth aspect.

本発明の実施形態に係るヘッドアップディスプレイ装置の構成を機能的に示すブロック図である。It is a block diagram which shows functionally the composition of the head up display device concerning the embodiment of the present invention. 上記実施形態のヘッドアップディスプレイ装置が表示する虚像の例を示す図である。It is a figure which shows the example of the virtual image which the head-up display apparatus of the said embodiment displays. 上記実施形態のヘッドアップディスプレイ装置が表示する虚像の例を示す図である。It is a figure which shows the example of the virtual image which the head-up display apparatus of the said embodiment displays. 上記実施形態のヘッドアップディスプレイ装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the head-up display apparatus of the said embodiment.

以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態(図面の内容も含む。)によって限定されるものではない。下記の実施形態に変更(構成要素の削除も含む)を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。   Hereinafter, embodiments according to the present invention will be described with reference to the drawings. The present invention is not limited by the following embodiments (including the contents of the drawings). Of course, modifications (including deletion of components) can be added to the following embodiments. Further, in the following description, in order to facilitate understanding of the present invention, the description of known technical matters is appropriately omitted.

図1は、本実施形態におけるヘッドアップディスプレイ装置(以下、HUD装置と呼ぶ)100の構成を機能的に示すブロック図である。同図に示すように、HUD装置100は、虚像Vを表示する画像表示部10と、画像表示部10の表示を制御する表示制御部20と、オブジェクト情報取得部30と、注視情報取得部40と、車両状態取得部50と、通信部70と、によって構成される。   FIG. 1 is a block diagram functionally showing the configuration of a head-up display device (hereinafter referred to as a HUD device) 100 in the present embodiment. As shown in the figure, the HUD device 100 includes an image display unit 10 for displaying a virtual image V, a display control unit 20 for controlling display of the image display unit 10, an object information acquisition unit 30, and a gaze information acquisition unit 40. , The vehicle state acquisition unit 50, and the communication unit 70.

画像表示部10は、虚像Vを視認者に視認させる表示光を出射するものであり、例えば、図2に示すように、表示光を車両のウインドシールドガラスWSやコンバイナなどの被投影部に投影することで、被投影部を介して視認される車両の前景200に重ねて虚像Vを視認させる。なお、画像表示部10は、表示可能範囲101内に虚像Vを表示することができる。画像表示部10は、後述する表示制御部20から画像データを取得し、この取得した画像データを表示光に変換して出力する。   The image display unit 10 emits display light that causes the viewer to visually recognize the virtual image V. For example, as shown in FIG. 2, the display light is projected onto a projection portion such as a windshield glass WS or a combiner of a vehicle. By doing this, the virtual image V is viewed in a superimposed manner on the foreground 200 of the vehicle viewed through the projection portion. The image display unit 10 can display the virtual image V within the displayable range 101. The image display unit 10 acquires image data from a display control unit 20 described later, converts the acquired image data into display light, and outputs the display light.

表示制御部20は、入出力インターフェース(オブジェクト情報取得部30、注視情報取得部40、車両状態取得部50、及び通信部70)を介して、外部機器(前方検出部31、視線検出部41、位置検出部51、方角検出部52、姿勢検出部53、及びクラウドサーバー(外部サーバー)500及び車両ECU600)と通信可能に連結されている。入出力インターフェースは、例えば、USBポート、シリアルポート、パラレルポート、OBDII、及び/又は他の任意の適切な有線通信ポートなどの有線通信機能を含むことができる。車両からのデータケーブルは、通信部70を介して、表示制御部20に連結される。なお、他の実施形態では、入出力インターフェースは、例えば、Bluetooth(登録商標)通信プロトコル、IEEE802.11プロトコル、IEEE802.16プロトコル、共有無線アクセスプロトコル、ワイヤレスUSBプロトコル、及び/又は他の任意の適切な無線電信技術を用いた無線通信部を含むことができる。HUD装置100は、外部機器から入出力インターフェースを介して、各種情報、及び虚像Vの元となる画像要素データを取得し、表示制御部20が定めた位置に虚像Vを表示する。なお、画像要素データの一部又は全部は、後述する表示制御部20の記憶部22に記憶され、表示制御部20は、前方検出部31、クラウドサーバー500、及び車両ECU600などから得られる情報に応じて、記憶部22に記憶された画像要素データを読み出して虚像Vを表示する形態であってもよい。   The display control unit 20 receives an external device (forward detection unit 31, line-of-sight detection unit 41) via the input / output interface (object information acquisition unit 30, gaze information acquisition unit 40, vehicle state acquisition unit 50, and communication unit 70). The position detection unit 51, the direction detection unit 52, the posture detection unit 53, and the cloud server (external server) 500 are communicably connected to each other. The input / output interface may include wired communication capabilities, such as, for example, a USB port, a serial port, a parallel port, an OBD II, and / or any other suitable wired communication port. The data cable from the vehicle is connected to the display control unit 20 via the communication unit 70. However, in other embodiments, the I / O interface may be, for example, Bluetooth® communication protocol, IEEE 802.11 protocol, IEEE 802.16 protocol, shared wireless access protocol, wireless USB protocol, and / or any other suitable Wireless communication unit using the wireless communication technology. The HUD device 100 acquires various information and image element data that is the source of the virtual image V from an external device via the input / output interface, and displays the virtual image V at a position determined by the display control unit 20. A part or all of the image element data is stored in the storage unit 22 of the display control unit 20 described later, and the display control unit 20 uses information obtained from the forward detection unit 31, the cloud server 500, the vehicle ECU 600, etc. In response, the image element data stored in the storage unit 22 may be read out to display the virtual image V.

オブジェクト情報取得部30は、前景200に存在する特定の実オブジェクト300の位置情報を含むデータ(オブジェクト情報)を取得する入力インターフェースであり、例えば、車両に搭載されたカメラやセンサなどからなる前方検出部31からオブジェクト情報を取得し、表示制御部20に出力する。   The object information acquisition unit 30 is an input interface for acquiring data (object information) including position information of a specific real object 300 present in the foreground 200, and, for example, forward detection including a camera or a sensor mounted on a vehicle Object information is acquired from the unit 31 and output to the display control unit 20.

また、オブジェクト情報取得部30は、前方検出部31が前景200を観測し、図示しない解析部で解析した結果である前景200上の実オブジェクト300の種類を識別した種類情報を取得してもよい。実オブジェクト300の種類とは、例えば、障害物、道路標識、路面、及び、建物などであるが、前景200に存在し、識別可能であればこれらに限定されない。すなわち、オブジェクト情報取得部30は、オブジェクト情報(実オブジェクト300の位置情報、種類情報)を取得し、表示制御部20に出力可能である。   In addition, the object information acquisition unit 30 may acquire type information identifying the type of the real object 300 on the foreground 200, which is the result of the forward detection unit 31 observing the foreground 200 and analyzing it by an analysis unit (not shown). . Examples of the type of the real object 300 include, for example, an obstacle, a road sign, a road surface, and a building, but are present in the foreground 200 and are not limited thereto as long as they can be identified. That is, the object information acquisition unit 30 can acquire object information (position information of the real object 300, type information) and can output it to the display control unit 20.

(オブジェクト情報取得部の他の例)
また、他の例としては、外部機器と通信可能な通信部70が、オブジェクト情報取得部30として機能してもよい。言い換えると、通信部70が、車両に設けられた図示しないナビゲーションシステムやクラウドサーバー500や車両ECU600からオブジェクト情報を取得してもよい。例えば、図示しないナビゲーションシステムやクラウドサーバー500や車両ECU600は、地図情報とともに、道路や建物等の実オブジェクト300の位置情報、種類情報等を記憶しており、表示制御部20は、後述する車両又はHUD装置100の位置情報及び方角情報を、通信部70を介して、ナビゲーションシステム又は/及びクラウドサーバー500又は/及び車両ECU600に出力し、ナビゲーションシステム又は/及びクラウドサーバー500又は/及び車両ECU600は、入力した車両又はHUD装置100の位置情報、方角情報に基づき、車両の前景200に存在する実オブジェクト300の位置情報、種類情報を含むオブジェクト情報を通信部70に出力する。
(Another example of the object information acquisition unit)
As another example, the communication unit 70 capable of communicating with an external device may function as the object information acquisition unit 30. In other words, the communication unit 70 may acquire object information from a navigation system (not shown) provided in the vehicle, the cloud server 500, or the vehicle ECU 600. For example, the navigation system, the cloud server 500 and the vehicle ECU 600 (not shown) store, together with map information, position information, type information, and the like of real objects 300 such as roads and buildings. The position information and direction information of the HUD device 100 are output to the navigation system or / and the cloud server 500 or / and the vehicle ECU 600 via the communication unit 70, and the navigation system or / and the cloud server 500 or / and the vehicle ECU 600 Object information including position information and type information of a real object 300 present in the foreground 200 of the vehicle is output to the communication unit 70 based on the input position information of the vehicle or HUD device 100 and direction information.

注視情報取得部40は、視認者が注視している範囲(注視範囲GZ)に関する注視情報を取得する入力インターフェースであり、例えば、車両に搭載されたカメラなどからなる視線検出部41から注視範囲GZを取得し、表示制御部20に出力する。視認者の注視範囲GZは、視認者が目視(注視)している領域であり、目視点(注視点)を含み、人が通常注視可能とされる一定範囲である。なお、視認者の注視範囲GZの設定方法は、これに限定されるものではなく、視線検出部41は、例えば、特開2015−126451号公報に記載されているように、所定の時間(例えば、1秒)内に測定される複数の目視点(注視点)を含む矩形領域を、注視範囲GZに設定してもよい。   The gaze information acquisition unit 40 is an input interface for acquiring gaze information on a range (gaze range GZ) in which the viewer is gazing, and, for example, the gaze range GZ from the gaze detection unit 41 including a camera mounted on a vehicle. Are output to the display control unit 20. The gaze range GZ of the viewer is a region where the viewer is watching (gaze), including a visual point (gaze point), and is a certain range in which a person can usually gaze. Note that the method of setting the gaze range GZ of the viewer is not limited to this, and the gaze detection unit 41 may, for example, set a predetermined time (for example, as described in JP-A-2015-126451). , And a rectangular region including a plurality of visual points (gaze points) measured in one second) may be set as the gaze range GZ.

車両状態取得部50は、車両の状態(位置、方角、姿勢)に関する情報を取得する。車両状態取得部50は、GNSS(全地球航法衛星システム)等からなる位置検出部51により検出された車両又はHUD装置100の位置情報を取得し、方角センサからなる方角検出部52により検出された車両又はHUD装置100の向きを示す方角情報を取得し、ハイトセンサや加速度センサからなる姿勢検出部53により検出された車両の路面からの高さ又は/及び路面に対する角度を示す姿勢情報を取得し、表示制御部20に出力する。   The vehicle state acquisition unit 50 acquires information on the state (position, direction, attitude) of the vehicle. The vehicle state acquisition unit 50 acquires position information of the vehicle or the HUD device 100 detected by the position detection unit 51 formed of GNSS (Global Navigation Satellite System) or the like, and is detected by the direction detection unit 52 formed of a direction sensor. Direction information indicating the orientation of the vehicle or the HUD device 100 is acquired, and orientation information indicating the height of the vehicle from the road surface and / or the angle to the road surface detected by the attitude detection unit 53 including a height sensor or an acceleration sensor is acquired , Output to the display control unit 20.

表示制御部20は、外部データベース(クラウドサーバー500又は/及び車両ECU600)から入力するあるいは記憶部22から読み出した画像要素データが示す画像要素(虚像Vの元となる画像)の配置(表示位置)を調整する表示位置調整部21と、画像要素データを記憶する記憶部22と、虚像Vの視認性を調整する後述の視認性調整部23と、を備える。   The display control unit 20 is an arrangement (display position) of an image element (an image serving as an origin of the virtual image V) indicated by the image element data input from the external database (the cloud server 500 and / or the vehicle ECU 600) or read from the storage unit 22. And a storage unit 22 for storing image element data, and a visibility adjustment unit 23 described later for adjusting the visibility of the virtual image V.

表示制御部20は、位置情報取得部50が取得した車両又はHUD装置100の位置情報、及び方角情報取得部60が取得した車両又はHUD装置100の方角情報を、通信部70を介して、クラウドサーバー500又は/及び車両ECU600に出力する。続いて、クラウドサーバー500と車両ECU600は、入力した車両又はHUD装置100の位置情報、方角情報に基づき、HUD装置100に表示させる虚像Vの画像要素データを、通信部70を介して、表示制御部20に出力する。なお、他の例としては、クラウドサーバー500と車両ECU600は、入力した車両又はHUD装置100の位置情報、方角情報に基づき、HUD装置100に表示させるべき虚像Vを指示する指示データを、通信部70を介して、表示制御部20に出力し、表示制御部20は、入力した指示データに基づき、記憶部22に記憶された画像要素データを読み出してもよい。また、他の例としては、クラウドサーバー500と車両ECU600は、車両又はHUD装置100の位置情報、方角情報とは異なる他の情報に基づき、虚像Vの画像要素データ又は表示させるべき虚像Vを指示する指示データを、表示制御部20に出力してもよい。なお、表示制御部20は、オブジェクト情報取得部30が取得した実オブジェクト300のオブジェクト情報に基づき、記憶部22に記憶された画像要素データを読み出してもよく、あるいは、オブジェクト情報を、通信部70を介して、クラウドサーバー500又は/及び車両ECU600に出力し、クラウドサーバー500と車両ECU600が、入力したオブジェクト情報に基づき、HUD装置100に表示させる虚像Vの画像要素データを、通信部70を介して、表示制御部20に出力してもよい。   The display control unit 20 receives the position information of the vehicle or the HUD device 100 acquired by the position information acquisition unit 50 and the direction information of the vehicle or the HUD device 100 acquired by the direction information acquisition unit 60 via the communication unit 70. It outputs to server 500 and / or vehicle ECU 600. Subsequently, the cloud server 500 and the vehicle ECU 600 control the display of the image element data of the virtual image V to be displayed on the HUD device 100 via the communication unit 70 based on the input position information of the vehicle or HUD device 100 and direction information. Output to unit 20. Note that as another example, the cloud server 500 and the vehicle ECU 600 communicate instruction data for instructing the virtual image V to be displayed on the HUD device 100 based on the input position information of the vehicle or HUD device 100 and the directional information. The image data may be output to the display control unit 20 via 70, and the display control unit 20 may read out the image element data stored in the storage unit 22 based on the input instruction data. Also, as another example, the cloud server 500 and the vehicle ECU 600 indicate the image element data of the virtual image V or the virtual image V to be displayed based on the position information of the vehicle or the HUD device 100 and other information different from the directional information. Command data may be output to the display control unit 20. The display control unit 20 may read out the image element data stored in the storage unit 22 based on the object information of the real object 300 acquired by the object information acquisition unit 30. Alternatively, the object information may be transmitted to the communication unit 70. Through the communication unit 70, the image element data of the virtual image V to be displayed on the HUD device 100 based on the object information input to the cloud server 500 and / or the vehicle ECU 600 and the cloud server 500 and the vehicle ECU 600. It may be output to the display control unit 20.

図2は、HUD装置100が表示する虚像Vを示す図である。以下に、表示制御部20(表示位置調整部21)の表示位置調整方法について説明する。表示位置調整部21は、前景200内の特定の実オブジェクト300に関連する虚像Vの表示位置を設定する。表示位置調整部21は、オブジェクト情報取得部30が取得した実オブジェクト300の位置情報に基づき、画像要素を配置(表示可能範囲101内での表示位置を決定)し、具体的には、実オブジェクト300と重畳して視認される位置又は実オブジェクト300の近傍に視認される位置に虚像Vを配置する。図2(a)の例では、実オブジェクト300は、第1の人物301、第2の人物302、第3の人物303、であり、表示位置調整部21は、第1の人物301を囲むように配置される虚像V、第2の人物302を囲むように配置される虚像V、第3の人物303を囲むように配置される虚像V、を表示する。   FIG. 2 is a view showing a virtual image V displayed by the HUD device 100. As shown in FIG. The display position adjustment method of the display control unit 20 (display position adjustment unit 21) will be described below. The display position adjustment unit 21 sets the display position of the virtual image V related to the specific real object 300 in the foreground 200. The display position adjustment unit 21 arranges the image elements (determines the display position in the displayable range 101) based on the position information of the real object 300 acquired by the object information acquisition unit 30, and more specifically, the real object The virtual image V is arranged at a position to be viewed in a superimposed manner with the position 300 or a position to be viewed in the vicinity of the real object 300. In the example of FIG. 2A, the real object 300 is the first person 301, the second person 302, and the third person 303, and the display position adjustment unit 21 surrounds the first person 301. The virtual image V arranged on the virtual image V, the virtual image V arranged to surround the second person 302, and the virtual image V arranged to surround the third person 303 are displayed.

図3は、視認者の注視範囲GZの位置に応じて虚像Vの視認性を変化させた様子を示す図である。以下に、表示制御部20(視認性調整部23)の視認性調整方法について説明する。視認性調整部23は、注視情報取得部40が取得した注視範囲GZ、画像表示部10が既に表示している画像要素(虚像V)の座標系、及びオブジェクト情報取得部30が取得した実オブジェクト300の位置情報(オブジェクト情報)などを入力し、注視範囲GZを囲む領域である周辺範囲GZa内に虚像V又は実オブジェクト300が含まれるかを判定し、含まれていなければ、虚像Vを通常の表示態様で表示させ、含まれていれば、虚像Vを通常の表示態様より視認性を低くする(非表示とする)。なお、視認性を低下させるとは、具体的に例えば、輝度を低下させること、明度を低くすること、彩度を低くすること、色相を誘目性の低いものに変化させること、虚像Vを構成する画素の密度を低くすること、非表示とすること、を含む。例えば、視認性調整部23は、図3(a)に示すように、前景200を左右方向に5分割、上下方向に5分割したグリッド座標系400を有しており、注視情報取得部40が取得した注視範囲GZが属するグリッド領域(グリッド線で囲まれた領域)周辺のグリッド領域を周辺範囲GZaに設定する。このとき、視認性調整部23は、周辺範囲GZa内に第1の人物301及び第3の人物303が含まれると判断し、第1の人物301及び第3の人物303に対応する虚像Vを非表示とし、周辺範囲GZa外に存在する第2の人物302に対してのみ虚像Vを表示する。なお、周辺範囲GZaの設定方法は、これに限定されるものではなく、周辺範囲GZaは、注視範囲GZを中心とする予め設定された矩形状の領域に設定されてもよい。なお、周辺範囲GZaに対して、注視範囲GZが偏心した位置に配置されてもよい。   FIG. 3 is a view showing a state in which the visibility of the virtual image V is changed according to the position of the gaze range GZ of the viewer. Below, the visibility adjustment method of the display control part 20 (visibility adjustment part 23) is demonstrated. The visibility adjustment unit 23 is the gaze range GZ acquired by the gaze information acquisition unit 40, the coordinate system of the image element (virtual image V) already displayed by the image display unit 10, and the real object acquired by the object information acquisition unit 30. The position information (object information) of 300 etc. is input and it is judged whether the virtual image V or the real object 300 is included in the peripheral range GZa which is the area surrounding the gaze range GZ, and if not, the virtual image V is When the display mode is included, the virtual image V is made less visible (not displayed) than the normal display mode. Note that to reduce the visibility specifically means, for example, to reduce the luminance, to reduce the lightness, to reduce the saturation, to change the hue to one with a low attractiveness, to configure the virtual image V And reducing the density of pixels to be displayed. For example, as shown in FIG. 3A, the visibility adjustment unit 23 has a grid coordinate system 400 obtained by dividing the foreground 200 into five in the left and right direction and into five in the upper and lower direction. The grid area around the grid area (the area surrounded by the grid lines) to which the acquired gaze range GZ belongs is set as the peripheral area GZa. At this time, the visibility adjustment unit 23 determines that the first person 301 and the third person 303 are included in the surrounding area GZa, and the virtual image V corresponding to the first person 301 and the third person 303 is The virtual image V is displayed only for the second person 302 present outside the peripheral range GZa while hiding the image. In addition, the setting method of the periphery range GZa is not limited to this, The periphery range GZa may be set to the preset rectangular area | region centering on the gaze range GZ. Note that the gaze range GZ may be arranged at an eccentric position with respect to the peripheral range GZa.

また、視認性調整部23は、オブジェクト情報取得部30から視認者に報知すべき特定の実オブジェクト300の数を取得し、特定の実オブジェクト300の数が所定の閾値を超えた場合、図3(b)に示すように、視認者の注視範囲GZに付加する周辺範囲GZaの広さを縮小する。また、視認性調整部23は、通信部(車速取得部)70から自車両の速度を取得し、自車両の速度が所定の閾値を超えた場合、図3(b)に示すように、視認者の注視範囲GZに付加する周辺範囲GZaの広さを縮小してもよい。このとき、視認性調整部23は、周辺範囲GZa内に第3の人物303のみが含まれると判断し、第3の人物303に対応する虚像Vを非表示とし、周辺範囲GZa外に存在する第1の人物301及び第2の人物302に対してのみ虚像Vを表示する。   Further, the visibility adjustment unit 23 acquires the number of specific real objects 300 to be notified to the viewer from the object information acquisition unit 30, and when the number of specific real objects 300 exceeds a predetermined threshold, FIG. As shown in (b), the size of the peripheral range GZa to be added to the gaze range GZ of the viewer is reduced. Further, the visibility adjustment unit 23 acquires the speed of the host vehicle from the communication unit (vehicle speed acquisition unit) 70, and when the host vehicle speed exceeds a predetermined threshold, as shown in FIG. The width of the peripheral range GZa to be added to the gaze range GZ of the person may be reduced. At this time, the visibility adjustment unit 23 determines that only the third person 303 is included in the surrounding area GZa, and hides the virtual image V corresponding to the third person 303, and exists outside the surrounding area GZa. The virtual image V is displayed only for the first person 301 and the second person 302.

次に、この本実施形態の特徴部分に係わるHUD装置100の処理について、図4に示すフローチャートを用いて説明する。なお、本処理は、車両又はHUD装置100が起動され、かつ、表示可能範囲101内に特定の実オブジェクト300が位置する際に繰り返し実行される。   Next, the processing of the HUD device 100 according to the characteristic part of the present embodiment will be described using the flowchart shown in FIG. This process is repeatedly executed when the vehicle or the HUD device 100 is activated and the specific real object 300 is positioned within the displayable range 101.

まず、ステップS1において、表示制御部20は、オブジェクト情報取得部30を介して、前景200に存在する実オブジェクト300のうち視認者に報知すべき特定の実オブジェクト300の位置情報を少なくとも含むオブジェクト情報を取得する。これらオブジェクト情報は、カメラやセンサなどからなる前方検出部31が前景200から特定の実オブジェクト300を検出することで生成される、又は、車両の位置情報、方角情報に基づき、クラウドサーバー500又は/及び車両ECU600により生成される。 First, in step S1, the display control unit 20 includes object information including at least position information of a specific real object 300 to be notified to a viewer among real objects 300 present in the foreground 200 via the object information acquisition unit 30. To get The object information is generated by the front detection unit 31 including a camera, a sensor, or the like detecting a specific real object 300 from the foreground 200, or the cloud server 500 or / based on vehicle position information and direction information. And generated by the vehicle ECU 600.

ステップS2において、表示制御部20は、ステップS1にて入力した実オブジェクト300の位置が、HUD装置100の表示可能範囲101内に含まれるかを判定する。表示制御部20は、ステップS1で取得した実オブジェクト300の位置情報に基づき、表示可能範囲101内のどの位置に実オブジェクト300が位置するかを把握する。なお、視認者のアイポイントによって、HUD装置100の表示可能範囲101における実オブジェクト300の位置が異なるため、視認者のアイポイントを測定又は推定して、このアイポイントから表示可能範囲101を注視したときの実オブジェクト300の位置を特定するとよい。例えば、運転席に着座する視認者の体格、体形、運転姿勢、及び標準的な視線方向等に基づいて標準的なアイポイントを推定してもよいし、さらに、運転席のシートスライド位置、リクライニング角度等を検出し、これら検出したデータを用いて標準的なアイポイントを補正してもよい。そして、この推定したアイポイントと実オブジェクト300との相対的な位置関係から、表示可能範囲101における実オブジェクト300の位置を把握してもよい。 In step S2, the display control unit 20 determines whether the position of the real object 300 input in step S1 is included in the displayable range 101 of the HUD device 100. The display control unit 20 grasps at which position in the displayable range 101 the real object 300 is positioned based on the position information of the real object 300 acquired in step S1. Since the position of the real object 300 in the displayable range 101 of the HUD device 100 differs depending on the eyepoint of the viewer, the eyepoint of the viewer is measured or estimated to gaze at the displayable range 101 from this eyepoint It is preferable to specify the position of the real object 300 at the time. For example, a standard eye point may be estimated based on the physique, body shape, driving posture, standard gaze direction, etc. of the viewer sitting in the driver's seat, and further, the seat slide position of the driver's seat, reclining Angles and the like may be detected, and standard eye points may be corrected using the detected data. Then, the position of the real object 300 in the displayable range 101 may be grasped from the relative positional relationship between the estimated eye point and the real object 300.

HUD装置100の表示可能範囲101内に実オブジェクト300の位置が含まれる場合(ステップS2でYES)、ステップS3において、表示制御部20は、注視情報取得部40を介して、視線検出部41から視認者の注視範囲GZを取得し、ステップS4において、取得した注視範囲GZを中心とする矩形状の領域を周辺範囲GZaとする。なお、視認性調整部23は、オブジェクト情報取得部30から視認者に報知すべき特定の実オブジェクト300の数又は/及び通信部(車速取得部)70から自車両の速度を取得し、特定の実オブジェクト300の数が所定の閾値を超えた又は自車両の速度が所定の閾値を超えた場合、視認者の注視範囲GZに付加する周辺範囲GZaの広さを縮小する。   If the position of the real object 300 is included in the displayable range 101 of the HUD device 100 (YES in step S2), the display control unit 20 receives the gaze information acquisition unit 40 from the sight line detection unit 41 in step S3. The gaze range GZ of the viewer is acquired, and in step S4, a rectangular area having the acquired gaze range GZ as a center is set as the peripheral range GZa. The visibility adjustment unit 23 acquires the number of specific real objects 300 to be notified to the viewer from the object information acquisition unit 30 and / or the speed of the host vehicle from the communication unit (vehicle speed acquisition unit) 70, and When the number of real objects 300 exceeds a predetermined threshold or the speed of the host vehicle exceeds a predetermined threshold, the width of the peripheral range GZa to be added to the gaze range GZ of the viewer is reduced.

ステップS5において、表示制御部20(視認性調整部23)は、周辺範囲GZaに、虚像Vが含まれていないか判定し、この判定結果に基づいて虚像Vの視認性を調整する。表示制御部20(表示位置調整部21)は、視認性調整部23が周辺範囲GZa内に特定の実オブジェクト300又は虚像Vが含まれていると判定した場合、虚像V又は虚像Vが指示する実オブジェクト300を視認者が認識できていると判定し、虚像Vの視認性を低下させて表示させる(ステップS6)。   In step S5, the display control unit 20 (visibility adjusting unit 23) determines whether the virtual image V is included in the peripheral range GZa, and adjusts the visibility of the virtual image V based on the determination result. When the display control unit 20 (display position adjustment unit 21) determines that the visibility adjustment unit 23 includes the specific real object 300 or the virtual image V in the peripheral range GZa, the virtual image V or the virtual image V indicates It is determined that the viewer can recognize the real object 300, and the visibility of the virtual image V is reduced and displayed (step S6).

他方、表示制御部20(表示位置調整部21)は、視認性調整部23が周辺範囲GZa外の表示領域101内に特定の実オブジェクト300が存在すると判定した場合、虚像Vが指示する実オブジェクト300を視認者が認識できていないと判定し、虚像Vを通常の表示態様(視認性を低下させていない表示態様)で表示させる(ステップS6)。
[変形例]
On the other hand, when the display control unit 20 (display position adjustment unit 21) determines that the visibility adjustment unit 23 determines that the specific real object 300 is present in the display area 101 outside the peripheral range GZa, the virtual object V instructs It is determined that the viewer can not recognize 300, and the virtual image V is displayed in a normal display mode (a display mode in which the visibility is not reduced) (step S6).
[Modification]

なお、本発明は、以上の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、実施形態及び図面に変更(構成要素の削除も含む)を加えることが可能である。以下に、変形例の一例を記す。   The present invention is not limited by the above embodiments and drawings. It is possible to add changes (including deletion of components) to the embodiment and the drawings as appropriate without departing from the scope of the present invention. Below, an example of a modification is described.

表示制御部20は、視認者の視線移動により、オブジェクト情報取得部30が取得する視認者に報知すべき特定の実オブジェクト300が、注視範囲GZ又は周辺範囲GZa内に入ってから第1の時間(例えば、3秒)後に、この実オブジェクト300に対して表示していた虚像Vの視認性を徐々に低下させてもよい。これによれば、注視範囲又は周辺範囲内が、視認者に報知すべき実オブジェクトが向いてから直ちに、実オブジェクトに対応して表示された虚像の視認性を低下させるのではなく、第1の時間後に、視認性を低下させ始める。したがって、実オブジェクトは、視認され始めてから第1の時間が経過するまでは虚像により強調されるため、視認者の視覚的注意が向きやすくなる。そして、視認者が実オブジェクトを認識が完了したであろう時間(第1の時間)が経過すると、自動的に虚像の視認性を低下させ、目立ちにくくすることができる。   The display control unit 20 is the first time since the specific real object 300 to be notified to the viewer acquired by the object information acquisition unit 30 enters the gaze range GZ or the peripheral range GZa by the gaze movement of the viewer. After (for example, 3 seconds), the visibility of the virtual image V displayed on the real object 300 may be gradually reduced. According to this, immediately after the real object to be notified to the viewer is directed, the gaze range or the peripheral range does not lower the visibility of the virtual image displayed corresponding to the real object, but the first After time, begin to reduce visibility. Therefore, since the real object is emphasized by the virtual image until the first time passes from the beginning of visual recognition, the visual attention of the viewer tends to be directed. Then, when the time (first time) when the viewer will recognize the real object has passed, the visibility of the virtual image can be automatically reduced to make it less noticeable.

また、前記表示制御部20は、実オブジェクト300の移動により、オブジェクト情報取得部30が取得する視認者に報知すべき前景に存在する実オブジェクト300が、注視範囲GZ又は周辺範囲GZa内に入ってから第2の時間(例えば、5秒)後に、この実オブジェクト300に対して表示していた虚像Vの視認性を徐々に低下させてもよい。これによれば、視認者に報知すべき実オブジェクトが、注視範囲又は周辺範囲内に入ってから直ちに、実オブジェクトに対応して表示された虚像の視認性を低下させるのではなく、第2の時間後に、視認性を低下させ始める。したがって、実オブジェクトは、視認され始めてから第2の時間が経過するまでは虚像により強調されるため、視認者の視覚的注意が向きやすくなる。そして、視認者が実オブジェクトを認識が完了したであろう時間(第2の時間)が経過すると、自動的に虚像の視認性を低下させ、目立ちにくくすることができる。なお、実オブジェクトが注視範囲又は周辺範囲内に入ってきた場合に実オブジェクトの認識にかかる時間は、注視範囲又は周辺範囲を実オブジェクトに向けた場合に実オブジェクトの認識にかかる時間よりも長くなる傾向があり、第2の時間を前記第1の時間より長く設定することが望ましい。   Further, the display control unit 20 moves the real object 300 so that the real object 300 present in the foreground to be notified to the viewer acquired by the object information acquisition unit 30 enters the gaze range GZ or the peripheral range GZa. After the second time period (e.g., 5 seconds), the visibility of the virtual image V displayed on the real object 300 may be gradually reduced. According to this, it is not necessary to immediately reduce the visibility of the virtual image displayed corresponding to the real object immediately after the real object to be notified to the viewer enters the fixation range or the peripheral range, and the second After time, begin to reduce visibility. Therefore, since the real object is emphasized by the virtual image until the second time passes from the beginning of visual recognition, the visual attention of the viewer tends to be directed. Then, when the time (second time) when the viewer will recognize the real object has passed, the visibility of the virtual image can be automatically reduced to make it less noticeable. Note that the time taken to recognize the real object when the real object enters the gaze range or the peripheral range is longer than the time taken to recognize the real object when the gaze range or the peripheral range is directed to the real object It is desirable that the second time be set longer than the first time.

10 :画像表示部
20 :表示制御部
21 :表示位置調整部
22 :記憶部
23 :視認性調整部
30 :オブジェクト情報取得部
31 :前方検出部
40 :注視情報取得部
41 :視線検出部
50 :位置情報取得部
51 :位置検出部
60 :方角情報取得部
61 :方角検出部
70 :通信部(オブジェクト情報取得部、車速取得部)
100 :HUD装置(ヘッドアップディスプレイ装置)
101 :表示可能範囲
200 :前景
300 :実オブジェクト
500 :クラウドサーバー
600 :車両ECU
GZ :注視範囲
GZa :周辺範囲
V :虚像
WS :ウインドシールドガラス
10: image display unit 20: display control unit 21: display position adjustment unit 22: storage unit 23: visibility adjustment unit 30: object information acquisition unit 31: forward detection unit 40: gaze information acquisition unit 41: sight line detection unit 50: Position information acquisition unit 51: Position detection unit 60: Direction information acquisition unit 61: Direction detection unit 70: Communication unit (object information acquisition unit, vehicle speed acquisition unit)
100: HUD device (head-up display device)
101: displayable range 200: foreground 300: real object 500: cloud server 600: vehicle ECU
GZ: gaze range GZa: peripheral range V: virtual image WS: windshield glass

Claims (5)

車両の前景に虚像(V)を重畳して表示可能な画像表示部(10)と、
視認者に報知すべき前記前景に存在する実オブジェクト(300)の位置情報を取得するオブジェクト情報取得部(30)と、
視認者の注視範囲(GZ)を取得する注視情報取得部(40)と、
自車両の速度を取得する車速取得部(70)と、
前記オブジェクト情報取得部(30)から取得した前記位置情報に基づいて前記画像表示部(10)を制御することで、前記実オブジェクト(300)に重畳する位置又は近傍に前記虚像(V)を表示させ、前記実オブジェクト(300)又は前記虚像(V)上に、前記注視情報取得部(40)が取得した前記注視範囲(GZ)又は前記注視範囲(GZ)を囲む周辺範囲(GZa)があることを少なくとも含む第1の条件を満たした場合、前記虚像(V)の視認性を低下させる表示制御部(20)と、を備え、
前記表示制御部(20)は、前記車速取得部(70)が取得する前記速度又は/及び前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)の数により、前記周辺範囲の広さを変える、ことを特徴とするヘッドアップディスプレイ装置。
An image display unit (10) capable of displaying a virtual image (V) superimposed on the foreground of a vehicle;
An object information acquisition unit (30) for acquiring position information of a real object (300) present in the foreground to be notified to a viewer;
A gaze information acquisition unit (40) for acquiring a gaze range (GZ) of a viewer;
A vehicle speed acquisition unit (70) for acquiring the speed of the host vehicle;
By controlling the image display unit (10) based on the position information acquired from the object information acquisition unit (30), the virtual image (V) is displayed at or near the position superimposed on the real object (300) And the peripheral range (GZa) surrounding the gaze range (GZ) acquired by the gaze information acquisition unit (40) or the gaze range (GZ) on the real object (300) or the virtual image (V). A display control unit (20) that reduces the visibility of the virtual image (V) when the first condition including at least the first condition is satisfied;
The display control unit (20) is the real object present in the foreground to be notified to the viewer that the speed acquired by the vehicle speed acquisition unit (70) or / and the object information acquisition unit (30) acquired. A head-up display device, wherein the width of the peripheral area is changed according to the number of (300).
前記表示制御部(20)は、前記車速取得部(70)が取得する前記速度が速い場合、前記周辺範囲を小さくする、
ことを特徴とする請求項1に記載のヘッドアップディスプレイ装置。
The display control unit (20) reduces the peripheral range when the speed acquired by the vehicle speed acquisition unit (70) is high.
The head-up display device according to claim 1,
前記表示制御部(20)は、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)の数が多い場合、前記周辺範囲を小さくする、
ことを特徴とする請求項1又は2に記載のヘッドアップディスプレイ装置。
The display control unit (20) reduces the peripheral range when the number of real objects (300) present in the foreground to be notified to the viewer to be acquired by the object information acquisition unit (30) is large. ,
The head up display device according to claim 1 or 2, characterized in that:
前記表示制御部(20)は、視認者の視線移動により、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)が、前記注視範囲(GZ)又は前記周辺範囲(GZa)内に入ってから第1の時間後に、この実オブジェクト(300)に対して表示していた前記虚像(V)の視認性を徐々に低下させる、
ことを特徴とする請求項1乃至3のいずれかに記載のヘッドアップディスプレイ装置。
The display control unit (20) is configured such that the real object (300) present in the foreground to be notified to the viewer acquired by the object information acquisition unit (30) by the gaze movement of the viewer is the gaze range (GZ) or after a first time after entering the peripheral area (GZa), the visibility of the virtual image (V) displayed for the real object (300) is gradually reduced
The head-up display device according to any one of claims 1 to 3, characterized in that:
前記表示制御部(20)は、前記実オブジェクト(300)の移動により、前記オブジェクト情報取得部(30)が取得する前記視認者に報知すべき前記前景に存在する前記実オブジェクト(300)が、前記注視範囲(GZ)又は前記周辺範囲(GZa)内に入ってから第2の時間後に、この実オブジェクト(300)に対して表示していた前記虚像(V)の視認性を徐々に低下させる、
ことを特徴とする請求項1乃至4のいずれかに記載のヘッドアップディスプレイ装置。
The display control unit (20) causes the real object (300) present in the foreground to be notified to the viewer, which is acquired by the object information acquisition unit (30) by the movement of the real object (300), The visibility of the virtual image (V) displayed for the real object (300) is gradually reduced after a second time after entering the gaze range (GZ) or the peripheral range (GZa) ,
The head-up display device according to any one of claims 1 to 4, characterized in that:
JP2017210349A 2017-10-31 2017-10-31 Head-up display device Pending JP2019081480A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017210349A JP2019081480A (en) 2017-10-31 2017-10-31 Head-up display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017210349A JP2019081480A (en) 2017-10-31 2017-10-31 Head-up display device

Publications (1)

Publication Number Publication Date
JP2019081480A true JP2019081480A (en) 2019-05-30

Family

ID=66670693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017210349A Pending JP2019081480A (en) 2017-10-31 2017-10-31 Head-up display device

Country Status (1)

Country Link
JP (1) JP2019081480A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146145A1 (en) * 2022-01-26 2023-08-03 삼성전자 주식회사 Electronic device and control method therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023146145A1 (en) * 2022-01-26 2023-08-03 삼성전자 주식회사 Electronic device and control method therefor

Similar Documents

Publication Publication Date Title
US9756319B2 (en) Virtual see-through instrument cluster with live video
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
US9563981B2 (en) Information processing apparatus, information processing method, and program
US9001153B2 (en) System and apparatus for augmented reality display and controls
US9823735B2 (en) Method for selecting an information source from a plurality of information sources for display on a display of smart glasses
KR101921969B1 (en) augmented reality head-up display apparatus and method for vehicles
US9463743B2 (en) Vehicle information display device and vehicle information display method
US20160039285A1 (en) Scene awareness system for a vehicle
US10539790B2 (en) Coordinate matching apparatus for head-up display
WO2015163205A1 (en) Vehicle display system
JP2018058544A (en) On-vehicle display control device
TW201009802A (en) Method and system for operating a display device
KR20180083623A (en) Electronic apparatus and control method thereof
US11836864B2 (en) Method for operating a display device in a motor vehicle
JP2006242859A (en) Information display device for vehicle
JP2019521403A (en) Method and apparatus for augmented reality display on a vehicle windscreen
WO2019033469A1 (en) Augmented reality display method and device based on transparent display
JP2009183473A (en) Visual line direction detection device, and visual line direction detection method
CN108885497B (en) Information processing apparatus, information processing method, and computer readable medium
US20200150432A1 (en) Augmented real image display device for vehicle
JP2019081480A (en) Head-up display device
US20170146800A1 (en) System and method for facilitating cross-checking between flight crew members using wearable displays
JP6972789B2 (en) Head-up display device
JP2020019369A (en) Display device for vehicle, method and computer program
KR20180060403A (en) Control apparatus for drone based on image