JP2020189627A - Display apparatus, display control method, and program - Google Patents

Display apparatus, display control method, and program Download PDF

Info

Publication number
JP2020189627A
JP2020189627A JP2020128570A JP2020128570A JP2020189627A JP 2020189627 A JP2020189627 A JP 2020189627A JP 2020128570 A JP2020128570 A JP 2020128570A JP 2020128570 A JP2020128570 A JP 2020128570A JP 2020189627 A JP2020189627 A JP 2020189627A
Authority
JP
Japan
Prior art keywords
vehicle
image
distance
display
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020128570A
Other languages
Japanese (ja)
Other versions
JP6936907B2 (en
Inventor
匡史 東山
Tadashi Higashiyama
匡史 東山
卓也 木村
Takuya Kimura
卓也 木村
慎司 川上
Shinji Kawakami
慎司 川上
達也 岩佐
Tatsuya Iwasa
達也 岩佐
悠司 桑島
Yuji Kuwajima
悠司 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018181658A external-priority patent/JP6744374B2/en
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2020128570A priority Critical patent/JP6936907B2/en
Publication of JP2020189627A publication Critical patent/JP2020189627A/en
Application granted granted Critical
Publication of JP6936907B2 publication Critical patent/JP6936907B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a display apparatus, a display control method, and a program which are able to improve visibility.SOLUTION: A display apparatus includes: a light projection device for projecting light including an image; an optical mechanism which is provided on a path of the light and can adjust a distance from a prescribed position to a position where the light is formed as a virtual image; a control device for controlling the light projection device; and a vanishing point estimation device for detecting a vanishing point of a travel lane of a vehicle. When a distance between a gazing point of an occupant of the vehicle and the vanishing point estimated by the vanishing point estimation device is less than a prescribed distance, the control device corrects a position of the formed image on the basis of an external environment of the vehicle. When the distance between the gazing point and the vanishing point is equal to or greater than the prescribed distance, the control device restrains the correction of the position of the image.SELECTED DRAWING: Figure 4

Description

本発明は、表示装置、表示制御方法、およびプログラムに関する。 The present invention relates to display devices, display control methods, and programs.

従来、フロントウインドシールドに運転者向けの情報に関する画像を表示するヘッドアップディスプレイ装置(以下、HUD(Head Up Display)装置と称する)が知られている(例えば、特許文献1参照)。このHUD装置を用いて、フロントウインドシールドの所定の位置に、障害物や注意喚起、進行方向を示す各種マークを車両前方の風景と重ねて表示させることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。 Conventionally, a head-up display device (hereinafter, referred to as a HUD (Head Up Display) device) that displays an image related to information for a driver on a front windshield is known (see, for example, Patent Document 1). By using this HUD device, various marks indicating obstacles, alerts, and the direction of travel are displayed at a predetermined position on the front windshield so as to overlap with the scenery in front of the vehicle, so that the driver can see the line of sight during driving. It is possible to grasp various displayed information while keeping the direction forward.

特開2017−91115号公報JP-A-2017-91115

しかしながら、従来のHUD装置では、車両の外部環境に基づいて画像の表示位置が補正されるが、走行状況によっては位置の補正によって画像の視認性が低下する場合があった。 However, in the conventional HUD device, the display position of the image is corrected based on the external environment of the vehicle, but the visibility of the image may be lowered by the correction of the position depending on the traveling situation.

本発明は、このような事情を考慮してなされたものであり、視認性を向上させることができる表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and one of the objects of the present invention is to provide a display device, a display control method, and a program capable of improving visibility.

この発明に係る表示装置、表示方法、およびプロブラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示装置は、画像を含む光を投射する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記投光装置を制御する制御装置と、車両の走行車線の消失点を検出する消失点推定装置と、を備え、前記制御装置は、前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正し、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制する、表示装置である。
The display device, display method, and program according to the present invention have adopted the following configurations.
(1): The display device according to one aspect of the present invention includes a light projecting device that projects light including an image and a position provided on the path of the light from a predetermined position to a position where the light is formed as a virtual image. The control device includes an optical mechanism capable of adjusting the distance of the vehicle, a control device for controlling the floodlight device, and a disappearance point estimation device for detecting a disappearance point in the traveling lane of the vehicle. When the distance between the gazing point and the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance, the position of the image formed based on the external environment of the vehicle is corrected to obtain the gazing point. This is a display device that suppresses correction of the position of the image when the distance from the vanishing point is equal to or greater than a predetermined distance.

(2):上記(1)の態様において、前記制御装置は、前記車両が旋回状態である場合に前記画像の位置の補正を抑制するものである。 (2): In the aspect of (1) above, the control device suppresses correction of the position of the image when the vehicle is in a turning state.

(3):上記(1)または(2)の態様において、前記制御装置は、前記車両の速度が所定速度以下である場合に前記画像の位置の補正を抑制するものである。 (3): In the aspect of (1) or (2) above, the control device suppresses correction of the position of the image when the speed of the vehicle is equal to or lower than a predetermined speed.

(4):上記(1)〜(3)のうち何れか一つの態様において、前記制御装置は、前記車両が走行する道路が渋滞している場合に前記画像の位置の補正を抑制するものである。 (4): In any one of the above (1) to (3), the control device suppresses correction of the position of the image when the road on which the vehicle travels is congested. is there.

(5):上記(1)〜(4)のうち何れか一つの態様において、前記制御装置は、前記車両の外部環境に基づいて、前記画像の位置の補正の度合を変更するものである。 (5): In any one of the above (1) to (4), the control device changes the degree of correction of the position of the image based on the external environment of the vehicle.

(6):上記(1)〜(5)のうち何れか一つの態様において、前記制御装置は、前記画像の端部が、前記画像の表示可能領域の上端部または下端部に接する場合に、前記画像の位置の補正を抑制するものである。 (6): In any one of the above (1) to (5), the control device receives the case where the end portion of the image is in contact with the upper end portion or the lower end portion of the displayable area of the image. It suppresses the correction of the position of the image.

(7):この発明の一態様に係る表示制御方法は、画像を含む光を投射する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記投光装置を制御する制御装置と、車両の走行車線の消失点を検出する消失点推定装置と、を備える表示装置が、前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正し、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制する、表示制御方法である。 (7): The display control method according to one aspect of the present invention includes a light projecting device that projects light including an image and a position provided on the path of the light and the light is formed as a virtual image from a predetermined position. A display device including an optical mechanism capable of adjusting the distance to the vehicle, a control device for controlling the floodlight device, and a vanishing point estimation device for detecting a vanishing point in the traveling lane of the vehicle is a note of the occupant of the vehicle. When the distance between the viewpoint and the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance, the position of the image formed based on the external environment of the vehicle is corrected, and the gazing point and the gazing point are corrected. This is a display control method that suppresses correction of the position of the image when the distance from the vanishing point is equal to or greater than a predetermined distance.

(8):この発明の一態様に係るプログラムは、画像を含む光を投射する投光装置が、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記投光装置を制御する制御装置と、車両の走行車線の消失点を検出する消失点推定装置と、を備える表示装置に、前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正させ、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制させる、プログラムである。 (8): In the program according to one aspect of the present invention, a light projecting device for projecting light including an image is provided on the path of the light, and from a predetermined position to a position where the light is formed as a virtual image. A display device including an optical mechanism capable of adjusting the distance, a control device for controlling the floodlight device, and a vanishing point estimation device for detecting a vanishing point in the traveling lane of the vehicle is provided with a gazing point of the occupant of the vehicle. When the distance from the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance, the position of the image formed based on the external environment of the vehicle is corrected, and the gazing point and the vanishing point are corrected. This is a program that suppresses correction of the position of the image when the distance to and from is greater than or equal to a predetermined distance.

(1)〜(8)の態様によれば、視認性を向上させることができる。 According to the aspects (1) to (8), the visibility can be improved.

実施形態に係る表示装置100が搭載された車両Mの車室内の構成を例示した図である。It is a figure exemplifying the configuration of the interior of the vehicle M on which the display device 100 according to the embodiment is mounted. 実施形態の操作スイッチ130について説明するための図である。It is a figure for demonstrating the operation switch 130 of embodiment. 表示装置100の部分構成図である。It is a partial block diagram of the display device 100. 表示制御装置150を中心とした表示装置100の構成例を示す図である。It is a figure which shows the configuration example of the display device 100 centering on a display control device 150. 風景に重畳される虚像VIの一例を示す図である。It is a figure which shows an example of the virtual image VI superimposed on the landscape. 位置補正制御部152aの処理について説明するための図である。It is a figure for demonstrating the process of the position correction control unit 152a. 車両Mの外部環境による俯角θの変動について説明するための図である。It is a figure for demonstrating the fluctuation of the depression angle θ by the external environment of the vehicle M. 上下方向の変動幅Wの算出例を示す図である。It is a figure which shows the calculation example of the fluctuation width W in the vertical direction. 車両の旋回時の様子を説明するための図である。It is a figure for demonstrating the state when a vehicle turns. 図9の車両Mの旋回状態における消失点VPと注視点NPとの距離について説明するための図である。9 is a diagram for explaining the distance between the vanishing point VP and the gazing point NP in the turning state of the vehicle M in FIG. 虚像VIの表示位置における補正抑制制御について説明するための図である。It is a figure for demonstrating the correction suppression control at the display position of a virtual image VI. ピッチ角と補正ゲインとの関係を説明するための図である。It is a figure for demonstrating the relationship between a pitch angle and a correction gain. 実施形態の表示装置100により実行される処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process executed by the display device 100 of embodiment.

以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。実施形態の表示装置は、例えば、車両(以下、車両Mと称する)に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、HUD装置と称することができる。一例として、表示装置は、車両Mのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。また、人が身体に装着するデバイスが有する透明な部材(バイザー、眼鏡のレンズ等)に投光し、または光透過性の表示装置が取り付けられたものであってもよい。以下の説明では、表示装置は、車両Mに搭載され、フロントウインドシールドに画像を含む光を投光する装置であるものとする。 Hereinafter, embodiments of the display device, display control method, and program of the present invention will be described with reference to the drawings. The display device of the embodiment is, for example, a device mounted on a vehicle (hereinafter referred to as a vehicle M) and superposed on a landscape to visually recognize an image. The display device can be referred to as a HUD device. As an example, the display device is a device that allows the viewer to visually recognize a virtual image by projecting light including an image onto the front windshield of the vehicle M. The spectator is, for example, a driver, but may be an occupant other than the driver. Further, a transparent member (visor, lens of spectacles, etc.) of a device worn by a person may be illuminated or a light-transmitting display device may be attached. In the following description, it is assumed that the display device is a device mounted on the vehicle M and projecting light including an image onto the front windshield.

以下の説明において、適宜、XYZ座標系を用いて位置関係等を説明する。
また、以下の説明では、「虚像」を「画像」と称する場合がある。
In the following description, the positional relationship and the like will be described as appropriate using the XYZ coordinate system.
Further, in the following description, the "virtual image" may be referred to as an "image".

[全体構成]
図1は、実施形態に係る表示装置100が搭載された車両Mの車室内の構成を例示した図である。車両Mには、例えば、車両Mの操舵を制御するステアリングホイール10と、車外と車室内とを区分するフロントウインドシールド(反射体の一例)20と、インストルメントパネル30とが設けられる。フロントウインドシールド20は、光透過性を有する部材である。表示装置100は、例えば、運転席40の前方のフロントウインドシールド20の一部に設けられる表示可能領域A1に画像を含む光を投射する(投光する)ことで、運転席に着座した運転者に虚像VIを視認させる。
[overall structure]
FIG. 1 is a diagram illustrating the configuration of the interior of the vehicle M on which the display device 100 according to the embodiment is mounted. The vehicle M is provided with, for example, a steering wheel 10 that controls the steering of the vehicle M, a front windshield (an example of a reflector) 20 that separates the outside of the vehicle from the inside of the vehicle, and an instrument panel 30. The front windshield 20 is a member having light transmission. The display device 100 projects (projects) light including an image onto a displayable area A1 provided in a part of the front windshield 20 in front of the driver's seat 40, so that the driver is seated in the driver's seat. Make the virtual image VI visible.

表示装置100は、例えば、運転者の運転を支援するための情報を画像化した像を、虚像VIとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Mの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能には、例えば、予め設定された目的地まで車両Mを誘導するための方向指示機能、ACC(Adaptive Cruise Control)、LKAS(Lane Keep Assist System)、CMBS(Collision Mitigation Brake System)、およびトラフィックジャムアシスト機能等が含まれる。また、運転支援機能には、例えば、車両Mに搭載された電話の着信や発信、通話を制御する電話機能が含まれてもよい。 The display device 100 makes the driver visually recognize, for example, an image of information for supporting the driver's driving as a virtual image VI. The information for assisting the driver's driving includes, for example, information such as the speed of the vehicle M, the driving force distribution ratio, the engine speed, the operating state of the driving support function, the shift position, the sign recognition result, and the intersection position. Is done. The driving support functions include, for example, a direction instruction function for guiding the vehicle M to a preset destination, ACC (Adaptive Cruise Control), LKAS (Lane Keep Assist System), CMBS (Collision Mitigation Brake System), and Includes traffic jam assist function, etc. Further, the driving support function may include, for example, a telephone function for controlling incoming / outgoing telephone calls and telephone calls mounted on the vehicle M.

また、車両Mには、表示装置100の他に、第1表示部50−1や第2表示部50−2が設けられてよい。第1表示部50−1は、例えば、インストルメントパネル30における運転席40の正面付近に設けられ、運転者がステアリングホイール10の間隙から、或いはステアリングホイール10越しに視認可能な表示装置である。第1表示部50−1は、例えば、運転者の運転を支援するための情報等を表示する。第2表示部50−2は、例えば、インストルメントパネル30の中央部に取り付けられる。第2表示部50−2は、例えば、車両Mに搭載されるナビゲーション装置(不図示)により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第2表示部50−2は、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。また、第1表示部50−1および第2表示部50−2は、タッチパネル装置として、乗員からの操作を受け付けてもよい。受け付けた操作内容は、表示装置100やその他の車載装置に出力される。 Further, in addition to the display device 100, the vehicle M may be provided with a first display unit 50-1 and a second display unit 50-2. The first display unit 50-1 is, for example, a display device provided near the front of the driver's seat 40 on the instrument panel 30 and visible to the driver through the gap of the steering wheel 10 or through the steering wheel 10. The first display unit 50-1 displays, for example, information for assisting the driver's driving. The second display unit 50-2 is attached to, for example, the central portion of the instrument panel 30. The second display unit 50-2 displays, for example, an image corresponding to the navigation process executed by the navigation device (not shown) mounted on the vehicle M, an image of the other party in a videophone, or the like. In addition, the second display unit 50-2 may display a TV program, play a DVD, or display contents such as a downloaded movie. Further, the first display unit 50-1 and the second display unit 50-2 may accept operations from the occupant as a touch panel device. The received operation content is output to the display device 100 and other in-vehicle devices.

また、車両Mには、表示装置100による表示のオン/オフの切り替え指示や、虚像VIの位置を調節する指示を受け付ける操作スイッチ(操作部の一例)130が設けられる。操作スイッチ130は、例えば、運転席40に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ130は、例えば、第1表示部50−1の前方に設けられていてもよく、ステアリングホイール10のボス部に設けられていてもよく、ステアリングホイール10とインストルメントパネル30とを連結するスポークに設けられていてもよい。 Further, the vehicle M is provided with an operation switch (an example of an operation unit) 130 that receives an instruction to switch the display on / off by the display device 100 and an instruction to adjust the position of the virtual image VI. The operation switch 130 is attached, for example, to a position where the driver seated in the driver's seat 40 can operate the switch 130 without significantly changing his / her posture. The operation switch 130 may be provided, for example, in front of the first display unit 50-1, or may be provided on the boss portion of the steering wheel 10, and connects the steering wheel 10 and the instrument panel 30. It may be provided on the spokes.

図2は、実施形態の操作スイッチ130について説明するための図である。操作スイッチ130は、例えば、メインスイッチ132と、調節スイッチ134および136とを含む。メインスイッチ132は、表示装置100のオン/オフを切り替えるスイッチである。 FIG. 2 is a diagram for explaining the operation switch 130 of the embodiment. The operation switch 130 includes, for example, a main switch 132 and adjustment switches 134 and 136. The main switch 132 is a switch for switching on / off of the display device 100.

調節スイッチ134は、例えば、運転者の視線位置P1から表示可能範囲A1を透過した空間にあるように視認される虚像VIの位置を、鉛直方向Zに関して上側(以下、上方向と称する)に移動させる指示(調節操作)を受け付けるためのスイッチである。運転者は、調節スイッチ134を押し続けることで、表示可能範囲A1内で虚像VIの視認位置を上方向に継続して移動させることができる。 The adjustment switch 134 moves, for example, the position of the virtual image VI, which is visually recognized as being in a space transmitted through the displayable range A1 from the driver's line-of-sight position P1, upward (hereinafter, referred to as upward) with respect to the vertical direction Z. It is a switch for receiving an instruction (adjustment operation) to be made. By holding down the adjustment switch 134, the driver can continuously move the visual position of the virtual image VI upward within the displayable range A1.

調節スイッチ136は、前述した虚像VIの位置を鉛直方向Zに関して下側(以下、下方向と称する)に移動させる指示(調節操作)を受け付けるためのスイッチである。運転者は、調節スイッチ136を押し続けることで、表示可能範囲A1内で虚像VIの視認位置を下方向に継続して移動させることができる。 The adjustment switch 136 is a switch for receiving an instruction (adjustment operation) for moving the position of the above-mentioned virtual image VI downward (hereinafter, referred to as a downward direction) with respect to the vertical direction Z. By holding down the adjustment switch 136, the driver can continuously move the visual position of the virtual image VI downward within the displayable range A1.

また、調節スイッチ134は、虚像VIの位置を上方向に移動させるのに代えて(または加えて)、視認される虚像VIの輝度を上げるためのスイッチであってもよい。また、調節スイッチ136は、虚像VIの位置を下方向に移動するのに代えて(または加えて)、視認される虚像VIの輝度を下げるためのスイッチであってもよい。調節スイッチ134、136が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ132の長押し操作である。また、操作スイッチ130は、図2に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。 Further, the adjustment switch 134 may be a switch for increasing the brightness of the visible virtual image VI instead of (or in addition) moving the position of the virtual image VI upward. Further, the adjustment switch 136 may be a switch for lowering the brightness of the visually recognized virtual image VI instead of (or in addition) moving the position of the virtual image VI downward. The content of the instruction received by the adjustment switches 134 and 136 may be switched based on some operation. The operation is, for example, a long press operation of the main switch 132. Further, in addition to the switches shown in FIG. 2, the operation switch 130 may include, for example, a switch for selecting display contents and a switch for adjusting the brightness of the virtual image to be exclusively displayed.

図3は、表示装置100の部分構成図である。表示装置100は、例えば、表示器110と、表示制御装置150とを備える。表示制御装置150と、後述する光学系コントローラ170と、後述するディスプレイコントローラ172とを合わせたものが、「制御装置」の一例である。表示器110は、例えば、筐体115内に、投光装置120と、光学機構122と、平面鏡124と、凹面鏡126と、透光カバー128とを収納する。これらの他、表示装置100は、各種センサやアクチュエータ等を備えるが、これらについては後述する。また、表示器110には、光学機構122がない構成であってもよい。 FIG. 3 is a partial configuration diagram of the display device 100. The display device 100 includes, for example, a display 110 and a display control device 150. An example of the "control device" is a combination of the display control device 150, the optical system controller 170 described later, and the display controller 172 described later. The display 110 houses, for example, the light projecting device 120, the optical mechanism 122, the plane mirror 124, the concave mirror 126, and the translucent cover 128 in the housing 115. In addition to these, the display device 100 includes various sensors, actuators, and the like, which will be described later. Further, the display 110 may not have the optical mechanism 122.

投光装置120は、二次元の投射面を有し、画像を含む光を投射する。投光装置120は、例えば、光源120Aと、表示素子120Bとを備える。光源120Aは、例えば、冷陰極管であり、運転者に視認させる虚像VIに対応する可視光を出力する。表示素子120Bは、光源120Aからの可視光の透過を制御する。以下では、表示素子120Bを透過し画像が含まれた可視光を画像光ILという。表示素子120Bは、例えば、二次元の投射面を含む薄膜トランジスタ(TFT)型の液晶表示装置(LCD)である。なお、表示素子120Bは、有機EL(Electro-Luminescence)ディスプレイであってもよく、この場合、光源120Aは省略されてよい。 The floodlight device 120 has a two-dimensional projection surface and projects light including an image. The floodlight device 120 includes, for example, a light source 120A and a display element 120B. The light source 120A is, for example, a cold cathode tube, and outputs visible light corresponding to the virtual image VI to be visually recognized by the driver. The display element 120B controls the transmission of visible light from the light source 120A. Hereinafter, visible light transmitted through the display element 120B and including an image is referred to as image light IL. The display element 120B is, for example, a thin film transistor (TFT) type liquid crystal display (LCD) including a two-dimensional projection surface. The display element 120B may be an organic EL (Electro-Luminescence) display, and in this case, the light source 120A may be omitted.

光学機構122は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構122は、例えば、投光装置120が出力する画像光ILの経路上に設けられ、投光装置120から入射した画像光ILを通過させて、フロントウインドシールド20に向けて出射する。光学機構122は、例えば、レンズの位置を変更することで、運転者の視線位置P1(所定の位置の一例)から、画像光ILが虚像として形成される形成位置P2までの距離(以下、虚像視認距離Dと称する)を調節することができる。運転者の視線位置P1は、凹面鏡126およびフロントウインドシールド20によって反射され画像光ILが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Dは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Dが7[m]」等と表現する場合、その距離は水平方向の距離を意味してもよい。 The optical mechanism 122 includes, for example, one or more lenses. The position of each lens can be adjusted, for example, in the direction of the optical axis. The optical mechanism 122 is provided, for example, on the path of the image light IL output by the light projecting device 120, passes through the image light IL incident from the light projecting device 120, and emits light toward the front windshield 20. The optical mechanism 122, for example, changes the position of the lens to change the distance from the driver's line-of-sight position P1 (an example of a predetermined position) to the formation position P2 in which the image light IL is formed as a virtual image (hereinafter, virtual image). The viewing distance (referred to as D) can be adjusted. The driver's line-of-sight position P1 is a position where the image light IL is reflected by the concave mirror 126 and the front windshield 20 and is condensed, and is a position where the driver's eyes are assumed to be present at this position. Strictly speaking, the imaginary image viewing distance D is the distance of a line segment having an inclination in the vertical direction. However, when the imaginary image viewing distance D is expressed as "7 [m]" or the like in the following description, the distance is in the horizontal direction. It may mean a distance.

また、以下の説明において、俯角θを、運転者の視線位置P1を通る水平面と、運転者の視線位置P1から形成位置P2までの線分とがなす角度と定義する。虚像VIが下方に形成されているほど、すなわち、運転者が虚像VIを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡126の反射角度φと、表示素子120Bにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡124により反射された画像光ILが凹面鏡126に入射する入射方向と、凹面鏡126が画像光ILを出射する出射方向とのなす角である。 Further, in the following description, the depression angle θ is defined as the angle formed by the horizontal plane passing through the driver's line-of-sight position P1 and the line segment from the driver's line-of-sight position P1 to the formation position P2. The lower the virtual image VI is formed, that is, the downward the line-of-sight direction in which the driver sees the virtual image VI, the larger the depression angle θ. The depression angle θ is determined based on the reflection angle φ of the concave mirror 126 and the display position of the original image on the display element 120B. The reflection angle φ is an angle formed by the incident direction in which the image light IL reflected by the plane mirror 124 is incident on the concave mirror 126 and the exit direction in which the concave mirror 126 emits the image light IL.

平面鏡124は、光源120Aにより出射され表示素子120Bを通過した可視光(すなわち、画像光IL)を凹面鏡126の方向に反射させる。 The plane mirror 124 reflects visible light (that is, image light IL) emitted by the light source 120A and passed through the display element 120B in the direction of the concave mirror 126.

凹面鏡126は、平面鏡124から入射した画像光ILを反射し、フロントウインドシールド20に向かって出射する。凹面鏡126は、車両Mの幅方向の軸であるY軸回りに回転(回動)可能に支持される。 The concave mirror 126 reflects the image light IL incident from the plane mirror 124 and emits it toward the front windshield 20. The concave mirror 126 is rotatably supported around the Y axis, which is the width axis of the vehicle M.

透光カバー128は、凹面鏡126からの画像光ILを透過させてフロントウインドシールド20に到達させると共に、筐体115内に埃や塵、水滴等の異物が入り込むことを抑制する。透光カバー128は、筐体115の上側部材に形成された開口部に設けられる。また、インストルメントパネル30にも開口部あるいは光透過性部材が設けられ、画像光ILは、透光カバー128とインストルメントパネル30の開口部或いは光透過性部材を透過してフロントウインドシールド20に到達する。 The translucent cover 128 transmits the image light IL from the concave mirror 126 to reach the front windshield 20, and also suppresses foreign matter such as dust, dirt, and water droplets from entering the housing 115. The translucent cover 128 is provided in the opening formed in the upper member of the housing 115. Further, the instrument panel 30 is also provided with an opening or a light transmitting member, and the image light IL transmits the light transmitting cover 128 and the opening or the light transmitting member of the instrument panel 30 to the front windshield 20. To reach.

フロントウインドシールド20に入射した画像光ILは、フロントウインドシールド20によって反射され、運転者の視線位置P1に集光する。このとき、運転者の視線位置P1に運転者の眼が位置していた場合、運転者は、画像光ILによって写し出される画像が車両Mの前方に表示されているように感じる。 The image light IL incident on the front windshield 20 is reflected by the front windshield 20 and focused on the driver's line-of-sight position P1. At this time, when the driver's eyes are located at the driver's line-of-sight position P1, the driver feels that the image projected by the image light IL is displayed in front of the vehicle M.

表示制御装置150は、運転者に視認させる虚像VIの表示を制御する。図4は、表示制御装置150を中心とした表示装置100の構成例を示す図である。図4の例では、表示制御装置150に加えて、表示装置100に含まれる位置センサ162と、凹面鏡角度センサ164と、環境センサ166と、消失点推定装置168と、注視点推定装置169と、操作スイッチ130と、光学系コントローラ170と、ディスプレイコントローラ172と、レンズアクチュエータ(光学機構アクチュエータの一例)180と、凹面鏡アクチュエータ182と、投光装置120と、運転支援制御装置200と、車両挙動取得装置300とを示している。 The display control device 150 controls the display of the virtual image VI to be visually recognized by the driver. FIG. 4 is a diagram showing a configuration example of the display device 100 centered on the display control device 150. In the example of FIG. 4, in addition to the display control device 150, the position sensor 162 included in the display device 100, the concave mirror angle sensor 164, the environment sensor 166, the vanishing point estimation device 168, the gazing point estimation device 169, and the like. An operation switch 130, an optical system controller 170, a display controller 172, a lens actuator (an example of an optical mechanism actuator) 180, a concave mirror actuator 182, a floodlight device 120, a driving support control device 200, and a vehicle behavior acquisition device. It shows 300.

位置センサ162は、光学機構122に含まれる一以上のレンズの位置を検出する。また、位置センサ162は、表示素子120Bの位置を検出してもよい。凹面鏡角度センサ164は、凹面鏡126のY軸回りの回転角度を検出する。 The position sensor 162 detects the position of one or more lenses included in the optical mechanism 122. Further, the position sensor 162 may detect the position of the display element 120B. The concave mirror angle sensor 164 detects the rotation angle of the concave mirror 126 around the Y axis.

環境センサ166は、例えば、物体認識センサ166aを備える。物体認識センサ166aは、例えば、車両Mに搭載されるカメラやレーダ装置、ファインダ(例えば、LIDAR(Light Detection and Ranging))等により、車両Mの周辺に存在する物体(例えば、他車両、歩行者等の障害物)を検出する。カメラは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラは、車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラは、フロントウインドシールド20上部やルームミラー裏面等に取り付けられる。カメラは、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラは、ステレオカメラであってもよい。レーダ装置は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置は、車両Mの任意の箇所に取り付けられる。レーダ装置は、FM−CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。ファインダは、車両Mの周辺に光を照射し、散乱光を測定する。ファインダは、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダは、車両Mの任意の箇所に取り付けられる。物体認識センサ166aは、カメラ、レーダ装置、およびファインダのうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識センサ166aは、認識結果や、カメラ、レーダ装置、およびファインダの検出結果を、表示制御装置150に出力する。 The environment sensor 166 includes, for example, an object recognition sensor 166a. The object recognition sensor 166a uses, for example, a camera mounted on the vehicle M, a radar device, a finder (for example, LIDAR (Light Detection and Ranging)), or an object existing in the vicinity of the vehicle M (for example, another vehicle, a pedestrian). Obstacles such as) are detected. The camera is, for example, a digital camera using a solid-state image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). The camera is attached to any part of the vehicle M. When photographing the front, the camera is attached to the upper part of the front windshield 20, the back surface of the rearview mirror, or the like. The camera periodically and repeatedly images the periphery of the vehicle M, for example. The camera may be a stereo camera. The radar device radiates radio waves such as millimeter waves around the vehicle M, and detects radio waves (reflected waves) reflected by the object to at least detect the position (distance and orientation) of the object. The radar device is attached to any part of the vehicle M. The radar device may detect the position and velocity of the object by the FM-CW (Frequency Modulated Continuous Wave) method. The finder irradiates the periphery of the vehicle M with light and measures the scattered light. The finder detects the distance to the target based on the time from light emission to light reception. The light to be irradiated is, for example, a pulsed laser beam. The finder is attached to any part of the vehicle M. The object recognition sensor 166a performs sensor fusion processing on the detection result of a part or all of the camera, the radar device, and the finder, and recognizes the position, type, speed, and the like of the object. The object recognition sensor 166a outputs the recognition result and the detection result of the camera, the radar device, and the finder to the display control device 150.

また、環境センサ166は、例えば、投光装置120や光学機構122の温度を検出する温度センサ、車両Mの周囲の照度を検出する照度センサを含んでもよい。また、環境センサ166は、車両のブレーキシステムやエンジンシステムに関する点検が必要になったこと、ヘッドライトがハイビームに設定されていること、ドアロックがされていないこと、ドアが完全に閉まっていないこと、フォグランプが点灯していること、車両Mに搭載された電話機能において着信が生じたこと、ナビゲーション装置に設定された目的地に向かうために右左折するタイミングに近づいたこと等を検出するセンサを含んでもよい。 Further, the environment sensor 166 may include, for example, a temperature sensor that detects the temperature of the floodlight device 120 and the optical mechanism 122, and an illuminance sensor that detects the illuminance around the vehicle M. In addition, the environmental sensor 166 requires inspection of the vehicle's braking system and engine system, the headlights are set to high beam, the door is not locked, and the door is not completely closed. , A sensor that detects that the fog lamp is lit, that an incoming call has occurred in the telephone function installed in the vehicle M, that it is approaching the timing to turn left or right to reach the destination set in the navigation device, etc. It may be included.

消失点推定装置168は、例えば、車両Mに搭載されたカメラにより撮像された、車両Mの前方の撮像画像を解析し、車両Mが走行する道路の消失点の画像上での位置(座標)を推定する。消失点とは、無限遠点である。 The vanishing point estimation device 168 analyzes, for example, an image captured in front of the vehicle M taken by a camera mounted on the vehicle M, and positions (coordinates) on the image of the vanishing point of the road on which the vehicle M travels. To estimate. The vanishing point is the point at infinity.

注視点推定装置169は、例えば、車両Mに搭載された、車室内の乗員(運転者を含む)の顔画像を撮像する車室内カメラにより撮像された車室内画像を解析し、運転者の顔画像から視線の向きを推定する。具体的には、注視点推定装置169は、テンプレートマッチング等の手法を用いて車室内から運転者の頭部と目の位置関係、目における基準点と動点の組み合わせ等を検出する。そして、注視点推定装置169は、頭部に対する目の位置に基づいて顔の向きを導出する。また、注視点推定装置169は、基準点に対する動点の位置に基づいて、視線の向きを導出する。例えば、基準点が目頭である場合、動点は虹彩である。また、基準点が角膜反射領域である場合、動点は瞳孔である。また、注視点推定装置169は、消失点推定装置168で用いたカメラの撮像画像において、導出された運転者の視線の向きに対応付けられる位置(座標)を注視点として推定する。なお、車両Mの走行車線が直線である場合、注視点は、消失点の近傍エリア内に存在する。消失点近傍エリアとは、消失点から所定距離以内のエリアである。 The gaze-viewing estimation device 169 analyzes, for example, an interior image captured by a vehicle interior camera that captures a facial image of an occupant (including a driver) in the vehicle interior mounted on the vehicle M, and analyzes the driver's face. Estimate the direction of the line of sight from the image. Specifically, the gazing point estimation device 169 detects the positional relationship between the driver's head and eyes, the combination of the reference point and the moving point in the eyes, and the like from the vehicle interior by using a technique such as template matching. Then, the gazing point estimation device 169 derives the orientation of the face based on the position of the eyes with respect to the head. Further, the gazing point estimation device 169 derives the direction of the line of sight based on the position of the moving point with respect to the reference point. For example, if the reference point is the inner corner of the eye, the moving point is the iris. When the reference point is the corneal reflex region, the moving point is the pupil. Further, the gaze point estimation device 169 estimates the position (coordinates) associated with the derived driver's line of sight direction as the gaze point in the image captured by the camera used in the vanishing point estimation device 168. When the traveling lane of the vehicle M is a straight line, the gazing point exists in the area near the vanishing point. The area near the vanishing point is an area within a predetermined distance from the vanishing point.

光学系コントローラ170は、駆動制御部153により出力された制御信号に基づいて、レンズアクチュエータ180を駆動させて、虚像視認距離Dを調節する。また、光学系コントローラ170は、駆動制御部153により出力された制御信号に基づいて凹面鏡アクチュエータ182を駆動させて、凹面鏡の回転角度を調節する。 The optical system controller 170 drives the lens actuator 180 based on the control signal output by the drive control unit 153 to adjust the virtual image viewing distance D. Further, the optical system controller 170 drives the concave mirror actuator 182 based on the control signal output by the drive control unit 153 to adjust the rotation angle of the concave mirror.

ディスプレイコントローラ172は、投光装置120を制御して、画像生成部151により生成され、表示態様制御部152により決定された表示態様に基づく画像を出力させる。画像には、例えば、定常的に表示される運転者の運転を支援するための情報に関する画像(以下、第1画像と称する)や、緊急時や所定の機能等の所定のイベントの発生時に表示される画像(以下、第2画像と称する)が含まれる。所定のイベントとは、例えば、車両Mの状態によって生じるイベントである。イベントには、運転支援制御装置200による各種機能に応じたイベントや、環境センサ166により検出された情報により発生するイベント(点検指示や警告)が含まれる。第2画像とは、例えば、車線逸脱警報に関する画像や、車両Mが前走車両に接近していることを通知する画像、衝突軽減ブレーキが作動したことを示す画像、その他のワーニング画像等である。第2画像は、第1画像に割り込ませて表示されてもよく、第1画像とともに表示されてもよい。 The display controller 172 controls the floodlight device 120 to output an image generated by the image generation unit 151 and based on the display mode determined by the display mode control unit 152. The image may include, for example, an image (hereinafter referred to as a first image) related to information for assisting the driver's driving, which is constantly displayed, or when a predetermined event such as an emergency or a predetermined function occurs. The image to be (hereinafter referred to as a second image) is included. The predetermined event is, for example, an event caused by the state of the vehicle M. The event includes an event corresponding to various functions by the driving support control device 200 and an event (inspection instruction or warning) generated by the information detected by the environment sensor 166. The second image is, for example, an image related to a lane departure warning, an image notifying that the vehicle M is approaching the vehicle in front, an image showing that the collision mitigation brake has been activated, and other warning images. .. The second image may be displayed by interrupting the first image, or may be displayed together with the first image.

また、ディスプレイコントローラ172は、表示態様制御部152により出力された制御信号に基づいて、投光装置120から投射させる光の投射面における投射位置を調節する。投射面における投射位置の調節は、ソフトウェア制御によって行われるため、モータ等を駆動するハードウェアによる駆動制御よりも速い。これにより、凹面鏡アクチュエータ182を駆動させて凹面鏡126の反射角度φを変更して俯角θを調節するよりも高速に俯角θを調節することができる。俯角θを調節することで、表示可能領域A1に対する虚像VIの表示位置を上下に移動させることができる。 Further, the display controller 172 adjusts the projection position of the light projected from the floodlight device 120 on the projection surface based on the control signal output by the display mode control unit 152. Since the adjustment of the projection position on the projection surface is performed by software control, it is faster than the drive control by the hardware that drives the motor or the like. As a result, the depression angle θ can be adjusted at a higher speed than adjusting the depression angle θ by driving the concave mirror actuator 182 to change the reflection angle φ of the concave mirror 126. By adjusting the depression angle θ, the display position of the virtual image VI with respect to the displayable area A1 can be moved up and down.

レンズアクチュエータ180は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構122に含まれる一以上のレンズの位置を移動する。また、レンズアクチュエータ180は、表示素子120Bの位置を画像光ILに沿って物理的に移動させてもよい。これにより、虚像視認距離Dが調節される。例えば、レンズアクチュエータ180は、車両Mの速度が大きくなるほど、最大虚像視認距離を越えない範囲で虚像視認距離Dを長くし、車両Mの速度が小さくなるほど、最小虚像視認距離を越えない範囲で虚像視認距離Dを短くする。 The lens actuator 180 acquires a drive signal from the optical system controller 170, and based on the acquired drive signal, drives a motor or the like to move the position of one or more lenses included in the optical mechanism 122. Further, the lens actuator 180 may physically move the position of the display element 120B along the image light IL. As a result, the virtual image viewing distance D is adjusted. For example, the lens actuator 180 increases the virtual image viewing distance D within a range not exceeding the maximum virtual image viewing distance as the speed of the vehicle M increases, and increases the virtual image viewing distance D within a range not exceeding the minimum virtual image viewing distance as the speed of the vehicle M decreases. Shorten the viewing distance D.

凹面鏡アクチュエータ182は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ182をY軸回りに回転させて、凹面鏡126の反射角度φを調節する。これにより、俯角θが調節される。 The concave mirror actuator 182 acquires a drive signal from the optical system controller 170, and based on the acquired drive signal, drives a motor or the like to rotate the concave mirror actuator 182 around the Y axis to reduce the reflection angle φ of the concave mirror 126. Adjust. As a result, the depression angle θ is adjusted.

実施形態において、投光装置120における可視光の透過態様(例えば表示素子120Bにおける元画像の表示位置)と、凹面鏡126の回転角度とが、運転者に視認される虚像IVの見え方を決定する。例えば、投光装置120における可視光の透過態様と、凹面鏡126の回転角度とのうち、少なくとも一方が変化すると、虚像VIの俯角θが変化する。 In the embodiment, the transmission mode of visible light in the floodlight device 120 (for example, the display position of the original image in the display element 120B) and the rotation angle of the concave mirror 126 determine how the virtual image IV is visually recognized by the driver. .. For example, when at least one of the visible light transmission mode of the light projecting device 120 and the rotation angle of the concave mirror 126 changes, the depression angle θ of the virtual image VI changes.

運転支援制御装置200は、車両Mの運転者による運転操作を支援する運転支援機能を実行する。運転支援機能が実行される場合、例えば、車両Mは、運転者による運転操作子(例えば、ステアリングホイール10、アクセルペダル、ブレーキペダル)の操作によらずに、操舵制御または速度制御のうち、一方または双方を制御する。運転支援制御装置200は、例えば、運転支援機能として、ACCを実行する際には、車両Mに搭載される環境センサ166や物体認識センサ166aを介して入力される情報に基づいて、車両Mと、前走車両との車間距離を一定に保った状態で走行するように、前走車両との車間距離に基づく加減速制御(速度制御)を行う。また、運転支援制御装置200は、運転支援機能として、LKASを実行する際には、車両Mが、現在走行中の走行車線を維持(レーンキープ)しながら走行するように操舵制御を行う。また、運転支援制御装置200は、運転支援機能として、CMBSを実行する際には、車両Mと前走車両との車間距離が所定距離未満になった場合に、車両Mの減速制御または停止制御を行う。また、運転支援制御装置200は、例えば、運転支援機能の状態を表示制御装置150に出力する。また、運転支援制御装置200は、LKASやCMBSを実行する前に運転者に警告するための情報(警告情報)を表示制御装置150に出力する。警告情報とは、例えば、車線逸脱警報、前走車両接近警報等である。運転支援制御装置200により上述した各種機能が実行される場合、各種機能に応じたイベントが発生する。 The driving support control device 200 executes a driving support function that supports a driving operation by the driver of the vehicle M. When the driving support function is executed, for example, the vehicle M is one of steering control or speed control without the operation of the driving controller (for example, steering wheel 10, accelerator pedal, brake pedal) by the driver. Or control both. For example, when the driving support control device 200 executes ACC as a driving support function, the driving support control device 200 and the vehicle M are based on information input via the environment sensor 166 and the object recognition sensor 166a mounted on the vehicle M. Acceleration / deceleration control (speed control) is performed based on the distance between the vehicle and the vehicle in front so that the vehicle travels while keeping the distance between the vehicle and the vehicle in front. Further, as a driving support function, the driving support control device 200 performs steering control so that the vehicle M travels while maintaining the currently traveling lane (lane keeping) when executing LKAS. Further, as a driving support function, the driving support control device 200 performs deceleration control or stop control of the vehicle M when the distance between the vehicle M and the vehicle in front becomes less than a predetermined distance when executing the CMBS. I do. Further, the driving support control device 200 outputs, for example, the state of the driving support function to the display control device 150. Further, the driving support control device 200 outputs information (warning information) for warning the driver before executing LKAS or CMBS to the display control device 150. The warning information includes, for example, a lane departure warning, a preceding vehicle approach warning, and the like. When the various functions described above are executed by the driving support control device 200, an event corresponding to each function occurs.

車両挙動取得装置300は、運転者により運転中の車両Mの挙動を取得する。車両挙動取得装置300は、例えば、車速取得部310と、旋回状態判定部320と、悪路判定部330とを備える。車速取得部310は、車両Mの速度または加速度を検出する。旋回状態判定部320は、例えば、ヨーレートセンサによって車両Mの鉛直軸回りの角速度や、車両Mの操舵角を検出する。そして、旋回状態判定部320は、検出した角速度が第1閾値以上または操舵角が第2閾値以上である場合に車両Mが旋回状態であると判定し、角速度が第1閾値未満および操舵角が第2閾値未満である場合に車両Mが旋回状態でないと判定する。 The vehicle behavior acquisition device 300 acquires the behavior of the vehicle M being driven by the driver. The vehicle behavior acquisition device 300 includes, for example, a vehicle speed acquisition unit 310, a turning state determination unit 320, and a rough road determination unit 330. The vehicle speed acquisition unit 310 detects the speed or acceleration of the vehicle M. The turning state determination unit 320 detects, for example, the angular velocity around the vertical axis of the vehicle M and the steering angle of the vehicle M by using a yaw rate sensor. Then, the turning state determination unit 320 determines that the vehicle M is in a turning state when the detected angular velocity is equal to or higher than the first threshold value or the steering angle is equal to or higher than the second threshold value, and the angular velocity is less than the first threshold value and the steering angle is lower than the first threshold value. If it is less than the second threshold value, it is determined that the vehicle M is not in the turning state.

悪路判定部330は、例えば、車両MのY軸回りのピッチ角を検出するピッチ角センサや車両Mの高さや車体の傾きを検出するハイトセンサ(車高センサ)を備える。ハイトセンサは、例えば、車両Mの前後左右の車輪に設置される。そして、悪路判定部330は、検出したピッチ角センサやハイトセンサの検出結果に基づいて、車両Mの走行車線の路面状態が悪路であるか否かを判定する。悪路とは、例えば、道路上の段差や凹凸等により、車両の揺れが所定量以上である場合、傾斜角が所定角以上の坂道等である。例えば、悪路判定部330は、ピッチ角センサによるピッチ角の変化量が第3閾値以上である場合、またはハイトセンサにより検出された車両Mの高さの変化量が第4閾値以上である場合に、車両Mが走行している道路(車線)が悪路であると判定する。また、悪路判定部330は、ピッチ角の変化量が第3閾値未満で、且つ車両Mの高さの変化量が第4閾値未満である場合に悪路でないと判定する。また、悪路判定部330は、所定時間でのピッチ角または車両Mの高さの増減回数が所定回数以上である場合に悪路であると判定し、所定回数未満である場合に悪路でないと判定してもよい。 The rough road determination unit 330 includes, for example, a pitch angle sensor that detects the pitch angle around the Y axis of the vehicle M and a height sensor (vehicle height sensor) that detects the height of the vehicle M and the inclination of the vehicle body. The height sensors are installed on the front, rear, left and right wheels of the vehicle M, for example. Then, the rough road determination unit 330 determines whether or not the road surface condition of the traveling lane of the vehicle M is a rough road based on the detection results of the detected pitch angle sensor and height sensor. A rough road is, for example, a slope having an inclination angle of a predetermined angle or more when the vehicle shakes by a predetermined amount or more due to a step or unevenness on the road. For example, the rough road determination unit 330 when the amount of change in the pitch angle by the pitch angle sensor is equal to or greater than the third threshold value, or when the amount of change in the height of the vehicle M detected by the height sensor is equal to or greater than the fourth threshold value. In addition, it is determined that the road (lane) on which the vehicle M is traveling is a bad road. Further, the rough road determination unit 330 determines that the road is not a rough road when the amount of change in the pitch angle is less than the third threshold value and the amount of change in the height of the vehicle M is less than the fourth threshold value. Further, the rough road determination unit 330 determines that the road is bad when the number of times the pitch angle or the height of the vehicle M is increased or decreased in a predetermined time is equal to or more than the predetermined number of times, and when it is less than the predetermined number of times, the road is not bad. May be determined.

[表示制御装置]
次に、表示制御装置150について説明する。表示制御装置150は、例えば、画像生成部151と、表示態様制御部152と、駆動制御部153と、記憶部154とを備える。記憶部154を除く各構成要素は、それぞれ、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め表示制御装置150のHDDやフラッシュメモリ等の記憶部154に格納されていてもよいし、DVDやCD−ROM等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで表示制御装置150の記憶部154にインストールされてもよい。
[Display control device]
Next, the display control device 150 will be described. The display control device 150 includes, for example, an image generation unit 151, a display mode control unit 152, a drive control unit 153, and a storage unit 154. Each component except the storage unit 154 is realized by executing a program (software) by a hardware processor such as a CPU (Central Processing Unit). In addition, some or all of these components are hardware (circuits) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), etc. It may be realized by the part (including circuitry), or it may be realized by the cooperation of software and hardware. The program may be stored in advance in a storage unit 154 such as an HDD or a flash memory of the display control device 150, or is stored in a removable storage medium such as a DVD or a CD-ROM, and the storage medium is a drive device. It may be installed in the storage unit 154 of the display control device 150 by being attached to the display control device 150.

表示制御装置150は、例えば、操作スイッチ130(メインスイッチ132)によりオン状態にする信号を受け付けた場合に、画像生成部151、表示態様制御部152、および駆動制御部153のそれぞれの機能を実行可能とし、オフ状態にする信号を受け付けた場合に、上述したそれぞれの機能を停止させる。 The display control device 150 executes the respective functions of the image generation unit 151, the display mode control unit 152, and the drive control unit 153, for example, when the operation switch 130 (main switch 132) receives a signal to be turned on. When a signal to enable and turn off is received, each of the above-mentioned functions is stopped.

画像生成部151は、表示装置100がオン状態である場合に、風景に重畳させて運転者に視認させる第1画像を生成する。また、画像生成部151は、例えば、風景に重畳させる画像に第2画像を割り込ませる条件を満たす場合に、第1画像に代えて(または加えて)、第2画像を生成する。なお、表示される第1画像および第2画像の出力は、運転者が操作スイッチ130や他の操作部、または第2表示部50−2に表示されるGUI(Graphical User Interface)スイッチ等を用いて設定されてもよい。運転者により設定された設定情報は、記憶部154等に格納される。また、画像生成部151は、例えば、運転支援制御装置200により警告情報が出力された場合に、警告情報を出力するイベントの発生に基づく1または複数の画像を生成する。画像には、例えば、コンテンツやコンテンツの内容を識別するアイコン、マーク、道路標識等が含まれる。 The image generation unit 151 generates a first image that is superimposed on the landscape and visually recognized by the driver when the display device 100 is in the ON state. Further, the image generation unit 151 generates a second image in place of (or in addition to) the first image, for example, when the condition for interrupting the second image into the image to be superimposed on the landscape is satisfied. For the output of the first image and the second image to be displayed, the driver uses an operation switch 130 or another operation unit, a GUI (Graphical User Interface) switch displayed on the second display unit 50-2, or the like. May be set. The setting information set by the driver is stored in the storage unit 154 or the like. Further, the image generation unit 151 generates one or a plurality of images based on the occurrence of an event that outputs the warning information, for example, when the warning information is output by the driving support control device 200. The image includes, for example, content, an icon that identifies the content, a mark, a road sign, and the like.

表示態様制御部152は、画像生成部151により生成された画像の表示態様を設定し、設定された表示態様で画像を表示させるための制御情報を生成する。表示態様とは、風景に重畳させて運転者に視認させる虚像VI(第1画像、第2画像)の表示の有無、表示される場合における画像の位置(俯角θ)、大きさ、輝度、虚像視認距離Dのうち表示位置によって調節する分の制御量等である。また、表示態様制御部152は、位置センサ162により検出されたレンズ位置、凹面鏡角度センサ164により検出された凹面鏡126の回転角度に基づいて、虚像VIの表示態様を変更する。表示態様制御部152は、生成した制御情報を、例えば、ディスプレイコントローラ172や駆動制御部153等に出力する。 The display mode control unit 152 sets the display mode of the image generated by the image generation unit 151, and generates control information for displaying the image in the set display mode. The display mode is the presence / absence of display of a virtual image VI (first image, second image) superimposed on the landscape and visually recognized by the driver, the position (depression angle θ) of the image when displayed, the size, the brightness, and the virtual image. This is the amount of control of the viewing distance D that is adjusted according to the display position. Further, the display mode control unit 152 changes the display mode of the virtual image VI based on the lens position detected by the position sensor 162 and the rotation angle of the concave mirror 126 detected by the concave mirror angle sensor 164. The display mode control unit 152 outputs the generated control information to, for example, the display controller 172 or the drive control unit 153.

また、表示態様制御部152は、例えば、位置補正制御部152aと、抑制制御部152bとを備える。位置補正制御部152aは、環境センサ166により検出される情報や、車両挙動取得装置300により取得される情報(例えば、車速、旋回状態判定結果、悪路判定結果)の内容に基づいて、車両Mの外部環境を取得し、取得した外部環境が所定の条件を満たす場合に、虚像VIの表示位置を補正するための制御情報を生成し、生成した制御情報をディスプレイコントローラ172に出力する。外部環境には、例えば、車両Mの挙動、姿勢、渋滞等の周囲の環境等が含まれる。また、位置補正制御部152aは、車両Mの挙動により生じる俯角θの変動を打ち消すように、投光装置120から投射させる光の投射面における投射位置を調節するための制御情報を生成してもよい。抑制制御部152bは、所定の条件を満たす場合に、位置補正制御部152aのおける補正制御を抑制する。表示態様制御部152の機能の詳細については、後述する。 Further, the display mode control unit 152 includes, for example, a position correction control unit 152a and a suppression control unit 152b. The position correction control unit 152a is based on the information detected by the environmental sensor 166 and the information acquired by the vehicle behavior acquisition device 300 (for example, vehicle speed, turning state determination result, rough road determination result), and is based on the vehicle M. The external environment is acquired, and when the acquired external environment satisfies a predetermined condition, control information for correcting the display position of the virtual image VI is generated, and the generated control information is output to the display controller 172. The external environment includes, for example, the behavior and posture of the vehicle M, the surrounding environment such as traffic congestion, and the like. Further, even if the position correction control unit 152a generates control information for adjusting the projection position of the light projected from the light projecting device 120 on the projection surface so as to cancel the fluctuation of the depression angle θ caused by the behavior of the vehicle M. Good. The suppression control unit 152b suppresses the correction control in the position correction control unit 152a when a predetermined condition is satisfied. The details of the function of the display mode control unit 152 will be described later.

駆動制御部153は、表示態様制御部152により出力された制御情報に基づいて、光学機構122に含まれる一以上のレンズの位置、または表示素子120Bの位置を移動させるための制御信号や、凹面鏡126の回転角度を調節させるための制御信号を生成し、生成した制御信号を光学系コントローラ170に出力する。また、駆動制御部153は、位置センサ162により検出されたレンズ位置や表示素子120Bの位置、凹面鏡角度センサ164により検出された凹面鏡126の回転角度に基づいて、表示態様制御部152により指示された位置(俯角θ、虚像視認距離D)に虚像VIが視認されるように、制御信号を生成し、生成した制御信号を光学系コントローラ170に出力する。 The drive control unit 153 includes a control signal for moving the position of one or more lenses included in the optical mechanism 122 or the position of the display element 120B, or a concave mirror, based on the control information output by the display mode control unit 152. A control signal for adjusting the rotation angle of 126 is generated, and the generated control signal is output to the optical system controller 170. Further, the drive control unit 153 is instructed by the display mode control unit 152 based on the lens position detected by the position sensor 162, the position of the display element 120B, and the rotation angle of the concave mirror 126 detected by the concave mirror angle sensor 164. A control signal is generated so that the virtual image VI can be visually recognized at the position (depression angle θ, virtual image viewing distance D), and the generated control signal is output to the optical system controller 170.

記憶部154は、例えば、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリ等で実現される。記憶部154には、例えば、設定情報、およびその他の情報が記憶される。 The storage unit 154 is realized by, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), a flash memory, or the like. For example, setting information and other information are stored in the storage unit 154.

次に、表示装置100により風景に重畳され、虚像VIとして運転者に視認可能な画像の一例について説明する。図5は、風景に重畳される虚像VIの一例を示す図である。図5の例では、表示装置100によって、フロントウインドシールド20の表示可能領域A1内で視認される、風景と重畳された虚像VIの一例を示している。図5の例において、車両Mは、車線L1上を走行するものとする。また、車線L2は、車線L1と連結されているものとする。 Next, an example of an image superimposed on the landscape by the display device 100 and visible to the driver as a virtual image VI will be described. FIG. 5 is a diagram showing an example of a virtual image VI superimposed on a landscape. The example of FIG. 5 shows an example of a virtual image VI superimposed on a landscape, which is visually recognized in the displayable area A1 of the front windshield 20 by the display device 100. In the example of FIG. 5, the vehicle M is assumed to travel on the lane L1. Further, it is assumed that the lane L2 is connected to the lane L1.

図5の例では、第1画像の一例である車両Mの速度を示す虚像VIが示されている。なお、虚像VIには、車両Mの速度に代えて(または加えて)、第1画像または第2画像による複数の情報が表示されてよい。図5の例において、表示態様制御部152は、表示装置100の起動後(オン状態)に、車両状態に応じた画像として、車両Mの速度を示す画像を生成し、生成した画像を投光装置120から出力させる。ここで、車両Mは、車線L1の延在方向(図中X方向)に沿って走行しているため、結果として、消失点推定装置168により推定された消失点VPの近傍付近に車両Mの速度を示す虚像VIが重畳される。一般的に車両Mが車線L1の延在方向に沿って走行している場合において、運転者は運転時に車両Mの前方の車線L1上であって、消失点VPに近い位置に注視点NPが置かれるため、走行車線L1の消失点VPの近傍付近に虚像VIを表示させることで、虚像VIの視認性を向上させることができる。なお、表示可能領域A1における虚像VIの表示位置は、例えば、操作スイッチ130の調節スイッチ134および136を用いて運転者が設定することができる。 In the example of FIG. 5, a virtual image VI showing the speed of the vehicle M, which is an example of the first image, is shown. In addition, in the virtual image VI, a plurality of information by the first image or the second image may be displayed instead of (or in addition to) the speed of the vehicle M. In the example of FIG. 5, the display mode control unit 152 generates an image showing the speed of the vehicle M as an image according to the vehicle state after the display device 100 is activated (on state), and projects the generated image. Output from the device 120. Here, since the vehicle M travels along the extending direction of the lane L1 (X direction in the figure), as a result, the vehicle M is located near the vanishing point VP estimated by the vanishing point estimation device 168. A virtual image VI indicating the velocity is superimposed. Generally, when the vehicle M is traveling along the extending direction of the lane L1, the driver is on the lane L1 in front of the vehicle M at the time of driving, and the gazing point NP is located near the vanishing point VP. Since the vehicle is placed, the visibility of the virtual image VI can be improved by displaying the virtual image VI in the vicinity of the vanishing point VP of the traveling lane L1. The display position of the virtual image VI in the displayable area A1 can be set by the driver using, for example, the adjustment switches 134 and 136 of the operation switch 130.

また、位置補正制御部152aは、環境センサ166や車両挙動取得装置300により取得される車両Mの外部環境に基づいて、虚像VIの位置を補正する。図6は、位置補正制御部152aの処理について説明するための図である。図6の例では、設定情報により設定された虚像VIの表示位置に対して、上方向の補正領域CA1と、下方向の補正領域CA2とが示されている。表示可能領域A1は、運転者による設定または車速等により変更可能な範囲である。例えば、位置補正制御部152aは、車速取得部310により得られる車両Mの速度が大きくなるほど、表示可能領域A1の範囲内で、虚像VIの表示位置を設定された位置から上方向に移動させる。これは、速度が大きくなるほど運転者の注視点が前方の遠い位置に位置付けられるからである。また、位置補正制御部152aは、車両Mの速度が大きい状態から小さい状態に戻す場合に、虚像VIの表示位置を基準位置に戻すように下方向に移動させる。このときの虚像VIの位置の補正は、例えば、凹面鏡アクチュエータ182により凹面鏡126の反射角度φを調節することで実行される。 Further, the position correction control unit 152a corrects the position of the virtual image VI based on the external environment of the vehicle M acquired by the environment sensor 166 and the vehicle behavior acquisition device 300. FIG. 6 is a diagram for explaining the processing of the position correction control unit 152a. In the example of FIG. 6, the correction area CA1 in the upward direction and the correction area CA2 in the downward direction are shown with respect to the display position of the virtual image VI set by the setting information. The displayable area A1 is a range that can be changed by the setting by the driver, the vehicle speed, or the like. For example, the position correction control unit 152a moves the display position of the virtual image VI upward from the set position within the range of the displayable area A1 as the speed of the vehicle M obtained by the vehicle speed acquisition unit 310 increases. This is because the higher the speed, the farther the driver's gaze point is located in front of him. Further, the position correction control unit 152a moves the vehicle M downward so as to return the display position of the virtual image VI to the reference position when returning from the high speed state to the low speed state. The correction of the position of the virtual image VI at this time is executed, for example, by adjusting the reflection angle φ of the concave mirror 126 by the concave mirror actuator 182.

また、位置補正制御部152aは、車両Mの外部環境により俯角θの変動(より具体的には、虚像VIの振れ)が生じる場合に、その変動を抑制するための振れ補正を行ってもよい。図7は、車両Mの外部環境による俯角θの変動について説明するための図である。図7において、車両Mは、道路L1上を等速で走行しているものとし、道路L1には、段差STが存在するものとする。また、時刻T1、T2(T1<T2)のそれぞれにおける車両MをM(T1)、M(T2)で示し、俯角θをθ(T1)、θ(T2)で示すものとする。また、車両Mの左右の前輪をWfl、Wfrとし、左右の後輪をWrl、Wrrとする。 Further, the position correction control unit 152a may perform vibration correction for suppressing the fluctuation of the depression angle θ (more specifically, the vibration of the virtual image VI) due to the external environment of the vehicle M. .. FIG. 7 is a diagram for explaining the fluctuation of the depression angle θ due to the external environment of the vehicle M. In FIG. 7, it is assumed that the vehicle M is traveling on the road L1 at a constant speed, and that the road L1 has a step ST. Further, it is assumed that the vehicle M at the times T1 and T2 (T1 <T2) is indicated by M (T1) and M (T2), and the depression angle θ is indicated by θ (T1) and θ (T2), respectively. Further, the left and right front wheels of the vehicle M are Wfl and Wfr, and the left and right rear wheels are Wrl and Wrr.

時刻T1の場合、車両M(T1)は、水平方向(図中X方向)に沿って走行している。この場合、表示装置100は、設定情報に基づき、運転者の視線位置P1から虚像視認距離Dだけ離れた位置で、且つ、俯角θ(T1)となる位置に虚像VIを表示しているものとする。 At time T1, the vehicle M (T1) is traveling along the horizontal direction (X direction in the figure). In this case, based on the setting information, the display device 100 displays the virtual image VI at a position separated from the driver's line-of-sight position P1 by the virtual image viewing distance D and at a position where the depression angle θ (T1). To do.

ここで、時刻T2の場合、車両M(T2)は、左右の前輪Wfl、Wfrが段差STの下段に存在し、左右の後輪Wrl、Wrrが段差の上段に存在するため、車両M(T2)が前傾した状態となる。この場合、虚像VIの位置は、虚像視認距離Dが一定で、且つ、俯角が表示装置100により俯角θ(T1)に車両M(T2)の前傾した角度(例えば、車両Mに対するピッチ角に近似した角度)が加わった俯角θ(T2)の位置となる(θ(T1)<θ(T2))。このような場合には、運転者から見る虚像VIが下方向に振れるため視認性が低下する場合がある。なお、この現象は、車両Mが下り坂を走行している場合も発生する。したがって、位置補正制御部152aは、上述したような車両Mの周辺環境が変化した場合に、俯角θ(T1)が一定になるように位置補正を行う。 Here, at the time T2, in the vehicle M (T2), the left and right front wheels Wfl and Wfr are present in the lower stage of the step ST, and the left and right rear wheels Wrl and Wrr are located in the upper stage of the step, so that the vehicle M (T2) is present. ) Is tilted forward. In this case, the position of the virtual image VI is such that the virtual image viewing distance D is constant and the depression angle is the angle at which the vehicle M (T2) is tilted forward by the display device 100 to the depression angle θ (T1) (for example, the pitch angle with respect to the vehicle M). It is the position of the depression angle θ (T2) to which the approximated angle) is added (θ (T1) <θ (T2)). In such a case, the virtual image VI seen by the driver swings downward, which may reduce visibility. This phenomenon also occurs when the vehicle M is traveling downhill. Therefore, the position correction control unit 152a corrects the position so that the depression angle θ (T1) becomes constant when the surrounding environment of the vehicle M changes as described above.

具体的には、位置補正制御部152aは、俯角θ(T1)からθ(T2)に遷移した場合の上下方向の変動幅を算出し、算出した変動幅がゼロ(0)に近似するように俯角の調節を行う。図8は、上下方向の変動幅Wの算出例を示す図である。なお、時刻T1およびT2における車両Mの姿勢や段差STを通過したことによる振動等により、運転者の姿勢や目の位置は異なるが、その変化量は虚像視認距離Dに比べて極小であるため考慮しないものとして説明する。したがって、以下の算出から得られる変動幅Wは、実際の変動幅の近似値となる。 Specifically, the position correction control unit 152a calculates the fluctuation width in the vertical direction when the depression angle θ (T1) is changed to θ (T2) so that the calculated fluctuation width approximates zero (0). Adjust the depression angle. FIG. 8 is a diagram showing a calculation example of the fluctuation width W in the vertical direction. The posture of the driver and the position of the eyes differ due to the posture of the vehicle M at times T1 and T2 and the vibration caused by passing through the step ST, but the amount of change is extremely small compared to the virtual image viewing distance D. It will be explained as not being considered. Therefore, the fluctuation width W obtained from the following calculation is an approximate value of the actual fluctuation width.

図8の例において、位置補正制御部152aは、俯角θ(T1)における水平面から虚像VIの中央位置までの距離(上下方向の高さ)h1を算出する。距離h1は、例えば、h1=Dsinθ(T1)により算出される。また、位置補正制御部152aは、俯角θ(T2)における水平面から虚像VIの中央位置までの距離h2を算出する。距離h2は、例えば、h2=Dsinθ(T2)により算出される。なお、俯角θ(T2)は、例えば、環境センサ166に含まれるピッチ角センサにより検出されるピッチ角と表示態様制御部152で決定される俯角θ1とに基づいて導出されてもよく、前輪Wfl、Wfrと後輪Wrl、Wrrに設けられたハイトセンサにより検出された値に基づいて導出されてもよい。そして、位置補正制御部152aは、距離h2とh1との差分(h2−h1)により変動幅Wを算出する。 In the example of FIG. 8, the position correction control unit 152a calculates the distance (vertical height) h1 from the horizontal plane to the center position of the virtual image VI at the depression angle θ (T1). The distance h1 is calculated by, for example, h1 = Dsinθ (T1). Further, the position correction control unit 152a calculates the distance h2 from the horizontal plane at the depression angle θ (T2) to the center position of the virtual image VI. The distance h2 is calculated by, for example, h2 = Dsinθ (T2). The depression angle θ (T2) may be derived based on, for example, the pitch angle detected by the pitch angle sensor included in the environment sensor 166 and the depression angle θ1 determined by the display mode control unit 152, and the front wheel Wfl may be derived. , Wfr, rear wheels Wrl, and Wrr may be derived based on the values detected by the height sensors provided. Then, the position correction control unit 152a calculates the fluctuation width W based on the difference (h2-h1) between the distances h2 and h1.

また、位置補正制御部152aは、上述した算出手法に代えて、予め俯角θ(T1)と俯角θ(T2)との差分値または距離h2とh1との差分値に、変動幅Wが対応付けられたルックアップテーブル(LUT)を記憶部154に記憶しておき、俯角θ(T1)、θ(T2)や距離h1、h2を取得したときに、その差分値からLUTを参照して、対応付けられた変動幅Wを取得してもよい。 Further, in the position correction control unit 152a, instead of the calculation method described above, the fluctuation width W is associated with the difference value between the depression angle θ (T1) and the depression angle θ (T2) or the difference value between the distances h2 and h1 in advance. The obtained lookup table (LUT) is stored in the storage unit 154, and when the depression angles θ (T1) and θ (T2) and the distances h1 and h2 are acquired, the LUT is referred to from the difference value to correspond. The attached fluctuation width W may be acquired.

位置補正制御部152aは、取得した変動幅Wがゼロ(0)に打ち消されるように上方向の補正領域CA1を超えない範囲で俯角θの補正制御を行う。なお、俯角θの補正制御において、凹面鏡アクチュエータ182を用いて補正する場合には、モータの駆動時間等の影響で応答が遅くなるため、車両Mの挙動の変化のタイミングと、俯角θの補正制御のタイミングとに時間のずれが生じ、車両Mの揺れ方向とは逆に虚像VIが上下に振れ動いてしまう可能性がある。そこで、位置補正制御部152aは、応答性が高いディスプレイコントローラ172による表示制御により、投光装置120から投射させる光の投射面における投射位置を調節することで、俯角θの補正制御を行う。具体的には、位置補正制御部152aは、ディスプレイコントローラ172を制御して、虚像VIの位置を変動幅Wだけ上方向に移動させる。また、位置補正制御部152aは、上述した上方向への揺れ補正と同様に、下方向への揺れ補正も行う。これにより、位置補正制御部152aは、車両Mの挙動の変動によって生じる俯角の変動を抑制することができる。また、上述した位置補正制御は、表示素子120Bによる画像の表示制御によって実現できるため応答性が高く、凹面鏡アクチュエータ182により凹面鏡126の反射角度φを調節するよりも迅速に行うことができる。そのため、車両Mの挙動の変化に対応して、より適切なタイミングで振れ補正を行うことができる。 The position correction control unit 152a performs correction control of the depression angle θ within a range not exceeding the correction region CA1 in the upward direction so that the acquired fluctuation width W is canceled out to zero (0). In the correction control of the depression angle θ, when the concave mirror actuator 182 is used for correction, the response is delayed due to the influence of the driving time of the motor, etc., so the timing of the change in the behavior of the vehicle M and the correction control of the depression angle θ There is a possibility that the virtual image VI swings up and down in the direction opposite to the swing direction of the vehicle M due to a time lag with the timing of. Therefore, the position correction control unit 152a corrects the depression angle θ by adjusting the projection position of the light projected from the light projecting device 120 on the projection surface by the display control by the highly responsive display controller 172. Specifically, the position correction control unit 152a controls the display controller 172 to move the position of the virtual image VI upward by the fluctuation width W. Further, the position correction control unit 152a also performs downward shaking correction in the same manner as the upward shaking correction described above. As a result, the position correction control unit 152a can suppress fluctuations in the depression angle caused by fluctuations in the behavior of the vehicle M. Further, the above-mentioned position correction control can be realized by the image display control by the display element 120B, and therefore has high responsiveness, and can be performed more quickly than adjusting the reflection angle φ of the concave mirror 126 by the concave mirror actuator 182. Therefore, it is possible to perform runout correction at a more appropriate timing in response to a change in the behavior of the vehicle M.

なお、位置補正制御部152aは、変動幅Wが閾値以上であるか否かを判定し、変動幅Wが閾値以上である場合に、上述した俯角θの補正制御を行ってもよい。 The position correction control unit 152a may determine whether or not the fluctuation width W is equal to or greater than the threshold value, and if the fluctuation width W is equal to or greater than the threshold value, perform the correction control of the depression angle θ described above.

抑制制御部152bは、上述した位置補正制御部152aによる補正制御において、所定の条件を満たす場合に補正制御の実行を抑制する。例えば、抑制制御部152bは、所定の条件として、車両Mの乗員の注視点が、車両Mの走行車線の消失点から外れる場合に、位置補正制御部152aによる補正制御の実行を抑制する。注視点が消失点から外れるとは、例えば、カメラにより撮像された車両Mの前方画像上における注視点と消失点との二次元の距離が所定距離以上となることである。補正制御の実行を抑制するとは、例えば、虚像VIの位置の補正を行わない、または位置の補正の度合を小さくすることである。これにより、注視していない領域に表示された虚像VIが車両Mの外部環境や挙動に基づいて動くことにより運転者に違和感が生じることを抑制するがことができる。 In the correction control by the position correction control unit 152a described above, the suppression control unit 152b suppresses the execution of the correction control when a predetermined condition is satisfied. For example, the suppression control unit 152b suppresses the execution of correction control by the position correction control unit 152a when the gazing point of the occupant of the vehicle M deviates from the vanishing point of the traveling lane of the vehicle M as a predetermined condition. When the gazing point deviates from the vanishing point, for example, the two-dimensional distance between the gazing point and the vanishing point on the front image of the vehicle M captured by the camera becomes a predetermined distance or more. Suppressing the execution of the correction control means, for example, not correcting the position of the virtual image VI or reducing the degree of the position correction. As a result, it is possible to prevent the driver from feeling uncomfortable due to the virtual image VI displayed in the area not being watched moving based on the external environment and behavior of the vehicle M.

ここで、注視点と消失点との距離が所定距離以上となる車両Mの挙動としては、例えば、車両Mが右左折している場合やカーブ路を走行している場合が含まれる。したがって、抑制制御部152bは、旋回状態判定部320により車両Mの挙動が旋回状態であると判定された場合に、位置補正制御部152aによる虚像VIの位置の補正を抑制してもよい。図9は、車両の旋回時の様子を説明するための図である、図9の例では、車両Mが車線L1から車線L2に右折を開始し、車両挙動取得装置300により車両Mが旋回状態である判定された時点の様子を示している。図9に示す車両Mの旋回状態において、運転者は、消失点VPの近傍付近ではなく、右折先の車線L2付近を注視する。図10は、図9の車両Mの旋回状態における消失点VPと注視点NPとの距離について説明するための図である。図9に示す右折場面において、運転者の注視点NPは右折先の車線L2上であり、消失点VPと注視点NPとの距離DPは所定距離以上となったものとする。この場合、抑制制御部152bは、位置補正制御部152aによる虚像VIの位置の補正を抑制する。 Here, the behavior of the vehicle M in which the distance between the gazing point and the vanishing point is equal to or greater than a predetermined distance includes, for example, a case where the vehicle M is turning left or right or a case where the vehicle M is traveling on a curved road. Therefore, the suppression control unit 152b may suppress the correction of the position of the virtual image VI by the position correction control unit 152a when the behavior of the vehicle M is determined by the turning state determination unit 320 to be in the turning state. FIG. 9 is a diagram for explaining a state when the vehicle is turning. In the example of FIG. 9, the vehicle M starts turning right from the lane L1 to the lane L2, and the vehicle M is in a turning state by the vehicle behavior acquisition device 300. It shows the state at the time when it was judged to be. In the turning state of the vehicle M shown in FIG. 9, the driver gazes at the vicinity of the right turn destination lane L2, not near the vanishing point VP. FIG. 10 is a diagram for explaining the distance between the vanishing point VP and the gazing point NP in the turning state of the vehicle M of FIG. In the right turn scene shown in FIG. 9, it is assumed that the driver's gaze point NP is on the lane L2 at the right turn destination, and the distance DP between the vanishing point VP and the gaze point NP is equal to or greater than a predetermined distance. In this case, the suppression control unit 152b suppresses the correction of the position of the virtual image VI by the position correction control unit 152a.

また、抑制制御部152bは、車速取得部310により得られる車両Mの速度が所定速度以下である場合に、位置補正制御部152aによる位置の補正を抑制してもよい。所定速度とは、例えば、10[km/h]程度である。つまり、車両Mが停止時または低速走行時には、運転者の注視点は、例えば、車室内の第2表示部50−2や他の方向、もしくは車両近くの前方位置に置かれると推定される。そのため、注視点と消失点との距離は、所定距離以上に離れる。したがって、抑制制御部152bは、車両Mの発進時または車両Mの低速走行時において、虚像VIの表示位置の補正制御を抑制することで、車両Mのゆっくりとした姿勢の変化に合わせて表示位置が移動することを抑制することで、運転者に違和感なく虚像VIを視認させることができる。また、停止時または低速走行時において、運転者に虚像VIを視認させる重要度は低くなるため、低速走行時または停止時における位置補正を抑制しても影響が少ない。また、停止時または低速走行時に、虚像VIの位置の補正を抑制することで、位置補正の処理負荷を軽減させることができる。 Further, the suppression control unit 152b may suppress the position correction by the position correction control unit 152a when the speed of the vehicle M obtained by the vehicle speed acquisition unit 310 is equal to or less than a predetermined speed. The predetermined speed is, for example, about 10 [km / h]. That is, when the vehicle M is stopped or traveling at a low speed, it is estimated that the driver's gaze point is placed, for example, in the second display unit 50-2 in the vehicle interior or in another direction, or in a forward position near the vehicle. Therefore, the distance between the gazing point and the vanishing point is greater than or equal to a predetermined distance. Therefore, the suppression control unit 152b suppresses the correction control of the display position of the virtual image VI when the vehicle M starts or the vehicle M travels at a low speed, so that the display position is adjusted to the slow change of the posture of the vehicle M. By suppressing the movement of the virtual image VI, the driver can visually recognize the virtual image VI without any discomfort. Further, since it is less important for the driver to visually recognize the virtual image VI when the vehicle is stopped or when the vehicle is stopped at a low speed, suppressing the position correction when the vehicle is traveling at a low speed or when the vehicle is stopped has little effect. Further, by suppressing the correction of the position of the virtual image VI when stopped or traveling at a low speed, the processing load of the position correction can be reduced.

ここで、車両Mが低速となる車両Mの挙動としては、例えば、車両Mの走行車線が渋滞である場合が含まれる。したがって、抑制制御部152bは、例えば、物体認識センサ166aによる認識結果により、車両Mの走行車線が渋滞であるか否かを判定し、走行車線が渋滞であると判定された場合に、位置補正制御部152aによる位置の補正を抑制してもよい。 Here, the behavior of the vehicle M in which the vehicle M becomes low speed includes, for example, a case where the traveling lane of the vehicle M is congested. Therefore, for example, the suppression control unit 152b determines whether or not the traveling lane of the vehicle M is congested based on the recognition result by the object recognition sensor 166a, and if it is determined that the traveling lane is congested, the position correction is performed. The position correction by the control unit 152a may be suppressed.

また、抑制制御部152bは、悪路判定部330により車両Mが走行する道路が悪路である判定された場合に、位置補正制御部152aによる虚像VIの位置の補正を抑制してもよい。これにより、例えば、道路の凹凸が連続する場合に、虚像VIの位置の補正を抑制することで、位置補正の処理負荷を軽減させることができる。 Further, the suppression control unit 152b may suppress the correction of the position of the virtual image VI by the position correction control unit 152a when the rough road determination unit 330 determines that the road on which the vehicle M travels is a rough road. Thereby, for example, when the unevenness of the road is continuous, the processing load of the position correction can be reduced by suppressing the correction of the position of the virtual image VI.

また、例えば、虚像VIの端部が表示可能領域A1の上端部に接している場合に、位置補正制御部152aは、それ以上、虚像VIを上方向に移動させることができない。また同様に、虚像VIの端部が表示可能領域A1の下端部に接している場合に、位置補正制御部152aは、それ以上、虚像VIを下方向に移動させることができない。したがって、抑制制御部152bは、虚像VIの端部が、表示可能領域A1の上端部または下端部に接する場合に、画像の位置の補正を抑制してもよい。 Further, for example, when the end portion of the virtual image VI is in contact with the upper end portion of the displayable area A1, the position correction control unit 152a cannot move the virtual image VI further upward. Similarly, when the end portion of the virtual image VI is in contact with the lower end portion of the displayable area A1, the position correction control unit 152a cannot move the virtual image VI further downward. Therefore, the suppression control unit 152b may suppress the correction of the position of the image when the end portion of the virtual image VI is in contact with the upper end portion or the lower end portion of the displayable area A1.

図11は、虚像VIの表示位置における補正抑制制御について説明するための図である。図11の例では、表示可能領域A1の下端部に虚像VIの下端部が接するように表示されている。なお、図11に示すような表示態様は、例えば、車両Mの外部環境(例えば、上り坂を走行している場合の姿勢)による位置補正制御部152aの補正制御、または、運転者による調節スイッチ136の操作により実現される。抑制制御部152bは、表示可能領域A1の下端部に虚像VIの端部が接している場合に、虚像VIをこれ以上下方向に移動させることができないため、位置補正制御部152aによる位置の補正を抑制する。なお、抑制制御部152bは、位置補正制御部152aによる下方向の位置の補正のみを抑制し、上方向の位置の補正を、表示可能範囲A1または上方向の補正領域CA1の範囲で許容してもよい。 FIG. 11 is a diagram for explaining correction suppression control at the display position of the virtual image VI. In the example of FIG. 11, the lower end of the displayable area A1 is displayed so that the lower end of the virtual image VI is in contact with the lower end. The display mode as shown in FIG. 11 is, for example, correction control of the position correction control unit 152a according to the external environment of the vehicle M (for example, the posture when traveling uphill), or an adjustment switch by the driver. It is realized by the operation of 136. When the end of the virtual image VI is in contact with the lower end of the displayable area A1, the suppression control unit 152b cannot move the virtual image VI further downward, so that the position correction control unit 152a corrects the position. Suppress. The suppression control unit 152b suppresses only the correction of the downward position by the position correction control unit 152a, and allows the correction of the upward position within the displayable range A1 or the upward correction area CA1. May be good.

ここで、図11に示すように表示可能領域A1の下端部に虚像VIの端部が接するように表示される場合には、俯角θが最大になる。したがって、抑制制御部152bは、俯角θの大きさが最大角度である場合に、位置補正制御部152aによる位置の補正を抑制してもよい。 Here, when the virtual image VI is displayed so as to contact the lower end of the displayable area A1 as shown in FIG. 11, the depression angle θ is maximized. Therefore, the suppression control unit 152b may suppress the position correction by the position correction control unit 152a when the magnitude of the depression angle θ is the maximum angle.

また、抑制制御部152bは、車両Mの外部環境に基づいて、位置補正制御部152aにおける補正の度合を制御してもよい。また、補正の度合とは、車両Mの外部環境に基づく虚像VIの位置の補正量の大きさ、または補正の抑制量の大きさである。例えば、抑制制御部152bは、ピッチ角の大きさ、車速の大きさ、操舵角の大きさ等に基づいて、補正ゲイン(補正量の大きさ)を調節する。 Further, the suppression control unit 152b may control the degree of correction in the position correction control unit 152a based on the external environment of the vehicle M. The degree of correction is the magnitude of the correction amount of the position of the virtual image VI based on the external environment of the vehicle M, or the magnitude of the suppression amount of the correction. For example, the suppression control unit 152b adjusts the correction gain (magnitude of the correction amount) based on the magnitude of the pitch angle, the magnitude of the vehicle speed, the magnitude of the steering angle, and the like.

図12は、ピッチ角と補正ゲインとの関係を説明するための図である。図12において、横軸はピッチ角を示し、縦軸は補正ゲインを示している。抑制制御部152bは、例えば車両Mが水平に走行している場合に環境センサ166から得られるピッチ角θpをゼロ(0)とし、段差や坂道等を走行することによりピッチ角θpが変動した場合の補正ゲインを変化させる。なお、図13において、ピッチ角θpが正の場合は水平より下方向の角度を示し、負の場合は水平より上方向の角度を示すものとする。例えば、抑制制御部152bは、ピッチ角θpが、−θp1以上でθp1以下である場合には、位置補正制御部152aによる補正制御の実行を抑制せずに、予め決められた補正ゲインで車両Mの外部環境に基づく虚像VIの表示位置を補正させる。また、抑制制御部152bは、ピッチ角が−θp1から−θp2に向かって小さくなるほど、またはθp1からθp2に向かって大きくなるほど、補正ゲインが小さくなるように、位置補正制御部152aによる位置の補正を抑制する。また、抑制制御部152bは、ピッチ角θpが−θp2より小さく、θp2より大きい場合、位置補正制御部152aによる位置の補正を実行させない。これにより、より適切な位置に虚像VIを表示させることができるため、運転者の視認性を向上させることができる。また、上述した処理により、虚像VIの表示位置が、表示可能領域の端部(限界位置)に近づくほど、補正ゲインが小さくなるため、虚像VIの移動範囲が限界位置に近付いていることを運転者に認識させ易くすることができる。 FIG. 12 is a diagram for explaining the relationship between the pitch angle and the correction gain. In FIG. 12, the horizontal axis represents the pitch angle and the vertical axis represents the correction gain. For example, when the vehicle M is traveling horizontally, the suppression control unit 152b sets the pitch angle θp obtained from the environment sensor 166 to zero (0), and when the pitch angle θp fluctuates due to traveling on a step or a slope. Change the correction gain of. In FIG. 13, when the pitch angle θp is positive, it indicates an angle below the horizontal, and when it is negative, it indicates an angle above the horizontal. For example, when the pitch angle θp is −θp1 or more and θp1 or less, the suppression control unit 152b does not suppress the execution of the correction control by the position correction control unit 152a, and the vehicle M has a predetermined correction gain. The display position of the virtual image VI based on the external environment of is corrected. Further, the suppression control unit 152b corrects the position by the position correction control unit 152a so that the correction gain decreases as the pitch angle decreases from −θp1 to −θp2 or increases from θp1 to θp2. Suppress. Further, when the pitch angle θp is smaller than −θp2 and larger than θp2, the suppression control unit 152b does not execute the position correction by the position correction control unit 152a. As a result, the virtual image VI can be displayed at a more appropriate position, so that the visibility of the driver can be improved. Further, by the above-described processing, the correction gain becomes smaller as the display position of the virtual image VI approaches the end (limit position) of the displayable area, so that the movement range of the virtual image VI approaches the limit position. It can be made easier for people to recognize.

[処理フロー]
図13は、実施形態の表示装置100により実行される処理の流れを示すフローチャートである。なお、図13の処理は、例えば、操作スイッチ130により表示装置100がオン状態になった後、所定のタイミングで繰り返し実行される。
[Processing flow]
FIG. 13 is a flowchart showing a flow of processing executed by the display device 100 of the embodiment. The process of FIG. 13 is repeatedly executed at a predetermined timing after the display device 100 is turned on by the operation switch 130, for example.

まず、画像生成部151は、車両Mの外部環境と、記憶部154に記憶された設定情報とに基づいて、風景に重畳させる画像を生成する(ステップS100)。次に、表示態様制御部152は、設定情報等に基づいて、生成された画像の表示態様を決定する(ステップS102)。次に、駆動制御部153は、表示態様制御部152により決定された表示態様に基づいて、光学系コントローラ170により凹面鏡アクチュエータ182を制御させて、表示態様で示された俯角で虚像VIが視認可能となるように、凹面鏡126の反射角度φを調節させる(ステップS104)。次に、表示態様制御部152は、ディスプレイコントローラ172により、投光装置120から表示態様に基づき生成された画像を含む光を投射させる(ステップS106)。 First, the image generation unit 151 generates an image to be superimposed on the landscape based on the external environment of the vehicle M and the setting information stored in the storage unit 154 (step S100). Next, the display mode control unit 152 determines the display mode of the generated image based on the setting information and the like (step S102). Next, the drive control unit 153 controls the concave mirror actuator 182 by the optical system controller 170 based on the display mode determined by the display mode control unit 152, and the virtual image VI can be visually recognized at the depression angle indicated by the display mode. The reflection angle φ of the concave mirror 126 is adjusted so as to be (step S104). Next, the display mode control unit 152 projects light including an image generated based on the display mode from the floodlight device 120 by the display controller 172 (step S106).

次に、表示態様制御部152は、車両挙動取得装置300により取得された車両Mの挙動に基づいて、車両Mの外部環境が所定の条件を満たすか否かを判定する(ステップS108)。車両Mの外部環境が所定の条件を満たす場合、表示態様制御部152は、消失点推定装置168により推定された車両Mの走行車線の消失点と、注視点推定装置169により推定された運転者の注視点とを取得する(ステップS110)。次に、表示態様制御部152は、カメラにより撮像された画像上における消失点と注視点との距離が所定距離未満であるか否かを判定する(ステップS112)。消失点と注視点との距離が所定距離未満である場合、位置補正制御部152aは、車両Mの外部環境に基づく画像の位置の補正を行う(ステップS114)。また、消失点と注視点との距離が所定距離以上である場合、抑制制御部152bは、位置補正制御部152aによる位置の補正を抑制する(ステップS116)。これにより、本フローチャートの処理は、終了する。また、ステップS108の処理により、車両Mの外部環境が所定の条件を満たさない場合、本フローチャートの処理を終了する。 Next, the display mode control unit 152 determines whether or not the external environment of the vehicle M satisfies a predetermined condition based on the behavior of the vehicle M acquired by the vehicle behavior acquisition device 300 (step S108). When the external environment of the vehicle M satisfies a predetermined condition, the display mode control unit 152 sets the vanishing point of the traveling lane of the vehicle M estimated by the vanishing point estimation device 168 and the driver estimated by the gazing point estimation device 169. (Step S110). Next, the display mode control unit 152 determines whether or not the distance between the vanishing point and the gazing point on the image captured by the camera is less than a predetermined distance (step S112). When the distance between the vanishing point and the gazing point is less than a predetermined distance, the position correction control unit 152a corrects the position of the image based on the external environment of the vehicle M (step S114). When the distance between the vanishing point and the gazing point is equal to or greater than a predetermined distance, the suppression control unit 152b suppresses the position correction by the position correction control unit 152a (step S116). As a result, the processing of this flowchart ends. Further, if the external environment of the vehicle M does not satisfy the predetermined condition by the process of step S108, the process of this flowchart is terminated.

上述した実施形態によれば、表示装置100において、画像を含む光を投射する投光装置120と、光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構122と、投光装置120を制御する表示制御装置150と、を備え、表示制御装置150は、車両Mの乗員の注視点と、車両Mの走行車線の消失点との距離が所定距離未満である場合に、車両Mの外部環境に基づいて形成される画像の位置を補正し、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制することで、画像の視認性を向上させることができる。具体的には、実施形態によれば、車両Mの外部環境に基づく画像の位置を補正する場合に、消失点から運転者の注視点が外れる場合には、画像の位置の補正を抑制する。また、実施形態によれば、車両Mの旋回時、発進時、低速走行時、悪路や坂道の走行時等の所定の条件下において、画像の位置の補正を抑制する。これにより、違和感のある画像の移動を抑制し、運転者による画像の視認性を向上させることができる。 According to the above-described embodiment, in the display device 100, a light projecting device 120 that projects light including an image and a distance from a predetermined position to a position where the light is formed as a virtual image provided on the path of the light. The display control device 150 includes an optical mechanism 122 capable of adjusting the above and a display control device 150 for controlling the floodlight device 120, and the display control device 150 has a viewpoint of the occupant of the vehicle M and a vanishing point of the traveling lane of the vehicle M. When the distance is less than the predetermined distance, the position of the image formed based on the external environment of the vehicle M is corrected, and when the distance between the gazing point and the vanishing point is equal to or more than the predetermined distance, the image is displayed. By suppressing the position correction, the visibility of the image can be improved. Specifically, according to the embodiment, when the position of the image based on the external environment of the vehicle M is corrected, if the gaze point of the driver deviates from the vanishing point, the correction of the position of the image is suppressed. Further, according to the embodiment, the correction of the position of the image is suppressed under predetermined conditions such as when the vehicle M is turning, starting, traveling at a low speed, traveling on a rough road or a slope. As a result, it is possible to suppress the movement of the image with a sense of discomfort and improve the visibility of the image by the driver.

上述した実施形態において、表示装置100は、例えば、フロントウインドシールド20に直接画像を投影するのに代えて、運転者の位置とフロントウインドシールド20との間に設けられるコンバイナ等の光透過性反射部材に画像を投影してもよい。 In the above-described embodiment, the display device 100, for example, instead of projecting an image directly on the front windshield 20, is a light-transmitting reflection such as a combiner provided between the position of the driver and the front windshield 20. An image may be projected onto the member.

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.

10…ステアリングホイール、20…フロントウインドシールド、30…インストルメントパネル、40…運転席、50−1…第1表示部、50−2…第2表示部、100…表示装置、110…表示器、115…筐体、120…投光装置、122…光学機構、124…平面鏡、126…凹面鏡、128…透光カバー、130…操作スイッチ、150…表示制御装置、151…画像生成部、152…表示態様制御部、152a…位置補正制御部、152b…抑制制御部、153…駆動制御部、154…記憶部、162…位置センサ、164…凹面鏡角度センサ、166…環境センサ、170…光学系コントローラ、172…ディスプレイコントローラ、180…レンズアクチュエータ、182…凹面鏡アクチュエータ、200…運転支援制御装置、300…車両挙動取得装置、M…車両 10 ... Steering wheel, 20 ... Front windshield, 30 ... Instrument panel, 40 ... Driver's seat, 50-1 ... 1st display, 50-2 ... 2nd display, 100 ... Display device, 110 ... Display, 115 ... Housing, 120 ... Floodlight, 122 ... Optical mechanism, 124 ... Plane mirror, 126 ... Concave mirror, 128 ... Translucent cover, 130 ... Operation switch, 150 ... Display control device, 151 ... Image generator, 152 ... Display Aspect control unit, 152a ... Position correction control unit, 152b ... Suppression control unit, 153 ... Drive control unit, 154 ... Storage unit, 162 ... Position sensor, 164 ... Concave mirror angle sensor, 166 ... Environment sensor, 170 ... Optical system controller, 172 ... Display controller, 180 ... Lens actuator, 182 ... Concave mirror actuator, 200 ... Driving support control device, 300 ... Vehicle behavior acquisition device, M ... Vehicle

Claims (8)

画像を含む光を投射する投光装置と、
前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、
前記投光装置を制御する制御装置と、
車両の走行車線の消失点を検出する消失点推定装置と、を備え、
前記制御装置は、前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正し、前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制する、
表示装置。
A floodlight that projects light including images,
An optical mechanism provided on the path of the light and capable of adjusting the distance from a predetermined position to a position where the light is formed as a virtual image.
A control device that controls the floodlight device and
It is equipped with a vanishing point estimation device that detects the vanishing point of the vehicle's driving lane.
The control device is an image formed based on the external environment of the vehicle when the distance between the gazing point of the occupant of the vehicle and the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance. When the distance between the gazing point and the vanishing point is equal to or greater than a predetermined distance, the correction of the position of the image is suppressed.
Display device.
前記制御装置は、前記車両が旋回状態である場合に前記画像の位置の補正を抑制する、
請求項1に記載の表示装置。
The control device suppresses the correction of the position of the image when the vehicle is in a turning state.
The display device according to claim 1.
前記制御装置は、前記車両の速度が所定速度以下である場合に前記画像の位置の補正を抑制する、
請求項1または2に記載の表示装置。
The control device suppresses correction of the position of the image when the speed of the vehicle is equal to or lower than a predetermined speed.
The display device according to claim 1 or 2.
前記制御装置は、前記車両が走行する道路が渋滞している場合に前記画像の位置の補正を抑制する、
請求項1から3のうち何れか1項に記載の表示装置。
The control device suppresses correction of the position of the image when the road on which the vehicle travels is congested.
The display device according to any one of claims 1 to 3.
前記制御装置は、前記車両の外部環境に基づいて、前記画像の位置の補正の度合を変更する、
請求項1から4のうち何れか1項に記載の表示装置。
The control device changes the degree of correction of the position of the image based on the external environment of the vehicle.
The display device according to any one of claims 1 to 4.
前記制御装置は、前記画像の端部が、前記画像の表示可能領域の上端部または下端部に接する場合に、前記画像の位置の補正を抑制する、
請求項1から5のうち何れか1項に記載の表示装置。
The control device suppresses correction of the position of the image when the end of the image touches the upper end or the lower end of the displayable area of the image.
The display device according to any one of claims 1 to 5.
画像を含む光を投射する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記投光装置を制御する制御装置と、車両の走行車線の消失点を検出する消失点推定装置と、を備える表示装置が、
前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正し、
前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制する、
表示制御方法。
A light projecting device that projects light including an image, an optical mechanism provided on the path of the light and capable of adjusting the distance from a predetermined position to a position where the light is formed as a virtual image, and the light projecting device. A display device including a control device for controlling and a vanishing point estimation device for detecting a vanishing point in the traveling lane of a vehicle.
When the distance between the gazing point of the occupant of the vehicle and the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance, the position of the image formed based on the external environment of the vehicle is corrected. ,
When the distance between the gazing point and the vanishing point is equal to or greater than a predetermined distance, the correction of the position of the image is suppressed.
Display control method.
画像を含む光を投射する投光装置が、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記投光装置を制御する制御装置と、車両の走行車線の消失点を検出する消失点推定装置と、を備える表示装置に、
前記車両の乗員の注視点と、前記消失点推定装置により推定された前記消失点との距離が所定距離未満である場合に、前記車両の外部環境に基づいて形成される画像の位置を補正させ、
前記注視点と前記消失点との距離が所定距離以上である場合に、前記画像の位置の補正を抑制させる、
プログラム。
An optical mechanism in which a light projecting device for projecting light including an image is provided on the path of the light and the distance from a predetermined position to a position where the light is formed as a virtual image can be adjusted, and the light projecting device. A display device including a control device for controlling and a disappearance point estimation device for detecting a disappearance point in the traveling lane of a vehicle.
When the distance between the gazing point of the occupant of the vehicle and the vanishing point estimated by the vanishing point estimation device is less than a predetermined distance, the position of the image formed based on the external environment of the vehicle is corrected. ,
When the distance between the gazing point and the vanishing point is equal to or greater than a predetermined distance, the correction of the position of the image is suppressed.
program.
JP2020128570A 2018-09-27 2020-07-29 Display devices, display control methods, and programs Active JP6936907B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020128570A JP6936907B2 (en) 2018-09-27 2020-07-29 Display devices, display control methods, and programs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018181658A JP6744374B2 (en) 2018-09-27 2018-09-27 Display device, display control method, and program
JP2020128570A JP6936907B2 (en) 2018-09-27 2020-07-29 Display devices, display control methods, and programs

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018181658A Division JP6744374B2 (en) 2018-09-27 2018-09-27 Display device, display control method, and program

Publications (2)

Publication Number Publication Date
JP2020189627A true JP2020189627A (en) 2020-11-26
JP6936907B2 JP6936907B2 (en) 2021-09-22

Family

ID=73454833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020128570A Active JP6936907B2 (en) 2018-09-27 2020-07-29 Display devices, display control methods, and programs

Country Status (1)

Country Link
JP (1) JP6936907B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007230491A (en) * 2006-03-03 2007-09-13 Nissan Motor Co Ltd Visual sense information presentation device and visual sense information presentation method
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
US20150352954A1 (en) * 2014-06-05 2015-12-10 Thinkware Corporation Electronic apparatus, control method of electronic apparatus and computer readable recording medium
JP2017087826A (en) * 2015-11-05 2017-05-25 アルパイン株式会社 Electronic device
JP2017149335A (en) * 2016-02-25 2017-08-31 京セラ株式会社 Drive support information display device
JP2018072686A (en) * 2016-11-01 2018-05-10 矢崎総業株式会社 Display device for vehicle
JP2018140714A (en) * 2017-02-28 2018-09-13 株式会社デンソー Display control device and display control method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007230491A (en) * 2006-03-03 2007-09-13 Nissan Motor Co Ltd Visual sense information presentation device and visual sense information presentation method
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
US20150352954A1 (en) * 2014-06-05 2015-12-10 Thinkware Corporation Electronic apparatus, control method of electronic apparatus and computer readable recording medium
JP2017087826A (en) * 2015-11-05 2017-05-25 アルパイン株式会社 Electronic device
JP2017149335A (en) * 2016-02-25 2017-08-31 京セラ株式会社 Drive support information display device
JP2018072686A (en) * 2016-11-01 2018-05-10 矢崎総業株式会社 Display device for vehicle
JP2018140714A (en) * 2017-02-28 2018-09-13 株式会社デンソー Display control device and display control method

Also Published As

Publication number Publication date
JP6936907B2 (en) 2021-09-22

Similar Documents

Publication Publication Date Title
JP6744374B2 (en) Display device, display control method, and program
JP7121583B2 (en) Display device, display control method, and program
US11011137B2 (en) Display device, display control method, and storage medium for reducing visibility of double-images in head-up displays
JP6794415B2 (en) Display devices, display control methods, and programs
CN110967833B (en) Display device, display control method, and storage medium
JP6833790B2 (en) Display devices, display control methods, and programs
CN110816407B (en) Display device, display control method, and storage medium
JP7012617B2 (en) Display device and display control method
JP6936907B2 (en) Display devices, display control methods, and programs
JP7027278B2 (en) Display devices, display control methods, and programs
JP6978988B2 (en) Display devices, display control methods, and programs
US20200047686A1 (en) Display device, display control method, and storage medium
JP2020024560A (en) Display device, display control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210827

R150 Certificate of patent or registration of utility model

Ref document number: 6936907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150