JP2016112984A - Virtual image display system for vehicle, and head up display - Google Patents

Virtual image display system for vehicle, and head up display Download PDF

Info

Publication number
JP2016112984A
JP2016112984A JP2014252198A JP2014252198A JP2016112984A JP 2016112984 A JP2016112984 A JP 2016112984A JP 2014252198 A JP2014252198 A JP 2014252198A JP 2014252198 A JP2014252198 A JP 2014252198A JP 2016112984 A JP2016112984 A JP 2016112984A
Authority
JP
Japan
Prior art keywords
virtual image
traffic light
host vehicle
display
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014252198A
Other languages
Japanese (ja)
Inventor
中村 崇
Takashi Nakamura
崇 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2014252198A priority Critical patent/JP2016112984A/en
Publication of JP2016112984A publication Critical patent/JP2016112984A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

PROBLEM TO BE SOLVED: To allow a user to recognize the information about a signal hidden by an obstacle.SOLUTION: A communication part 400 receives by radio a lamp color state of a signal which an own vehicle 2 is to pass by. An image analysis part 202 analyzes a real view image of the own vehicle 2 in advancing direction that is taken with a stereoscopic camera 201, to determine whether the signal is present in the real view image. A controller 500, in a case where the signal is not present in the real view image, allows a lamp color virtual image representing lamp color state of the signal to be displayed based on the lamp color state of the signal inputted from the communication part 400.SELECTED DRAWING: Figure 1

Description

本発明は、自車両に存在する反射透過面に表示画像を示す表示光を投影することで、ユーザに虚像を視認させる車両用虚像表示システム、ヘッドアップディスプレイに関する。   The present invention relates to a vehicle virtual image display system and a head-up display that allow a user to visually recognize a virtual image by projecting display light indicating a display image onto a reflection / transmission surface present in the host vehicle.

ユーザに虚像を視認させる車両用虚像表示システムは、ヘッドアップディスプレイ(HUD:Head−Up Display)を用い、例えば、特許文献1に開示されるものがある。このようなHUDは、車外カメラなどで車外の信号機などの特定対象物を認識し、特定対象物に重畳して視認される表示位置を特定し、その表示位置に画像を投影することで、特定対象物に虚像を重畳表示して強調することができるものである。   A vehicle virtual image display system that allows a user to visually recognize a virtual image uses a head-up display (HUD) and is disclosed in, for example, Patent Document 1. Such a HUD is identified by recognizing a specific object such as a traffic signal outside the vehicle with a camera outside the vehicle, specifying a display position that is visually recognized by being superimposed on the specific object, and projecting an image on the display position. A virtual image can be superimposed on a target object to be emphasized.

特開2008−094377号公報JP 2008-094377 A

しかしながら、特許文献1のようなHUDでは、自車両の前方に車体の大きなトラックが走行していた場合、車外カメラがトラックに隠れた信号機を認識することができないため、車外の信号機に対して強調表示することができず、ユーザが信号機を見逃してしまうおそれがあった。   However, in HUD like patent document 1, when the big truck of the vehicle body is driving ahead of the own vehicle, since the camera outside the vehicle cannot recognize the traffic signal hidden in the truck, the signal outside the vehicle is emphasized. There was a possibility that the user could miss the traffic light because it could not be displayed.

本発明は、上記問題を鑑みてなされたものであり、障害物に隠れてしまった信号機の情報をユーザに認識させることができる車両用虚像表示システム、ヘッドアップディスプレイを提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle virtual image display system and a head-up display that allow a user to recognize information on a traffic signal hidden behind an obstacle. .

上記目的を達成するため、本発明の第1の発明における車両用虚像表示システムは、自車両が通過する予定の信号機の灯色状態を無線受信する通信部と、受信した前記信号機の灯色状態を示す虚像を表示するヘッドアップディスプレイと、を備えた車両用虚像表示システムであって、前記自車両の前方状況を取得する前方状況取得部と、取得した前記前方状況を解析し、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在するかを判定する前方状況解析部と、前記信号機が前記自車両の前方でユーザが視認可能な位置に存在しない場合に、前記灯色状態を示す前記虚像を表示させる制御手段と、を備える。   In order to achieve the above object, a vehicle virtual image display system according to a first aspect of the present invention includes a communication unit that wirelessly receives a light color state of a traffic light that the host vehicle is scheduled to pass, and a light color state of the received traffic light. A virtual image display system for a vehicle comprising a head-up display that displays a virtual image indicating a forward situation of the host vehicle, a forward situation acquisition unit that acquires a forward situation of the host vehicle, and the acquired forward situation, A front situation analysis unit that determines whether the traffic signal is present at a position visible to the user in front of the vehicle, and when the traffic light is not present at a position visible to the user in front of the host vehicle, the light color state And a control means for displaying the virtual image.

また、第2の発明におけるヘッドアップディスプレイは、自車両が通過する予定の信号機の灯色情報を外部から取得し、取得した前記信号機の灯色状態を示す虚像を表示するように制御する制御手段と、を備えたヘッドアップディスプレイにおいて、前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在しないとする信号を外部から受信した場合、前記灯色状態を示す前記虚像を表示させるものである。   Further, the head-up display according to the second aspect of the invention is a control means for acquiring from the outside the light color information of the traffic light that the host vehicle is scheduled to pass through, and controlling so as to display a virtual image indicating the acquired light color state of the traffic light. When the control means receives a signal from outside that the traffic light does not exist at a position visible to the user in front of the host vehicle, the control means indicates the lamp color state. A virtual image is displayed.

本発明における車両用虚像表示システム及びヘッドアップディスプレイによれば、障害物に隠れてしまった信号機の情報をユーザに認識させることができる。   According to the vehicle virtual image display system and the head-up display in the present invention, it is possible to allow the user to recognize the information of the traffic signal hidden behind the obstacle.

本発明の第一実施形態における車両用虚像表示システムの構成を説明する図である。It is a figure explaining the composition of the virtual image display system for vehicles in a first embodiment of the present invention. 上記実施形態における車両の乗員が視認する景色を説明する図である。It is a figure explaining the scenery which the passenger | crew of the vehicle in the said embodiment visually recognizes. 上記実施形態における車両用虚像表示システムの動作を説明するためのフロー図である。It is a flowchart for demonstrating operation | movement of the virtual image display system for vehicles in the said embodiment. 本発明の第二実施形態におけるHUDの表示例を示す図である。It is a figure which shows the example of a display of HUD in 2nd embodiment of this invention. 本発明の第三実施形態の車両用虚像表示システムの説明に用いる車線の俯瞰図である。It is an overhead view of the lane used for description of the virtual image display system for vehicles of a third embodiment of the present invention. 上記実施形態の説明に用いる信号機と自車両との相対的な位置関係を説明する図である。It is a figure explaining the relative positional relationship of the traffic signal used for description of the said embodiment, and the own vehicle. 上記実施形態におけるHUDの表示例を示す図である。It is a figure which shows the example of a display of HUD in the said embodiment. 本発明の第五実施形態における車両用虚像表示システムの構成を説明する図である。It is a figure explaining the structure of the virtual image display system for vehicles in 5th embodiment of this invention. 本発明の変形例におけるHUDの表示例を示す図である。It is a figure which shows the example of a display of HUD in the modification of this invention.

(第一実施形態)
図1に本実施形態に係る車両用虚像表示システム1のシステム構成を示す。
本実施形態に係る車両用虚像表示システム1は、虚像Mを表す表示光Lを自車両2のフロントガラス(反射透過面の一実施形態)2aに投影し、虚像Mを自車両2の乗員(ユーザ)3に視認させるヘッドアップディスプレイ(以下、HUD)100と、自車両2の前方の実景画像を取得し、解析する前方情報取得部200と、経路案内のための情報を生成するナビゲーションシステム300と、外部と無線通信可能な通信部400と、これら前方情報取得部200とナビゲーションシステム300と通信部400とから入力される情報に基づき、HUD100の表示を制御するコントローラ500と、から構成される。
(First embodiment)
FIG. 1 shows a system configuration of a vehicle virtual image display system 1 according to the present embodiment.
The vehicle virtual image display system 1 according to the present embodiment projects display light L representing the virtual image M onto the windshield (one embodiment of the reflection / transmission surface) 2a of the host vehicle 2, and the virtual image M is occupant ( A user) 3 a head-up display (hereinafter referred to as HUD) 100, a front information acquisition unit 200 that acquires and analyzes a real scene image ahead of the host vehicle 2, and a navigation system 300 that generates information for route guidance. A communication unit 400 capable of wireless communication with the outside, and a controller 500 that controls display of the HUD 100 based on information input from the front information acquisition unit 200, the navigation system 300, and the communication unit 400. .

本実施形態における車両用虚像表示システム1は、通信部400を用いて、道路上に設置されているインフラ側の通信機器である信号機情報送信部4と路車間通信することができる。車両用虚像表示システム1は、信号機情報送信部4から信号機5の灯色を示す灯色情報Isを取得し、取得した灯色情報Isに基づいて、信号機5の灯色を示す灯色虚像M1を表示することが可能である。路車間通信では、狭域通信(DSRC)などの電波ビーコンや光ビーコンの技術が用いられる。   The virtual image display system 1 for a vehicle in the present embodiment can perform road-to-vehicle communication with the traffic signal information transmission unit 4 that is an infrastructure-side communication device installed on the road, using the communication unit 400. The vehicular virtual image display system 1 acquires lamp color information Is indicating the lamp color of the traffic signal 5 from the traffic signal information transmitting unit 4, and a lamp color virtual image M1 indicating the lamp color of the traffic signal 5 based on the acquired lamp color information Is. Can be displayed. In road-to-vehicle communication, radio beacon and optical beacon technologies such as narrow area communication (DSRC) are used.

(HUD100の光学的構成)
HUD100は、本発明の特徴である後述する信号機5の灯色を示す灯色虚像M1を表示するための画像を表示する表示器10と、この画像を示す画像光Kを反射する平面ミラー20と、この平面ミラー20が反射した画像光Kを拡大及び変形して表示光Lとしてフロントガラス2a側へ反射する自由曲面ミラー30と、を備える。HUD100は、フロントガラス2a上に所定の表示可能領域Eを有し、この表示可能領域E内に虚像Mを表示することができる。
(Optical configuration of HUD100)
The HUD 100 includes a display 10 that displays an image for displaying a lamp color virtual image M1 that indicates the lamp color of a traffic light 5 that will be described later, which is a feature of the present invention, and a flat mirror 20 that reflects image light K indicating the image. And a free-form surface mirror 30 that magnifies and deforms the image light K reflected by the plane mirror 20 and reflects the image light K as display light L toward the windshield 2a. The HUD 100 has a predetermined displayable area E on the windshield 2a, and can display a virtual image M in the displayable area E.

表示器10は、後述するコントローラ500による制御の下、信号機5の灯色を示す画像や、自車両2に関する情報を示す車両情報画像(図示しない)等を表示面に表示するものであり、例えば、液晶パネルなどの表示素子(図示しない)と、この表示素子を照明する光源(図示しない)とから構成される透過型液晶ディスプレイなどである。なお、表示器10は、透過型液晶ディスプレイではなく、自発光型の有機ELディスプレイや、反射型のDMD(Digital Micromirror Device)、反射型及び透過型のLCoS(登録商標:Liquid Crystal on Silicon)等で構成されてもよい。後述するコントローラ500は、表示器10の表示面に表示する画像の表示位置を調整することで、乗員3が視認する虚像Mの位置を調整することができる。   The display 10 displays an image indicating the light color of the traffic light 5, a vehicle information image (not shown) indicating information related to the host vehicle 2, and the like on the display surface under the control of the controller 500 described later. A transmissive liquid crystal display composed of a display element such as a liquid crystal panel (not shown) and a light source (not shown) for illuminating the display element. The display 10 is not a transmissive liquid crystal display, but a self-luminous organic EL display, a reflective DMD (Digital Micromirror Device), a reflective and transmissive LCoS (registered trademark: Liquid Crystal on Silicon), or the like. It may be constituted by. The controller 500 to be described later can adjust the position of the virtual image M visually recognized by the occupant 3 by adjusting the display position of the image displayed on the display surface of the display 10.

平面ミラー20は、表示器10が出射した画像光Kを、自由曲面ミラー30に向けて反射させるものである。   The plane mirror 20 reflects the image light K emitted from the display 10 toward the free-form curved mirror 30.

自由曲面ミラー30は、例えば合成樹脂材料からなる凹状の基材の表面に、蒸着等の手段により反射膜を形成したものであり、平面ミラー20で反射した画像光Kを拡大すると共に、画像光Kを変形して表示光Lとしてフロントガラス2aの方向に出射する。   The free-form surface mirror 30 is formed by forming a reflective film on the surface of a concave base material made of, for example, a synthetic resin material by means such as vapor deposition, and enlarges the image light K reflected by the flat mirror 20 and K is transformed and emitted as display light L in the direction of the windshield 2a.

乗員3から見てフロントガラス2aの奥側で視認される虚像Mは、図2に示すように、自車両2が通過する予定の信号機5の灯色を示す灯色虚像M1を有する。灯色虚像M1は、例えば、赤色の信号機を模した円形状の赤色枠の赤色灯虚像M1rと、黄色の信号機を模した円形状の黄色枠の黄色灯虚像M1yと、青色の信号機を模した円形状の青色枠の青色灯虚像M1bと、から構成される。灯色虚像M1は、後述する通信部400から入力する灯色情報Isに基づき、赤色灯虚像M1rまたは黄色灯虚像M1yまたは青色灯虚像M1bのいずれかが点灯しているように表示される。図2では、黄色灯虚像M1yが点灯している様子が図示されている。この灯色虚像M1の表示処理については、後で詳述する。   As shown in FIG. 2, the virtual image M viewed from the back side of the windshield 2a when viewed from the occupant 3 has a light color virtual image M1 indicating the light color of the traffic light 5 that the host vehicle 2 is scheduled to pass. The lamp-colored virtual image M1 is, for example, a circular red-framed red lamp virtual image M1r simulating a red traffic light, a circular yellow-frame yellow lamp virtual image M1y simulating a yellow traffic light, and a blue traffic light And a blue lamp virtual image M1b having a circular blue frame. The lamp color virtual image M1 is displayed such that either the red lamp virtual image M1r, the yellow lamp virtual image M1y, or the blue lamp virtual image M1b is lit based on lamp color information Is input from the communication unit 400 described later. FIG. 2 illustrates a state where the yellow lamp virtual image M1y is lit. The display process of the lamp color virtual image M1 will be described in detail later.

以上が、本実施形態におけるHUD100の光学的な構成である。HUD100は、出射した表示光Lが自車両2のフロントガラス2aに投影されることで、フロントガラス2aの所定の表示可能領域Eで虚像Mを視認させるものである。以下に、車両用虚像表示システム1の電気的な構成を説明する。   The above is the optical configuration of the HUD 100 in the present embodiment. The HUD 100 causes the virtual image M to be visually recognized in a predetermined displayable region E of the windshield 2a by projecting the emitted display light L onto the windshield 2a of the host vehicle 2. Below, the electrical structure of the virtual image display system 1 for vehicles is demonstrated.

(車両用虚像表示システム1の電気的構成)
前方情報取得部200は、自車両2の前方の実景を撮像し、この実景画像を解析することで、実景画像内の信号機5を抽出するものである。本実施形態の前方情報取得部200は、自車両2前方側を撮像するステレオカメラ(前方状況取得部)201と、このステレオカメラ201で取得された撮像データを解析する画像解析部(前方状況解析部)202と、を有する。
(Electrical configuration of vehicle virtual image display system 1)
The forward information acquisition unit 200 captures an actual scene in front of the host vehicle 2 and analyzes the actual scene image to extract the traffic lights 5 in the actual scene image. The front information acquisition unit 200 of the present embodiment includes a stereo camera (front situation acquisition unit) 201 that images the front side of the host vehicle 2 and an image analysis unit (front situation analysis) that analyzes imaging data acquired by the stereo camera 201. Part) 202.

ステレオカメラ(前方状況取得部)201は、自車両2が走行する車線を含む前方領域を撮像し、実景画像を画像解析部202に送信する。画像解析部202(前方状況解析部)は、取得した実景画像をパターンマッチングなどの画像解析法を用いて解析し、実景画像から信号機5を抽出する。また、ステレオカメラ201は、カラー画像を取得可能であり、画像解析部202は、取得したカラーの実景画像から信号機5の灯色を検出することができる。さらに、画像解析部202は、例えば、ステレオカメラ201が撮像したステレオ画像である実景画像を、三角法などの画像解析することにより、信号機5や後述する障害物Wまでの距離を算出することが可能である。なお、ステレオカメラ201が設置されている位置と、乗員3の眼の位置は異なるため、ステレオカメラ201で撮像できても乗員3には視認が困難である場合がある。画像解析部202は、実景画像内に信号機5が抽出できたとしても、抽出した信号機5の位置が乗員3にとって視認可能な位置にあるかを判定する。
すなわち、本実施形態における前方情報取得部200は、自車両2の前方で乗員3が視認可能な位置に信号機5が存在するか否かを示す情報や信号機5の灯色情報Isや信号機5までの距離情報などを、後述するコントローラ500に出力する。
本発明に記載の『前方状況取得部』の一例として、本実施形態では、ステレオカメラ201を挙げたが、ステレオカメラ以外に、可視光を撮像する通常の単眼カメラや単眼3次元ステレオカメラなどを用いてもよい。また、カラーではなくモノクロの実景画像を取得するものであってもよい。また、本発明の『前方状況取得部』として、赤外センサやミリ波レーダー、レーザーレーダーなど様々なセンサを適用することが可能である。
The stereo camera (front situation acquisition unit) 201 images a front area including a lane in which the host vehicle 2 travels, and transmits a real scene image to the image analysis unit 202. The image analysis unit 202 (forward situation analysis unit) analyzes the acquired actual scene image using an image analysis method such as pattern matching, and extracts the traffic light 5 from the actual scene image. Further, the stereo camera 201 can acquire a color image, and the image analysis unit 202 can detect the light color of the traffic light 5 from the acquired color actual scene image. Furthermore, the image analysis unit 202 can calculate a distance to the traffic light 5 and an obstacle W (to be described later) by performing image analysis such as triangulation on a real scene image that is a stereo image captured by the stereo camera 201, for example. Is possible. In addition, since the position where the stereo camera 201 is installed is different from the position of the occupant 3's eyes, the occupant 3 may have difficulty in visual recognition even if the stereo camera 201 can capture images. Even if the traffic light 5 can be extracted from the actual scene image, the image analysis unit 202 determines whether or not the position of the extracted traffic light 5 is visible to the occupant 3.
That is, the front information acquisition unit 200 according to the present embodiment includes information indicating whether or not the traffic light 5 is present at a position where the occupant 3 is visible in front of the host vehicle 2, the lamp color information Is of the traffic light 5, and the traffic light 5. Is output to the controller 500 described later.
As an example of the “front situation acquisition unit” described in the present invention, the stereo camera 201 is described in the present embodiment. However, in addition to the stereo camera, a normal monocular camera or a monocular three-dimensional stereo camera that captures visible light is used. It may be used. Alternatively, a monochrome actual scene image may be acquired instead of color. Various sensors such as an infrared sensor, a millimeter wave radar, and a laser radar can be applied as the “forward situation acquisition unit” of the present invention.

ナビゲーションシステム300は、自車両2に設けられ、信号機5の位置情報を含む地図情報を記憶し、図示しないGPSコントローラで検出する自車両2の位置情報に基づいて、現在位置近傍の地図情報を記憶部から読み出し、自車両2がこれから通過する信号機5の位置情報を生成し、後述するコントローラ500に出力する。ナビゲーションシステム300が生成する信号機5の位置情報とは、具体的に例えば、自車両2から通過する予定の信号機5までの距離等を含む情報である。後述するコントローラ500は、ナビゲーションシステム300から入力する自車両2から信号機5までの距離情報に基づいて、自車両2が信号機5を視認できる位置にあるかを判定する。なお、ナビゲーションシステム300は、本発明の特許請求の範囲に記載の自車両2の位置を取得する位置情報取得手段と、道路上の信号機5の位置を含む地図情報を記憶する地図情報記憶手段と、前記位置情報取得手段が取得した自車両2の位置から自車両2が通過する予定の信号機5の位置を前記地図情報記憶手段から読み出し、自車両2と信号機5との間の距離を算出する距離算出手段を、機能として備える。   The navigation system 300 is provided in the host vehicle 2, stores map information including the position information of the traffic light 5, and stores map information in the vicinity of the current position based on the position information of the host vehicle 2 detected by a GPS controller (not shown). The position information of the traffic light 5 through which the host vehicle 2 will pass is generated and output to the controller 500 described later. Specifically, the position information of the traffic light 5 generated by the navigation system 300 is information including, for example, the distance from the host vehicle 2 to the traffic light 5 scheduled to pass. The controller 500 described later determines whether the host vehicle 2 is in a position where the host vehicle 2 can visually recognize the traffic signal 5 based on distance information from the host vehicle 2 to the traffic signal 5 input from the navigation system 300. The navigation system 300 includes position information acquisition means for acquiring the position of the host vehicle 2 described in the claims of the present invention, and map information storage means for storing map information including the position of the traffic light 5 on the road. The position of the traffic light 5 that the host vehicle 2 is scheduled to pass from the position of the host vehicle 2 acquired by the position information acquisition unit is read from the map information storage unit, and the distance between the host vehicle 2 and the traffic signal 5 is calculated. A distance calculation means is provided as a function.

通信部400は、自車両2に設けられ、道路上に設置されている信号機情報送信部4と一方向または双方向の無線通信を行うものであり、信号機情報送信部4から灯色情報Isを取得し、この灯色情報Isをコントローラ500に送信する。   The communication unit 400 is provided in the host vehicle 2 and performs one-way or two-way wireless communication with the traffic signal information transmission unit 4 installed on the road. The traffic light information Is is obtained from the traffic signal information transmission unit 4. The lamp color information Is is acquired and transmitted to the controller 500.

コントローラ500は、CPU,ROM,RAM,グラフィックコントローラなどからなるECU(Electirical Control Unit)であり、前方情報取得部200,ナビゲーションシステム300,通信部400から入力される情報に基づいて、HUD100の表示を制御する。コントローラ500は、ナビゲーションシステム300から取得した自車両2と信号機5との距離情報から、自車両2が信号機5を視認できる位置にあるかを判定する。具体的には、コントローラ500は、自車両2と信号機5との間の距離が100m以内となった場合、自車両2が信号機5を視認できる位置にあると判定する。
コントローラ500は、自車両2が信号機5を視認できる位置にあると判定した場合、前方情報取得部200が行う実景画像内に信号機5が存在するか否かの判定に基づいて、信号機5の灯色を示す灯色虚像M1をHUD100に表示させるかを決定する。具体的には、前方情報取得部200が、実景画像内に信号機5が存在しないと判定した場合、コントローラ500は、HUD100に灯色虚像M1を表示させる。これにより、信号機5が障害物Wなどによって隠れてしまった場合でも、乗員3は、信号機5の灯色状態を、灯色虚像M1を視認することで確認することができる。
以下に、車両用虚像表示システム1の動作を、図3のフロー図を用いて説明する。
The controller 500 is an ECU (Electrical Control Unit) including a CPU, ROM, RAM, graphic controller, and the like, and displays the HUD 100 based on information input from the front information acquisition unit 200, the navigation system 300, and the communication unit 400. Control. The controller 500 determines whether the host vehicle 2 is in a position where the traffic signal 5 can be visually recognized from the distance information between the host vehicle 2 and the traffic signal 5 acquired from the navigation system 300. Specifically, when the distance between the host vehicle 2 and the traffic signal 5 is within 100 m, the controller 500 determines that the host vehicle 2 is in a position where the traffic signal 5 can be visually recognized.
When the controller 500 determines that the host vehicle 2 is in a position where the traffic light 5 can be visually recognized, the controller 500 determines whether the traffic light 5 is present based on the determination as to whether or not the traffic light 5 is present in the actual scene image performed by the front information acquisition unit 200. It is determined whether or not the lamp color virtual image M1 indicating the color is displayed on the HUD 100. Specifically, when the front information acquisition unit 200 determines that the traffic light 5 does not exist in the actual scene image, the controller 500 causes the HUD 100 to display the lamp color virtual image M1. Thereby, even when the traffic light 5 is hidden by the obstacle W etc., the passenger | crew 3 can confirm the light color state of the traffic light 5 by visually recognizing the light color virtual image M1.
Below, operation | movement of the virtual image display system 1 for vehicles is demonstrated using the flowchart of FIG.

車両用虚像表示システム1は、自車両2のイグニスイッチ(図示しない)のオン操作に従って起動する。起動すると、まず、ステップS10において、ナビゲーションシステム300は、自車両2の現在地を取得し、記憶部に記憶しておいた地図情報から自車両2が通過する可能性のある信号機5の位置情報を取得し(ステップS20)、コントローラ500に出力する。   The vehicle virtual image display system 1 is activated in accordance with an ON operation of an ignition switch (not shown) of the host vehicle 2. When activated, first, in step S10, the navigation system 300 acquires the current location of the host vehicle 2, and from the map information stored in the storage unit, the position information of the traffic signal 5 that the host vehicle 2 may pass is obtained. Obtain (step S20) and output to the controller 500.

ステップS30において、コントローラ500は、ナビゲーションシステム300から入力した位置情報に含まれる自車両2から信号機5までの距離が、所定の距離(例えば、100m)以内であるかを判定する。自車両2から信号機5までの距離が100mより長い場合(ステップS30でNO)、ステップS10に戻り再び自車両2の現在位置を取得する。一方、自車両2から信号機5までの距離が100m以下であった場合(ステップS30でYES)、前方情報取得部200は、自車両2の前方側を撮像した実景画像内に信号機5が存在するかを判定する(ステップS40)。   In step S30, the controller 500 determines whether the distance from the own vehicle 2 to the traffic light 5 included in the position information input from the navigation system 300 is within a predetermined distance (for example, 100 m). When the distance from the own vehicle 2 to the traffic light 5 is longer than 100 m (NO in step S30), the process returns to step S10 to acquire the current position of the own vehicle 2 again. On the other hand, when the distance from the own vehicle 2 to the traffic signal 5 is 100 m or less (YES in step S30), the front information acquisition unit 200 includes the traffic signal 5 in the actual scene image obtained by imaging the front side of the own vehicle 2. Is determined (step S40).

前方情報取得部200が実景画像内に信号機5が存在すると判定した場合(ステップS40でYES)、コントローラ500は、信号機5の灯色を示す灯色虚像M1や後述する警告虚像M2を非表示とする(ステップS50)。例えば、コントローラ500は、灯色虚像M1を表示している途中に実景画像で信号機5の存在が確認された場合、灯色虚像M1を非表示とする。
このように、乗員3が実景における信号機5が視認できる状態になった際に、灯色虚像M1を非表示とすることで、実景における信号機5と灯色虚像M1とで灯色を示す情報の重複を解消することができ、乗員3に実景の信号機5に注意を促すことができる。
When the front information acquisition unit 200 determines that the traffic light 5 is present in the actual scene image (YES in step S40), the controller 500 hides the light virtual image M1 indicating the light color of the traffic light 5 and a warning virtual image M2 described later. (Step S50). For example, when the presence of the traffic light 5 is confirmed with a real scene image while the lamp color virtual image M1 is being displayed, the controller 500 hides the lamp color virtual image M1.
In this way, when the occupant 3 becomes able to visually recognize the traffic light 5 in the real scene, the lamp color virtual image M1 is not displayed, so that the information indicating the lamp color in the traffic light 5 and the lamp color virtual image M1 in the real scene is displayed. The duplication can be eliminated, and the passenger 3 can be alerted to the traffic light 5 in the actual scene.

一方、前方情報取得部200が実景画像内に信号機5が存在しないと判定した場合(ステップS40でNO)、コントローラ500は、通信部400から灯色情報Isが入力されたかを判定する(ステップS60)。
コントローラ500が通信部400から灯色情報Isが入力されていないと判定した場合(ステップS60でNO)、コントローラ500は、HUD100を制御し、表示可能領域Eに信号機5が近いことを警告する警告虚像M2を表示させる。警告虚像M2は、具体的に例えば、「信号機が近くにあります。注意して下さい。」などの文字情報や乗員3に信号機5の接近を知らせる標示などである。このように、灯色情報Isの入力がなく、信号機5の灯色を示す灯色虚像M1を表示することが出来なくても警告虚像M2により、信号機5の接近を乗員3に通知し、注意を促すことができる。
On the other hand, when the front information acquisition unit 200 determines that the traffic light 5 does not exist in the actual scene image (NO in step S40), the controller 500 determines whether the lamp color information Is is input from the communication unit 400 (step S60). ).
When the controller 500 determines that the lamp color information Is is not input from the communication unit 400 (NO in step S60), the controller 500 controls the HUD 100 and warns that the traffic light 5 is close to the displayable area E A virtual image M2 is displayed. Specifically, the warning virtual image M2 is, for example, character information such as “There is a traffic light near. Please be careful” or a sign that informs the occupant 3 that the traffic light 5 is approaching. In this way, even if the lamp color information Is is not input and the lamp color virtual image M1 indicating the lamp color of the traffic light 5 cannot be displayed, the warning virtual image M2 notifies the passenger 3 of the approach of the traffic light 5, Can be encouraged.

コントローラ500が通信部400から灯色情報Isが入力されたと判定した場合(ステップS60でYES)、コントローラ500は、ステップS80において、HUD100を制御し、表示可能領域Eに信号機5の灯色を示す灯色虚像M1を表示させる。なお、灯色虚像M1を表示する位置は、自車両2の前方に位置するトラックなどの障害物Wに重ならない位置とすることが好ましい。障害物Wに表示が重なることによる灯色虚像M1の視認性の低下を抑制することができる。   When the controller 500 determines that the lamp color information Is is input from the communication unit 400 (YES in step S60), the controller 500 controls the HUD 100 in step S80 to indicate the lamp color of the traffic light 5 in the displayable area E. The lamp color virtual image M1 is displayed. In addition, it is preferable that the position where the lamp-colored virtual image M1 is displayed is a position that does not overlap an obstacle W such as a truck positioned in front of the host vehicle 2. It is possible to suppress a decrease in the visibility of the lamp color virtual image M1 due to the display overlapping the obstacle W.

以上に説明したように、本実施形態における車両用虚像表示システム1は、自車両2が通過する予定の信号機5の灯色状態を無線受信する通信部400と、受信した前記信号機の灯色状態を示す虚像を表示するHUD100と、を備え、自車両2の進行方向の実景を撮像した実景画像を取得するステレオカメラ201と、灯色状態を取得した信号機5が実景画像に存在しない場合に、灯色状態を示す灯色虚像M1を表示させるコントローラ500と、を備えるものであり、信号機5を直接視認できない場合であっても、灯色虚像M1を視認することで、信号機5の灯色を乗員3に認識させることができる。   As described above, the vehicle virtual image display system 1 according to this embodiment includes the communication unit 400 that wirelessly receives the light color state of the traffic light 5 that the host vehicle 2 is scheduled to pass through, and the received light color state of the traffic light. When a stereo camera 201 that acquires a real scene image obtained by capturing a real scene in the traveling direction of the host vehicle 2 and a traffic light 5 that acquires a light color state are not present in the real scene image, And a controller 500 that displays a lamp color virtual image M1 indicating the lamp color state. Even when the traffic light 5 cannot be directly visually recognized, the lamp color of the traffic signal 5 can be changed by visually checking the lamp color virtual image M1. The passenger 3 can be recognized.

本発明は上記実施形態に限定されるものではなく、例えば、次のような実施形態も本発明の技術的範囲に含まれる。さらに、下記以外にも、本発明の要旨を逸脱しない範囲内で種々変更して実施することが可能である。   The present invention is not limited to the above-described embodiment. For example, the following embodiments are also included in the technical scope of the present invention. In addition to the following, various modifications can be made without departing from the scope of the present invention.

(第二実施形態)
第二実施形態における車両用虚像表示システム1において、コントローラ500は、ナビゲーションシステム300から入力する自車両2から信号機5までの距離情報に従い、灯色虚像M1の大きさを変える。具体的には、コントローラ500は、自車両2から信号機5までの距離が長い場合、図4(a)に示すように、灯色虚像M1を小さく表示し、自車両2から信号機5までの距離が短い場合、図4(b)に示すように、灯色虚像M1を大きく表示する。これにより、灯色虚像M1の大きさの変化を参考に、乗員3は、自車両2から視認できない信号機5までの距離を推測することが可能となる。すなわち、灯色虚像M1が大きく表示された場合、乗員3は、信号機5が近いと認識することができ、信号機5が設置された交差点付近において安全運転を促すことが可能である。
(Second embodiment)
In the vehicle virtual image display system 1 according to the second embodiment, the controller 500 changes the size of the lamp color virtual image M1 according to the distance information from the host vehicle 2 to the traffic light 5 input from the navigation system 300. Specifically, when the distance from the own vehicle 2 to the traffic light 5 is long, the controller 500 displays a small lamp color virtual image M1 as shown in FIG. 4A, and the distance from the own vehicle 2 to the traffic light 5 Is short, the lamp-colored virtual image M1 is displayed large as shown in FIG. Thereby, the passenger | crew 3 can estimate the distance from the own vehicle 2 to the traffic signal 5 which cannot be visually recognized with reference to the change of the magnitude | size of the lamp color virtual image M1. That is, when the lamp color virtual image M1 is displayed large, the occupant 3 can recognize that the traffic light 5 is close, and can promote safe driving near the intersection where the traffic light 5 is installed.

(第三実施形態)
第三実施形態における車両用虚像表示システム1について、図5,図6,図7を用いて説明する。図5は、信号機5に対する自車両2の相対的な位置Pが変化する様子を示した道路の俯瞰図であり、信号機5までの左カーブを進行する自車両2の位置を時間経過に伴いPa,Pb,Pcと記してある。また、信号機5の正面方向を、Qと記してある。図6は、信号機5に対する自車両2の相対的な位置P(Pa,Pb,Pc)と、信号機5の正面方向Qとの間の角度θを説明するための図である。図7は、灯色虚像M1の方位角の変化の様子を説明する図であり、図7(a),(b),(c)に図示した灯色虚像M1は、自車両2の位置Pa,Pb,Pcにおいて視認されるものを示している。
(Third embodiment)
A vehicle virtual image display system 1 according to a third embodiment will be described with reference to FIGS. FIG. 5 is an overhead view of the road showing how the relative position P of the host vehicle 2 with respect to the traffic light 5 changes. The position of the host vehicle 2 traveling on the left curve to the traffic signal 5 is expressed as Pa over time. , Pb, Pc. Further, the front direction of the traffic light 5 is indicated by Q. FIG. 6 is a diagram for explaining an angle θ between the relative position P (Pa, Pb, Pc) of the host vehicle 2 with respect to the traffic light 5 and the front direction Q of the traffic light 5. FIG. 7 is a diagram for explaining a change in the azimuth angle of the light-colored virtual image M1, and the light-colored virtual image M1 illustrated in FIGS. 7A, 7B, and 7C is a position Pa of the host vehicle 2. , Pb, and Pc.

ナビゲーションシステム300は、信号機5に対する自車両2の相対的な位置P(Pa,Pb,Pc)と、信号機5の正面方向Qとの間の角度θを算出し、コントローラ500に出力する。自車両2の位置Pについては、前述したように、GPSコントローラで取得することが可能であり、信号機5の正面方向Qについては、信号機5につながる車線の方向と同一であるため、地図情報を読み出すことで決定することが可能である。   The navigation system 300 calculates an angle θ between the relative position P (Pa, Pb, Pc) of the host vehicle 2 with respect to the traffic light 5 and the front direction Q of the traffic light 5 and outputs the angle θ to the controller 500. As described above, the position P of the host vehicle 2 can be acquired by the GPS controller, and the front direction Q of the traffic light 5 is the same as the direction of the lane leading to the traffic light 5, so that the map information is It can be determined by reading.

コントローラ500は、ナビゲーションシステム300から入力した信号機5から自車両2の位置Pに向けた方向と信号機5の正面方向Qとの間の角度θに基づき、図7に示すように、灯色虚像M1を水平方向に回転させて表示する。コントローラ500は、角度θが小さいほど、正面側がより視認されるように灯色虚像M1を回転させ、角度θ(θa>θb)が大きいほど、灯色虚像M1の側面側がより視認されるように回転させる。すなわち、第三実施形態における車両用虚像表示システム1は、信号機5の正面方向Qに対する自車両2の位置Pに対応して、灯色虚像M1が表示される水平方向の角度を調整する。灯色虚像M1の水平方向の角度が変化することにより、乗員3は、信号機5がどの方向にあるのかを推測することができる。   Based on the angle θ between the direction from the traffic signal 5 input from the navigation system 300 toward the position P of the host vehicle 2 and the front direction Q of the traffic signal 5, the controller 500, as shown in FIG. Rotate horizontally to display. The controller 500 rotates the lamp color virtual image M1 so that the front side is more visually recognized as the angle θ is smaller, and the side surface side of the lamp color virtual image M1 is more visually recognized as the angle θ (θa> θb) is larger. Rotate. In other words, the vehicular virtual image display system 1 in the third embodiment adjusts the horizontal angle at which the lamp-colored virtual image M1 is displayed corresponding to the position P of the host vehicle 2 with respect to the front direction Q of the traffic light 5. By changing the horizontal angle of the lamp-colored virtual image M1, the occupant 3 can estimate in which direction the traffic light 5 is located.

(第四実施形態)
第四実施形態における車両用虚像表示システム1は、灯色虚像M1を表示している際、前方情報取得部200が撮像する実景画像内に信号機5が存在した場合、灯色虚像M1を非表示にしない点で上記実施形態とは異なる。HUD100が灯色虚像M1を表示している際に、信号機5が視認できる状態になった場合でも灯色虚像M1の表示を継続させる。灯色虚像M1を非表示としてしまった場合、同じ信号機5の灯色を確認するために、あるときは灯色虚像M1が表示されている表示可能領域Eの領域に視線を向け、あるときは実景における信号機5に視線を向けなくてはならず、乗員3の視線移動が煩雑になってしまうおそれがあるが、灯色虚像M1の表示を継続することで、信号機5の灯色を確認するための乗員3の視線移動を少なく抑えることができる。
(Fourth embodiment)
The vehicle virtual image display system 1 according to the fourth embodiment does not display the lamp color virtual image M1 when the traffic light 5 is present in the real scene image captured by the front information acquisition unit 200 when the lamp color virtual image M1 is displayed. It is different from the above embodiment in that it is not made. When the HUD 100 is displaying the lamp color virtual image M1, the display of the lamp color virtual image M1 is continued even when the traffic light 5 becomes visible. When the lamp color virtual image M1 is not displayed, in order to confirm the lamp color of the same traffic light 5, the line of sight is directed to the displayable area E where the lamp color virtual image M1 is displayed. The line of sight must be directed to the traffic light 5 in the actual scene, and there is a possibility that the movement of the sight line of the occupant 3 may be complicated, but the lamp color of the traffic light 5 is confirmed by continuing to display the lamp color virtual image M1. Therefore, the line-of-sight movement of the occupant 3 can be reduced.

また、前方情報取得部200は、実景画像内で信号機5の存在を確認した場合、実景画像における信号機5の灯色情報Isを抽出し、コントローラ500に出力する。そして、コントローラ500は、実景画像における信号機5の灯色情報Isに基づいて灯色虚像M1の灯色を切り替える。このように、実景画像内から信号機5の灯色を抽出し、灯色虚像M1の灯色を同期させることで、実景における信号機5の灯色と灯色虚像M1の灯色とのズレを解消し、乗員3に前記ズレにより生じる違和感を防止することができる。   Further, when the presence information of the traffic light 5 is confirmed in the actual scene image, the front information acquisition unit 200 extracts the light color information Is of the traffic signal 5 in the actual scene image and outputs it to the controller 500. Then, the controller 500 switches the lamp color of the lamp color virtual image M1 based on the lamp color information Is of the traffic light 5 in the actual scene image. Thus, by extracting the lamp color of the traffic light 5 from the real scene image and synchronizing the lamp color of the lamp color virtual image M1, the deviation between the lamp color of the traffic light 5 and the lamp color of the lamp color virtual image M1 in the actual scene is eliminated. In addition, it is possible to prevent the passenger 3 from feeling uncomfortable due to the deviation.

(第五実施形態)
第五実施形態において、コントローラ500は、図8に示すように、HUD100内に設けられていてもよい。第五実施形態におけるHUD100は、外部(前方情報取得部200,ナビゲーションシステム300,通信部400)と電気的に接続され、信号を入力する入力I/F500aを有する。入力I/F500aは、自車両2が通過する予定の信号機5の灯色情報Isを通信部400から取得したり、実景画像で撮像された信号機5の灯色状態に関する信号あるいは自車両2の進行方向の実景を撮像した実景画像に信号機5が存在するか否かを示す信号を前方情報取得部200から取得したり、自車両2と信号機5との間の距離情報をナビゲーションシステム300から取得したりする。
(Fifth embodiment)
In the fifth embodiment, the controller 500 may be provided in the HUD 100 as shown in FIG. The HUD 100 in the fifth embodiment is electrically connected to the outside (the front information acquisition unit 200, the navigation system 300, and the communication unit 400), and has an input I / F 500a for inputting a signal. The input I / F 500a acquires the light color information Is of the traffic light 5 that the host vehicle 2 is scheduled to pass from the communication unit 400, a signal related to the light color state of the traffic signal 5 captured by a real scene image, or the progress of the host vehicle 2. A signal indicating whether the traffic signal 5 is present in the actual scene image obtained by capturing the actual scene in the direction is acquired from the front information acquisition unit 200, or distance information between the host vehicle 2 and the traffic signal 5 is acquired from the navigation system 300. Or

第五実施形態におけるHUD100は、自車両2が通過する予定の信号機5の灯色情報Isを外部から取得し、取得した信号機5の灯色状態を示す灯色虚像M1を表示するように制御するコントローラ500と、を備え、コントローラ500は、外部(前方情報取得部200)から自車両2の前方で乗員3が視認可能な位置に信号機5が存在しないとする信号を受信した場合、灯色状態を示す灯色虚像M1を表示させる。   The HUD 100 in the fifth embodiment acquires the light color information Is of the traffic light 5 that the host vehicle 2 is scheduled to pass from the outside, and performs control so as to display the light color virtual image M1 indicating the light color state of the acquired traffic light 5. A controller 500, and when the controller 500 receives a signal indicating that the traffic light 5 does not exist at a position where the occupant 3 can visually recognize in front of the host vehicle 2 from the outside (the front information acquisition unit 200), A lamp-colored virtual image M1 is displayed.

(その他の変形例)
上記実施形態において、灯色虚像M1は、赤色の信号機を模した円形状の赤色枠の赤色灯虚像M1rと、黄色の信号機を模した円形状の黄色枠の黄色灯虚像M1yと、青色の信号機を模した円形状の青色枠の青色灯虚像M1bと、を有するとしたが、これに限定されず、点灯している信号灯を模した単体のもののみであってもよく、点灯している信号灯と、その前後いずれかの2つの信号灯を模したものであってもよい。
(Other variations)
In the above embodiment, the lamp-colored virtual image M1 includes a circular red-framed red lamp virtual image M1r simulating a red traffic light, a circular yellow-framed yellow light virtual image M1y simulating a yellow traffic light, and a blue traffic light. However, the present invention is not limited to this, and it may be a single unit that imitates a lit signal lamp. And what imitated any two signal lights before and after that.

また、上記実施形態では、灯色虚像M1を、障害物Wに重ならない位置に灯色虚像M1を表示していたが、図9に示すように、自車両2の進行方向の位置に灯色虚像M1を表示させてもよい。灯色虚像M1を表示する場合、灯色虚像M1を進行方向に表示することで、前方領域に十分注意をしながら、信号機5の灯色を確認することができる。   Moreover, in the said embodiment, although the lamp color virtual image M1 was displayed on the position which does not overlap the obstruction W, the lamp color virtual image M1 was displayed on the position of the advancing direction of the own vehicle 2, as shown in FIG. The virtual image M1 may be displayed. When the lamp color virtual image M1 is displayed, by displaying the lamp color virtual image M1 in the traveling direction, the lamp color of the traffic light 5 can be confirmed while paying sufficient attention to the front area.

また、上記実施形態では、HUD100の表示光Lを乗員3に向けて反射させる反射透過面として、フロントガラス2aを挙げていたが、これに限定されずに専用のコンバイナなどを用いてもよい。   Moreover, in the said embodiment, although the windshield 2a was mentioned as a reflective transmissive surface which reflects the display light L of HUD100 toward the passenger | crew 3, it is not limited to this, A dedicated combiner etc. may be used.

1 車両用虚像表示システム
2 自車両
2a フロントガラス(反射透過面)
3 乗員(ユーザ)
4 信号機情報送信部
5 信号機
10 表示器
20 平面ミラー
30 自由曲面ミラー
100 ヘッドアップディスプレイ(HUD)
200 前方情報取得部
201 ステレオカメラ(前方状況取得部)
202 画像解析部(前方状況解析部)
300 ナビゲーションシステム
400 通信部
500 コントローラ(制御手段)
E 表示可能領域
K 画像光
L 表示光
M 虚像
M1 灯色虚像
M2 警告虚像
DESCRIPTION OF SYMBOLS 1 Virtual image display system for vehicles 2 Own vehicle 2a Windshield (reflection transmission surface)
3 Crew (User)
4 Signal Information Transmission Unit 5 Signal 10 Display 20 Flat mirror 30 Free-form curved mirror 100 Head-up display (HUD)
200 Front information acquisition unit 201 Stereo camera (front situation acquisition unit)
202 Image analysis unit (forward situation analysis unit)
300 navigation system 400 communication unit 500 controller (control means)
E Displayable area K Image light L Display light M Virtual image M1 Light color virtual image M2 Warning virtual image

Claims (14)

自車両が通過する予定の信号機の灯色状態を無線受信する通信部と、受信した前記信号機の灯色状態を示す虚像を表示するヘッドアップディスプレイと、を備えた車両用虚像表示システムであって、
前記自車両の前方状況を取得する前方状況取得部と、
取得した前記前方状況を解析し、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在するかを判定する前方状況解析部と、
前記信号機が前記自車両の前方でユーザが視認可能な位置に存在しない場合に、前記灯色状態を示す前記虚像を表示させる制御手段と、を備える、
ことを特徴とする車両用虚像表示システム。
A vehicle virtual image display system comprising: a communication unit that wirelessly receives a light color state of a traffic light scheduled to pass by the host vehicle; and a head-up display that displays a virtual image indicating the received light color state of the traffic light. ,
A forward situation acquisition unit for obtaining a forward situation of the host vehicle;
Analyzing the acquired forward situation and determining whether the traffic light is present at a position visible to the user in front of the host vehicle; and
Control means for displaying the virtual image indicating the lamp color state when the traffic light is not present at a position visible to the user in front of the host vehicle,
The virtual image display system for vehicles characterized by the above-mentioned.
前記自車両の位置を取得する位置情報取得手段と、道路上の信号機の位置を含む地図情報を記憶する地図情報記憶手段と、前記位置情報取得手段が取得した前記自車両の位置から前記自車両が通過する予定の前記信号機の位置を前記地図情報記憶手段から読み出し、前記自車両と前記信号機との間の距離を算出する距離算出手段と、をさらに備え、
前記制御手段は、前記距離算出手段が算出した前記自車両と前記信号機との間の距離に基づいて、前記虚像の大きさを制御する、
ことを特徴とする請求項1に記載の車両用虚像表示システム。
Position information acquisition means for acquiring the position of the host vehicle, map information storage means for storing map information including the position of a traffic light on the road, and the position of the host vehicle acquired by the position information acquisition means A distance calculating means for reading out the position of the traffic signal scheduled to pass from the map information storage means, and calculating a distance between the host vehicle and the traffic light,
The control means controls the size of the virtual image based on the distance between the host vehicle and the traffic light calculated by the distance calculation means.
The vehicle virtual image display system according to claim 1.
前記制御手段は、前記地図情報記憶手段に記憶される前記地図情報で前記自車両の進行方向に前記信号機が存在し、かつ前記通信部から前記信号機の前記灯色状態が検出されなかった場合、警告虚像を表示させる、
ことを特徴とする請求項2に記載の車両用虚像表示システム。
The control means, when the traffic light exists in the traveling direction of the host vehicle in the map information stored in the map information storage means, and the light color state of the traffic light is not detected from the communication unit, Display a warning virtual image,
The virtual image display system for vehicles according to claim 2 characterized by things.
前記制御手段は、前記前方状況からユーザによる前記信号機の視認を妨げる障害物を抽出し、前記障害物に重ならない位置に前記虚像を表示させる、
ことを特徴とする請求項1乃至3のいずれかに記載の車両用虚像表示システム。
The control means extracts an obstacle that prevents a user from visually recognizing the traffic light from the front situation, and displays the virtual image at a position that does not overlap the obstacle.
The vehicle virtual image display system according to any one of claims 1 to 3.
前記制御手段は、前記虚像を表示している際、前記前方状況でユーザが視認可能な位置に前記信号機の存在を確認した場合においても前記虚像の表示を維持する、
ことを特徴とする請求項1乃至4のいずれかに記載の車両用虚像表示システム。
The control means maintains the display of the virtual image even when the presence of the traffic light is confirmed at a position visible to the user in the forward situation when displaying the virtual image.
The virtual image display system for a vehicle according to any one of claims 1 to 4.
前記制御手段は、前記通信部から取得した前記灯色状態と前記前方状況で存在を確認した前記信号機の灯色状態とを比較し、異なっていた場合に前記虚像を非表示にさせる、
ことを特徴とする請求項1乃至5のいずれかに記載の車両用虚像表示システム。
The control means compares the lamp color state acquired from the communication unit with the lamp color state of the traffic light that has been confirmed to exist in the forward situation, and makes the virtual image non-displayed if they are different.
The virtual image display system for vehicles according to any one of claims 1 to 5.
前記制御手段は、前記信号機から前記自車両の位置に向けた方向と前記信号機の正面方向との間の角度に基づき、前記虚像を水平方向に回転させて表示する、
ことを特徴とする請求項2に記載の車両用虚像表示システム。
The control means displays the virtual image rotated in the horizontal direction based on an angle between a direction from the traffic light toward the position of the host vehicle and a front direction of the traffic light.
The virtual image display system for vehicles according to claim 2 characterized by things.
自車両が通過する予定の信号機の灯色情報を外部から取得し、取得した前記信号機の灯色状態を示す虚像を表示するように制御する制御手段と、を備えたヘッドアップディスプレイにおいて、
前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在しないとする信号を外部から受信した場合、前記灯色状態を示す前記虚像を表示させる、
ことを特徴とするヘッドアップディスプレイ。
In a head-up display comprising: control means for acquiring the light color information of the traffic light that the host vehicle is scheduled to pass from the outside and controlling to display a virtual image indicating the acquired light color state of the traffic light;
The control means displays the virtual image indicating the lamp color state when receiving a signal from the outside that the traffic light does not exist at a position visible to the user in front of the host vehicle.
A head-up display.
前記制御手段は、前記自車両と前記信号機との間の距離情報を外部から入力し、前記自車両と前記信号機との間の距離に基づいて、前記虚像の大きさを制御する、
ことを特徴とする請求項8に記載のヘッドアップディスプレイ。
The control means inputs distance information between the host vehicle and the traffic signal from the outside, and controls the size of the virtual image based on the distance between the host vehicle and the traffic signal.
The head-up display according to claim 8.
前記制御手段は、前記自車両の前方でユーザが視認可能な位置に前記信号機が存在することを示す信号を外部から受信し、かつ前記信号機の前記灯色状態が外部から検出されなかった場合、警告虚像を表示させる、
ことを特徴とする請求項8または請求項9に記載のヘッドアップディスプレイ。
The control means receives a signal indicating that the traffic signal is present at a position visible to the user in front of the host vehicle from the outside, and the light color state of the traffic signal is not detected from the outside, Display a warning virtual image,
The head-up display according to claim 8 or 9, characterized by the above.
前記制御手段は、ユーザによる前記信号機の視認を妨げる障害物に関する情報を外部から受信し、前記障害物に重ならない位置に前記虚像を表示させる、
ことを特徴とする請求項8乃至10のいずれかに記載のヘッドアップディスプレイ。
The control means receives information related to an obstacle that prevents the user from visually recognizing the traffic light, and displays the virtual image at a position that does not overlap the obstacle.
The head-up display according to any one of claims 8 to 10.
前記制御手段は、前記虚像を表示している際、前記自車両の前方でユーザが視認可能な位置に前記信号機の存在を確認した信号を外部から入力した場合においても前記虚像の表示を維持する、
ことを特徴とする請求項8乃至11のいずれかに記載のヘッドアップディスプレイ。
While the virtual image is being displayed, the control means maintains the display of the virtual image even when a signal confirming the presence of the traffic light is input from the outside at a position where the user can visually recognize the vehicle in front of the host vehicle. ,
The head-up display according to claim 8, wherein the head-up display is provided.
前記制御手段は、外部から取得した前記灯色状態と、外部から入力する前記前方状況で存在を確認した前記信号機の灯色状態とを比較し、異なっていた場合に前記虚像を非表示にさせる、
ことを特徴とする請求項8乃至12のいずれかに記載のヘッドアップディスプレイ。
The control means compares the lamp color state acquired from the outside with the lamp color state of the traffic light that has been confirmed to exist in the forward situation input from the outside, and hides the virtual image if they are different. ,
The head-up display according to any one of claims 8 to 12.
前記制御手段は、前記信号機から前記自車両の位置に向けた方向と前記信号機の正面方向との間の角度を外部から入力し、入力した前記角度に応じて前記虚像を少なくとも水平方向に回転させて表示する、
ことを特徴とする請求項8乃至13のいずれかに記載のヘッドアップディスプレイ。

The control means inputs an angle between the direction from the traffic light toward the position of the host vehicle and the front direction of the traffic light from the outside, and rotates the virtual image at least in the horizontal direction according to the inputted angle. Display,
The head-up display according to claim 8, wherein the head-up display is provided.

JP2014252198A 2014-12-12 2014-12-12 Virtual image display system for vehicle, and head up display Pending JP2016112984A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014252198A JP2016112984A (en) 2014-12-12 2014-12-12 Virtual image display system for vehicle, and head up display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014252198A JP2016112984A (en) 2014-12-12 2014-12-12 Virtual image display system for vehicle, and head up display

Publications (1)

Publication Number Publication Date
JP2016112984A true JP2016112984A (en) 2016-06-23

Family

ID=56140605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014252198A Pending JP2016112984A (en) 2014-12-12 2014-12-12 Virtual image display system for vehicle, and head up display

Country Status (1)

Country Link
JP (1) JP2016112984A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018173755A (en) * 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 Driving assistance device, driving assistance method, and driving assistance program
WO2019003929A1 (en) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 Display system, information presentation system, method for controlling display system, program and recording medium for display system, and mobile body device
JP2019012237A (en) * 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 Display system, information presentation system, method for controlling display system, program, and mobile body
KR20190038870A (en) * 2016-08-05 2019-04-09 쌩-고벵 글래스 프랑스 Composite Plate Glass with Display Device
WO2019107295A1 (en) 2017-11-30 2019-06-06 日本精機株式会社 Head-up display device
JP2019121307A (en) * 2018-01-11 2019-07-22 トヨタ自動車株式会社 Traffic light recognition device and automatic driving system
JP2020135321A (en) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 Driving support system, and server device
JP2020144721A (en) * 2019-03-08 2020-09-10 本田技研工業株式会社 Vehicle control device
JP2021059228A (en) * 2019-10-07 2021-04-15 株式会社デンソー Display control device and display control program
WO2022030379A1 (en) * 2020-08-07 2022-02-10 株式会社デンソー Traffic signal recognition device, traffic signal recognition method, and vehicle control program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0562097A (en) * 1991-09-03 1993-03-12 Omron Corp Traffic system
JP2005069799A (en) * 2003-08-22 2005-03-17 Denso Corp Navigation system for vehicle
JP2008149786A (en) * 2006-12-14 2008-07-03 Mazda Motor Corp Vehicle driving assistance device and vehicle driving assistance system
WO2014192594A1 (en) * 2013-05-31 2014-12-04 日本精機株式会社 On-vehicle device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0562097A (en) * 1991-09-03 1993-03-12 Omron Corp Traffic system
JP2005069799A (en) * 2003-08-22 2005-03-17 Denso Corp Navigation system for vehicle
JP2008149786A (en) * 2006-12-14 2008-07-03 Mazda Motor Corp Vehicle driving assistance device and vehicle driving assistance system
WO2014192594A1 (en) * 2013-05-31 2014-12-04 日本精機株式会社 On-vehicle device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11220090B2 (en) 2016-08-05 2022-01-11 Saint-Gobain Glass France Composite pane with a display device
KR20190038870A (en) * 2016-08-05 2019-04-09 쌩-고벵 글래스 프랑스 Composite Plate Glass with Display Device
JP2019530604A (en) * 2016-08-05 2019-10-24 サン−ゴバン グラス フランス Composite pane with display device
KR102265661B1 (en) * 2016-08-05 2021-06-16 쌩-고벵 글래스 프랑스 Composite glass with display device
JP2021120270A (en) * 2016-08-05 2021-08-19 サン−ゴバン グラス フランス Composite pane with display device
JP7202412B2 (en) 2016-08-05 2023-01-11 サン-ゴバン グラス フランス composite pane with display
JP2018173755A (en) * 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 Driving assistance device, driving assistance method, and driving assistance program
WO2019003929A1 (en) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 Display system, information presentation system, method for controlling display system, program and recording medium for display system, and mobile body device
JP2019012237A (en) * 2017-06-30 2019-01-24 パナソニックIpマネジメント株式会社 Display system, information presentation system, method for controlling display system, program, and mobile body
JP7065383B2 (en) 2017-06-30 2022-05-12 パナソニックIpマネジメント株式会社 Display systems, information presentation systems, display system control methods, programs, and moving objects
WO2019107295A1 (en) 2017-11-30 2019-06-06 日本精機株式会社 Head-up display device
US11538334B2 (en) 2017-11-30 2022-12-27 Nippon Seiki Co., Ltd. Head-up display device
JP2019121307A (en) * 2018-01-11 2019-07-22 トヨタ自動車株式会社 Traffic light recognition device and automatic driving system
JP7067067B2 (en) 2018-01-11 2022-05-16 トヨタ自動車株式会社 Traffic light recognition device and automatic driving system
JP7205695B2 (en) 2019-02-18 2023-01-17 トヨタ自動車株式会社 driving support system
US11508161B2 (en) 2019-02-18 2022-11-22 Toyota Jidosha Kabushiki Kaisha Driving support system and server device
JP2020135321A (en) * 2019-02-18 2020-08-31 トヨタ自動車株式会社 Driving support system, and server device
US11364912B2 (en) 2019-03-08 2022-06-21 Honda Motor Co., Ltd. Vehicle control device
JP7093738B2 (en) 2019-03-08 2022-06-30 本田技研工業株式会社 Vehicle control unit
JP2020144721A (en) * 2019-03-08 2020-09-10 本田技研工業株式会社 Vehicle control device
JP2021059228A (en) * 2019-10-07 2021-04-15 株式会社デンソー Display control device and display control program
JP7255443B2 (en) 2019-10-07 2023-04-11 株式会社デンソー Display control device and display control program
WO2022030379A1 (en) * 2020-08-07 2022-02-10 株式会社デンソー Traffic signal recognition device, traffic signal recognition method, and vehicle control program
JP7409257B2 (en) 2020-08-07 2024-01-09 株式会社デンソー Traffic light recognition device, traffic light recognition method, vehicle control device

Similar Documents

Publication Publication Date Title
JP2016112984A (en) Virtual image display system for vehicle, and head up display
JP6459205B2 (en) Vehicle display system
US9818206B2 (en) Display device
JP6379779B2 (en) Vehicle display device
JP6225379B2 (en) Vehicle information projection system
US11525694B2 (en) Superimposed-image display device and computer program
JP2015187806A (en) Alarm system for vehicle
WO2017082067A1 (en) Image display system for vehicle
JP2015099469A (en) Vehicle information projection system
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP6443716B2 (en) Image display device, image display method, and image display control program
JP2019012236A (en) Display system, information presentation system, method for controlling display system, program, and mobile body
JP6379770B2 (en) Vehicle display device
JP2015226304A (en) Projection device for vehicle and head-up display system
JP7111582B2 (en) head up display system
JP2017149335A (en) Drive support information display device
JP2018020779A (en) Vehicle information projection system
JP7216898B2 (en) Display control method, display control device and head-up display device
JP2019202589A (en) Display device
JP7127565B2 (en) Display control device and display control program
JP2017013671A (en) Head-up display device
JP2019206262A (en) Display device
JP2018087852A (en) Virtual image display device
JP2018169169A (en) Head-up display device
JP6610376B2 (en) Display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190307