JP2017040773A - Head-mounted display device - Google Patents

Head-mounted display device Download PDF

Info

Publication number
JP2017040773A
JP2017040773A JP2015162231A JP2015162231A JP2017040773A JP 2017040773 A JP2017040773 A JP 2017040773A JP 2015162231 A JP2015162231 A JP 2015162231A JP 2015162231 A JP2015162231 A JP 2015162231A JP 2017040773 A JP2017040773 A JP 2017040773A
Authority
JP
Japan
Prior art keywords
eye
image
information
superimposed
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015162231A
Other languages
Japanese (ja)
Inventor
敏治 白土
Toshiharu Shirato
敏治 白土
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015162231A priority Critical patent/JP2017040773A/en
Publication of JP2017040773A publication Critical patent/JP2017040773A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a head-mounted display device that allows a user to recognize objects to be watched more reliably.SOLUTION: An HMD 10 comprises a right-eye imaging unit 11, a left-eye imaging unit 12, a right-eye display unit 13, a left-eye display unit 14, and a GDC 15. A right-eye superimposed image and a left-eye superimposed image respectively displayed on the right-eye display unit 13 and the left-eye display unit 14 include associated images superimposed in associated positions. As such, the superimposed images at the associated positions causes a driver to pay attention to the associated positions, and associated information and images at the associated positions make the driver recognize objects. Such an arrangement allows the user to recognize objects to be watched more reliably.SELECTED DRAWING: Figure 1

Description

本発明は、使用者の頭部に装着され、画像を表示する頭部装着型表示装置に関する。   The present invention relates to a head-mounted display device that is mounted on a user's head and displays an image.

車載のナビゲーション装置は、地図および目的地までの経路など運転支援情報を表示する。これによって運転時の利便性が大きく向上している。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。   The vehicle-mounted navigation device displays driving support information such as a map and a route to the destination. This greatly improves the convenience during driving. On the other hand, how to display such driving support information on which part of the vehicle is a problem from the viewpoint of safety in vehicle travel.

例えば、フロントウィンドウに運転支援情報を投影表示するヘッドアップディスプレイ(Head-up Display:略称HUD)が提案されている。HUDは固定表示エリアの範囲内にて、情報表示させている。しかし固定表示エリアは、たとえばフロントウィンドウの下方に固定されており、ドライバーが運転に必要な情報として常に見る必要があるエリアとは異なる部位になっている。したがって、実際の道路標示や、注意すべき対象物に対し、直接的な表示を加えることは困難である。   For example, a head-up display (abbreviated as HUD) that projects and displays driving support information on a front window has been proposed. The HUD displays information within the fixed display area. However, the fixed display area is fixed below the front window, for example, and is different from the area that the driver always needs to see as information necessary for driving. Therefore, it is difficult to add a direct display to an actual road marking or an object to be noted.

これに対し、特許文献1は、運転者の頭部に装着され、運転者の両目に近接して配置される表示部を有する頭部装着型表示装置(Head Mounted Display:HMD)が開示されている。このHMDの表示部に車両の速度などを表示することにより、ドライバーの頭の向きにかかわらずドライバーに必要な情報を提供している。   On the other hand, Patent Document 1 discloses a head mounted display (HMD) that has a display unit that is mounted on the driver's head and is disposed close to both eyes of the driver. Yes. Information necessary for the driver is provided regardless of the head direction of the driver by displaying the speed of the vehicle on the display unit of the HMD.

特開平10−206787号公報JP-A-10-206787

運転者は、車両で走行しているとき、周囲の様々な物、たとえば標識、信号、前方の走行車両、歩行者などを認識する必要がある。しかし運転中に視界の中で何に注目すべきかを判断することは難しく、また安全な走行のため注目すべき物の見落としを防ぐ必要がある。   The driver needs to recognize various surrounding objects such as signs, signals, a traveling vehicle ahead, a pedestrian, and the like when traveling in a vehicle. However, it is difficult to determine what should be noted in the field of view during driving, and it is necessary to prevent oversight of notable objects for safe driving.

前述の特許文献1に記載のHMDでは、密閉モードの場合は、外界光を遮断してカメラ等によって撮影された画像を加工し、加工した加工画像を表示している。加工画像は、夜間の赤外線カメラの画像と、走行補助表示の画像とを重畳している。したがって加工画像は、撮影された画像の明度を調整し、夜間でも周囲を見やすくしている。しかし、注目すべき物に対しては、なんら報知されていない。したがって運転者に危機意識を抱かせることができず、報知対象に運転者の視線が向いたとしても、運転者による報知対象の認識が行われないままとなってしまう懸念があった。   In the above-described HMD described in Patent Document 1, in the sealed mode, an image captured by a camera or the like is processed while external light is blocked, and the processed image is displayed. The processed image superimposes the image of the infrared camera at night and the image of the driving assistance display. Therefore, the processed image adjusts the brightness of the photographed image to make it easy to see the surroundings even at night. However, there is no notification about anything that should be noted. Therefore, there is a concern that the driver cannot be aware of the crisis, and even if the driver's line of sight is directed to the notification target, the driver does not recognize the notification target.

そこで、本発明は前述の問題点を鑑みてなされたものであり、使用者が注目すべき物の認識の確実性を高めることが可能な頭部装着型表示装置を提供することを目的とする。   Therefore, the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a head-mounted display device that can increase the certainty of recognition of an object that should be noted by the user. .

本発明は前述の目的を達成するために以下の技術的手段を採用する。   The present invention employs the following technical means in order to achieve the aforementioned object.

本発明は、右目用撮影部(11)によって撮影された右目撮影画像および左目用撮影部(12)によって撮影された左目撮影画像を解析して、右目撮影画像および左目撮影画像に関連する関連情報を取得する関連情報取得部(15)と、関連情報を表示する関連画像(95,96)を取得する関連画像取得部(15)と、関連画像を右目撮影画像および左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する重畳画像生成部(15)と、を含むことを特徴とする頭部装着型表示装置である。   The present invention analyzes the right eye photographed image taken by the right eye photographing section (11) and the left eye photographed image taken by the left eye photographing section (12), and related information related to the right eye photographed image and the left eye photographed image. A related information acquisition unit (15) for acquiring the related image, a related image acquisition unit (15) for acquiring the related image (95, 96) for displaying the related information, and the related image as a related position of the right eye image and the left eye image. And a superimposed image generation unit (15) for generating a right-eye superimposed image and a left-eye superimposed image superimposed on the head-mounted display device.

このような本発明に従えば、右目重畳画像と左目重畳画像には、関連した位置に関連画像が重畳されている。したがって使用者は、関連した位置にある各重畳画像によって、関連する位置に注目することができ、さらに関連する位置の関連情報を関連画像によって認識することができる。これによって使用者が注目すべき物の認識の確実性を高めることができる。   According to the present invention, the related image is superimposed on the right eye superimposed image and the left eye superimposed image at the related positions. Therefore, the user can pay attention to the related position by each superimposed image at the related position, and can recognize the related information of the related position from the related image. As a result, the certainty of recognition of an object that should be noted by the user can be increased.

なお、前述の各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。   In addition, the code | symbol in the bracket | parenthesis of each above-mentioned means is an example which shows a corresponding relationship with the specific means as described in embodiment mentioned later.

車載ネットワーク30およびHMD10を示すブロック図である。It is a block diagram which shows the vehicle-mounted network 30 and HMD10. 自車両における運転席周辺のレイアウトを示す図である。It is a figure which shows the layout around the driver's seat in the own vehicle. GDC15の処理を示すフローチャートである。It is a flowchart which shows the process of GDC15. 撮影画像91の一例を示す図である。It is a figure which shows an example of the picked-up image. 重畳画像の一例を示す図である。It is a figure which shows an example of a superimposed image.

(第1実施形態)
本発明の第1実施形態に関して、図1〜図5を用いて説明する。本実施形態のHMD10は、頭部装着型表示装置であって、自車両100の運転者の頭部に装着される。HMD10は、運転者によって運転される自車両100に搭載されるヒューマンマシンインターフェースコントロールユニット(Human Machine Interface Control Unit:略称HCU)20と通信可能に構成される。HMD10は、いわゆる密閉型および没入型と呼ばれるタイプであり、装着した運転者は外光が遮断され、HMD10が表示する画像を視認する。HMD10は、図1に示すように、右目用撮影部11、左目用撮影部12、右目用表示部13、左目用表示部14およびグラフィックディスプレイコンピュータ(Graphic Display Computer:略称GDC)15を含んで構成される。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS. The HMD 10 of this embodiment is a head-mounted display device that is mounted on the head of the driver of the host vehicle 100. The HMD 10 is configured to be able to communicate with a human machine interface control unit (abbreviated as HCU) 20 mounted on the host vehicle 100 driven by a driver. The HMD 10 is a type called a so-called sealed type and an immersive type, and a driver who wears the HMD 10 sees an image displayed on the HMD 10 by blocking outside light. As shown in FIG. 1, the HMD 10 includes a right-eye imaging unit 11, a left-eye imaging unit 12, a right-eye display unit 13, a left-eye display unit 14, and a graphic display computer (abbreviated as GDC) 15. Is done.

右目用撮影部11および左目用撮影部12はそれぞれ、運転者の視界を撮影対象として撮影する。右目用撮影部11は、運転者の右目の視界と同じ撮影領域、または視界よりも大きい撮影領域が好ましい。また運転者の右目の視界の中心から、たとえば90%以上の視界の大部分の領域を撮影する構成であってもよい。左目用撮影部12も同様の構成である。したがって右目用撮影部11および左目用撮影部12は、HMD10を装着した運転者の右目および左目の近傍に配置されることが好ましい。これによって右目用撮影部11および左目用撮影部12はそれぞれ、運転者の右目および左目に表示するための現実空間の動画像を撮影する。右目用撮影部11および左目用撮影部12は、撮影した各フレームの撮影画像をそれぞれ順次GDC15に送信する。   Each of the right-eye imaging unit 11 and the left-eye imaging unit 12 images the driver's field of view as an imaging target. The right-eye photographing unit 11 is preferably the same photographing area as the driver's right eye field of view or a larger photographing area than the field of view. Moreover, the structure which image | photographs most area | regions of a visual field of 90% or more, for example from the center of the visual field of a driver | operator's right eye may be sufficient. The left-eye imaging unit 12 has the same configuration. Therefore, it is preferable that the right-eye photographing unit 11 and the left-eye photographing unit 12 are arranged in the vicinity of the right eye and the left eye of the driver wearing the HMD 10. As a result, the right-eye image capturing unit 11 and the left-eye image capturing unit 12 capture a moving image in the real space to be displayed on the driver's right eye and left eye, respectively. The right-eye imaging unit 11 and the left-eye imaging unit 12 sequentially transmit the captured images of the captured frames to the GDC 15.

右目用表示部13は、右目の眼前に配置され、右目用の画像を表示する。左目用表示部14は、左目の眼前に配置され、左目用の画像を表示する。したがって右目用表示部13および左目用表示部14はそれぞれ、HMD10を頭部に装着した運転者の右目、左目の眼前に位置するようにHMD10に取り付けられている。各表示部13,14は、運転者によって位置が調整されるように構成されていてもよく、固定されていてもよい。右目用表示部13および左目用表示部14は、GDC15から送信された右目用の画像、左目用の画像をそれぞれ表示する。   The right-eye display unit 13 is disposed in front of the right eye and displays an image for the right eye. The left-eye display unit 14 is disposed in front of the left eye and displays an image for the left eye. Accordingly, the right-eye display unit 13 and the left-eye display unit 14 are attached to the HMD 10 so as to be positioned in front of the right and left eyes of the driver wearing the HMD 10 on the head. Each display part 13 and 14 may be comprised so that a position may be adjusted by the driver | operator, and may be fixed. The right-eye display unit 13 and the left-eye display unit 14 display the right-eye image and the left-eye image transmitted from the GDC 15, respectively.

GDC15は、右目用撮影部11、左目用撮影部12、右目用表示部13および左目用表示部14のそれぞれの動作制御を行うと共に、HCU20との間のデータ通信を制御する。GDC15は、GDC用プロセッサ15aおよびGDC用メモリ15bを有するマイクロコンピュータを主体として構成されている。GDC15は、各撮影部11,12からの画像情報、およびHCU20からの画像情報に基づいて重畳画像を生成し、各表示部13,14に表示するように制御する。   The GDC 15 controls the operations of the right-eye imaging unit 11, the left-eye imaging unit 12, the right-eye display unit 13, and the left-eye display unit 14, and controls data communication with the HCU 20. The GDC 15 is mainly composed of a microcomputer having a GDC processor 15a and a GDC memory 15b. The GDC 15 generates a superimposed image based on the image information from each of the imaging units 11 and 12 and the image information from the HCU 20, and controls to display the superimposed image on each of the display units 13 and 14.

次に、自車両100の電気的構成に関して説明する。図1に示すように車載ネットワーク30は、周辺監視システム40、車両制御システム50、表示システム60およびこれらが接続される通信バス70等を含んで構成されている。これら車載ネットワーク30の各システムは、通信バス70を介して例えばLAN(Local Area Network)等の車内ネットワークを介して接続されている。   Next, the electrical configuration of the host vehicle 100 will be described. As shown in FIG. 1, the in-vehicle network 30 includes a periphery monitoring system 40, a vehicle control system 50, a display system 60, a communication bus 70 to which these are connected, and the like. These systems of the in-vehicle network 30 are connected via a communication bus 70 via an in-vehicle network such as a LAN (Local Area Network).

周辺監視システム40は、前方カメラユニット41およびレーダユニット42等の外界センサと、周辺監視ECU(Electronic Control Unit)43とを備えている。周辺監視システム40は、歩行者、人間以外の動物、自転車、オートバイ、および他の車両のような移動物体、さらに路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、および樹木のような静止物体を検出する。周辺監視システム40は、各ユニットに加えて、ライダおよびソナー等の外界センサを備えることが可能である。   The periphery monitoring system 40 includes external sensors such as a front camera unit 41 and a radar unit 42, and a periphery monitoring ECU (Electronic Control Unit) 43. Perimeter monitoring system 40 can be used for moving objects such as pedestrians, non-human animals, bicycles, motorcycles, and other vehicles, as well as falling objects on the road, traffic lights, guardrails, curbs, road signs, road markings, and trees. Such a stationary object is detected. The periphery monitoring system 40 can include external sensors such as lidar and sonar in addition to each unit.

前方カメラユニット41は、例えば自車両100のバックミラー近傍に設置された単眼式、又は複眼式のカメラである。前方カメラユニット41は、自車両100の進行方向に向けられており、例えば約45度程度の水平視野角度で自車両100から約80メートルの範囲を撮影できる。前方カメラユニット41は、移動物体および静止物体が写る撮像画像のデータを、周辺監視ECU43へ逐次出力する。   The front camera unit 41 is a monocular or compound eye camera installed in the vicinity of the rearview mirror of the host vehicle 100, for example. The front camera unit 41 is directed in the traveling direction of the host vehicle 100, and can capture a range of about 80 meters from the host vehicle 100 at a horizontal viewing angle of about 45 degrees, for example. The front camera unit 41 sequentially outputs captured image data showing a moving object and a stationary object to the periphery monitoring ECU 43.

レーダユニット42は、例えば自車両100のフロント部に設置されている。レーダユニット42は、77GHz帯のミリ波を送信アンテナから自車両100の進行方向に向けて放出する。レーダユニット42は、進行方向の移動物体および静止物体等で射されたミリ波を、受信アンテナによって受信する。レーダユニット42は、例えば約55度程度の水平走査角度で自車両100から約60メートルの範囲を走査できる。レーダユニット42は、受信信号に基づく走査情報を周辺監視ECU43へ逐次出力する。   The radar unit 42 is installed at the front part of the host vehicle 100, for example. The radar unit 42 emits 77 GHz millimeter waves from the transmitting antenna toward the traveling direction of the host vehicle 100. The radar unit 42 receives millimeter waves emitted from a moving object and a stationary object in the traveling direction by a receiving antenna. The radar unit 42 can scan a range of about 60 meters from the own vehicle 100 at a horizontal scanning angle of about 55 degrees, for example. The radar unit 42 sequentially outputs scanning information based on the received signal to the periphery monitoring ECU 43.

周辺監視ECU43は、プロセッサおよびメモリを有するマイクロコンピュータを主体として構成されている。周辺監視ECU43は、前方カメラユニット41およびレーダユニット42、並びに通信バス70と通信可能に接続されている。周辺監視ECU43は、各ユニットから取得した情報を統合することにより、進行方向にある移動物体および静止物体等の相対位置を検出する。具体的に、周辺監視ECU43は、前方カメラユニット41の画像データに写る物体を画像処理によって抽出する。そして周辺監視ECU43は、抽出した移動物体および静止物体等の検出物の相対位置をレーダユニット42の走査情報に基づいて算出する。周辺監視ECU43は、相対位置の推移に基づいて、移動している検出物の移動方向および移動速度を演算する。   The peripheral monitoring ECU 43 is mainly configured by a microcomputer having a processor and a memory. The periphery monitoring ECU 43 is communicably connected to the front camera unit 41, the radar unit 42, and the communication bus 70. The peripheral monitoring ECU 43 detects the relative positions of moving objects and stationary objects in the traveling direction by integrating information acquired from each unit. Specifically, the periphery monitoring ECU 43 extracts an object shown in the image data of the front camera unit 41 by image processing. Then, the periphery monitoring ECU 43 calculates the relative position of the extracted detected object such as a moving object and a stationary object based on the scanning information of the radar unit 42. The peripheral monitoring ECU 43 calculates the moving direction and moving speed of the moving detection object based on the transition of the relative position.

車両制御システム50は、アクセルポジションセンサ51、ブレーキ踏力センサ52、および操舵角センサ53等の操作検出センサと、車両制御ECU54とを備えている。車両制御システム50は、運転席101に着座した運転者による入力と、周辺監視システム40の検出結果とに基づいて、自車両100の走行を制御する。   The vehicle control system 50 includes an operation detection sensor such as an accelerator position sensor 51, a brake pedal force sensor 52, and a steering angle sensor 53, and a vehicle control ECU 54. The vehicle control system 50 controls the traveling of the host vehicle 100 based on the input by the driver seated in the driver's seat 101 and the detection result of the periphery monitoring system 40.

各センサは、車両制御ECU54に接続されている。アクセルポジションセンサ51は、運転者によるアクセルペダルの踏み込み量を検出し、車両制御ECU54へ出力する。ブレーキ踏力センサ52は、運転者によるプレーキペダルの踏力を検出し、車両制御ECU54へ出力する。操舵角センサ53は、運転者によるステアリングの舵角量を検出し、車両制御ECU54へ出力する。   Each sensor is connected to the vehicle control ECU 54. The accelerator position sensor 51 detects the amount of depression of the accelerator pedal by the driver, and outputs it to the vehicle control ECU 54. The brake pedaling force sensor 52 detects the pedaling force of the brake pedal by the driver and outputs it to the vehicle control ECU 54. The steering angle sensor 53 detects the steering angle amount of the steering by the driver and outputs it to the vehicle control ECU 54.

また車両制御システム50は、他の自車両100の走行情報を検知するセンサとして、例えば車速センサ、回転数センサ、燃料センサ、水温センサおよび電波受信機等のうち、一種類又は複数種類が設けられている。具体的に車速センサは、自車両100の車速を検知することで、当該検知に応じた車速信号を出力する。回転数センサは、自車両100におけるエンジン回転数を検知することで、当該検知に応じた回転数信号を出力する。燃料センサは、自車両100の燃料タンクにおける燃料残量を検知することで、当該検知に応じた燃料信号を出力する。水温センサは、自車両100における内燃機関の冷却水温度を検知することで、当該検知に応じた水温信号を出力する。電波受信機は、例えば測位衛星、車車間通信用の他車両送信機、および路車間通信用の路側機等からの出力電波を受信することで、交通信号を出力する。ここで交通信号は、例えば走行位置、走行方向、走行路状態および制限速度等といった自車両100に関連する交通情報を示す信号である。   Further, the vehicle control system 50 is provided with one type or a plurality of types of sensors, such as a vehicle speed sensor, a rotation speed sensor, a fuel sensor, a water temperature sensor, and a radio wave receiver, as sensors for detecting travel information of the other host vehicle 100. ing. Specifically, the vehicle speed sensor detects the vehicle speed of the host vehicle 100, and outputs a vehicle speed signal corresponding to the detection. The rotation speed sensor detects the engine rotation speed in the host vehicle 100 and outputs a rotation speed signal corresponding to the detection. The fuel sensor detects the remaining amount of fuel in the fuel tank of the host vehicle 100, and outputs a fuel signal corresponding to the detection. The water temperature sensor detects the coolant temperature of the internal combustion engine in the host vehicle 100, and outputs a water temperature signal corresponding to the detection. The radio wave receiver outputs a traffic signal by receiving output radio waves from, for example, a positioning satellite, another vehicle transmitter for vehicle-to-vehicle communication, and a roadside device for road-to-vehicle communication. Here, the traffic signal is a signal indicating traffic information related to the host vehicle 100 such as a travel position, a travel direction, a travel path state, a speed limit, and the like.

車両制御ECU54は、プロセッサおよびメモリを有するマイクロコンピュータを主体として構成されている。車両制御ECU54は、通信バス70に接続されている。車両制御ECU54は、エンジン制御ECU、モータ制御ECU、ブレーキ制御ECU、および統合制御ECU等のうち、統合制御ECUを少なくとも含む一種類又は複数種類である。車両制御ECU54は、各センサの検出結果および自車両100の走行速度等の走行状態を示す車両情報を、通信バス70に出力する。   The vehicle control ECU 54 is mainly composed of a microcomputer having a processor and a memory. The vehicle control ECU 54 is connected to the communication bus 70. The vehicle control ECU 54 is one or more types including at least an integrated control ECU among an engine control ECU, a motor control ECU, a brake control ECU, an integrated control ECU, and the like. The vehicle control ECU 54 outputs vehicle information indicating a traveling state such as a detection result of each sensor and a traveling speed of the host vehicle 100 to the communication bus 70.

表示システム60は、コンビネーションメータ61、およびマルチファンクションディスプレイ(Multi Function Display:MFD)62等の表示デバイスと、HCU20とを備えている。表示システム60は、運転者を含む自車両100の乗員に情報を提供する。表示システム60は、各表示デバイスの表示を操作する操作デバイスを備えることが可能である。   The display system 60 includes a display device such as a combination meter 61 and a multi function display (MFD) 62, and the HCU 20. The display system 60 provides information to the passengers of the host vehicle 100 including the driver. The display system 60 can include an operation device that operates display of each display device.

MFD62は、車室内にてセンターコンソールに設置される。MFD62は、一つ又は複数の液晶パネルにて所定情報を示すように形成した画像の実像を、運転者により視認可能に表示する。こうしたMFD62による実像表示としては、ナビゲーション情報、オーディオ情報、映像情報及び通信情報等のうち、一種類又は複数種類の情報を示す画像の表示が採用される。   The MFD 62 is installed on the center console in the passenger compartment. The MFD 62 displays a real image of an image formed so as to show predetermined information on one or a plurality of liquid crystal panels so as to be visible to the driver. As the real image display by the MFD 62, display of an image indicating one type or a plurality of types of information among navigation information, audio information, video information, communication information, and the like is employed.

コンビネーションメータ61は、図2に示すように、車室内にてインストルメントパネル102に設置される。コンビネーションメータ61は、自車両100に関する車両情報を、運転者により視認可能に表示する。コンビネーションメータ61は、液晶パネルに形成した画像により車両情報を表示するデジタルメータ、又は指針により目盛を指示して車両情報を表示するアナログメータである。こうしたコンビネーションメータ61による表示としては、例えば車速、エンジン回転数、燃料残量、冷却水温度、並びに各種スイッチの操作状態等のうち、一種類又は複数種類の情報を示す表示が採用される。   As shown in FIG. 2, the combination meter 61 is installed on the instrument panel 102 in the passenger compartment. The combination meter 61 displays vehicle information regarding the host vehicle 100 so that the driver can visually recognize the vehicle information. The combination meter 61 is a digital meter that displays vehicle information by an image formed on a liquid crystal panel, or an analog meter that displays vehicle information by indicating a scale with a pointer. As the display by the combination meter 61, for example, a display indicating one type or a plurality of types of information among the vehicle speed, the engine speed, the remaining fuel amount, the coolant temperature, the operation states of various switches, and the like is employed.

HCU20は、HCU用プロセッサ20aおよびHCU用メモリ20bを有するマイクロコンピュータを主体として構成され、表示系の表示要素および通信バス70に接続されている。HCU20は、表示要素の作動を同期制御する。このときHCU20は、例えば周辺監視ECU43および車両制御ECU54での取得情報および制御情報、メモリの記憶情報、並びにHCU20自身での取得情報等に基づき、それらの作動制御を実行する。HCU用メモリ20bおよび他の各種ECUのメモリは、例えば半導体メモリ、磁気媒体若しくは光学媒体等といった記憶媒体を、一つ又は複数使用してそれぞれ構成される。   The HCU 20 is mainly composed of a microcomputer having an HCU processor 20 a and an HCU memory 20 b, and is connected to a display element of the display system and a communication bus 70. The HCU 20 synchronously controls the operation of the display element. At this time, the HCU 20 executes operation control thereof based on, for example, acquired information and control information in the periphery monitoring ECU 43 and the vehicle control ECU 54, stored information in the memory, acquired information in the HCU 20 itself, and the like. The HCU memory 20b and the memories of other various ECUs are respectively configured by using one or a plurality of storage media such as a semiconductor memory, a magnetic medium, or an optical medium.

次に、GDC15とHCU20とが関連した制御に関して説明する。図3は、GDC15が実行する処理を示すフローチャートであって、HMD10が起動状態で短時間に繰り返し実行される。ステップS1では、各種の情報を取得し、ステップS2に移る。各種の情報には、右目用撮影部11によって撮影された右目撮影画像、左目用撮影部12によって撮影された左目撮影画像を含む。また各種情報には、HCU20と通信して取得する車両情報および交通情報を含む。   Next, control related to the GDC 15 and the HCU 20 will be described. FIG. 3 is a flowchart showing processing executed by the GDC 15, and the HMD 10 is repeatedly executed in a short time in the activated state. In step S1, various information is acquired, and the process proceeds to step S2. The various types of information include a right eye photographed image photographed by the right eye photographing unit 11 and a left eye photographed image photographed by the left eye photographing unit 12. The various information includes vehicle information and traffic information acquired by communicating with the HCU 20.

ステップS2では、右目用撮影部11によって撮影された右目撮影画像および左目用撮影部12によって撮影された左目撮影画像を解析して、右目撮影画像および左目撮影画像に関連する関連情報をHCU20から取得し、ステップS3に移る。したがってGDC15は、関連情報取得部として機能する。関連情報は、たとえば周辺監視システム40によって検出される移動物体および静止物体に関する情報である。   In step S2, the right-eye photographed image taken by the right-eye photographer 11 and the left-eye photographed image taken by the left-eye photographer 12 are analyzed, and related information related to the right-eye photographed image and the left-eye photographed image is acquired from the HCU 20. Then, the process proceeds to step S3. Therefore, the GDC 15 functions as a related information acquisition unit. The related information is information relating to a moving object and a stationary object detected by the periphery monitoring system 40, for example.

ステップS3では、撮影画像に関連画像を重畳した重畳画像を生成し、ステップS4に移る。GDC15は、関連画像取得部であって、関連情報を表示する関連画像を取得する。関連画像は、たとえば移動物体および静止物体を強調する強調画像である。強調画像は、移動物体である自動車、歩行者および自転車を強調する画像である。また強調画像は、静止物体である道路標識および道路標示を強調する画像である。これらの関連画像は、GDC15のGDC用メモリ15bに記憶されている。そして、GDC15は、重畳画像生成部として機能し、関連画像を右目撮影画像および左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する。   In step S3, a superimposed image is generated by superimposing a related image on the captured image, and the process proceeds to step S4. GDC15 is a related image acquisition part, Comprising: The related image which displays related information is acquired. The related image is, for example, an enhanced image that emphasizes a moving object and a stationary object. The emphasized image is an image that emphasizes moving objects such as automobiles, pedestrians, and bicycles. The emphasized image is an image that emphasizes a road sign and a road sign that are stationary objects. These related images are stored in the GDC memory 15b of the GDC 15. The GDC 15 functions as a superimposed image generation unit, and generates a right-eye superimposed image and a left-eye superimposed image in which the related image is superimposed at a related position of the right-eye captured image and the left-eye captured image.

ステップS4では、生成した各重畳画像を各表示部13,14から出力し、本フローを終了する。これによって運転者は、右目用表示部13に表示される右目重畳画像を右目で視認し、左目用表示部14に表示される左目重畳画像を左目で視認することができる。   In step S4, the generated superimposed images are output from the display units 13 and 14, and this flow ends. Thus, the driver can visually recognize the right-eye superimposed image displayed on the right-eye display unit 13 with the right eye and can visually recognize the left-eye superimposed image displayed on the left-eye display unit 14 with the left eye.

右目重畳画像は、右目用の複合現実空間の画像である。同様に、左目重畳画像は、左目用の複合現実空間の画像である。これにより、HMD10を頭部に装着した運転者の右目および左目の眼前には、それぞれ右目および左目に対して生成された複合現実空間の画像が提示されることになり、運転者は複合現実感を体感することができる。   The right-eye superimposed image is an image of the mixed reality space for the right eye. Similarly, the left eye superimposed image is an image of the mixed reality space for the left eye. As a result, images of the mixed reality space generated for the right eye and the left eye are presented in front of the right eye and the left eye of the driver wearing the HMD 10 on the head, respectively. Can be experienced.

またステップS3では、関連画像だけを重畳した重畳画像を生成しているが、関連画像の他の補助画像を重畳してもよい。GDC15は、右目撮影画像および左目撮影画像には関連しない補助情報を取得する補助情報取得部として機能する。補助情報は、たとえば自車両100の走行速度、走行位置など撮影画像とは関連しないが運転者を支援する情報である。このような補助情報を表示する補助画像をGDC用メモリ15bから取得する。したがってGDC15は、補助画像取得部としても機能する。そして、補助画像がある場合には、関連画像を各撮影画像の関連した位置に重畳するとともに、補助画像を所定の固定位置に重畳した重畳画像を生成する。補助画像は、たとえば視界の下方の領域など、関連情報とは異なる位置に配置される。これによって走行速度などが常に固定位置に表示することができる。   In step S3, a superimposed image in which only the related image is superimposed is generated, but another auxiliary image may be superimposed. The GDC 15 functions as an auxiliary information acquisition unit that acquires auxiliary information not related to the right eye photographed image and the left eye photographed image. The auxiliary information is information that supports the driver although it is not related to the photographed image such as the traveling speed and traveling position of the host vehicle 100, for example. An auxiliary image for displaying such auxiliary information is acquired from the GDC memory 15b. Therefore, the GDC 15 also functions as an auxiliary image acquisition unit. If there is an auxiliary image, the related image is superimposed on the related position of each captured image, and a superimposed image is generated by superimposing the auxiliary image on a predetermined fixed position. The auxiliary image is arranged at a position different from the related information, such as an area below the field of view. As a result, the traveling speed and the like can always be displayed at a fixed position.

HMD10の各表示部13,14に表示される重畳画像に関して、図4および図5を用いて説明する。図4および図5では、各表示部13,14に表示される画像を示しているが、運転者が両目で視認していると仮定し、運転者が前方車両90を立体的に視認しているものとする。   The superimposed images displayed on the display units 13 and 14 of the HMD 10 will be described with reference to FIGS. 4 and 5. FIGS. 4 and 5 show images displayed on the display units 13 and 14, but it is assumed that the driver is viewing with both eyes, and the driver visually recognizes the front vehicle 90 in three dimensions. It shall be.

図4は、重畳画像が表示される前の画像、すなわち各撮影部11,12によって撮影された撮影画像91を表示している。移動物体としては、前方に前方車両90があり、交差点に自転車92がいる。また静止物体としては、交差点に一時停止の道路標識93および道路標示94がある。前述のステップS2では、このような撮影画像91を解析して、強調すべき物を決定する。   FIG. 4 shows an image before the superimposed image is displayed, that is, a photographed image 91 photographed by the photographing units 11 and 12. As a moving object, there is a forward vehicle 90 in front and a bicycle 92 at an intersection. As stationary objects, there are temporarily stopped road signs 93 and road signs 94 at intersections. In step S2, the photographed image 91 is analyzed, and an object to be emphasized is determined.

そして図5に示すように、外界風景中の移動物体を強調するために、関連画像としての強調画像95が撮影画像91に重畳表示される。具体的に強調画像95は、表示位置において円弧形に湾曲して延びる一定幅の線状部分を、全体として形成している。線状部分の表示サイズは、前方車両90の周囲のうち下方を除いた一周未満で前方車両90を連続して囲むように設定される。線状部分の表示色は、外界風景との重畳部分の視認を可能にする色であって、前方車両90を強調して運転者への注意喚起を可能にする高輝度の所定色、例えば黄色又は赤色等に設定される。色は近接するほど、赤色になるように制御してもよい。また自転車92に対しても同様に、強調画像95が表示される。   Then, as shown in FIG. 5, an emphasized image 95 as a related image is superimposed and displayed on the captured image 91 in order to emphasize a moving object in the outside scene. Specifically, the emphasized image 95 forms a linear portion having a constant width as a whole that extends in a circular arc shape at the display position. The display size of the linear portion is set so as to continuously surround the forward vehicle 90 in less than one round excluding the lower part of the periphery of the forward vehicle 90. The display color of the linear portion is a color that enables the portion superimposed with the outside scene to be visually recognized, and is a high-intensity predetermined color that emphasizes the forward vehicle 90 to alert the driver, for example, yellow Or it is set to red or the like. You may control so that it will become red, so that a color approaches. Similarly, an emphasized image 95 is displayed for the bicycle 92.

また外界風景中の静止物体を強調するために、道路標示94の白線に重なるように、直方体96の関連画像が重畳されている。これによって運転者は、一時停止の道路標識93を直方体96に画像によって認識しやすくなる。   Further, in order to emphasize a stationary object in the outside scene, a related image of the rectangular parallelepiped 96 is superimposed so as to overlap the white line of the road marking 94. This makes it easier for the driver to recognize the temporarily stopped road sign 93 on the rectangular parallelepiped 96 as an image.

関連画像としては、こうした強調画像95の表示に追加して、例えばナビゲーション情報、周囲の店舗の情報など一種類又は複数種類の情報を示す画像の表示を採用してもよい。ナビゲーション情報は、例えばHCU20において、HCU用メモリ20bに記憶の地図情報と、センサの出力信号とに基づき取得可能である。ナビゲーション情報では、右左折すべき交差点の箇所を強調表示してもよい。また関連画像で、前方車両90との距離を表示してもよい。また視認しにくい物体、たとえば小さい動物、道路の異物などを強調表示してもよい。   As the related image, in addition to the display of the emphasized image 95, for example, display of an image indicating one type or a plurality of types of information such as navigation information and information on surrounding stores may be employed. The navigation information can be acquired in the HCU 20, for example, based on the map information stored in the HCU memory 20b and the output signal of the sensor. In the navigation information, the location of the intersection to be turned right or left may be highlighted. Moreover, you may display the distance with the front vehicle 90 with a related image. Further, an object that is difficult to visually recognize, such as a small animal or a foreign object on the road, may be highlighted.

さらに補助画像97として、走行速度を示す画像が左下の固定位置に重畳されている。このように視界を中心ではなく、周囲の固定した位置に補助画像97を表示することによって、走行に支障を来すことなく走行速度を確認することができる。   Furthermore, as the auxiliary image 97, an image indicating the traveling speed is superimposed on the lower left fixed position. In this way, by displaying the auxiliary image 97 at a fixed position around the field of view instead of the center, the traveling speed can be confirmed without hindering traveling.

補助画像97としては、たとえば天気を示す画像、現在時刻を示す画像、脈拍などの身体情報の画像、およびスケジュールを示す画像であってもよい。また、たとえば携帯電話および自動車電話に着信があった場合には、着信相手の情報、たとえば氏名および写真を表示してもよい。またメールの着信があった場合には、メールの文章を表示してもよい。このようなメールの文章を表示する場合は、車両が停止している場合および自動運転中などが好ましい。   The auxiliary image 97 may be, for example, an image showing the weather, an image showing the current time, an image of physical information such as a pulse, and an image showing the schedule. For example, when an incoming call is received from a mobile phone or a car phone, information on the called party, such as a name and a photo, may be displayed. When a mail is received, the mail text may be displayed. When displaying such e-mail text, it is preferable that the vehicle is stopped or during automatic driving.

以上説明したように本実施形態のHMD10は、右目重畳画像と左目重畳画像には、関連した位置に関連画像が重畳されている。したがって運転者は、関連した位置にある各重畳画像によって、関連する位置に注目することができ、さらに関連する位置の関連情報を関連画像によって認識することができる。これによって使用者が注目すべき物の認識の確実性を高めることができる。   As described above, in the HMD 10 of the present embodiment, the related image is superimposed on the related position in the right eye superimposed image and the left eye superimposed image. Therefore, the driver can pay attention to the related position from each superimposed image at the related position, and can recognize the related information of the related position from the related image. As a result, the certainty of recognition of an object that should be noted by the user can be increased.

また各撮影部11,12は、両眼各々の位置からの撮影することによって、そのまま両眼各々用の表示部に表示することで、バーチャルではあるが遠近感のある実画像に近い画像を提供することができる。また画像に、車両の関連情報を適宜重畳表示させることで、運転者は顔の位置に関係なく、あたかも実画像に関連情報が重畳されたのと同様の効果を得ることができる。   In addition, each of the imaging units 11 and 12 captures images from the positions of both eyes, and displays them on the display units for both eyes as they are, thereby providing an image close to a real image that is virtual but has a sense of perspective. can do. In addition, by appropriately superimposing and displaying the vehicle related information on the image, the driver can obtain the same effect as if the related information was superimposed on the actual image regardless of the position of the face.

また本実施形態では、撮影画像には関連しない補助画像も重畳して表示される。これによって運転者は、撮影画像には関連しない情報であっても、補助画像によって確認することができる。また補助画像は、所定の固定位置に重畳される。これによって、補助画像が関連画像と異なる位置に配置しやすくなる。たとえば補助画像を周辺領域の固定位置に表示することによって、補助画像を確認したいときだけ、運転者が視線を向けることによって確認することができる。   In the present embodiment, auxiliary images that are not related to the captured image are also displayed in a superimposed manner. As a result, the driver can check the information that is not related to the captured image using the auxiliary image. The auxiliary image is superimposed on a predetermined fixed position. This makes it easy to place the auxiliary image at a position different from the related image. For example, by displaying the auxiliary image at a fixed position in the peripheral area, the driver can check the auxiliary image only when he / she wants to check the auxiliary image.

さらに本実施形態では、関連情報は、車両の走行を支援する情報である。このような関連情報を対応する位置に関連画像によって表示することによって、運転者は関連画像の位置と画像との両方によって支援情報を把握することができる。したがって、より注目すべき箇所に意識を抱かせることができる。   Further, in the present embodiment, the related information is information that assists the traveling of the vehicle. By displaying such related information as a related image at a corresponding position, the driver can grasp the support information based on both the position and the image of the related image. Therefore, it is possible to bring awareness to a more remarkable part.

また本実施形態では、補助情報は、車両の走行情報に関する情報である。したがって補助情報は、従来であるとコンビネーションメータ61に表示されているような情報である。このような情報を撮影画像に重畳させることによって、あたかもメータが浮かんでいるように表示させることができる。したがって運転者は、メータを視認するために視線をメータに向けなくとも、走行情報を確認することができる。これによって視線を運転方向からそらすことなく、走行情報を確認することができる。   In the present embodiment, the auxiliary information is information related to vehicle travel information. Accordingly, the auxiliary information is information that is displayed on the combination meter 61 in the conventional case. By superimposing such information on the captured image, it can be displayed as if the meter is floating. Accordingly, the driver can check the traveling information without looking at the meter to view the meter. This makes it possible to check the travel information without diverting the line of sight from the driving direction.

さらに本実施形態では、重畳画像を生成しているが、重畳画像を生成せずに、表示する画像の明度を調節してもよい。たとえば昼間のトンネルなど暗い環境から明るい環境になったとき、目を慣らすために画像を調節してもよい。   Furthermore, in the present embodiment, the superimposed image is generated, but the brightness of the image to be displayed may be adjusted without generating the superimposed image. For example, when the environment changes from a dark environment to a bright environment such as a daytime tunnel, the image may be adjusted to acclimatize the eyes.

(その他の実施形態)
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において種々変形して実施することが可能である。
(Other embodiments)
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.

上記実施形態の構造は、あくまで例示であって、本発明の範囲はこれらの記載の範囲に限定されるものではない。本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。   The structure of the said embodiment is an illustration to the last, Comprising: The scope of the present invention is not limited to the range of these description. The scope of the present invention is indicated by the description of the scope of claims, and further includes meanings equivalent to the description of the scope of claims and all modifications within the scope.

前述の第1実施形態において、制御回路の各プロセッサによって提供されていた機能は、前述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、HCUを省略してもよい。この場合、GDC15がHCU20の機能も実現する。同様に、コンビネーションメータ及びマルチファンクションディスプレイそれぞれに表示される画像は、これらの構成内に設けられた画像生成回路によって生成される。   In the first embodiment, the functions provided by the processors of the control circuit can be provided by hardware and software different from those described above, or a combination thereof. For example, the HCU may be omitted. In this case, the GDC 15 also realizes the function of the HCU 20. Similarly, images displayed on the combination meter and the multifunction display are generated by an image generation circuit provided in these components.

前述の第1実施形態では、HMD10は自車両100の運転者に装着されるが、運転者に限るものではなく、他の乗員が装着してもよい。他の乗員が装着した場合は、運転者のガイドの補助をする画像を表示してもよい。また自車両100の運転者に限るものではなく、自転車、自動二輪車、電車、飛行機および船舶などの移動手段の運転者に用いてもよい。   In the first embodiment described above, the HMD 10 is mounted on the driver of the host vehicle 100, but is not limited to the driver and may be mounted by another passenger. When another occupant is wearing, an image for assisting the driver's guide may be displayed. The driver is not limited to the driver of the host vehicle 100, and may be used for drivers of moving means such as bicycles, motorcycles, trains, airplanes and ships.

また運転者および乗員に限るものではなく、観光客および添乗員などが装着してもよい。これによって観光中、建物の歴史など観光情報を重畳することができる。したがってガイドブックなどを用いることなく、観光情報を確認することができる。また関連画像を重畳することによって、他の画像に置き換えてもよい。具体的には、建物などの内部構造を関連画像によって表示してもよい。   Moreover, it is not restricted to a driver | operator and a crew member, A tourist, a crew member, etc. may wear. This makes it possible to superimpose tourist information such as the history of the building during sightseeing. Therefore, tourist information can be confirmed without using a guidebook or the like. Moreover, you may replace with another image by superimposing a related image. Specifically, an internal structure such as a building may be displayed with a related image.

また医者など医療従事者が装着してもよい。これによって医療中、患者の情報を表示することができ、また手術中に、たとえば臓器および血管の情報を重畳することができる。さらに修理者および点検者が装着してもよい。撮影画像を解析することによって、点検箇所の把握が容易にすることができる。また修理箇所の特定および修理方法を表示することができる。   It may also be worn by medical personnel such as doctors. As a result, patient information can be displayed during medical treatment, and organ and blood vessel information can be superimposed during surgery. Further, a repairer and an inspector may wear it. By analyzing the captured image, it is possible to easily grasp the inspection location. Also, it is possible to display the location of repair and the repair method.

10…HMD(頭部装着型表示装置) 11…右目用撮影部 12…左目用撮影部
13…右目用表示部 14…左目用表示部 15…GDC(関連情報取得部,関連画像取得部,重畳画像生成部,補助情報取得部)(補助画像取得部)
40…周辺監視システム 50…車両制御システム 60…表示システム
90…前方車両 91…撮影画像 92…自転車 93…道路標識 94…道路標示
95…強調画像(関連画像) 96…直方体(関連画像) 97…補助画像
100…自車両(車両)
DESCRIPTION OF SYMBOLS 10 ... HMD (head-mounted display device) 11 ... Right-eye imaging unit 12 ... Left-eye imaging unit 13 ... Right-eye display unit 14 ... Left-eye display unit 15 ... GDC (related information acquisition unit, related image acquisition unit, superimposition) Image generation unit, auxiliary information acquisition unit) (auxiliary image acquisition unit)
DESCRIPTION OF SYMBOLS 40 ... Perimeter monitoring system 50 ... Vehicle control system 60 ... Display system 90 ... Front vehicle 91 ... Photographed image 92 ... Bicycle 93 ... Road sign 94 ... Road sign 95 ... Emphasized image (related image) 96 ... Cuboid (related image) 97 ... Auxiliary image 100 ... Own vehicle (vehicle)

Claims (4)

使用者の頭部に装着される頭部装着型表示装置(10)であって、
使用者の右目の視界を撮影対象として撮影する右目用撮影部(11)と、
使用者の左目の視界を撮影対象として撮影する左目用撮影部(12)と、
前記右目用撮影部によって撮影された右目撮影画像および前記左目用撮影部によって撮影された左目撮影画像を解析して、前記右目撮影画像および前記左目撮影画像に関連する関連情報を取得する関連情報取得部(15)と、
前記関連情報を表示する関連画像(95,96)を取得する関連画像取得部(15)と、
前記関連画像を前記右目撮影画像および前記左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する重畳画像生成部(15)と、
右目の眼前に配置され、前記右目重畳画像を表示する右目用表示部(13)と、
左目の眼前に配置され、前記左目重畳画像を表示する左目用表示部(14)と、を含むことを特徴とする頭部装着型表示装置。
A head-mounted display device (10) mounted on a user's head,
A right-eye image capturing unit (11) that captures an image of the user's right eye field of view;
A left-eye imaging unit (12) for imaging the left eye field of the user as an imaging target;
Analyzing the right-eye photographed image taken by the right-eye photographer and the left-eye photographed image taken by the left-eye photographer to obtain related information related to the right-eye photographed image and the left-eye photographed image Part (15),
A related image acquisition unit (15) for acquiring related images (95, 96) for displaying the related information;
A superimposed image generation unit (15) for generating a right-eye superimposed image and a left-eye superimposed image in which the related image is superimposed on positions related to the right-eye captured image and the left-eye captured image;
A right-eye display unit (13) arranged in front of the right eye and displaying the right-eye superimposed image;
A head-mounted display device comprising: a left-eye display unit (14) disposed in front of the left eye and displaying the left-eye superimposed image.
前記右目撮影画像および前記左目撮影画像には関連しない補助情報を取得する補助情報取得部(15)と、
前記補助情報を表示する補助画像(97)を取得する補助画像取得部(15)と、をさらに含み、
前記重畳画像生成部は、前記関連画像を前記右目撮影画像および前記左目撮影画像の関連した位置に重畳するとともに、前記補助画像を所定の固定位置に重畳した前記右目重畳画像および前記左目重畳画像を生成することを特徴とする請求項1に記載の頭部装着型表示装置。
An auxiliary information acquisition unit (15) for acquiring auxiliary information not related to the right-eye photographed image and the left-eye photographed image;
An auxiliary image acquisition unit (15) for acquiring an auxiliary image (97) for displaying the auxiliary information,
The superimposed image generating unit superimposes the related image on the related position of the right-eye photographed image and the left-eye photographed image, and the right-eye superimposed image and the left-eye superimposed image obtained by superimposing the auxiliary image on a predetermined fixed position. The head-mounted display device according to claim 1, wherein the head-mounted display device is generated.
前記使用者は、車両(100)の運転者であり、
前記関連情報は、前記車両の走行を支援する情報であることを特徴とする請求項1または2に記載の頭部装着型表示装置。
The user is a driver of the vehicle (100),
The head-mounted display device according to claim 1, wherein the related information is information that supports driving of the vehicle.
前記使用者は、車両(100)の運転者であり、
前記補助情報は、前記車両の走行状態に関する情報であることを特徴とする請求項2に記載の頭部装着型表示装置。
The user is a driver of the vehicle (100),
The head-mounted display device according to claim 2, wherein the auxiliary information is information related to a traveling state of the vehicle.
JP2015162231A 2015-08-19 2015-08-19 Head-mounted display device Pending JP2017040773A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015162231A JP2017040773A (en) 2015-08-19 2015-08-19 Head-mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015162231A JP2017040773A (en) 2015-08-19 2015-08-19 Head-mounted display device

Publications (1)

Publication Number Publication Date
JP2017040773A true JP2017040773A (en) 2017-02-23

Family

ID=58203367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015162231A Pending JP2017040773A (en) 2015-08-19 2015-08-19 Head-mounted display device

Country Status (1)

Country Link
JP (1) JP2017040773A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019087259A (en) * 2017-11-07 2019-06-06 アイシン・エィ・ダブリュ株式会社 Superposition image display device and computer program
JP2020520591A (en) * 2017-05-05 2020-07-09 アウディ アクチェンゲゼルシャフトAudi Ag Mobile sensor device and display system for head mounted visual output device usable in a mobile and method for operating the same
CN113752782A (en) * 2020-06-05 2021-12-07 丰田自动车株式会社 Experience system, experience providing method, and storage medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09211376A (en) * 1996-01-31 1997-08-15 Nissan Motor Co Ltd Head mounted display device
JPH10206787A (en) * 1997-01-20 1998-08-07 Honda Motor Co Ltd Head-mounted display device for vehicle
JPH10206788A (en) * 1997-01-22 1998-08-07 Honda Motor Co Ltd Head mounted display device for vehicle
JPH10206789A (en) * 1997-01-22 1998-08-07 Honda Motor Co Ltd Head-mounted display device for vehicle
JP2009116196A (en) * 2007-11-08 2009-05-28 Canon Inc Image display device
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09211376A (en) * 1996-01-31 1997-08-15 Nissan Motor Co Ltd Head mounted display device
JPH10206787A (en) * 1997-01-20 1998-08-07 Honda Motor Co Ltd Head-mounted display device for vehicle
JPH10206788A (en) * 1997-01-22 1998-08-07 Honda Motor Co Ltd Head mounted display device for vehicle
JPH10206789A (en) * 1997-01-22 1998-08-07 Honda Motor Co Ltd Head-mounted display device for vehicle
JP2009116196A (en) * 2007-11-08 2009-05-28 Canon Inc Image display device
US20150199847A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Head Mountable Display System

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020520591A (en) * 2017-05-05 2020-07-09 アウディ アクチェンゲゼルシャフトAudi Ag Mobile sensor device and display system for head mounted visual output device usable in a mobile and method for operating the same
JP2019087259A (en) * 2017-11-07 2019-06-06 アイシン・エィ・ダブリュ株式会社 Superposition image display device and computer program
JP7143728B2 (en) 2017-11-07 2022-09-29 株式会社アイシン Superimposed image display device and computer program
CN113752782A (en) * 2020-06-05 2021-12-07 丰田自动车株式会社 Experience system, experience providing method, and storage medium
US11376514B2 (en) 2020-06-05 2022-07-05 Toyota Jidosha Kabushiki Kaisha Experience system, experience providing method, and computer readable recording medium

Similar Documents

Publication Publication Date Title
JP5099451B2 (en) Vehicle periphery confirmation device
EP3147149B1 (en) Display device
CN103969831B (en) vehicle head-up display device
JP6311646B2 (en) Image processing apparatus, electronic mirror system, and image processing method
CN108791062B (en) Dynamic information system and method of operation
JP2001344597A (en) Fused visual field device
JP2006350617A (en) Vehicle driving support apparatus
JP6705335B2 (en) Vehicle display control device and vehicle driving assist system
KR101976106B1 (en) Integrated head-up display device for vehicles for providing information
KR20180022374A (en) Lane markings hud for driver and assistant and same method thereof
JP6104279B2 (en) Driver notification method and driver notification device
JP2020091663A (en) Display controller for vehicles
JP5131152B2 (en) Visual support device
JP2017040773A (en) Head-mounted display device
JP2009073250A (en) Vehicle backsight display device
JP6589775B2 (en) Vehicle display control device and vehicle display system
JP6962131B2 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
US20190381936A1 (en) Device for assisting night-time road navigation
KR100833603B1 (en) Navigation system for providing bird view and method thereof
US20230418541A1 (en) Vehicle display system, display system, display method, and non-transitory computer readable storage medium
JP2019077302A (en) Display control device, display system, and display control method
JP2005067370A (en) Vehicular display device
JP7378892B2 (en) Stop line display device
US20220258759A1 (en) Method and driver assistance system for providing visual information about a first vehicle in an environment of a second vehicle, computer program and computer-readable medium
CN111347975B (en) Driving support device, vehicle, information providing device, driving support system, and driving support method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305