JP2017040773A - Head-mounted display device - Google Patents
Head-mounted display device Download PDFInfo
- Publication number
- JP2017040773A JP2017040773A JP2015162231A JP2015162231A JP2017040773A JP 2017040773 A JP2017040773 A JP 2017040773A JP 2015162231 A JP2015162231 A JP 2015162231A JP 2015162231 A JP2015162231 A JP 2015162231A JP 2017040773 A JP2017040773 A JP 2017040773A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- information
- superimposed
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 6
- 239000000446 fuel Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000002826 coolant Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Abstract
Description
本発明は、使用者の頭部に装着され、画像を表示する頭部装着型表示装置に関する。 The present invention relates to a head-mounted display device that is mounted on a user's head and displays an image.
車載のナビゲーション装置は、地図および目的地までの経路など運転支援情報を表示する。これによって運転時の利便性が大きく向上している。その一方で、そのような運転支援情報を車両のどの部分にどのようにして表示するとよいかが、車両走行における安全性の観点から問題となっている。 The vehicle-mounted navigation device displays driving support information such as a map and a route to the destination. This greatly improves the convenience during driving. On the other hand, how to display such driving support information on which part of the vehicle is a problem from the viewpoint of safety in vehicle travel.
例えば、フロントウィンドウに運転支援情報を投影表示するヘッドアップディスプレイ(Head-up Display:略称HUD)が提案されている。HUDは固定表示エリアの範囲内にて、情報表示させている。しかし固定表示エリアは、たとえばフロントウィンドウの下方に固定されており、ドライバーが運転に必要な情報として常に見る必要があるエリアとは異なる部位になっている。したがって、実際の道路標示や、注意すべき対象物に対し、直接的な表示を加えることは困難である。 For example, a head-up display (abbreviated as HUD) that projects and displays driving support information on a front window has been proposed. The HUD displays information within the fixed display area. However, the fixed display area is fixed below the front window, for example, and is different from the area that the driver always needs to see as information necessary for driving. Therefore, it is difficult to add a direct display to an actual road marking or an object to be noted.
これに対し、特許文献1は、運転者の頭部に装着され、運転者の両目に近接して配置される表示部を有する頭部装着型表示装置(Head Mounted Display:HMD)が開示されている。このHMDの表示部に車両の速度などを表示することにより、ドライバーの頭の向きにかかわらずドライバーに必要な情報を提供している。 On the other hand, Patent Document 1 discloses a head mounted display (HMD) that has a display unit that is mounted on the driver's head and is disposed close to both eyes of the driver. Yes. Information necessary for the driver is provided regardless of the head direction of the driver by displaying the speed of the vehicle on the display unit of the HMD.
運転者は、車両で走行しているとき、周囲の様々な物、たとえば標識、信号、前方の走行車両、歩行者などを認識する必要がある。しかし運転中に視界の中で何に注目すべきかを判断することは難しく、また安全な走行のため注目すべき物の見落としを防ぐ必要がある。 The driver needs to recognize various surrounding objects such as signs, signals, a traveling vehicle ahead, a pedestrian, and the like when traveling in a vehicle. However, it is difficult to determine what should be noted in the field of view during driving, and it is necessary to prevent oversight of notable objects for safe driving.
前述の特許文献1に記載のHMDでは、密閉モードの場合は、外界光を遮断してカメラ等によって撮影された画像を加工し、加工した加工画像を表示している。加工画像は、夜間の赤外線カメラの画像と、走行補助表示の画像とを重畳している。したがって加工画像は、撮影された画像の明度を調整し、夜間でも周囲を見やすくしている。しかし、注目すべき物に対しては、なんら報知されていない。したがって運転者に危機意識を抱かせることができず、報知対象に運転者の視線が向いたとしても、運転者による報知対象の認識が行われないままとなってしまう懸念があった。 In the above-described HMD described in Patent Document 1, in the sealed mode, an image captured by a camera or the like is processed while external light is blocked, and the processed image is displayed. The processed image superimposes the image of the infrared camera at night and the image of the driving assistance display. Therefore, the processed image adjusts the brightness of the photographed image to make it easy to see the surroundings even at night. However, there is no notification about anything that should be noted. Therefore, there is a concern that the driver cannot be aware of the crisis, and even if the driver's line of sight is directed to the notification target, the driver does not recognize the notification target.
そこで、本発明は前述の問題点を鑑みてなされたものであり、使用者が注目すべき物の認識の確実性を高めることが可能な頭部装着型表示装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a head-mounted display device that can increase the certainty of recognition of an object that should be noted by the user. .
本発明は前述の目的を達成するために以下の技術的手段を採用する。 The present invention employs the following technical means in order to achieve the aforementioned object.
本発明は、右目用撮影部(11)によって撮影された右目撮影画像および左目用撮影部(12)によって撮影された左目撮影画像を解析して、右目撮影画像および左目撮影画像に関連する関連情報を取得する関連情報取得部(15)と、関連情報を表示する関連画像(95,96)を取得する関連画像取得部(15)と、関連画像を右目撮影画像および左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する重畳画像生成部(15)と、を含むことを特徴とする頭部装着型表示装置である。 The present invention analyzes the right eye photographed image taken by the right eye photographing section (11) and the left eye photographed image taken by the left eye photographing section (12), and related information related to the right eye photographed image and the left eye photographed image. A related information acquisition unit (15) for acquiring the related image, a related image acquisition unit (15) for acquiring the related image (95, 96) for displaying the related information, and the related image as a related position of the right eye image and the left eye image. And a superimposed image generation unit (15) for generating a right-eye superimposed image and a left-eye superimposed image superimposed on the head-mounted display device.
このような本発明に従えば、右目重畳画像と左目重畳画像には、関連した位置に関連画像が重畳されている。したがって使用者は、関連した位置にある各重畳画像によって、関連する位置に注目することができ、さらに関連する位置の関連情報を関連画像によって認識することができる。これによって使用者が注目すべき物の認識の確実性を高めることができる。 According to the present invention, the related image is superimposed on the right eye superimposed image and the left eye superimposed image at the related positions. Therefore, the user can pay attention to the related position by each superimposed image at the related position, and can recognize the related information of the related position from the related image. As a result, the certainty of recognition of an object that should be noted by the user can be increased.
なお、前述の各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 In addition, the code | symbol in the bracket | parenthesis of each above-mentioned means is an example which shows a corresponding relationship with the specific means as described in embodiment mentioned later.
(第1実施形態)
本発明の第1実施形態に関して、図1〜図5を用いて説明する。本実施形態のHMD10は、頭部装着型表示装置であって、自車両100の運転者の頭部に装着される。HMD10は、運転者によって運転される自車両100に搭載されるヒューマンマシンインターフェースコントロールユニット(Human Machine Interface Control Unit:略称HCU)20と通信可能に構成される。HMD10は、いわゆる密閉型および没入型と呼ばれるタイプであり、装着した運転者は外光が遮断され、HMD10が表示する画像を視認する。HMD10は、図1に示すように、右目用撮影部11、左目用撮影部12、右目用表示部13、左目用表示部14およびグラフィックディスプレイコンピュータ(Graphic Display Computer:略称GDC)15を含んで構成される。
(First embodiment)
A first embodiment of the present invention will be described with reference to FIGS. The HMD 10 of this embodiment is a head-mounted display device that is mounted on the head of the driver of the
右目用撮影部11および左目用撮影部12はそれぞれ、運転者の視界を撮影対象として撮影する。右目用撮影部11は、運転者の右目の視界と同じ撮影領域、または視界よりも大きい撮影領域が好ましい。また運転者の右目の視界の中心から、たとえば90%以上の視界の大部分の領域を撮影する構成であってもよい。左目用撮影部12も同様の構成である。したがって右目用撮影部11および左目用撮影部12は、HMD10を装着した運転者の右目および左目の近傍に配置されることが好ましい。これによって右目用撮影部11および左目用撮影部12はそれぞれ、運転者の右目および左目に表示するための現実空間の動画像を撮影する。右目用撮影部11および左目用撮影部12は、撮影した各フレームの撮影画像をそれぞれ順次GDC15に送信する。
Each of the right-
右目用表示部13は、右目の眼前に配置され、右目用の画像を表示する。左目用表示部14は、左目の眼前に配置され、左目用の画像を表示する。したがって右目用表示部13および左目用表示部14はそれぞれ、HMD10を頭部に装着した運転者の右目、左目の眼前に位置するようにHMD10に取り付けられている。各表示部13,14は、運転者によって位置が調整されるように構成されていてもよく、固定されていてもよい。右目用表示部13および左目用表示部14は、GDC15から送信された右目用の画像、左目用の画像をそれぞれ表示する。
The right-eye display unit 13 is disposed in front of the right eye and displays an image for the right eye. The left-
GDC15は、右目用撮影部11、左目用撮影部12、右目用表示部13および左目用表示部14のそれぞれの動作制御を行うと共に、HCU20との間のデータ通信を制御する。GDC15は、GDC用プロセッサ15aおよびGDC用メモリ15bを有するマイクロコンピュータを主体として構成されている。GDC15は、各撮影部11,12からの画像情報、およびHCU20からの画像情報に基づいて重畳画像を生成し、各表示部13,14に表示するように制御する。
The GDC 15 controls the operations of the right-
次に、自車両100の電気的構成に関して説明する。図1に示すように車載ネットワーク30は、周辺監視システム40、車両制御システム50、表示システム60およびこれらが接続される通信バス70等を含んで構成されている。これら車載ネットワーク30の各システムは、通信バス70を介して例えばLAN(Local Area Network)等の車内ネットワークを介して接続されている。
Next, the electrical configuration of the
周辺監視システム40は、前方カメラユニット41およびレーダユニット42等の外界センサと、周辺監視ECU(Electronic Control Unit)43とを備えている。周辺監視システム40は、歩行者、人間以外の動物、自転車、オートバイ、および他の車両のような移動物体、さらに路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、および樹木のような静止物体を検出する。周辺監視システム40は、各ユニットに加えて、ライダおよびソナー等の外界センサを備えることが可能である。
The
前方カメラユニット41は、例えば自車両100のバックミラー近傍に設置された単眼式、又は複眼式のカメラである。前方カメラユニット41は、自車両100の進行方向に向けられており、例えば約45度程度の水平視野角度で自車両100から約80メートルの範囲を撮影できる。前方カメラユニット41は、移動物体および静止物体が写る撮像画像のデータを、周辺監視ECU43へ逐次出力する。
The
レーダユニット42は、例えば自車両100のフロント部に設置されている。レーダユニット42は、77GHz帯のミリ波を送信アンテナから自車両100の進行方向に向けて放出する。レーダユニット42は、進行方向の移動物体および静止物体等で射されたミリ波を、受信アンテナによって受信する。レーダユニット42は、例えば約55度程度の水平走査角度で自車両100から約60メートルの範囲を走査できる。レーダユニット42は、受信信号に基づく走査情報を周辺監視ECU43へ逐次出力する。
The
周辺監視ECU43は、プロセッサおよびメモリを有するマイクロコンピュータを主体として構成されている。周辺監視ECU43は、前方カメラユニット41およびレーダユニット42、並びに通信バス70と通信可能に接続されている。周辺監視ECU43は、各ユニットから取得した情報を統合することにより、進行方向にある移動物体および静止物体等の相対位置を検出する。具体的に、周辺監視ECU43は、前方カメラユニット41の画像データに写る物体を画像処理によって抽出する。そして周辺監視ECU43は、抽出した移動物体および静止物体等の検出物の相対位置をレーダユニット42の走査情報に基づいて算出する。周辺監視ECU43は、相対位置の推移に基づいて、移動している検出物の移動方向および移動速度を演算する。
The
車両制御システム50は、アクセルポジションセンサ51、ブレーキ踏力センサ52、および操舵角センサ53等の操作検出センサと、車両制御ECU54とを備えている。車両制御システム50は、運転席101に着座した運転者による入力と、周辺監視システム40の検出結果とに基づいて、自車両100の走行を制御する。
The
各センサは、車両制御ECU54に接続されている。アクセルポジションセンサ51は、運転者によるアクセルペダルの踏み込み量を検出し、車両制御ECU54へ出力する。ブレーキ踏力センサ52は、運転者によるプレーキペダルの踏力を検出し、車両制御ECU54へ出力する。操舵角センサ53は、運転者によるステアリングの舵角量を検出し、車両制御ECU54へ出力する。
Each sensor is connected to the
また車両制御システム50は、他の自車両100の走行情報を検知するセンサとして、例えば車速センサ、回転数センサ、燃料センサ、水温センサおよび電波受信機等のうち、一種類又は複数種類が設けられている。具体的に車速センサは、自車両100の車速を検知することで、当該検知に応じた車速信号を出力する。回転数センサは、自車両100におけるエンジン回転数を検知することで、当該検知に応じた回転数信号を出力する。燃料センサは、自車両100の燃料タンクにおける燃料残量を検知することで、当該検知に応じた燃料信号を出力する。水温センサは、自車両100における内燃機関の冷却水温度を検知することで、当該検知に応じた水温信号を出力する。電波受信機は、例えば測位衛星、車車間通信用の他車両送信機、および路車間通信用の路側機等からの出力電波を受信することで、交通信号を出力する。ここで交通信号は、例えば走行位置、走行方向、走行路状態および制限速度等といった自車両100に関連する交通情報を示す信号である。
Further, the
車両制御ECU54は、プロセッサおよびメモリを有するマイクロコンピュータを主体として構成されている。車両制御ECU54は、通信バス70に接続されている。車両制御ECU54は、エンジン制御ECU、モータ制御ECU、ブレーキ制御ECU、および統合制御ECU等のうち、統合制御ECUを少なくとも含む一種類又は複数種類である。車両制御ECU54は、各センサの検出結果および自車両100の走行速度等の走行状態を示す車両情報を、通信バス70に出力する。
The
表示システム60は、コンビネーションメータ61、およびマルチファンクションディスプレイ(Multi Function Display:MFD)62等の表示デバイスと、HCU20とを備えている。表示システム60は、運転者を含む自車両100の乗員に情報を提供する。表示システム60は、各表示デバイスの表示を操作する操作デバイスを備えることが可能である。
The
MFD62は、車室内にてセンターコンソールに設置される。MFD62は、一つ又は複数の液晶パネルにて所定情報を示すように形成した画像の実像を、運転者により視認可能に表示する。こうしたMFD62による実像表示としては、ナビゲーション情報、オーディオ情報、映像情報及び通信情報等のうち、一種類又は複数種類の情報を示す画像の表示が採用される。
The
コンビネーションメータ61は、図2に示すように、車室内にてインストルメントパネル102に設置される。コンビネーションメータ61は、自車両100に関する車両情報を、運転者により視認可能に表示する。コンビネーションメータ61は、液晶パネルに形成した画像により車両情報を表示するデジタルメータ、又は指針により目盛を指示して車両情報を表示するアナログメータである。こうしたコンビネーションメータ61による表示としては、例えば車速、エンジン回転数、燃料残量、冷却水温度、並びに各種スイッチの操作状態等のうち、一種類又は複数種類の情報を示す表示が採用される。
As shown in FIG. 2, the
HCU20は、HCU用プロセッサ20aおよびHCU用メモリ20bを有するマイクロコンピュータを主体として構成され、表示系の表示要素および通信バス70に接続されている。HCU20は、表示要素の作動を同期制御する。このときHCU20は、例えば周辺監視ECU43および車両制御ECU54での取得情報および制御情報、メモリの記憶情報、並びにHCU20自身での取得情報等に基づき、それらの作動制御を実行する。HCU用メモリ20bおよび他の各種ECUのメモリは、例えば半導体メモリ、磁気媒体若しくは光学媒体等といった記憶媒体を、一つ又は複数使用してそれぞれ構成される。
The
次に、GDC15とHCU20とが関連した制御に関して説明する。図3は、GDC15が実行する処理を示すフローチャートであって、HMD10が起動状態で短時間に繰り返し実行される。ステップS1では、各種の情報を取得し、ステップS2に移る。各種の情報には、右目用撮影部11によって撮影された右目撮影画像、左目用撮影部12によって撮影された左目撮影画像を含む。また各種情報には、HCU20と通信して取得する車両情報および交通情報を含む。
Next, control related to the
ステップS2では、右目用撮影部11によって撮影された右目撮影画像および左目用撮影部12によって撮影された左目撮影画像を解析して、右目撮影画像および左目撮影画像に関連する関連情報をHCU20から取得し、ステップS3に移る。したがってGDC15は、関連情報取得部として機能する。関連情報は、たとえば周辺監視システム40によって検出される移動物体および静止物体に関する情報である。
In step S2, the right-eye photographed image taken by the right-
ステップS3では、撮影画像に関連画像を重畳した重畳画像を生成し、ステップS4に移る。GDC15は、関連画像取得部であって、関連情報を表示する関連画像を取得する。関連画像は、たとえば移動物体および静止物体を強調する強調画像である。強調画像は、移動物体である自動車、歩行者および自転車を強調する画像である。また強調画像は、静止物体である道路標識および道路標示を強調する画像である。これらの関連画像は、GDC15のGDC用メモリ15bに記憶されている。そして、GDC15は、重畳画像生成部として機能し、関連画像を右目撮影画像および左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する。
In step S3, a superimposed image is generated by superimposing a related image on the captured image, and the process proceeds to step S4. GDC15 is a related image acquisition part, Comprising: The related image which displays related information is acquired. The related image is, for example, an enhanced image that emphasizes a moving object and a stationary object. The emphasized image is an image that emphasizes moving objects such as automobiles, pedestrians, and bicycles. The emphasized image is an image that emphasizes a road sign and a road sign that are stationary objects. These related images are stored in the
ステップS4では、生成した各重畳画像を各表示部13,14から出力し、本フローを終了する。これによって運転者は、右目用表示部13に表示される右目重畳画像を右目で視認し、左目用表示部14に表示される左目重畳画像を左目で視認することができる。
In step S4, the generated superimposed images are output from the
右目重畳画像は、右目用の複合現実空間の画像である。同様に、左目重畳画像は、左目用の複合現実空間の画像である。これにより、HMD10を頭部に装着した運転者の右目および左目の眼前には、それぞれ右目および左目に対して生成された複合現実空間の画像が提示されることになり、運転者は複合現実感を体感することができる。
The right-eye superimposed image is an image of the mixed reality space for the right eye. Similarly, the left eye superimposed image is an image of the mixed reality space for the left eye. As a result, images of the mixed reality space generated for the right eye and the left eye are presented in front of the right eye and the left eye of the driver wearing the
またステップS3では、関連画像だけを重畳した重畳画像を生成しているが、関連画像の他の補助画像を重畳してもよい。GDC15は、右目撮影画像および左目撮影画像には関連しない補助情報を取得する補助情報取得部として機能する。補助情報は、たとえば自車両100の走行速度、走行位置など撮影画像とは関連しないが運転者を支援する情報である。このような補助情報を表示する補助画像をGDC用メモリ15bから取得する。したがってGDC15は、補助画像取得部としても機能する。そして、補助画像がある場合には、関連画像を各撮影画像の関連した位置に重畳するとともに、補助画像を所定の固定位置に重畳した重畳画像を生成する。補助画像は、たとえば視界の下方の領域など、関連情報とは異なる位置に配置される。これによって走行速度などが常に固定位置に表示することができる。
In step S3, a superimposed image in which only the related image is superimposed is generated, but another auxiliary image may be superimposed. The
HMD10の各表示部13,14に表示される重畳画像に関して、図4および図5を用いて説明する。図4および図5では、各表示部13,14に表示される画像を示しているが、運転者が両目で視認していると仮定し、運転者が前方車両90を立体的に視認しているものとする。
The superimposed images displayed on the
図4は、重畳画像が表示される前の画像、すなわち各撮影部11,12によって撮影された撮影画像91を表示している。移動物体としては、前方に前方車両90があり、交差点に自転車92がいる。また静止物体としては、交差点に一時停止の道路標識93および道路標示94がある。前述のステップS2では、このような撮影画像91を解析して、強調すべき物を決定する。
FIG. 4 shows an image before the superimposed image is displayed, that is, a photographed
そして図5に示すように、外界風景中の移動物体を強調するために、関連画像としての強調画像95が撮影画像91に重畳表示される。具体的に強調画像95は、表示位置において円弧形に湾曲して延びる一定幅の線状部分を、全体として形成している。線状部分の表示サイズは、前方車両90の周囲のうち下方を除いた一周未満で前方車両90を連続して囲むように設定される。線状部分の表示色は、外界風景との重畳部分の視認を可能にする色であって、前方車両90を強調して運転者への注意喚起を可能にする高輝度の所定色、例えば黄色又は赤色等に設定される。色は近接するほど、赤色になるように制御してもよい。また自転車92に対しても同様に、強調画像95が表示される。
Then, as shown in FIG. 5, an emphasized
また外界風景中の静止物体を強調するために、道路標示94の白線に重なるように、直方体96の関連画像が重畳されている。これによって運転者は、一時停止の道路標識93を直方体96に画像によって認識しやすくなる。
Further, in order to emphasize a stationary object in the outside scene, a related image of the
関連画像としては、こうした強調画像95の表示に追加して、例えばナビゲーション情報、周囲の店舗の情報など一種類又は複数種類の情報を示す画像の表示を採用してもよい。ナビゲーション情報は、例えばHCU20において、HCU用メモリ20bに記憶の地図情報と、センサの出力信号とに基づき取得可能である。ナビゲーション情報では、右左折すべき交差点の箇所を強調表示してもよい。また関連画像で、前方車両90との距離を表示してもよい。また視認しにくい物体、たとえば小さい動物、道路の異物などを強調表示してもよい。
As the related image, in addition to the display of the emphasized
さらに補助画像97として、走行速度を示す画像が左下の固定位置に重畳されている。このように視界を中心ではなく、周囲の固定した位置に補助画像97を表示することによって、走行に支障を来すことなく走行速度を確認することができる。
Furthermore, as the
補助画像97としては、たとえば天気を示す画像、現在時刻を示す画像、脈拍などの身体情報の画像、およびスケジュールを示す画像であってもよい。また、たとえば携帯電話および自動車電話に着信があった場合には、着信相手の情報、たとえば氏名および写真を表示してもよい。またメールの着信があった場合には、メールの文章を表示してもよい。このようなメールの文章を表示する場合は、車両が停止している場合および自動運転中などが好ましい。
The
以上説明したように本実施形態のHMD10は、右目重畳画像と左目重畳画像には、関連した位置に関連画像が重畳されている。したがって運転者は、関連した位置にある各重畳画像によって、関連する位置に注目することができ、さらに関連する位置の関連情報を関連画像によって認識することができる。これによって使用者が注目すべき物の認識の確実性を高めることができる。
As described above, in the
また各撮影部11,12は、両眼各々の位置からの撮影することによって、そのまま両眼各々用の表示部に表示することで、バーチャルではあるが遠近感のある実画像に近い画像を提供することができる。また画像に、車両の関連情報を適宜重畳表示させることで、運転者は顔の位置に関係なく、あたかも実画像に関連情報が重畳されたのと同様の効果を得ることができる。
In addition, each of the
また本実施形態では、撮影画像には関連しない補助画像も重畳して表示される。これによって運転者は、撮影画像には関連しない情報であっても、補助画像によって確認することができる。また補助画像は、所定の固定位置に重畳される。これによって、補助画像が関連画像と異なる位置に配置しやすくなる。たとえば補助画像を周辺領域の固定位置に表示することによって、補助画像を確認したいときだけ、運転者が視線を向けることによって確認することができる。 In the present embodiment, auxiliary images that are not related to the captured image are also displayed in a superimposed manner. As a result, the driver can check the information that is not related to the captured image using the auxiliary image. The auxiliary image is superimposed on a predetermined fixed position. This makes it easy to place the auxiliary image at a position different from the related image. For example, by displaying the auxiliary image at a fixed position in the peripheral area, the driver can check the auxiliary image only when he / she wants to check the auxiliary image.
さらに本実施形態では、関連情報は、車両の走行を支援する情報である。このような関連情報を対応する位置に関連画像によって表示することによって、運転者は関連画像の位置と画像との両方によって支援情報を把握することができる。したがって、より注目すべき箇所に意識を抱かせることができる。 Further, in the present embodiment, the related information is information that assists the traveling of the vehicle. By displaying such related information as a related image at a corresponding position, the driver can grasp the support information based on both the position and the image of the related image. Therefore, it is possible to bring awareness to a more remarkable part.
また本実施形態では、補助情報は、車両の走行情報に関する情報である。したがって補助情報は、従来であるとコンビネーションメータ61に表示されているような情報である。このような情報を撮影画像に重畳させることによって、あたかもメータが浮かんでいるように表示させることができる。したがって運転者は、メータを視認するために視線をメータに向けなくとも、走行情報を確認することができる。これによって視線を運転方向からそらすことなく、走行情報を確認することができる。
In the present embodiment, the auxiliary information is information related to vehicle travel information. Accordingly, the auxiliary information is information that is displayed on the
さらに本実施形態では、重畳画像を生成しているが、重畳画像を生成せずに、表示する画像の明度を調節してもよい。たとえば昼間のトンネルなど暗い環境から明るい環境になったとき、目を慣らすために画像を調節してもよい。 Furthermore, in the present embodiment, the superimposed image is generated, but the brightness of the image to be displayed may be adjusted without generating the superimposed image. For example, when the environment changes from a dark environment to a bright environment such as a daytime tunnel, the image may be adjusted to acclimatize the eyes.
(その他の実施形態)
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されることなく、本発明の主旨を逸脱しない範囲において種々変形して実施することが可能である。
(Other embodiments)
The preferred embodiments of the present invention have been described above, but the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
上記実施形態の構造は、あくまで例示であって、本発明の範囲はこれらの記載の範囲に限定されるものではない。本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。 The structure of the said embodiment is an illustration to the last, Comprising: The scope of the present invention is not limited to the range of these description. The scope of the present invention is indicated by the description of the scope of claims, and further includes meanings equivalent to the description of the scope of claims and all modifications within the scope.
前述の第1実施形態において、制御回路の各プロセッサによって提供されていた機能は、前述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。例えば、HCUを省略してもよい。この場合、GDC15がHCU20の機能も実現する。同様に、コンビネーションメータ及びマルチファンクションディスプレイそれぞれに表示される画像は、これらの構成内に設けられた画像生成回路によって生成される。
In the first embodiment, the functions provided by the processors of the control circuit can be provided by hardware and software different from those described above, or a combination thereof. For example, the HCU may be omitted. In this case, the
前述の第1実施形態では、HMD10は自車両100の運転者に装着されるが、運転者に限るものではなく、他の乗員が装着してもよい。他の乗員が装着した場合は、運転者のガイドの補助をする画像を表示してもよい。また自車両100の運転者に限るものではなく、自転車、自動二輪車、電車、飛行機および船舶などの移動手段の運転者に用いてもよい。
In the first embodiment described above, the
また運転者および乗員に限るものではなく、観光客および添乗員などが装着してもよい。これによって観光中、建物の歴史など観光情報を重畳することができる。したがってガイドブックなどを用いることなく、観光情報を確認することができる。また関連画像を重畳することによって、他の画像に置き換えてもよい。具体的には、建物などの内部構造を関連画像によって表示してもよい。 Moreover, it is not restricted to a driver | operator and a crew member, A tourist, a crew member, etc. may wear. This makes it possible to superimpose tourist information such as the history of the building during sightseeing. Therefore, tourist information can be confirmed without using a guidebook or the like. Moreover, you may replace with another image by superimposing a related image. Specifically, an internal structure such as a building may be displayed with a related image.
また医者など医療従事者が装着してもよい。これによって医療中、患者の情報を表示することができ、また手術中に、たとえば臓器および血管の情報を重畳することができる。さらに修理者および点検者が装着してもよい。撮影画像を解析することによって、点検箇所の把握が容易にすることができる。また修理箇所の特定および修理方法を表示することができる。 It may also be worn by medical personnel such as doctors. As a result, patient information can be displayed during medical treatment, and organ and blood vessel information can be superimposed during surgery. Further, a repairer and an inspector may wear it. By analyzing the captured image, it is possible to easily grasp the inspection location. Also, it is possible to display the location of repair and the repair method.
10…HMD(頭部装着型表示装置) 11…右目用撮影部 12…左目用撮影部
13…右目用表示部 14…左目用表示部 15…GDC(関連情報取得部,関連画像取得部,重畳画像生成部,補助情報取得部)(補助画像取得部)
40…周辺監視システム 50…車両制御システム 60…表示システム
90…前方車両 91…撮影画像 92…自転車 93…道路標識 94…道路標示
95…強調画像(関連画像) 96…直方体(関連画像) 97…補助画像
100…自車両(車両)
DESCRIPTION OF
DESCRIPTION OF
Claims (4)
使用者の右目の視界を撮影対象として撮影する右目用撮影部(11)と、
使用者の左目の視界を撮影対象として撮影する左目用撮影部(12)と、
前記右目用撮影部によって撮影された右目撮影画像および前記左目用撮影部によって撮影された左目撮影画像を解析して、前記右目撮影画像および前記左目撮影画像に関連する関連情報を取得する関連情報取得部(15)と、
前記関連情報を表示する関連画像(95,96)を取得する関連画像取得部(15)と、
前記関連画像を前記右目撮影画像および前記左目撮影画像の関連した位置に重畳した右目重畳画像および左目重畳画像を生成する重畳画像生成部(15)と、
右目の眼前に配置され、前記右目重畳画像を表示する右目用表示部(13)と、
左目の眼前に配置され、前記左目重畳画像を表示する左目用表示部(14)と、を含むことを特徴とする頭部装着型表示装置。 A head-mounted display device (10) mounted on a user's head,
A right-eye image capturing unit (11) that captures an image of the user's right eye field of view;
A left-eye imaging unit (12) for imaging the left eye field of the user as an imaging target;
Analyzing the right-eye photographed image taken by the right-eye photographer and the left-eye photographed image taken by the left-eye photographer to obtain related information related to the right-eye photographed image and the left-eye photographed image Part (15),
A related image acquisition unit (15) for acquiring related images (95, 96) for displaying the related information;
A superimposed image generation unit (15) for generating a right-eye superimposed image and a left-eye superimposed image in which the related image is superimposed on positions related to the right-eye captured image and the left-eye captured image;
A right-eye display unit (13) arranged in front of the right eye and displaying the right-eye superimposed image;
A head-mounted display device comprising: a left-eye display unit (14) disposed in front of the left eye and displaying the left-eye superimposed image.
前記補助情報を表示する補助画像(97)を取得する補助画像取得部(15)と、をさらに含み、
前記重畳画像生成部は、前記関連画像を前記右目撮影画像および前記左目撮影画像の関連した位置に重畳するとともに、前記補助画像を所定の固定位置に重畳した前記右目重畳画像および前記左目重畳画像を生成することを特徴とする請求項1に記載の頭部装着型表示装置。 An auxiliary information acquisition unit (15) for acquiring auxiliary information not related to the right-eye photographed image and the left-eye photographed image;
An auxiliary image acquisition unit (15) for acquiring an auxiliary image (97) for displaying the auxiliary information,
The superimposed image generating unit superimposes the related image on the related position of the right-eye photographed image and the left-eye photographed image, and the right-eye superimposed image and the left-eye superimposed image obtained by superimposing the auxiliary image on a predetermined fixed position. The head-mounted display device according to claim 1, wherein the head-mounted display device is generated.
前記関連情報は、前記車両の走行を支援する情報であることを特徴とする請求項1または2に記載の頭部装着型表示装置。 The user is a driver of the vehicle (100),
The head-mounted display device according to claim 1, wherein the related information is information that supports driving of the vehicle.
前記補助情報は、前記車両の走行状態に関する情報であることを特徴とする請求項2に記載の頭部装着型表示装置。 The user is a driver of the vehicle (100),
The head-mounted display device according to claim 2, wherein the auxiliary information is information related to a traveling state of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015162231A JP2017040773A (en) | 2015-08-19 | 2015-08-19 | Head-mounted display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015162231A JP2017040773A (en) | 2015-08-19 | 2015-08-19 | Head-mounted display device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017040773A true JP2017040773A (en) | 2017-02-23 |
Family
ID=58203367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015162231A Pending JP2017040773A (en) | 2015-08-19 | 2015-08-19 | Head-mounted display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017040773A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087259A (en) * | 2017-11-07 | 2019-06-06 | アイシン・エィ・ダブリュ株式会社 | Superposition image display device and computer program |
JP2020520591A (en) * | 2017-05-05 | 2020-07-09 | アウディ アクチェンゲゼルシャフトAudi Ag | Mobile sensor device and display system for head mounted visual output device usable in a mobile and method for operating the same |
CN113752782A (en) * | 2020-06-05 | 2021-12-07 | 丰田自动车株式会社 | Experience system, experience providing method, and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09211376A (en) * | 1996-01-31 | 1997-08-15 | Nissan Motor Co Ltd | Head mounted display device |
JPH10206787A (en) * | 1997-01-20 | 1998-08-07 | Honda Motor Co Ltd | Head-mounted display device for vehicle |
JPH10206788A (en) * | 1997-01-22 | 1998-08-07 | Honda Motor Co Ltd | Head mounted display device for vehicle |
JPH10206789A (en) * | 1997-01-22 | 1998-08-07 | Honda Motor Co Ltd | Head-mounted display device for vehicle |
JP2009116196A (en) * | 2007-11-08 | 2009-05-28 | Canon Inc | Image display device |
US20150199847A1 (en) * | 2014-01-14 | 2015-07-16 | Caterpillar Inc. | Head Mountable Display System |
-
2015
- 2015-08-19 JP JP2015162231A patent/JP2017040773A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09211376A (en) * | 1996-01-31 | 1997-08-15 | Nissan Motor Co Ltd | Head mounted display device |
JPH10206787A (en) * | 1997-01-20 | 1998-08-07 | Honda Motor Co Ltd | Head-mounted display device for vehicle |
JPH10206788A (en) * | 1997-01-22 | 1998-08-07 | Honda Motor Co Ltd | Head mounted display device for vehicle |
JPH10206789A (en) * | 1997-01-22 | 1998-08-07 | Honda Motor Co Ltd | Head-mounted display device for vehicle |
JP2009116196A (en) * | 2007-11-08 | 2009-05-28 | Canon Inc | Image display device |
US20150199847A1 (en) * | 2014-01-14 | 2015-07-16 | Caterpillar Inc. | Head Mountable Display System |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020520591A (en) * | 2017-05-05 | 2020-07-09 | アウディ アクチェンゲゼルシャフトAudi Ag | Mobile sensor device and display system for head mounted visual output device usable in a mobile and method for operating the same |
JP2019087259A (en) * | 2017-11-07 | 2019-06-06 | アイシン・エィ・ダブリュ株式会社 | Superposition image display device and computer program |
JP7143728B2 (en) | 2017-11-07 | 2022-09-29 | 株式会社アイシン | Superimposed image display device and computer program |
CN113752782A (en) * | 2020-06-05 | 2021-12-07 | 丰田自动车株式会社 | Experience system, experience providing method, and storage medium |
US11376514B2 (en) | 2020-06-05 | 2022-07-05 | Toyota Jidosha Kabushiki Kaisha | Experience system, experience providing method, and computer readable recording medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5099451B2 (en) | Vehicle periphery confirmation device | |
EP3147149B1 (en) | Display device | |
CN103969831B (en) | vehicle head-up display device | |
JP6311646B2 (en) | Image processing apparatus, electronic mirror system, and image processing method | |
CN108791062B (en) | Dynamic information system and method of operation | |
JP2001344597A (en) | Fused visual field device | |
JP2006350617A (en) | Vehicle driving support apparatus | |
JP6705335B2 (en) | Vehicle display control device and vehicle driving assist system | |
KR101976106B1 (en) | Integrated head-up display device for vehicles for providing information | |
KR20180022374A (en) | Lane markings hud for driver and assistant and same method thereof | |
JP6104279B2 (en) | Driver notification method and driver notification device | |
JP2020091663A (en) | Display controller for vehicles | |
JP5131152B2 (en) | Visual support device | |
JP2017040773A (en) | Head-mounted display device | |
JP2009073250A (en) | Vehicle backsight display device | |
JP6589775B2 (en) | Vehicle display control device and vehicle display system | |
JP6962131B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method and program | |
US20190381936A1 (en) | Device for assisting night-time road navigation | |
KR100833603B1 (en) | Navigation system for providing bird view and method thereof | |
US20230418541A1 (en) | Vehicle display system, display system, display method, and non-transitory computer readable storage medium | |
JP2019077302A (en) | Display control device, display system, and display control method | |
JP2005067370A (en) | Vehicular display device | |
JP7378892B2 (en) | Stop line display device | |
US20220258759A1 (en) | Method and driver assistance system for providing visual information about a first vehicle in an environment of a second vehicle, computer program and computer-readable medium | |
CN111347975B (en) | Driving support device, vehicle, information providing device, driving support system, and driving support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180828 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190305 |