JP7094349B2 - Information recording device - Google Patents

Information recording device Download PDF

Info

Publication number
JP7094349B2
JP7094349B2 JP2020201523A JP2020201523A JP7094349B2 JP 7094349 B2 JP7094349 B2 JP 7094349B2 JP 2020201523 A JP2020201523 A JP 2020201523A JP 2020201523 A JP2020201523 A JP 2020201523A JP 7094349 B2 JP7094349 B2 JP 7094349B2
Authority
JP
Japan
Prior art keywords
information
image
user
virtual image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020201523A
Other languages
Japanese (ja)
Other versions
JP2021051764A (en
Inventor
誠治 村田
弘充 森
堅一 嶋田
和良 山崎
真弓 長吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2020201523A priority Critical patent/JP7094349B2/en
Publication of JP2021051764A publication Critical patent/JP2021051764A/en
Priority to JP2022099408A priority patent/JP7397918B2/en
Application granted granted Critical
Publication of JP7094349B2 publication Critical patent/JP7094349B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、表示システム及び表示方法に関する。 The present invention relates to a display system and a display method.

視線移動を少なくすることで自動車の安全運転支援を行なうことを目的とし、運転者の前方風景と車機器情報（計器、カーナビ情報、注意喚起、警告等）をフロントガラスまたはコンバイナ（サンバイザーの位置あるいはダッシュボードの上方）に重畳して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）表示装置（ＡＲ- ＨＵＤ）が製品化されている。 For the purpose of supporting safe driving of automobiles by reducing the movement of the line of sight, the windshield or combiner (position of the sun visor) can be used to display the driver's front view and vehicle equipment information (instruments, car navigation information, alerts, warnings, etc.). Alternatively, an AR (Augmented Reality) display device (AR-HUD) that superimposes and displays on (above the dashboard) has been commercialized.

上記ＡＲ表示装置技術の例として、運転者が見る実際の画像が天候によって劣化する場合、運転者に運転情景を改善した画像を表示する技術がある（例えば、特許文献１参照）。具体的には、運転情景を撮影するカメラ画像を取得し、ノイズフィルタリングにより悪天候で劣化したカメラ画像の画質を改善して出力する。 As an example of the AR display device technology, there is a technique of displaying an image with an improved driving scene to the driver when the actual image seen by the driver is deteriorated by the weather (see, for example, Patent Document 1). Specifically, a camera image for shooting a driving scene is acquired, and the image quality of the camera image deteriorated due to bad weather is improved and output by noise filtering.

特表２００５―５０９９８４号公報Special Table 2005-509984

上記特許文献１に開示されている技術においては、カメラ画像の画質を画一的に改善している。しかしながら、移動体（例えば、車両）の周囲の状況に応じて、表示処理をした方がより適切に虚像（ＡＲ）を表示することができる。 In the technique disclosed in Patent Document 1, the image quality of the camera image is uniformly improved. However, the virtual image (AR) can be displayed more appropriately by performing the display processing according to the situation around the moving body (for example, the vehicle).

本発明の目的は、移動体の周囲の状況に応じて虚像を出力する表示システム、表示方法を提供することを目的とする。 An object of the present invention is to provide a display system and a display method for outputting a virtual image according to a situation around a moving body.

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。 The above and other objects and novel features of the invention will become apparent from the description and accompanying drawings herein.

前記課題を解決するための手段として、特許請求の範囲に記載の技術を用いる。 As a means for solving the above-mentioned problems, the technique described in the claims is used.

一例を挙げるならば、移動体に装着される表示部に虚像を表示させる表示システムであって、表示部を通して、移動体の前方を撮像する撮像部と、移動体の位置を特定する位置特定部と、位置特定部により特定された位置に基づいて、表示部に表示される強調対象を特定する対象特定部と、撮像部により撮像された画像の輝度を特定する輝度特定部と、輝度特定部により特定された輝度に基づいて、対象特定部により特定された強調対象を強調するための虚像を生成する虚像生成部と、虚像生成部により生成された虚像を前記表示部に表示させる表示処理部と、を備える。 As an example, it is a display system that displays a virtual image on a display unit mounted on a moving body, an imaging unit that images the front of the moving body through the display unit, and a position specifying unit that specifies the position of the moving body. The target identification unit that specifies the emphasis target displayed on the display unit, the brightness specification unit that specifies the brightness of the image captured by the imaging unit, and the brightness specification unit based on the position specified by the position identification unit. A virtual image generation unit that generates a virtual image for emphasizing the emphasized object specified by the target identification unit based on the brightness specified by the above, and a display processing unit that displays the virtual image generated by the virtual image generation unit on the display unit. And.

本発明の技術を用いることにより、移動体の周囲の状況に応じて虚像を出力することができる。 By using the technique of the present invention, it is possible to output a virtual image according to the situation around the moving body.

車両の運転席における、表示システム１のハードウェア構成の概要を示す図である。It is a figure which shows the outline of the hardware composition of the display system 1 in the driver's seat of a vehicle. 実施例１の表示システムの機能ブロック図である。It is a functional block diagram of the display system of Example 1. FIG. 運転者から見える外界を示す図（１）である。It is a figure (1) which shows the outside world seen from a driver. 周囲領域における輝度の変化を示すグラフである。It is a graph which shows the change of the luminance in the surrounding area. 表示システムが、輝度を調整して表示処理する手順を示すフローチャートである。It is a flowchart which shows the procedure which the display system adjusts and displays the brightness. 実施例２に係る表示システムの構成例について概要を示した図である。It is a figure which showed the outline about the configuration example of the display system which concerns on Example 2. FIG. 運転者から見える外界を示す図（２）である。It is a figure (2) which shows the outside world seen from a driver. 虚像を表示した例を示す図である。It is a figure which shows the example which displayed the virtual image. 重要オブジェクトを特定して、当該重要オブジェクトを強調表示処理する手順を示すフローチャートである。It is a flowchart which shows the procedure which specifies the important object and highlights the important object. 実施例３に係る表示システムの構成例について概要を示した図である。It is a figure which showed the outline about the configuration example of the display system which concerns on Example 3. FIG. 車両周囲情報に基づいた虚像を表示する処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the process which displays the virtual image based on the vehicle surrounding information.

以下、本発明の実施形態の例を、図面を用いて説明する。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings.

（表示システムのハードウェア構成）
まず、図１を用いて、表示システム１（表示システム１Ａ～１Ｃ）のハードウェア構成の概要を説明する。図１は、車両の運転席における、表示システム１のハードウェア構成の概要を示す図である。表示システム１は、車両等の移動体に搭載されるシステムである。この表示システム１は、移動体の周囲の状況に応じて、虚像（ＡＲ情報）を生成し、生成した虚像を移動体に装着されている表示部２００（フロントガラス、あるいはコンバイナ）へ表示する。 (Hardware configuration of display system)
First, the outline of the hardware configuration of the display system 1 (display systems 1A to 1C) will be described with reference to FIG. FIG. 1 is a diagram showing an outline of the hardware configuration of the display system 1 in the driver's seat of the vehicle. The display system 1 is a system mounted on a moving body such as a vehicle. The display system 1 generates a virtual image (AR information) according to the situation around the moving body, and displays the generated virtual image on the display unit 200 (windshield or combiner) mounted on the moving body.

図１に示すように、表示システム１は、ヘッドトラッキング装置１０１と、外界撮影部１０２と、ウェアラブルカメラ１０３と、映像制御装置１０４と、映像表示装置１０５とを含む。また、表示システム１は、図示しないＧＰＳ（Global Positioning System）受信機なども含む。 As shown in FIG. 1, the display system 1 includes a head tracking device 101, an outside world photographing unit 102, a wearable camera 103, a video control device 104, and a video display device 105. The display system 1 also includes a GPS (Global Positioning System) receiver (not shown).

ヘッドトラッキング装置１０１は、運転者３００（表示システム１のユーザ）の頭の位置、向きを検出し、運転者３００の視線を検出する装置である。ヘッドトラッキング装置１０１は、運転席に固定されている。ヘッドトラッキング装置１０１は、検出結果を映像制御装置１０４へ送出する。外界撮影部１０２は、表示部２００を通して、車両の外部（車両前方）を撮影する手段である。外界撮影部１０２は、撮影した結果得られる画像を映像制御装置１０４へ送出する。外界撮影部１０２は、例えば図示しない１つのカメラレンズと１つの受光素子から成る単眼カメラである。また、外界撮影部１０２は、別の形態として、例えば、図示しない２つのレンズと２つの受光素子から成るステレオカメラでもよい。外界撮影部１０２は、運転席に固定されている。 The head tracking device 101 is a device that detects the position and orientation of the head of the driver 300 (user of the display system 1) and detects the line of sight of the driver 300. The head tracking device 101 is fixed to the driver's seat. The head tracking device 101 sends the detection result to the video control device 104. The outside world photographing unit 102 is a means for photographing the outside of the vehicle (in front of the vehicle) through the display unit 200. The outside world photographing unit 102 sends the image obtained as a result of photographing to the image control device 104. The external world photographing unit 102 is, for example, a monocular camera including one camera lens (not shown) and one light receiving element. Further, as another form, the external field photographing unit 102 may be, for example, a stereo camera including two lenses (not shown) and two light receiving elements. The outside world photographing unit 102 is fixed to the driver's seat.

ウェアラブルカメラ１０３は、運転者３００へ装着された撮影手段である。ウェアラブルカメラ１０３は、運転者３００の前方を撮像する手段である。ウェアラブルカメラ１０３は、運転者３００に装着されているので、運転者３００視点の画像を得ることができる。ウェアラブルカメラ１０３は、撮影した結果得られる画像を映像制御装置１０４へ送出する。 The wearable camera 103 is a photographing means attached to the driver 300. The wearable camera 103 is a means for photographing the front of the driver 300. Since the wearable camera 103 is attached to the driver 300, it is possible to obtain an image of the driver 300 viewpoint. The wearable camera 103 sends an image obtained as a result of shooting to the video control device 104.

映像制御装置１０４は、周囲の環境に応じて虚像を生成する装置である。映像制御装置１０４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える情報処理装置である。映像制御装置１０４は、ヘッドトラッキング装置１０１から運転者３００の視線検出結果を取得する。また、映像制御装置１０４は、外界撮影部１０２およびウェアラブルカメラ１０３から画像を取得する。また、映像制御装置１０４は、ＧＰＳ受信機からＧＰＳ信号を取得する。また、映像制御装置１０４は、公知の画像解析を行うことができる。映像制御装置１０４は、取得したユーザの視線検出結果、画像、ＧＰＳ信号等に基づいて、表示する虚像を生成する。映像制御装置１０４は、生成した虚像を映像表示装置１０５へ送出する。 The image control device 104 is a device that generates a virtual image according to the surrounding environment. The video control device 104 is an information processing device including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The image control device 104 acquires the line-of-sight detection result of the driver 300 from the head tracking device 101. Further, the image control device 104 acquires an image from the outside world photographing unit 102 and the wearable camera 103. Further, the image control device 104 acquires a GPS signal from the GPS receiver. In addition, the video control device 104 can perform known image analysis. The video control device 104 generates a virtual image to be displayed based on the acquired user's line-of-sight detection result, image, GPS signal, and the like. The video control device 104 sends the generated virtual image to the video display device 105.

また、映像制御装置１０４は、取得した画像を記憶し、生成した虚像を記憶する。また、映像制御装置１０４は、生成した虚像を映像表示装置１０５へ送出する。また、映像制御装置１０４は、記憶した画像、虚像をユーザ指定に応じて再生する。また、映像制御装置１０４は、地図情報を記憶し、上記ＧＰＳ信号を用いてナビゲーションする機能を有する。 Further, the video control device 104 stores the acquired image and stores the generated virtual image. Further, the video control device 104 sends the generated virtual image to the video display device 105. Further, the video control device 104 reproduces the stored image and virtual image according to the user's designation. Further, the video control device 104 has a function of storing map information and navigating using the GPS signal.

映像表示装置１０５は、光源（ＬＥＤあるいはレーザ）、レンズ、ミラー、ＳＬＭ（空間光変調器）あるいはＭＥＭＳミラーあるいはＤＭＤといった光学素子から構成される投影デバイスであり、例えば、ヘッドアップディスプレイ（ＨＵＤ）である。この映像表示装置１０５から投射された画像を、表示部２００に所定の拡大率、所定の位置にある画像として運転者３００に映るようにする。前記ヘッドアップディスプレイとは別に、例えばシースルー型のヘッドマウントディスプレイ（ＨＭＤ）を用いることもできる。これを使用する場合、例えばＨＭＤに設けた加速度センサの情報から車両の振動を検出し、使用者が不快と感じない範囲で車両の振動をできるだけ打ち消すようＨＭＤのディスプレイで映る画像を振動させる。 The image display device 105 is a projection device composed of an optical element such as a light source (LED or laser), a lens, a mirror, an SLM (spatial light modulator), a MEMS mirror, or a DMD, and is, for example, a head-up display (HUD). be. The image projected from the image display device 105 is projected on the display unit 200 as an image at a predetermined magnification and a predetermined position by the driver 300. In addition to the head-up display, for example, a see-through type head-mounted display (HMD) can also be used. When this is used, for example, the vibration of the vehicle is detected from the information of the acceleration sensor provided in the HMD, and the image displayed on the HMD display is vibrated so as to cancel the vibration of the vehicle as much as possible within a range that the user does not feel uncomfortable.

また、表示システム１は、図示しない運転者状態モニタを備える。この運転者状態モニタは、運転者３００の瞳孔の大きさ、目の反応（動き、視点）を検出する。この運転者状態モニタは、公知の装置であり、例えば、運転手を撮像する装置などである。 Further, the display system 1 includes a driver status monitor (not shown). This driver status monitor detects the size of the pupil of the driver 300 and the reaction (movement, viewpoint) of the eyes. This driver status monitor is a known device, for example, a device that captures an image of a driver.

（実施例１）
続いて、実施例１について説明する。本実施例の表示システム１Ａは、運転者３００の眼に入る眩しい光の周辺輝度を変化させ、当該眩しい光を目立たなくするように表示制御する。 (Example 1)
Subsequently, the first embodiment will be described. The display system 1A of the present embodiment changes the peripheral brightness of the dazzling light entering the eyes of the driver 300, and controls the display so as to make the dazzling light inconspicuous.

続いて、図２を用いて、実施例１の表示システム１Ａの機能を説明する。図２は、実施例１の表示システム１Ａの機能ブロック図である。表示システム１Ａは、撮像部１１、視線方向特定部１２、ユーザ検出部１３、輝度特定部１４、輝度変更部１５、虚像生成部１６Ａ、表示処理部１７、記録部１８、及び再生部１９を備える。 Subsequently, the function of the display system 1A of the first embodiment will be described with reference to FIG. FIG. 2 is a functional block diagram of the display system 1A of the first embodiment. The display system 1A includes an image pickup unit 11, a line-of-sight direction specifying unit 12, a user detection unit 13, a brightness specifying unit 14, a brightness changing unit 15, a virtual image generation unit 16A, a display processing unit 17, a recording unit 18, and a reproduction unit 19. ..

撮像部１１は、表示部２００を通して、車両の前方を撮像する部分である。この撮像部１１は、外界撮影部１０２により実現される。撮像部１１は、車両の前方を撮像した結果の画像を輝度特定部１４および記録部１８へ送出する。 The image pickup unit 11 is a portion that captures an image of the front of the vehicle through the display unit 200. The image pickup unit 11 is realized by the outside world photographing unit 102. The image pickup unit 11 sends an image of the result of capturing the front of the vehicle to the luminance specifying unit 14 and the recording unit 18.

なお、撮像部１１は、外界撮影部１０２だけでなく、さらにウェアラブルカメラ１０３により実現されてもよい。この場合、撮像部１１は、ウェアラブルカメラ１０３により撮像された画像（ユーザ画像）を記録部１８へ送出する。すなわち、撮像部１１は、ユーザ撮像部としても機能する。 The image pickup unit 11 may be realized not only by the outside world photographing unit 102 but also by the wearable camera 103. In this case, the image pickup unit 11 sends the image (user image) captured by the wearable camera 103 to the recording unit 18. That is, the image pickup unit 11 also functions as a user image pickup unit.

視線方向特定部１２は、運転者３００の視線方向を特定する部分である。視線方向特定部１２は、ヘッドトラッキング装置１０１により実現される。視線方向特定部１２は、特定した視線方向を示す情報を輝度特定部１４および記録部１８へ送出する。 The line-of-sight direction specifying unit 12 is a part that specifies the line-of-sight direction of the driver 300. The line-of-sight direction specifying unit 12 is realized by the head tracking device 101. The line-of-sight direction specifying unit 12 sends information indicating the specified line-of-sight direction to the luminance specifying unit 14 and the recording unit 18.

ユーザ検出部１３は、ユーザの眼の状態を検出する部分である。ユーザ検出部１３は、上述の運転者モニタにより実現する。ユーザ検出部１３は、ユーザの眼の状態を輝度変更部１５へ送出する。 The user detection unit 13 is a part that detects the state of the user's eyes. The user detection unit 13 is realized by the above-mentioned driver monitor. The user detection unit 13 sends the state of the user's eyes to the brightness changing unit 15.

輝度特定部１４は、撮像部１１により撮像された画像における、視線方向特定部１２により特定された視線方向における輝度を特定する部分である。輝度特定部１４は、映像制御装置１０４により実現される。輝度特定部１４は、撮像部１１から画像を取得し、当該画像を解析して当該画像の輝度値を特定する。 The luminance specifying unit 14 is a portion that specifies the luminance in the line-of-sight direction specified by the line-of-sight direction specifying unit 12 in the image captured by the image pickup unit 11. The luminance specifying unit 14 is realized by the video control device 104. The brightness specifying unit 14 acquires an image from the imaging unit 11 and analyzes the image to specify the brightness value of the image.

また、輝度特定部１４は、視線方向特定部１２から視線方向を示す情報を取得して、当該視線方向を示す情報と、画像の解析結果とに基づいて、視線方向および視線方向周囲における輝度を特定する。例えば、輝度特定部１４は、解析結果として、２次元の輝度分布を得る。輝度特定部１４は、特定した輝度を示す情報を輝度変更部１５へ送出する。なお、輝度特定部１４は、視線方向によらず、画像全体の輝度分布を特定するようにしてもよい。 Further, the luminance specifying unit 14 acquires information indicating the line-of-sight direction from the line-of-sight direction specifying unit 12, and determines the luminance in the line-of-sight direction and around the line-of-sight direction based on the information indicating the line-of-sight direction and the analysis result of the image. Identify. For example, the luminance specifying unit 14 obtains a two-dimensional luminance distribution as an analysis result. The luminance specifying unit 14 sends information indicating the specified luminance to the luminance changing unit 15. The luminance specifying unit 14 may specify the luminance distribution of the entire image regardless of the line-of-sight direction.

輝度変更部１５は、視線方向特定部１２により特定された視線方向における、輝度特定部１４により特定された輝度と、当該視線方向の周囲における輝度とに基づいて、視線方向の周囲の輝度を上げるように輝度を変更する部分である。輝度変更部１５は、映像制御装置１０４により実現される。 The brightness changing unit 15 increases the brightness around the line-of-sight direction based on the brightness specified by the luminance specifying unit 14 in the line-of-sight direction specified by the line-of-sight direction specifying unit 12 and the brightness around the line-of-sight direction. This is the part that changes the brightness. The brightness changing unit 15 is realized by the video control device 104.

輝度変更部１５は、輝度特定部１４から輝度を示す情報を取得する。また、輝度変更部１５は、視線方向特定部１２から検出した視線方向を示す情報を取得する。また、輝度変更部１５は、ユーザ検出部１３からユーザ（運転手）の眼の状態を示す情報を取得する。輝度変更部１５は、取得した情報を用いて、運転者３００にとって眩しい箇所を特定し、当該箇所の周囲の輝度を変更する。 The brightness changing unit 15 acquires information indicating the brightness from the brightness specifying unit 14. Further, the luminance changing unit 15 acquires information indicating the line-of-sight direction detected from the line-of-sight direction specifying unit 12. Further, the brightness changing unit 15 acquires information indicating the state of the eyes of the user (driver) from the user detecting unit 13. The brightness changing unit 15 identifies a dazzling place for the driver 300 by using the acquired information, and changes the brightness around the place.

ここで、図３を用いて、輝度を変更する箇所について説明する。図３は、運転者３００から見える外界を示す図である。運転者３００は、表示部２００を通して外界を見ることができる。ここで、運転者３００の視線の先に眩しい領域３０１（例えば、西日等）がある。輝度変更部１５は、ユーザ検出部１３からユーザの眼の状態を示す情報（例えば、瞳孔の大きさ）に基づき、運転者３００が眩しいと感じているか否かを判断する。輝度変更部１５は、運転者３００が眩しいと感じていると判断した場合、上記視線方向を示す情報に基づいて、運転者３００の視線の先を特定することにより、眩しい領域３０１を特定する。 Here, a portion where the brightness is changed will be described with reference to FIG. FIG. 3 is a diagram showing the outside world seen by the driver 300. The driver 300 can see the outside world through the display unit 200. Here, there is a dazzling area 301 (for example, the west sun) ahead of the line of sight of the driver 300. The brightness changing unit 15 determines whether or not the driver 300 feels dazzling based on the information indicating the state of the user's eyes (for example, the size of the pupil) from the user detecting unit 13. When the brightness changing unit 15 determines that the driver 300 feels dazzling, the brightness changing unit 15 identifies the dazzling region 301 by specifying the tip of the line of sight of the driver 300 based on the information indicating the line-of-sight direction.

なお、輝度変更部１５は、ユーザ検出部１３からユーザの眼の状態を示す情報を用いずに、眩しい領域３０１を特定するようにしてもよい。例えば、輝度変更部１５は、輝度特定部１４から輝度分布を取得し、当該輝度分布を参照し、予め定めた輝度の絶対値以上である領域を眩しい領域３０１と特定するようにしてもよい。 The brightness changing unit 15 may specify the dazzling area 301 without using the information indicating the state of the user's eyes from the user detecting unit 13. For example, the luminance changing unit 15 may acquire a luminance distribution from the luminance specifying unit 14, refer to the luminance distribution, and specify a region having an absolute value or more of a predetermined luminance as a dazzling region 301.

予め定める輝度は、運転者３００が直視できる範囲であることが望ましく、例えば、蛍光灯の表面輝度程度の２０，０００ｃｄ／ｍ２程度に定めてもよい。また、輝度変更部１５は、取得した輝度分布の空間的な輝度変化量を２次元的に算出し、輝度変化量が大きい箇所を境界として明るい側の領域（眩しい領域３０１）として特定してもよい。 The predetermined brightness is preferably in the range that the driver 300 can directly see, and may be set to, for example, about 20,000 cd / m 2 which is about the surface brightness of the fluorescent lamp. Further, the brightness changing unit 15 two-dimensionally calculates the spatial brightness change amount of the acquired brightness distribution, and may specify a portion having a large brightness change amount as a bright side region (dazzling region 301) as a boundary. good.

輝度変更部１５は、周囲領域３０２の輝度を徐々に上げるように、変更後の輝度を決定する。なお、周囲領域３０２は、予め定めていてもよいし、眩しい領域３０１の大きさに応じて変更するようにしてもよい。例えば、眩しい領域３０１の面積の倍とするようにしてもよい。 The brightness changing unit 15 determines the changed brightness so as to gradually increase the brightness of the peripheral region 302. The surrounding area 302 may be predetermined or may be changed according to the size of the dazzling area 301. For example, the area of the dazzling area 301 may be doubled.

ここで、輝度変更部１５が、眩しい領域３０１の輝度に基づいて、周囲領域３０２の輝度を変更する例について、図４を用いて説明する。図４は、周囲領域３０２における輝度の変化を示すグラフである。縦軸は、輝度であり、横軸は、時間である。眩しい領域３０１の輝度を示す線分３０３（一定の輝度値Ｌ０）で示す。また、輝度変更部１５は、周囲領域３０２の輝度を線分３０４（時間ｔ１まで輝度０）、輝度Ｌ１まで変化する線分３０５（時間ｔ１から時間ｔ２）、輝度Ｌ２まで変化する線分３０６（時間ｔ２から時間ｔ３まで）、輝度Ｌ２を維持する線分３０７（時間ｔ３以降）で示すように時間に対して徐々に上げていく。 Here, an example in which the brightness changing unit 15 changes the brightness of the surrounding area 302 based on the brightness of the dazzling area 301 will be described with reference to FIG. FIG. 4 is a graph showing changes in luminance in the peripheral region 302. The vertical axis is luminance and the horizontal axis is time. It is indicated by a line segment 303 (constant luminance value L0) indicating the luminance of the dazzling region 301. Further, the brightness changing unit 15 changes the brightness of the peripheral region 302 to the line segment 304 (brightness 0 until the time t1), the line segment 305 (time t1 to the time t2) that changes to the luminance L1, and the line segment 306 that changes the luminance to the brightness L2 (time t1 to time t2). (From time t2 to time t3), the luminance is gradually increased with respect to time as shown by the line segment 307 (after time t3) that maintains the luminance L2.

運転者３００は、一般的に、空間的な輝度コントラストが大きければ、眩しさを感じる。ここで、輝度Ｌ２は、運転者３００が眩しさを感じなくなる閾値である。輝度Ｌ０＞輝度Ｌ２＞輝度Ｌ１＞０の関係を持たせている。また、輝度の時間あたりの変化Ｌ１／（ｔ２－ｔ１）が（Ｌ２－Ｌ１）／（ｔ３－ｔ２）よりも小さくなるようにすれば、周囲領域３０２が徐々に明るくなり自然に明るくなったように見せることができ、急激な輝度変化による運転者３００に対する違和感を回避することができる。 The driver 300 generally feels glare if the spatial luminance contrast is large. Here, the luminance L2 is a threshold value at which the driver 300 does not feel the glare. The relationship of luminance L0> luminance L2> luminance L1> 0 is given. Further, if the change L1 / (t2-t1) per time of the luminance is made smaller than (L2-L1) / (t3-t2), the surrounding region 302 gradually becomes brighter and naturally becomes brighter. It is possible to avoid a feeling of strangeness to the driver 300 due to a sudden change in brightness.

別の方法としては、輝度Ｌ１＜輝度Ｌ３＜輝度Ｌ２となる輝度Ｌ３を設ける。そして、輝度Ｌ３に到達する時間を時間ｔ４として、Ｌ１／（ｔ２－ｔ１）＜（Ｌ３－Ｌ１）／（ｔ４－ｔ２）とし、（Ｌ２－Ｌ３）／（ｔ３－ｔ４）＜（Ｌ３－Ｌ１）／（ｔ４－ｔ２）とすれば、Ｌ１からＬ２まで輝度を上昇させる際に、ｔ１からｔ２までの時間を長くとることができる。この結果、前記方法よりも運転者３００に対して輝度変化の始まりを感じさせにくく、違和感を与えない輝度上昇が可能である。 As another method, the luminance L3 in which the luminance L1 <the luminance L3 <the luminance L2 is provided is provided. Then, the time to reach the luminance L3 is set to time t4, L1 / (t2-t1) <(L3-L1) / (t4-t2), and (L2-L3) / (t3-t4) <(L3-L1). ) / (T4-t2), it is possible to take a long time from t1 to t2 when increasing the brightness from L1 to L2. As a result, it is more difficult for the driver 300 to feel the start of the change in brightness than in the above method, and it is possible to increase the brightness without giving a sense of discomfort.

また、輝度変更部１５は、周囲領域３０２の内部の輝度領域は、眩しい領域３０１から周囲領域３０２の外側にかけて、眩しい領域３０１の輝度から周囲領域３０２の外側近傍の輝度と同等になるようにグラデーションをかけるように輝度を決定してもよい。この構成であれば、輝度の空間的な変化量が小さくなるため、運転者３００にとって眩しさを低減することができる。また、輝度変更部１５は、前記の輝度分布を実現するために、輝度特定部１４により特定された輝度分布を利用して、運転者３００に提供したい輝度分布から周囲領域３０２に対応する輝度分布を減算した値を変更後の輝度値に決定するようにしてもよい。 Further, the brightness changing unit 15 has a gradation so that the brightness area inside the peripheral area 302 becomes equal to the brightness in the vicinity of the outside of the peripheral area 302 from the brightness of the dazzling area 301 from the dazzling area 301 to the outside of the surrounding area 302. The brightness may be determined so as to be applied. With this configuration, the amount of spatial change in brightness is small, so glare can be reduced for the driver 300. Further, the luminance changing unit 15 utilizes the luminance distribution specified by the luminance specifying unit 14 in order to realize the luminance distribution, and the luminance distribution corresponding to the peripheral region 302 from the luminance distribution desired to be provided to the driver 300. The value obtained by subtracting the above may be determined as the changed brightness value.

ただし、いずれの処理においても、輝度変更部１５は、輝度Ｌ０が大きく明るすぎる場合、周辺輝度を明るく追従させるような処理をさせず、周囲領域３０２の輝度を調整しないようにしてもよい。例えば、快晴時の太陽の輝度は、１．７×１０９ｃｄ／ｍ２程度に到達する。このガラスへの写り込みなどに追従させるように制御すると、眩しい領域３０１が増えてしまう。これを防止するために、予め定めた第２の絶対値、例えば、１００，０００ｃｄ／ｍ２以上の輝度になった場合、輝度の上昇の調整を加えないように輝度を決定すると、運転者３００にとって眩しい領域３０１が拡大することを防止することができる。 However, in any of the processes, when the brightness L0 is too large and bright, the brightness changing unit 15 may not perform the process of making the peripheral brightness brightly follow and may not adjust the brightness of the peripheral region 302. For example, the brightness of the sun in fine weather reaches about 1.7 × 10 9 cd / m 2 . If the control is performed so as to follow the reflection on the glass, the dazzling area 301 increases. In order to prevent this, when the brightness becomes a predetermined second absolute value, for example, 100,000 cd / m 2 or more, the brightness is determined so as not to adjust the increase in the brightness, and the driver 300 It is possible to prevent the area 301, which is dazzling for the user, from expanding.

以上のいずれかの処理中に、眩しい領域３０１の輝度が変化した場合の処理について説明する。輝度変更部１５は、処理に用いていた輝度であるＬ１～Ｌ３の輝度を再設定し、再度処理する。最大輝度領域１０７の位置が変化した場合には、対象となる眩しい領域３０１、周囲領域３０２を再度特定する。このような、制御であれば、運転者３００に常に効果的に眩しさを抑えた視野を提供できる。 A process when the brightness of the dazzling area 301 changes during any of the above processes will be described. The luminance changing unit 15 resets the luminance of L1 to L3, which is the luminance used for the processing, and performs the processing again. When the position of the maximum luminance region 107 changes, the target dazzling region 301 and the surrounding region 302 are specified again. With such control, it is possible to always provide the driver 300 with a field of view that effectively suppresses glare.

眩しい領域３０１の輝度が変化して運転者３００が眩しさを感じない程度に十分に明るさが低下した時、輝度をもとに戻す。輝度変更部１５は、運転者３００が視認している環境が急変しないように、時間的にフェードアウトするように輝度を変更することが望ましい。 When the brightness of the dazzling area 301 changes and the brightness is sufficiently lowered to the extent that the driver 300 does not feel the glare, the brightness is restored. It is desirable that the brightness changing unit 15 changes the brightness so as to fade out in time so that the environment visually recognized by the driver 300 does not change suddenly.

輝度変更部１５は、変更した輝度値および変更対象の領域（領域の大きさ、領域の位置を示す情報）を虚像生成部１６へ送出する。 The brightness changing unit 15 sends the changed brightness value and the area to be changed (information indicating the size of the area and the position of the area) to the virtual image generation unit 16.

虚像生成部１６は、輝度変更部１５によって変更された輝度に基づく虚像を生成する部分である。虚像生成部１６は、映像制御装置１０４により実現される。虚像生成部１６は、輝度変更部１５から変更した輝度値および変更対象の領域を取得する。虚像生成部１６は、輝度変更部１５から取得した領域の大きさであり、変更した輝度値の虚像を生成する。虚像生成部１６は、生成した虚像と、領域の位置を示す情報とを表示処理部１７および記録部１８へ送出する。 The virtual image generation unit 16 is a portion that generates a virtual image based on the brightness changed by the brightness changing unit 15. The virtual image generation unit 16 is realized by the video control device 104. The virtual image generation unit 16 acquires the changed luminance value and the area to be changed from the luminance changing unit 15. The virtual image generation unit 16 is the size of the region acquired from the brightness change unit 15, and generates a virtual image of the changed brightness value. The virtual image generation unit 16 sends the generated virtual image and information indicating the position of the region to the display processing unit 17 and the recording unit 18.

表示処理部１７は、虚像生成部１６により生成された虚像を表示部２００に表示させる部分である。表示処理部１７は、映像表示装置１０５により実現される。表示処理部１７は、虚像生成部１６から虚像および領域の位置を示す情報を取得する。表示処理部１７は、取得した虚像を当該領域の位置に対応する箇所に表示する。 The display processing unit 17 is a unit for displaying the virtual image generated by the virtual image generation unit 16 on the display unit 200. The display processing unit 17 is realized by the video display device 105. The display processing unit 17 acquires information indicating the positions of the virtual image and the region from the virtual image generation unit 16. The display processing unit 17 displays the acquired virtual image at a location corresponding to the position of the region.

記録部１８は、撮像部１１によって撮像された画像、および虚像生成部１６によって生成された虚像を記憶する部分である。また、記録部１８は、表示システム１のユーザ（運転者３００）の向きと、撮像部１１の撮像方向とに基づいた相対位置情報を特定し、当該相対位置情報を記憶する部分である。すなわち、記録部１８は、相対位置情報特定部および履歴情報記憶部として機能する。記録部１８は、映像制御装置１０４によって実現される。 The recording unit 18 is a unit that stores an image captured by the image pickup unit 11 and a virtual image generated by the virtual image generation unit 16. Further, the recording unit 18 is a unit that specifies relative position information based on the orientation of the user (driver 300) of the display system 1 and the image pickup direction of the image pickup unit 11 and stores the relative position information. That is, the recording unit 18 functions as a relative position information specifying unit and a history information storage unit. The recording unit 18 is realized by the video control device 104.

記録部１８は、撮像部１１から画像（外界画像、ユーザ画像）を取得し、虚像生成部１６によって生成された虚像を取得する。また、記録部１８は、視線方向特定部１２から視線方向を示す情報を取得する。記録部１８は、予め記憶している撮像部１１の方向情報と、視線方向を示す情報とを用いて相対位置情報を特定する。この相対位置情報は、撮像部１１の方向（撮像部１１の撮像方向）と視線方向とから特定される角度情報である。 The recording unit 18 acquires an image (outside world image, user image) from the image pickup unit 11 and acquires a virtual image generated by the virtual image generation unit 16. Further, the recording unit 18 acquires information indicating the line-of-sight direction from the line-of-sight direction specifying unit 12. The recording unit 18 specifies relative position information using the direction information of the image pickup unit 11 stored in advance and the information indicating the line-of-sight direction. This relative position information is angle information specified from the direction of the image pickup unit 11 (the image pickup direction of the image pickup unit 11) and the line-of-sight direction.

記録部１８は、撮像部１１から取得した画像と、虚像生成部１６によって生成された虚像とを別々に履歴情報として、記憶手段（例えば、ハードディスク）に記憶する。また、記録部１８は、相対位置情報を履歴情報として、画像および虚像とは別々に記憶する。 The recording unit 18 separately stores the image acquired from the image pickup unit 11 and the virtual image generated by the virtual image generation unit 16 as historical information in a storage means (for example, a hard disk). Further, the recording unit 18 stores the relative position information as history information separately from the image and the virtual image.

なお、記録部１８は、外界画像と、相対位置情報と、虚像とを別々に記憶する代わりに、撮像部１１から取得した画像（外界画像）に、相対位置情報により虚像を合成した合成画像を生成して、当該合成画像を記憶手段に記憶するようにしてもよい。 In addition, instead of storing the outside world image, the relative position information, and the virtual image separately, the recording unit 18 generates a composite image in which the virtual image is synthesized with the image (outside world image) acquired from the imaging unit 11 by the relative position information. It may be generated and the composite image may be stored in the storage means.

再生部１９は、記録部１８により記憶された情報を用いて、撮像部１１により撮像された画像に、相対位置情報により虚像を合成した合成画像を再生する部分である。再生部１９は、表示システム１Ａのユーザによる再生要求を受け付けると、記録部１８に記憶されている外界画像を取得して、当該外界画像をディスプレイ（例えば、ナビゲーションシステムのディスプレイ）に再生する。また、再生部１９は、外界画像に対応する虚像がある場合、当該虚像と相対位置情報とを記録部１８から取得し、当該外界画像に、相対位置情報に基づいて虚像を合成し、合成した画像を再生する。 The reproduction unit 19 is a unit that reproduces a composite image obtained by synthesizing a virtual image with relative position information with an image captured by the image pickup unit 11 using the information stored by the recording unit 18. When the reproduction unit 19 receives the reproduction request by the user of the display system 1A, the reproduction unit 19 acquires the outside world image stored in the recording unit 18 and reproduces the outside world image on a display (for example, a display of a navigation system). Further, when there is a virtual image corresponding to the outside world image, the reproduction unit 19 acquires the virtual image and the relative position information from the recording unit 18, synthesizes the virtual image with the outside world image based on the relative position information, and synthesizes the virtual image. Play the image.

再生部１９は、合成画像が記憶されている場合、合成処理をせずに合成画像を再生するようにしてもよい。また、再生部１９は、記録部１８に記録されているユーザ画像をさらに再生するようにしてもよい。 When the composite image is stored, the reproduction unit 19 may reproduce the composite image without performing the composite processing. Further, the reproduction unit 19 may further reproduce the user image recorded in the recording unit 18.

続いて、図５を用いて、輝度を調整して表示処理をする手順を説明する。図５は、表示システム１Ａが、輝度を調整して表示処理する手順を示すフローチャートである。まず、撮像部１１が外界を撮像する（ステップＳ１）。また、視線方向特定部１２は、運転者３００の視線を特定する（ステップＳ２）。なお、ステップＳ１およびステップＳ２は、順序が逆でもよいし、平行して処理をしてもよい。 Subsequently, a procedure for adjusting the brightness and performing display processing will be described with reference to FIG. FIG. 5 is a flowchart showing a procedure in which the display system 1A adjusts the brightness and performs display processing. First, the imaging unit 11 images the outside world (step S1). Further, the line-of-sight direction specifying unit 12 specifies the line of sight of the driver 300 (step S2). The order of steps S1 and S2 may be reversed, or the processes may be performed in parallel.

続いて、輝度特定部１４は、撮像部１１により撮像された外界画像について、輝度を特定し、輝度分布を生成する（ステップＳ３）。輝度変更部１５は、ユーザの視線方向およびユーザの状態に基づいて、輝度分布から眩しい領域３０１を特定する。さらに輝度変更部１５は、周囲領域３０２における変更後の輝度を決定する（ステップＳ４）。 Subsequently, the luminance specifying unit 14 specifies the luminance of the outside world image captured by the imaging unit 11 and generates a luminance distribution (step S3). The luminance changing unit 15 identifies a dazzling region 301 from the luminance distribution based on the user's line-of-sight direction and the user's state. Further, the brightness changing unit 15 determines the changed brightness in the peripheral region 302 (step S4).

虚像生成部１６は、変更後の輝度、および周囲領域３０２に基づいた虚像を生成する（ステップＳ５）。表示処理部１７は、虚像生成部１６により生成された虚像を表示部２００へ表示する（ステップＳ６）。 The virtual image generation unit 16 generates a virtual image based on the changed brightness and the surrounding area 302 (step S5). The display processing unit 17 displays the virtual image generated by the virtual image generation unit 16 on the display unit 200 (step S6).

また、記録部１８は、運転者３００の向き（視線方向）と、撮像部１１の撮像方向とに基づいた相対位置情報を特定する（ステップＳ７）。また、記録部１８は、撮像部１１により撮像された画像、相対位置情報、および虚像を履歴情報として、記憶する（ステップＳ８）。そして、再生部１９は、相対位置情報に基づいて、外界画像に虚像を合成した合成画像を再生する（ステップＳ９）。 Further, the recording unit 18 specifies relative position information based on the direction of the driver 300 (line-of-sight direction) and the image pickup direction of the image pickup unit 11 (step S7). Further, the recording unit 18 stores the image, the relative position information, and the virtual image captured by the image pickup unit 11 as history information (step S8). Then, the reproduction unit 19 reproduces a composite image in which a virtual image is synthesized with the external world image based on the relative position information (step S9).

上述のように、輝度特定部１４が、運転者３００の視線方向における外界画像の輝度分布を特定し、輝度変更部１５が、当該輝度分布のうち、眩しい領域３０１を特定する。さらに、輝度変更部１５は、当該眩しい領域３０１の周囲領域３０２における変更後の輝度を決定する。虚像生成部１６Ａが、決定した輝度に基づいた虚像を生成し、表示処理部１７が、当該虚像を表示部２００へ表示する。このように、表示システム１Ａは、眩しい領域３０１の周囲の輝度を上げるための虚像を表示するので、運転者３００が眩しく感じることを緩和することができ、視認性を向上させることができる。すなわち、表示システム１Ａは、周囲の状況に応じた虚像を出力することができる。 As described above, the luminance specifying unit 14 specifies the luminance distribution of the outside world image in the line-of-sight direction of the driver 300, and the luminance changing unit 15 identifies the dazzling region 301 in the luminance distribution. Further, the brightness changing unit 15 determines the changed brightness in the peripheral area 302 of the dazzling area 301. The virtual image generation unit 16A generates a virtual image based on the determined luminance, and the display processing unit 17 displays the virtual image on the display unit 200. As described above, since the display system 1A displays a virtual image for increasing the luminance around the dazzling region 301, it is possible to alleviate the feeling that the driver 300 is dazzling, and it is possible to improve the visibility. That is, the display system 1A can output a virtual image according to the surrounding situation.

また、ユーザ検出部１３により、ユーザの眼の状態を検出して、輝度変更部１５が、当該ユーザの眼の状態に基づいて、周囲領域３０２の輝度を変更するので、ユーザ個々で眩しいと感じる輝度の違いを考慮して輝度を変更することができる。 Further, the user detection unit 13 detects the state of the user's eyes, and the brightness changing unit 15 changes the brightness of the peripheral region 302 based on the state of the user's eyes, so that each user feels dazzling. The brightness can be changed in consideration of the difference in brightness.

また、記録部１８は、相対位置情報と、撮像部１１により撮像された外界画像と、虚像生成部１６Ａにより生成された虚像とを履歴情報として記憶する。そして、再生部１９は、外界画像に上記虚像を合成した画像を再生する。このように、表示システム１Ａは、過去の走行時における虚像情報の表示状態を再生することができる。これにより、虚像情報が適切に表示されたか確認することができる。例えば、車両事故等が発生した場合に、表示システム１Ａのユーザは、虚像を表示したことにより事故が発生してしまったか否か検証することができる。すなわち、記録部１８が、上記履歴情報を記憶することにより、車両が事故を起こした際の責任の所在が運転者３００によるものなのか、表示システムによるものかを判断するための証拠を残すことができる。 Further, the recording unit 18 stores the relative position information, the external image captured by the imaging unit 11, and the virtual image generated by the virtual image generation unit 16A as history information. Then, the reproduction unit 19 reproduces an image obtained by synthesizing the above virtual image with the outside world image. In this way, the display system 1A can reproduce the display state of the virtual image information at the time of traveling in the past. This makes it possible to confirm whether the virtual image information is properly displayed. For example, when a vehicle accident or the like occurs, the user of the display system 1A can verify whether or not the accident has occurred by displaying the virtual image. That is, by storing the history information, the recording unit 18 leaves evidence for determining whether the responsibility for the accident caused by the vehicle is due to the driver 300 or the display system. Can be done.

また、記録部１８は、撮像部１１により撮像された外界画像と、虚像生成部１６Ａにより生成された虚像とを別々に記憶する。これにより、表示システム１Ａは、外界画像と虚像とを重ね合せた状態で記録する場合と比較して記録するためのデータ量を削減することができる。 Further, the recording unit 18 separately stores the external world image captured by the image pickup unit 11 and the virtual image generated by the virtual image generation unit 16A. As a result, the display system 1A can reduce the amount of data to be recorded as compared with the case where the external image and the virtual image are recorded in a superposed state.

また、記録部１８は、運転者３００のユーザ画像を記憶し、再生部１９は、当該ユーザ画像を再生するので、ユーザ視点における虚像の表示状態を確認することができる。 Further, since the recording unit 18 stores the user image of the driver 300 and the reproduction unit 19 reproduces the user image, it is possible to confirm the display state of the virtual image from the user's viewpoint.

上述では述べなかったが、表示システム１Ａは、虚像を表示した後に、車両が走行するルートに基づいて、虚像の消去するように制御してもよい。例えば、表示システム１Ａは、ナビゲーション機能により探索した走行経路に基づき、現在の走行方向が変わる場所に到達した場合に、虚像を消去するようにしてもよい。例えば、西日の光が正面から入ってくる状況にある場合に、虚像を表示したままとすると、車両の走行方向が変わり、西日が入ってこなくなっているにも関わらず、虚像を表示してしまうことになる。上記のように、走行方向が変わる場合に、虚像を消去することにより、運転者３００にとって眩しくない状況であるにも関わらず、虚像を表示し続けてしまうことを回避することができる。 Although not described above, the display system 1A may control to erase the virtual image based on the route on which the vehicle travels after displaying the virtual image. For example, the display system 1A may erase the virtual image when it reaches a place where the current traveling direction changes based on the traveling route searched by the navigation function. For example, if the light of the west sun is coming in from the front and the virtual image is left displayed, the virtual image is displayed even though the traveling direction of the vehicle changes and the west sun does not come in. Will end up. As described above, by erasing the virtual image when the traveling direction changes, it is possible to avoid continuing to display the virtual image even though the situation is not dazzling for the driver 300.

上述の実施例では、視線方向特定部１２は、ヘッドトラッキング装置１０１により実現される旨、記載したが、これに替えて運転者３００の視線方向を検出するアイトラッキング装置を用いてもよい。この場合、運転者３００の眼球の向き、位置などから視線を直接的に検出するため、検出精度を高めることができる。 In the above-described embodiment, it has been described that the line-of-sight direction specifying unit 12 is realized by the head tracking device 101, but instead of this, an eye tracking device that detects the line-of-sight direction of the driver 300 may be used. In this case, since the line of sight is directly detected from the direction and position of the eyeball of the driver 300, the detection accuracy can be improved.

上述の実施例では、記録部１８は、撮像部１１が撮像した外界画像およびユーザ画像を記録する場合について述べたが、ユーザ画像のみ記録するようにしてもよい。この場合、再生部１９は、運転者３００視点の画像を再生することができる。また、記録部１８は、撮像部１１が撮像した外界画像およびユーザ画像を記録する場合について述べたが、外界画像のみ記録するようにしてもよい。この場合、再生部１９は、外界画像およびこれに合成した虚像を再生することができる。 In the above-described embodiment, the recording unit 18 describes the case where the external world image and the user image captured by the imaging unit 11 are recorded, but only the user image may be recorded. In this case, the reproduction unit 19 can reproduce the image of the driver 300 viewpoint. Further, although the recording unit 18 has described the case of recording the external world image and the user image captured by the imaging unit 11, only the external world image may be recorded. In this case, the reproduction unit 19 can reproduce the external world image and the virtual image synthesized therein.

本実施例の変形例として、表示部２００を、運転者３００とフロントガラスの間に設定し、液晶シャッターを設けたコンバイナとしてもよい。この場合、コンバイナを通して眩しい光の輝度を低下させ、運転者３００の眼に入る眩しさを防ぐことができる。 As a modification of this embodiment, the display unit 200 may be set between the driver 300 and the windshield, and may be a combiner provided with a liquid crystal shutter. In this case, it is possible to reduce the brightness of the dazzling light through the combiner and prevent the glare from entering the eyes of the driver 300.

本実施例の変形例として、フロントガラスを、閾値以上の明るさの光が入射するとその光をカットする機能を有するようにしてもよい。 As a modification of this embodiment, the windshield may be provided with a function of cutting the light when the light having a brightness equal to or higher than the threshold value is incident.

（実施例２）
図６は、実施例２に係る表示システム１Ｂの構成例について概要を示した図である。表示システム１Ｂは、車両前方にある強調対象（注視対象）が運転者３００により見えやすくするように虚像を表示するシステムである。 (Example 2)
FIG. 6 is a diagram showing an outline of a configuration example of the display system 1B according to the second embodiment. The display system 1B is a system that displays a virtual image so that the emphasis target (gaze target) in front of the vehicle can be easily seen by the driver 300.

表示システム１Ｂは、関連情報記憶部２０と、撮像部１１と、視線方向特定部１２と、位置特定部２１と、対象特定部２２と、輝度特定部１４と、虚像生成部１６Ｂと、表示処理部１７と、記録部１８と、再生部１９とを備える。 The display system 1B includes a related information storage unit 20, an imaging unit 11, a line-of-sight direction specifying unit 12, a position specifying unit 21, a target specifying unit 22, a luminance specifying unit 14, a virtual image generation unit 16B, and a display process. A unit 17, a recording unit 18, and a reproduction unit 19 are provided.

関連情報記憶部２０は、看板に表示される文字である看板文字と当該看板文字を簡略化したシンボルとを関連づけた関連情報を記憶する部分である。関連情報記憶部２０は、映像制御装置１０４により実現される。 The related information storage unit 20 is a part that stores related information in which a signboard character, which is a character displayed on a signboard, and a symbol obtained by simplifying the signboard character are associated with each other. The related information storage unit 20 is realized by the video control device 104.

位置特定部２１は、車両の位置を特定する部分である。位置特定部２１は、映像制御装置１０４により実現される。位置特定部２１は、ＧＰＳ信号を受信して、受信したＧＰＳ信号および予め記憶している地図情報を用いて、車両の位置を特定する。位置特定部２１は、特定した位置を示す情報を対象特定部２２へ送出する。 The position specifying unit 21 is a part that specifies the position of the vehicle. The position specifying unit 21 is realized by the video control device 104. The position specifying unit 21 receives a GPS signal and identifies the position of the vehicle by using the received GPS signal and the map information stored in advance. The position specifying unit 21 sends information indicating the specified position to the target specifying unit 22.

対象特定部２２は、位置特定部２１により特定された位置に基づいて、表示部２００に表示される強調対象を特定する部分である。対象特定部２２は、映像制御装置１０４により実現される。ここで、強調対象とは、運転者３００に注視させるべき対象である。本実施例では、信号、交通標識、看板などである。 The target specifying unit 22 is a portion that specifies the highlighted target displayed on the display unit 200 based on the position specified by the position specifying unit 21. The target identification unit 22 is realized by the video control device 104. Here, the object to be emphasized is an object to be watched by the driver 300. In this embodiment, it is a signal, a traffic sign, a signboard, or the like.

対象特定部２２は、位置特定部２１から位置を示す情報を取得すると、方向センサに基づいて、走行方向も特定し、当該位置と走行方向とに基づいて、車両の走行前方の強調対象とを特定する。具体的に、対象特定部２２は、予め記憶している地図情報を参照して、車両の走行前方にある地図オブジェクト（信号、交通標識、施設等）の情報を取得する。 When the target specifying unit 22 acquires the information indicating the position from the position specifying unit 21, it also specifies the traveling direction based on the direction sensor, and based on the position and the traveling direction, emphasizes the object to be emphasized in front of the vehicle. Identify. Specifically, the target identification unit 22 acquires information on a map object (signal, traffic sign, facility, etc.) in front of the vehicle by referring to the map information stored in advance.

対象特定部２２は、取得した地図オブジェクトの情報に、強調対象であることを示す情報が付されている地図オブジェクトがある場合、当該地図オブジェクトを強調対象に特定する。なお、上記地図オブジェクトの情報には、地図オブジェクトの種類（信号、交通標識等）の情報、地図オブジェクトの位置の情報、地図オブジェクトが強調対象か否かを示す情報、地図オブジェクトの情報の種類が施設である場合、当該施設の看板に記載の名称、当該地図オブジェクトの画像（施設の場合は、看板の画像）を含む。対象特定部２２は、特定した地図オブジェクトの情報を虚像生成部１６Ｂへ送出する。 When the acquired map object information includes a map object to which information indicating that it is an emphasis target is attached, the target identification unit 22 identifies the map object as the emphasis target. The map object information includes information on the type of map object (signal, traffic sign, etc.), information on the position of the map object, information indicating whether or not the map object is to be emphasized, and information on the map object. In the case of a facility, the name written on the sign of the facility and the image of the map object (in the case of a facility, the image of the sign) are included. The target specifying unit 22 sends the information of the specified map object to the virtual image generation unit 16B.

虚像生成部１６Ｂは、輝度特定部１４により特定された輝度に基づいて、対象特定部２２により特定された地図オブジェクトを強調するための虚像を生成する部分である。虚像生成部１６Ｂは、対象特定部２２から地図オブジェクトの情報を取得する。また、虚像生成部１６Ｂは、輝度特定部１４により特定された輝度分布に、予め定めた閾値以上の輝度の領域がある場合、当該領域をマスクする虚像を生成する。なお、虚像生成部１６Ｂは、取得した地図オブジェクトの情報に基づいて、虚像生成部１６Ｂは、撮像部１１により撮像された画像から地図オブジェクトの情報の画像に対応する箇所を特定し、当該位置に表示（配置）させるための、上記閾値以上の輝度より高い輝度の虚像を生成するようにしてもよい。 The virtual image generation unit 16B is a portion that generates a virtual image for emphasizing the map object specified by the target identification unit 22 based on the brightness specified by the luminance identification unit 14. The virtual image generation unit 16B acquires the information of the map object from the target identification unit 22. Further, when the brightness distribution specified by the brightness specifying unit 14 has a region having a brightness equal to or higher than a predetermined threshold value, the virtual image generation unit 16B generates a virtual image that masks the region. The virtual image generation unit 16B identifies a location corresponding to the image of the map object information from the image captured by the image pickup unit 11 based on the acquired information of the map object, and the virtual image generation unit 16B determines the location corresponding to the image of the map object information at the position. A virtual image having a brightness higher than the brightness above the threshold value for display (arrangement) may be generated.

また、虚像生成部１６Ｂは、対象特定部２２から取得した地図オブジェクトの情報を参照し、当該地図オブジェクトの情報の種類が施設である場合、関連情報記憶部２０に記憶されている情報を参照し、看板の名称に対応するシンボルを取得する。虚像生成部１６Ｂは、撮像部１１により撮像された画像から地図オブジェクトの情報の画像に対応する箇所を特定し、当該位置に上記シンボルの虚像を生成する。虚像生成部１６Ｂは、マスク対象の位置を示す情報と、マスクのための虚像と、看板の位置を示す情報と、シンボルの虚像とを表示処理部１７へ送出する。表示処理部１７は、マスク対象の位置にマスクのための虚像を表示する。また、表示処理部１７は、看板の位置に、シンボルの虚像を表示する。 Further, the virtual image generation unit 16B refers to the information of the map object acquired from the target identification unit 22, and when the type of the information of the map object is a facility, the information stored in the related information storage unit 20 is referred to. , Get the symbol corresponding to the name of the sign. The virtual image generation unit 16B identifies a position corresponding to the image of the information of the map object from the image captured by the image pickup unit 11, and generates a virtual image of the symbol at the position. The virtual image generation unit 16B sends information indicating the position of the mask target, the virtual image for the mask, the information indicating the position of the signboard, and the virtual image of the symbol to the display processing unit 17. The display processing unit 17 displays a virtual image for the mask at the position of the mask target. Further, the display processing unit 17 displays a virtual image of the symbol at the position of the signboard.

ここで、図７を用いて、虚像を生成する箇所について説明する。図７は、運転者から見える外界を示す図である。運転者３００は、表示部２００を通して外界を見ることができる。ここで、運転者３００の視線の先に、強調対象のオブジェクトである信号３１１、看板３１３がある。また、輝度が高いネオン看板３１２がある。虚像生成部１６Ｂは、輝度特定部１４により特定された輝度分布に基づき、ネオン看板３１２の領域をマスク対象の箇所と判断し、マスク用の虚像を生成する。また、重要な施設の看板３１３の簡易版のシンボルの虚像を生成する。 Here, a part where a virtual image is generated will be described with reference to FIG. 7. FIG. 7 is a diagram showing the outside world seen by the driver. The driver 300 can see the outside world through the display unit 200. Here, ahead of the line of sight of the driver 300, there is a signal 311 and a signboard 313 which are objects to be emphasized. There is also a neon signboard 312 with high brightness. The virtual image generation unit 16B determines that the area of the neon signboard 312 is a masked portion based on the luminance distribution specified by the luminance specifying unit 14, and generates a virtual image for masking. It also creates a virtual image of the symbol of a simplified version of the signboard 313 of an important facility.

図８は、虚像を表示した例を示す図である。図８に示すように、表示処理部１７が、図７のネオン看板３１２の位置にマスク用の虚像３１５を表示する。このように、表示システム１は、不要な現実情報の輝度を低下させることにより、強調対象のオブジェクト（例えば、信号）を強調表示させることができる。また、表示処理部１７は、看板３１３の位置にシンボルの虚像３１４を表示する。看板３１３の文字が小さい場合や、文字数が多い場合でも簡易なシンボルに表示切り替えするので、運転者に直感的に看板を認識させることができる。この結果、運転者３００の注意力が散漫になることを防ぐことができる。また、外国人に理解しやすいシンボルを用意しておけば、外国人の運転手であっても、意味を容易に理解させることができる。表示システム１Ｂにおいて、ユーザ入力等により、運転手の人種を特定しておき、当該人種に対応するシンボルを表示することにより実現できる。 FIG. 8 is a diagram showing an example of displaying a virtual image. As shown in FIG. 8, the display processing unit 17 displays the virtual image 315 for the mask at the position of the neon signboard 312 in FIG. 7. In this way, the display system 1 can highlight an object (for example, a signal) to be highlighted by reducing the brightness of unnecessary real information. Further, the display processing unit 17 displays a virtual image 314 of the symbol at the position of the signboard 313. Even if the characters on the signboard 313 are small or the number of characters is large, the display is switched to a simple symbol, so that the driver can intuitively recognize the signboard. As a result, it is possible to prevent the driver 300 from being distracted. In addition, if a symbol that is easy for foreigners to understand is prepared, even a foreign driver can easily understand the meaning. This can be realized by specifying the race of the driver by user input or the like in the display system 1B and displaying the symbol corresponding to the race.

続いて、図９を用いて、注視対象を特定して、当該注視対象を強調表示処理する手順を説明する。図９は、注視対象を特定して、当該注視対象を強調表示処理する手順を示すフローチャートである。なお、ステップＳ１１、ステップＳ１３、ステップＳ１６～Ｓ１９は、それぞれステップＳ１、ステップＳ３、ステップＳ６～Ｓ９と同様であるので、説明を省略する。 Subsequently, with reference to FIG. 9, a procedure for specifying the gaze target and highlighting the gaze target will be described. FIG. 9 is a flowchart showing a procedure for specifying a gaze target and highlighting the gaze target. Since steps S11, step S13, and steps S16 to S19 are the same as steps S1, step S3, and steps S6 to S9, respectively, description thereof will be omitted.

位置特定部２１は、自車両の位置を特定する（ステップＳ１２）。なお、ステップＳ１１およびステップＳ１２は、順序が逆でもよいし、平行して処理をしてもよい。 The position specifying unit 21 specifies the position of the own vehicle (step S12). The order of steps S11 and S12 may be reversed, or the processes may be performed in parallel.

虚像生成部１６Ｂは、自車両の位置・走行方向に基づいて強調対象を特定する（ステップＳ１４）。続いて、虚像生成部１６Ｂは、上記輝度分布に基づいて、輝度の高い箇所を特定して、当該箇所をマスクするための虚像を生成する。また、虚像生成部１６Ｂは、施設の看板が強調対象である場合、当該看板の文字に対応する簡略したシンボルがある場合、当該シンボルの虚像を生成する（ステップＳ１５）。 The virtual image generation unit 16B identifies the emphasis target based on the position and traveling direction of the own vehicle (step S14). Subsequently, the virtual image generation unit 16B identifies a portion having high luminance based on the luminance distribution and generates a virtual image for masking the portion. Further, the virtual image generation unit 16B generates a virtual image of the symbol when the signboard of the facility is the object of emphasis and there is a simplified symbol corresponding to the character of the signboard (step S15).

なお、上述の実施例において、輝度が高い箇所にマスク処理する場合について述べたが、強調対象の箇所に対して輝度を高めた虚像を重畳させて、強調表示するようにしてもよい。また、マスク処理と併せて行うようにしてもよい。 In the above-described embodiment, the case where the mask processing is performed on the portion having high luminance is described, but a virtual image having increased luminance may be superimposed on the portion to be emphasized to highlight the portion. Further, it may be performed in combination with the mask processing.

また、上述の実施例では、マスクするための虚像を表示することにより、ネオン看板３１２を消す例について述べてが、目的地への到達のために必要なものである場合は、当該ネオン看板３１２にマスク処理をすることは望ましくない。そこで、撮像部１１により撮像された画像における輝度の高い領域と、走行位置との関係から、当該輝度の高い領域が目的地に対応する場合、マスク処理を中止することが考えられる。 Further, in the above-described embodiment, an example of erasing the neon signboard 312 by displaying a virtual image for masking is described, but if it is necessary for reaching the destination, the neon signboard 312 is described. It is not desirable to mask the surface. Therefore, from the relationship between the high-luminance region and the traveling position in the image captured by the image pickup unit 11, it is conceivable to stop the masking process when the high-luminance region corresponds to the destination.

より簡易な処理として、目的地に近づいた場合、仮に輝度の高い領域が存在しても、マスク処理を禁止するようにしてもよい。 As a simpler process, when the destination is approached, the mask process may be prohibited even if there is a region with high brightness.

また、オブジェクト情報にマスク対象を禁止する情報を付加しておき、当該情報が付加されているオブジェクトを画像から抽出した場合、当該箇所をマスク対象から除外してもよい。このような構成であれば、運転者３００にとって、潜在的な必要性を秘めた対象物を隠すことなく、運転者３００に提供することができる。特に、目的地の看板を目視させる場合には好適である。 Further, when information for prohibiting the mask target is added to the object information and the object to which the information is added is extracted from the image, the portion may be excluded from the mask target. With such a configuration, it is possible for the driver 300 to provide the driver 300 without hiding an object having a potential need. In particular, it is suitable for visually recognizing the signboard of the destination.

本実施例の変形例として、運転者３００とフロントガラスの間に設けたコンバイナの内部に液晶シャッターを設け、この液晶シャッターを動作させることにより、ネオン看板３１２の領域の輝度を低下させるようにしてもよい。このように、運転者３００の視認性を向上させ、より安全な運転が可能となる。 As a modification of this embodiment, a liquid crystal shutter is provided inside a combiner provided between the driver 300 and the windshield, and the liquid crystal shutter is operated so as to reduce the brightness of the area of the neon signboard 312. May be good. In this way, the visibility of the driver 300 is improved, and safer driving becomes possible.

上述のように、虚像生成部１６Ｂは、輝度特定部１４により特定された輝度に基づいて、強調対象を強調するための虚像を生成し、当該虚像を表示するので、車両の前方が眩しい状況でも、強調対象を視認しやすくすることができ、より安全な走行が可能となる。すなわち、表示システム１Ｂは、周囲の状況に応じた虚像を出力することができる。 As described above, the virtual image generation unit 16B generates a virtual image for emphasizing the emphasized object based on the brightness specified by the luminance specifying unit 14, and displays the virtual image, so that even in a situation where the front of the vehicle is dazzling. , The emphasized object can be easily visually recognized, and safer driving becomes possible. That is, the display system 1B can output a virtual image according to the surrounding situation.

具体的に、虚像生成部１６Ｂは、表示部２００に表示される強調対象の位置の虚像を生成するので、強調対象の箇所を目立たせることが可能となる。また、虚像生成部１６Ｂは、強調対象の位置周囲の輝度が高い場合に、当該周囲の位置をマスクする虚像を生成するので、強調対象の周囲が眩しいために、強調対象が視認しづらい状況を解消することができる。また、虚像生成部１６Ｂは、強調対象が看板文字である場合、関連情報記憶部２０に記憶されている当該看板文字を簡略化したシンボル情報に基づいた虚像を生成する。これにより、表示システム１Ｂは、運転者３００（例えば、高齢運転者、外国人の運転者）にとって、視認しやすい表示形態で強調対象を表示することができる。 Specifically, since the virtual image generation unit 16B generates a virtual image of the position of the emphasis target displayed on the display unit 200, it is possible to make the emphasis target portion stand out. Further, since the virtual image generation unit 16B generates a virtual image that masks the surrounding position when the brightness around the position of the emphasized object is high, the surrounding of the emphasized object is dazzling, so that the emphasized object is difficult to see. It can be resolved. Further, when the emphasis target is a signboard character, the virtual image generation unit 16B generates a virtual image based on the symbol information that simplifies the signboard character stored in the related information storage unit 20. As a result, the display system 1B can display the highlighted object in a display form that is easy for the driver 300 (for example, an elderly driver or a foreign driver) to see.

（実施例３）
図１０は、実施例３に係る表示システム１Ｃの構成例について概要を示した図である。表示システム１Ｃは、運転者３００が目視では認識することが困難な情報（例えば、小さな起伏、凹凸等）を虚像で表示するシステムである。 (Example 3)
FIG. 10 is a diagram showing an outline of a configuration example of the display system 1C according to the third embodiment. The display system 1C is a system that displays information (for example, small undulations, unevenness, etc.) that is difficult for the driver 300 to visually recognize as a virtual image.

表示システム１Ｃは、撮像部１１と、視線方向特定部１２と、周囲情報検出部３１と、位置特定部２１と、判断部３２と、虚像生成部１６Ｃと、表示処理部１７と、記録部１８と、再生部１９とを備える。 The display system 1C includes an image pickup unit 11, a line-of-sight direction specifying unit 12, an ambient information detection unit 31, a position identification unit 21, a determination unit 32, a virtual image generation unit 16C, a display processing unit 17, and a recording unit 18. And a reproduction unit 19.

周囲情報検出部３１は、車両の前方の注視物を示す周囲情報を検出する部分である。周囲情報検出部３１は、映像制御装置１０４により実現される。ここで、注視物とは、車両の運転者３００が視認する必要があると考えられる物であり、例えば、ガードレール、道路の白線（センターライン等）、崖等である。周囲情報検出部３１は、センサ機能等により、起伏のある箇所を公知技術により特定する。周囲情報検出部３１は、当該起伏の形状、当該起伏のある箇所を含む情報である周囲情報を検出する。また、周囲情報検出部３１は、当該周囲情報を判断部３２へ送出する。 The surrounding information detection unit 31 is a part that detects surrounding information indicating a gaze object in front of the vehicle. The surrounding information detection unit 31 is realized by the video control device 104. Here, the gaze object is an object that the driver 300 of the vehicle needs to visually recognize, and is, for example, a guardrail, a white line (center line, etc.) of a road, a cliff, or the like. The surrounding information detection unit 31 identifies an uneven portion by a known technique by a sensor function or the like. The surrounding information detection unit 31 detects the surrounding information, which is information including the shape of the undulations and the undulating portion. Further, the surrounding information detection unit 31 sends the surrounding information to the determination unit 32.

また、周囲情報検出部３１は、位置特定部２１により特定された位置や走行方向等に基づいて、周囲情報を検出するようにしてもよい。周囲情報検出部３１は、位置特定部２１により特定された位置と、走行方向とに基づいて、走行方向前方の所定範囲を定める。周囲情報検出部３１は、予め記憶している地図情報を参照し、当該範囲における注視物（ここでは、ガードレール、車両の白線数）を示す地図情報を取得することにより、周囲情報を検出する。周囲情報検出部３１は、当該周囲情報を判断部３２へ送出する。 Further, the surrounding information detection unit 31 may detect the surrounding information based on the position, the traveling direction, and the like specified by the position specifying unit 21. The surrounding information detecting unit 31 determines a predetermined range ahead of the traveling direction based on the position specified by the position specifying unit 21 and the traveling direction. The surrounding information detection unit 31 detects the surrounding information by referring to the map information stored in advance and acquiring the map information indicating the gaze object (here, the guardrail and the number of white lines of the vehicle) in the range. The surrounding information detection unit 31 sends the surrounding information to the determination unit 32.

判断部３２は、撮像部１１により撮像された画像を解析し、当該画像に周囲情報検出部３１により検出された周囲情報が示す注視物の画像が含まれているか否かを判断する部分である。判断部３２は、映像制御装置１０４により実現される。判断部３２は、撮像部１１から撮像された外界画像を取得する。また、判断部３２は、周囲情報検出部３１から周囲情報を取得する。 The determination unit 32 is a unit that analyzes the image captured by the image pickup unit 11 and determines whether or not the image includes an image of the gaze object indicated by the surrounding information detected by the surrounding information detection unit 31. .. The determination unit 32 is realized by the video control device 104. The determination unit 32 acquires an outside world image captured by the image pickup unit 11. Further, the determination unit 32 acquires the surrounding information from the surrounding information detection unit 31.

判断部３２は、撮像部１１により撮像された画像を解析して、当該画像中に周囲情報検出部３１から取得した周囲情報に対応する情報が含まれるか否かを判断する。すなわち、判断部３２は、走行前方に、起伏や地図オブジェクトを運転者３００が視認できる状態であるか否かを判断する。判断部３２は、予め地図オブジェクトや起伏の画像を記憶しておき、撮像部１１から取得した画像に、周囲情報の注視物を示す画像が含まれているか否かにより判断する。 The determination unit 32 analyzes the image captured by the image pickup unit 11 and determines whether or not the image includes information corresponding to the ambient information acquired from the ambient information detection unit 31. That is, the determination unit 32 determines whether or not the undulations and the map object can be visually recognized by the driver 300 ahead of the driving. The determination unit 32 stores images of map objects and undulations in advance, and determines whether or not the image acquired from the image pickup unit 11 includes an image showing a gaze object of surrounding information.

判断部３２は、上記判断をした結果、注視物の画像が含まれていた場合、虚像生成部１６Ｃへ虚像の生成要求を行わない。一方、判断部３２は、上記判断をした結果、注視物の画像が含まれていない場合、注視物の情報を送出し、虚像生成部１６Ｃへ虚像の生成要求をする。 If the determination unit 32 includes an image of the gaze object as a result of the above determination, the determination unit 32 does not request the virtual image generation unit 16C to generate a virtual image. On the other hand, as a result of the above determination, when the image of the gaze object is not included, the determination unit 32 sends out the information of the gaze object and requests the virtual image generation unit 16C to generate a virtual image.

虚像生成部１６Ｃは、周囲情報に基づく虚像を生成する部分である。虚像生成部１６Ｃは、判断部３２から周囲情報を取得すると、当該周囲情報が示す位置に、当該周囲情報に対応する虚像を生成する。例えば、周囲情報がガードレールを示す情報である場合、虚像生成部１６Ｃは、ガードレールを示す虚像を生成する。また、周囲情報が白線を示す情報である場合、虚像生成部１６Ｃは、白線を示す虚像を生成する。なお、虚像生成部１６Ｃは、警告を示す虚像を生成するようにしてもよい。例えば、周囲情報が崖を示す情報である場合、虚像生成部１６Ｃは、崖があることを注意喚起する警告を示す虚像を生成する。 The virtual image generation unit 16C is a portion that generates a virtual image based on surrounding information. When the virtual image generation unit 16C acquires the ambient information from the determination unit 32, the virtual image generation unit 16C generates a virtual image corresponding to the ambient information at the position indicated by the ambient information. For example, when the surrounding information is information indicating a guardrail, the virtual image generation unit 16C generates a virtual image indicating the guardrail. When the surrounding information is information indicating a white line, the virtual image generation unit 16C generates a virtual image indicating the white line. The virtual image generation unit 16C may generate a virtual image indicating a warning. For example, when the surrounding information is information indicating a cliff, the virtual image generation unit 16C generates a virtual image indicating a warning to warn that there is a cliff.

続いて、図１１を用いて、周囲情報に基づいた虚像を表示する処理の手順を説明する。図１１は、周囲情報に基づいた虚像を表示する処理の手順を示すフローチャートである。なお、ステップＳ２１、ステップＳ２２、ステップＳ２６～Ｓ２９は、それぞれステップＳ１、ステップＳ１２、ステップＳ６～Ｓ９と同様であるので、説明を省略する。 Subsequently, the procedure of the process of displaying the virtual image based on the surrounding information will be described with reference to FIG. FIG. 11 is a flowchart showing a procedure for displaying a virtual image based on surrounding information. Since steps S21, step S22, and steps S26 to S29 are the same as steps S1, step S12, and steps S6 to S9, respectively, description thereof will be omitted.

なお、ステップＳ２１およびステップＳ２２は、順序が逆でもよいし、平行して処理をしてもよい。 The order of steps S21 and S22 may be reversed, or the processes may be performed in parallel.

ステップＳ２３において、周囲情報検出部３１は、移動体前方の周囲情報を検出する（ステップＳ２３）。続いて、判断部３２は、撮像部１１により撮像された画像を解析し、当該画像に注視物の画像が含まれているか否かを判断する（ステップＳ２４）。判断部３２により、当該画像に注視物の画像が含まれていないと判断された場合、虚像生成部１６Ｃは、当該周囲情報に基づく虚像を生成する（ステップＳ２５）。 In step S23, the surrounding information detection unit 31 detects the surrounding information in front of the moving body (step S23). Subsequently, the determination unit 32 analyzes the image captured by the image pickup unit 11 and determines whether or not the image includes the image of the gaze object (step S24). When the determination unit 32 determines that the image does not include the image of the gaze object, the virtual image generation unit 16C generates a virtual image based on the surrounding information (step S25).

上述のように、表示システム１Ｃは、周囲情報検出部３１により検出された周囲情報を取得して、撮像部１１により撮像された画像に注視物の画像が含まれているか否かを判断する。この判断をした結果、当該注視物の画像が含まれていない場合、虚像生成部１６Ｃが、当該周囲情報に基づく虚像を生成して、表示部２００へ表示させる。これによれば、積雪等により、運転者３００がガードレールやセンターライン（白線）を視認できない状態であっても、運転者３００にそれらがある旨を認識させることができる。すなわち、表示システム１Ｃは、車両の周囲の状況に応じた虚像を出力することができる。この結果、表示システム１Ｃは、運転者３００が、危険個所を回避して安全に運転することを助長することができる。 As described above, the display system 1C acquires the ambient information detected by the ambient information detection unit 31 and determines whether or not the image captured by the image pickup unit 11 includes the image of the gaze object. As a result of this determination, if the image of the gaze object is not included, the virtual image generation unit 16C generates a virtual image based on the surrounding information and displays it on the display unit 200. According to this, even if the driver 300 cannot visually recognize the guardrail or the center line (white line) due to snow cover or the like, the driver 300 can be made to recognize that they are present. That is, the display system 1C can output a virtual image according to the situation around the vehicle. As a result, the display system 1C can encourage the driver 300 to avoid dangerous places and drive safely.

上述では、自動車の運転を想定し、ヘッドアップディスプレイを利用した例を説明してきたが、これに限られない。例えば、スキー場で滑走する状況を想定し、滑走者のゴーグルにシースルー型のヘッドマウントディスプレイを内蔵した場合に対しても適用することが可能である。この場合、雪に埋もれており滑走者の目視では見つけられない危険箇所をメッシュ等の画像で強調して虚像情報とし、ゴーグルの表示部にて現実情報と重ね合わせる。その他、目視では見つけにくい滑走面のコブ凹凸をマーキング画像で強調してＡＲ情報とし、ゴーグルの表示部にて現実情報と重ね合わせる。以上より、滑走者に危険箇所（コブ凹凸）を認識させ、回避させることが可能となる。 In the above, an example of using a head-up display assuming driving of a car has been described, but the present invention is not limited to this. For example, it can be applied to the case where a see-through type head-mounted display is built in the goggles of the skier, assuming the situation of skiing at a ski resort. In this case, the dangerous part that is buried in the snow and cannot be found by the glider's eyes is emphasized with an image such as a mesh to obtain virtual image information, which is superimposed on the actual information on the display part of the goggles. In addition, the bump unevenness on the sliding surface, which is difficult to find visually, is emphasized with a marking image to make AR information, and it is superimposed on the actual information on the display part of the goggles. From the above, it is possible to make the glider recognize the dangerous place (hump unevenness) and avoid it.

なお、上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記各実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。前記各実施例では、カメラとヘッドアップディスプレイ（ＨＵＤ）、カメラとヘッドマウントディスプレイ（ＨＭＤ）を用いた例で説明してきたが、これらに限らず、撮像部と表示部を備えたデバイスを用いても良い。例えば、スマートフォン（携帯電話）、タブレット端末、Ｗebカメラを搭載したパーソナルコンピュータ（ＰＣ）等を使用することが可能である。移動体の例として主に自動車を想定して記載したが、オートバイ、自転車、パーソナルビークルなどにも適用できる。 It should be noted that the present invention is not limited to the above-described embodiment, and various modifications are included. For example, each of the above embodiments has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the configurations described. In each of the above embodiments, an example using a camera and a head-up display (HUD) and a camera and a head-mounted display (HMD) has been described, but the present invention is not limited to these, and a device provided with an image pickup unit and a display unit is used. Is also good. For example, a smartphone (mobile phone), a tablet terminal, a personal computer (PC) equipped with a Web camera, or the like can be used. Although the description mainly assumes an automobile as an example of a moving body, it can also be applied to motorcycles, bicycles, personal vehicles, and the like.

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用してもよい。 The above-mentioned functions and the like of the present invention may be realized by hardware, for example, by designing a part or all of them by an integrated circuit. Further, it may be realized by software by interpreting and executing an operation program in which a microprocessor unit or the like realizes each function or the like. Hardware and software may be used together.

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 In addition, the control lines and information lines shown in the figure show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product. In practice, it can be considered that almost all configurations are interconnected.

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。 In addition, the control lines and information lines shown in the figure show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product. In practice, it can be considered that almost all configurations are interconnected.

１Ａ…表示システム、１Ｂ…表示システム、１Ｃ…表示システム、１１…撮像部、１２…視線方向特定部、１３…ユーザ検出部、１４…輝度特定部、１５…輝度変更部、１６Ａ…虚像生成部、１６Ｂ…虚像生成部、１６Ｃ…虚像生成部、１７…表示処理部、１８…記録部、１９…再生部、２０…関連情報記憶部、２１…位置特定部、２２…対象特定部、３１…周囲情報検出部、３２…判断部、１０１…ヘッドトラッキング装置、１０２…外界撮影部、１０３…ウェアラブルカメラ、１０４…映像制御装置、１０５…映像表示装置。 1A ... Display system, 1B ... Display system, 1C ... Display system, 11 ... Imaging unit, 12 ... Line-of-sight direction specifying unit, 13 ... User detection unit, 14 ... Brightness specifying unit, 15 ... Brightness changing unit, 16A ... Virtual image generation unit , 16B ... Virtual image generation unit, 16C ... Virtual image generation unit, 17 ... Display processing unit, 18 ... Recording unit, 19 ... Reproduction unit, 20 ... Related information storage unit, 21 ... Position identification unit, 22 ... Target identification unit, 31 ... Ambient information detection unit, 32 ... Judgment unit, 101 ... Head tracking device, 102 ... External world photography unit, 103 ... Wearable camera, 104 ... Video control device, 105 ... Video display device.

Claims (12)

移動体に装着される情報記録装置であって、
前記移動体の前方を撮像する映像と、
ユーザの頭部の位置および向きに基づいて特定された前記ユーザの視線方向を示す情報と、
撮像された前記映像を解析して強調対象を特定し、前記強調対象を強調する虚像を生成する虚像生成情報と、
撮像された前記映像の撮像方向と、前記視線方向とに基づいた相対位置情報と、
を記憶する、情報記録装置。 An information recording device attached to a moving body,
An image of the front of the moving object and
Information indicating the line-of-sight direction of the user specified based on the position and orientation of the user's head, and
Virtual image generation information that analyzes the captured image to identify the emphasized object and generates a virtual image that emphasizes the emphasized object.
Relative position information based on the imaging direction of the image captured and the line-of-sight direction,
An information recording device that stores information. 移動体に装着される情報記録装置であって、
前記移動体の前方を撮像する映像と、
ユーザの頭部の位置および向きに基づいて特定された前記ユーザの視線方向を示す情報と、
前記ユーザの前記視線方向により前記映像を解析して輝度を変化させる領域を特定し、特定された前記領域の輝度を変更し、変更された前記輝度に基づき、特定された前記領域に表示される虚像を生成する虚像生成情報と、
前記映像の撮像方向と前記ユーザの前記視線方向とに基づいた相対位置情報と、
を記録する、情報記録装置。 An information recording device attached to a moving body,
An image of the front of the moving object and
Information indicating the line-of-sight direction of the user specified based on the position and orientation of the user's head, and
The image is analyzed according to the line-of-sight direction of the user to identify a region where the brightness is changed, the brightness of the specified region is changed, and the image is displayed in the specified region based on the changed brightness. Virtual image generation information to generate a virtual image and
Relative position information based on the image pickup direction of the image and the line-of-sight direction of the user,
An information recording device that records information. 移動体に装着される情報記録装置であって、
前記移動体の前方を撮像する映像と、
前記移動体の前方の注視物を示す周囲情報と、
前記映像を解析し、前記映像に前記周囲情報が示す前記注視物の画像が含まれているか否かを判断し、撮像された前記映像に前記周囲情報が示す前記注視物の画像が含まれていないと判断された場合に、前記周囲情報に基づく虚像を生成する虚像生成情報と、
を記録する、情報記録装置。 An information recording device attached to a moving body,
An image of the front of the moving object and
Surrounding information indicating the gaze object in front of the moving object, and
The image is analyzed to determine whether or not the image contains an image of the gaze object indicated by the surrounding information, and the captured image includes an image of the gaze object indicated by the surrounding information. When it is determined that there is no virtual image generation information that generates a virtual image based on the surrounding information,
An information recording device that records information. ユーザの頭部に装着され前記ユーザの略視点からの映像を記録する情報記録装置であって、
前記ユーザの略視点からの前記映像を解析して強調対象を特定し、前記強調対象を強調する虚像を生成する虚像生成情報と、
前記ユーザの視線方向を特定した視線方向情報と、
前記ユーザの略視点からの前記映像の撮像方向と前記特定された前記視線方向とに基づいた相対位置情報と、
を記憶する、情報記録装置。 An information recording device that is attached to the user's head and records images from the user's approximate viewpoint.
Virtual image generation information that analyzes the image from the user's approximate viewpoint to identify the emphasized object and generates a virtual image that emphasizes the emphasized object.
The line-of-sight direction information that specifies the line-of-sight direction of the user and
Relative position information based on the imaging direction of the image from the user's approximate viewpoint and the specified line-of-sight direction,
An information recording device that stores information. ユーザの頭部に装着されユーザの略視点からの映像を記録する情報記録装置であって、
前記ユーザの視線方向を特定した視線方向情報と、
前記ユーザの前記視線方向により前記ユーザの略視点からの前記映像を解析して輝度を変化させる領域を特定し、前記領域の輝度を変更し、変更された前記輝度に基づき、特定された前記領域に表示される虚像を生成する虚像生成情報と、
前記ユーザの略視点からの前記映像の撮像方向と特定された前記視線方向とに基づいた相対位置情報と、
を記録する、情報記録装置。 An information recording device that is attached to the user's head and records images from the user's approximate viewpoint.
The line-of-sight direction information that specifies the line-of-sight direction of the user and
The region where the brightness is changed is specified by analyzing the image from the user's approximate viewpoint according to the line-of-sight direction of the user, the brightness of the region is changed, and the specified region is specified based on the changed brightness. Virtual image generation information that generates a virtual image displayed in
Relative position information based on the imaging direction of the image from the user's approximate viewpoint and the specified line-of-sight direction,
An information recording device that records information. ユーザの頭部に装着され前記ユーザの略視点からの映像を記録する情報記録装置であって、
前記ユーザの前方の注視物を示す周囲情報と、
前記ユーザの略視点からの前記映像を解析し、前記映像に前記周囲情報が示す前記注視物の画像が含まれているか否かを判断し、前記映像に前記周囲情報が示す前記注視物の画像が含まれていないと判断した場合に、前記周囲情報に基づく虚像を生成する虚像生成情報と、
を記録する、情報記録装置。 An information recording device that is attached to the user's head and records images from the user's approximate viewpoint.
Surrounding information indicating the gaze object in front of the user, and
The image from the user's schematic viewpoint is analyzed, it is determined whether or not the image includes the image of the gaze object indicated by the surrounding information, and the image of the gaze object indicated by the surrounding information is included in the image. When it is determined that is not included, the virtual image generation information that generates a virtual image based on the surrounding information and the virtual image generation information
An information recording device that records information. 請求項３または６に記載の情報記録装置において、
ユーザの眼の状態によって検出された前記ユーザの視線方向の情報を記録する、情報記録装置。 In the information recording apparatus according to claim 3 or 6.
An information recording device that records information in the line-of-sight direction of the user detected by the state of the user's eyes. 請求項１、２、４、５、および７のいずれか１項に記載の情報記録装置において、
撮像された前記映像と、前記虚像生成情報と、前記視線方向を示す情報とにより生成される虚像合成映像を記録する、情報記録装置。 In the information recording apparatus according to any one of claims 1 , 2 , 4, 5, and 7.
An information recording device that records a virtual image composite image generated by the captured image, the virtual image generation information, and information indicating the line-of-sight direction. 移動体に装着される情報記録装置であって、An information recording device attached to a moving body,
前記移動体の前方を撮像する映像と、An image of the front of the moving object and
ユーザの眼球の位置および向きに基づいて特定された前記ユーザの視線方向を示す情報と、Information indicating the line-of-sight direction of the user specified based on the position and orientation of the user's eyeball, and
撮像された前記映像を解析して強調対象を特定し、前記強調対象を強調する虚像を生成する虚像生成情報と、Virtual image generation information that analyzes the captured image to identify the emphasized object and generates a virtual image that emphasizes the emphasized object.
撮像された前記映像の撮像方向と、前記視線方向とに基づいた相対位置情報と、Relative position information based on the imaging direction of the image captured and the line-of-sight direction,
を記憶する、情報記録装置。An information recording device that stores information. 移動体に装着される情報記録装置であって、An information recording device attached to a moving body,
前記移動体の前方を撮像する映像と、An image of the front of the moving object and
ユーザの眼球の位置および向きに基づいて特定された前記ユーザの視線方向を示す情報と、Information indicating the line-of-sight direction of the user specified based on the position and orientation of the user's eyeball, and
前記ユーザの前記視線方向により前記映像を解析して輝度を変化させる領域を特定し、特定された前記領域の輝度を変更し、変更された前記輝度に基づき、特定された前記領域に表示される虚像を生成する虚像生成情報と、The image is analyzed according to the line-of-sight direction of the user to identify a region where the brightness is changed, the brightness of the specified region is changed, and the image is displayed in the specified region based on the changed brightness. Virtual image generation information to generate a virtual image and
前記映像の撮像方向と前記ユーザの前記視線方向とに基づいた相対位置情報と、Relative position information based on the image pickup direction of the image and the line-of-sight direction of the user,
を記録する、情報記録装置。An information recording device that records information. 移動体に装着される情報記録装置であって、An information recording device attached to a moving body,
前記移動体の前方を撮像する映像と、An image of the front of the moving object and
前記移動体の走行方向前方の所定範囲にある地図オブジェクト情報を地図情報から取得し、取得した前記地図オブジェクト情報が強調対象であることを示している場合に、前記地図オブジェクト情報と撮像された前記映像の輝度に基づいて地図オブジェクトを強調する虚像を生成する虚像生成情報と、When the map object information in a predetermined range in front of the traveling direction of the moving body is acquired from the map information and it is shown that the acquired map object information is to be emphasized, the image is taken with the map object information. Virtual image generation information that generates a virtual image that emphasizes the map object based on the brightness of the image,
強調対象の前記地図オブジェクト情報と、The map object information to be emphasized and
を記録する、情報記録装置。An information recording device that records information. ユーザの頭部に装着され前記ユーザの略視点からの映像を記録する情報記録装置であって、An information recording device that is attached to the user's head and records images from the user's approximate viewpoint.
前記ユーザの前方の所定範囲にある地図オブジェクト情報を地図情報から取得し、取得した前記地図オブジェクト情報が強調対象であることを示している場合に、前記地図オブジェクト情報と撮像された前記映像の輝度に基づいて地図オブジェクトを強調する虚像を生成する虚像生成情報と、When the map object information in a predetermined range in front of the user is acquired from the map information and it is shown that the acquired map object information is the emphasis target, the brightness of the image captured with the map object information. With imaginary image generation information that generates imaginary images that emphasize map objects based on
強調対象の前記地図オブジェクト情報と、The map object information to be emphasized and
を記録する、情報記録装置。An information recording device that records information.
JP2020201523A 2020-12-04 2020-12-04 Information recording device Active JP7094349B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020201523A JP7094349B2 (en) 2020-12-04 2020-12-04 Information recording device
JP2022099408A JP7397918B2 (en) 2020-12-04 2022-06-21 Video equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020201523A JP7094349B2 (en) 2020-12-04 2020-12-04 Information recording device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019542899A Division JP6806914B2 (en) 2017-09-22 2017-09-22 Display system and display method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022099408A Division JP7397918B2 (en) 2020-12-04 2022-06-21 Video equipment

Publications (2)

Publication Number Publication Date
JP2021051764A JP2021051764A (en) 2021-04-01
JP7094349B2 true JP7094349B2 (en) 2022-07-01

Family

ID=75156146

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020201523A Active JP7094349B2 (en) 2020-12-04 2020-12-04 Information recording device
JP2022099408A Active JP7397918B2 (en) 2020-12-04 2022-06-21 Video equipment

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022099408A Active JP7397918B2 (en) 2020-12-04 2022-06-21 Video equipment

Country Status (1)

Country Link
JP (2) JP7094349B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023124678A (en) 2022-02-25 2023-09-06 富士フイルム株式会社 Image processing device, image processing method, and image processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199094A (en) 2001-12-28 2003-07-11 Yazaki Corp Image revising apparatus for vehicle and night drive visual field supporting apparatus
JP2004302903A (en) 2003-03-31 2004-10-28 Fuji Photo Film Co Ltd Vehicle display device
JP2009530695A (en) 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト Virtual spotlight for identifying important objects in image data

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014096057A (en) 2012-11-09 2014-05-22 Sharp Corp Image processing apparatus
JP6432197B2 (en) 2014-07-31 2018-12-05 セイコーエプソン株式会社 Display device, display device control method, and program
JP2016051982A (en) 2014-08-29 2016-04-11 株式会社ニコン Image processing system, camera, and image processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003199094A (en) 2001-12-28 2003-07-11 Yazaki Corp Image revising apparatus for vehicle and night drive visual field supporting apparatus
JP2004302903A (en) 2003-03-31 2004-10-28 Fuji Photo Film Co Ltd Vehicle display device
JP2009530695A (en) 2006-03-17 2009-08-27 ダイムラー・アクチェンゲゼルシャフト Virtual spotlight for identifying important objects in image data

Also Published As

Publication number Publication date
JP7397918B2 (en) 2023-12-13
JP2021051764A (en) 2021-04-01
JP2022153361A (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP6806914B2 (en) Display system and display method
JP6537602B2 (en) Head mounted display and head up display
US11048095B2 (en) Method of operating a vehicle head-up display
JP5008556B2 (en) Navigation navigation display method and apparatus using head-up display
US7078692B2 (en) On-vehicle night vision camera system, display device and display method
US20160110615A1 (en) Methods and Apparatus for Integrated Forward Display of Rear-View Image and Navigation Information to Provide Enhanced Situational Awareness
JPWO2017134865A1 (en) Head-up display device
WO2015114697A1 (en) Display device, display method, and non-transitory computer-readable medium having display program stored therein
JP4367212B2 (en) Virtual image display device and program
KR20180022374A (en) Lane markings hud for driver and assistant and same method thereof
KR101736991B1 (en) Screen overlap avoidance method and apparatus between display of the smart glasses and display of vehicle display device
JP2018185654A (en) Head-up display device
JP7397918B2 (en) Video equipment
WO2020003791A1 (en) Moving body video projection system, video projection device, video display light diffraction optical element, helmet, and video projection method
JP2005313772A (en) Vehicular head-up display device
JP2021154988A (en) On-vehicle display device, method of controlling on-vehicle display device, and computer program
JP2023109754A (en) Ar display device, ar display method and program
KR20200063789A (en) Ar glass and method of providing augmented reality service using the same
WO2021131529A1 (en) Head-up display device
US20220348080A1 (en) Control of a display of an augmented reality head-up display apparatus for a motor vehicle
JP2019159216A (en) On-vehicle display device, method for controlling on-vehicle display device, and computer program
JP2021110904A (en) Head-up display device
WO2021200913A1 (en) Display control device, image display device, and method
JP2023087539A (en) Ar glasses
JP2021160409A (en) Display control device, image display device, and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220621

R150 Certificate of patent or registration of utility model

Ref document number: 7094349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150