JP2014150304A - Display device and display method therefor - Google Patents

Display device and display method therefor Download PDF

Info

Publication number
JP2014150304A
JP2014150304A JP2013016394A JP2013016394A JP2014150304A JP 2014150304 A JP2014150304 A JP 2014150304A JP 2013016394 A JP2013016394 A JP 2013016394A JP 2013016394 A JP2013016394 A JP 2013016394A JP 2014150304 A JP2014150304 A JP 2014150304A
Authority
JP
Japan
Prior art keywords
image
display
eye image
eye
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013016394A
Other languages
Japanese (ja)
Inventor
Hisami Watanabe
寿巳 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2013016394A priority Critical patent/JP2014150304A/en
Publication of JP2014150304A publication Critical patent/JP2014150304A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a display device and a display method therefor capable of improving visibility by correcting a distortion in the depth direction of a display image.SOLUTION: A head up display (HUD device) 100 includes: display means 30 for displaying a display image including a left-eye image and a right-eye image; display control means for allowing the display means 30 to display the display image; image separation means 40 for separating the display image displayed by the display means 30 into the left-eye image and the right-eye image; and position detection means capable of detecting the viewpoint position of a driver 102, and projects the display image onto a wind shield 101. The display control means corrects a deviation amount between the left-eye image and the right-eye image in order to correct a distortion in the depth direction of the display image when projected onto the wind shield 101 on the basis of the viewpoint position detected by the position detection means.

Description

本発明は、表示装置及びその表示方法に関するものである。   The present invention relates to a display device and a display method thereof.

従来の自動車等の車両の運転者に情報を表示する表示装置として、いわゆるヘッドアップディスプレイ装置(以下、HUD装置という)が知られている。HUD装置は、液晶表示パネル等の表示手段に表示される表示像をウィンドシールドなどの被投影手段に投影し、運転者に表示像の虚像を視認させるものである。   A so-called head-up display device (hereinafter referred to as a HUD device) is known as a display device that displays information to a driver of a vehicle such as a conventional automobile. The HUD device projects a display image displayed on a display unit such as a liquid crystal display panel onto a projection target unit such as a windshield so that a driver can visually recognize a virtual image of the display image.

HUD装置においては、被投影手段や凹面鏡などの光学系によって表示像を拡大することによって表示像に歪みが発生する。表示像が歪むと視認性が低下するため、表示像をあらかじめ逆に変形させて歪みを補正する技術が知られている(例えば特許文献1参照)。   In the HUD device, a display image is distorted by enlarging the display image by an optical system such as a projection target or a concave mirror. Since the visibility decreases when the display image is distorted, a technique for correcting the distortion by deforming the display image in advance reversely is known (see, for example, Patent Document 1).

特開平10−149085号公報Japanese Patent Laid-Open No. 10-149085

しかしながら、特許文献1に開示される技術は、表示像の水平方向の歪みを補正するものであるが、奥行き方向に生じる歪みを補正することができず、視認性を低下させるという問題点があった。   However, the technique disclosed in Patent Document 1 corrects the distortion in the horizontal direction of the display image, but cannot correct the distortion generated in the depth direction, and has a problem of reducing visibility. It was.

そこで本発明は、前記問題点を解消し、表示像の奥行き方向の歪みを補正し、視認性を向上させることが可能な表示装置及びその表示方法を提供することを目的とするものである。   Accordingly, an object of the present invention is to provide a display device and a display method thereof that can solve the above-described problems, correct distortion in the depth direction of a display image, and improve visibility.

本発明は、前記課題を解決するために、前記左眼用画像と前記右眼用画像と含む表示画像を表示する表示手段と、前記表示画像を前記表示手段に表示させる表示制御手段と、前記表示手段に表示された前記表示画像を前記左眼用画像と前記右眼用画像とに分離する画像分離手段と、観察者の視点位置を検出可能な位置検出手段と、を備え、前記表示画像を被投影部材に投影する表示装置であって、
前記表示制御手段は、前記位置検出手段が検出した前記視点位置に基づいて前記被投影部材に投影されたときの前記表示画像の奥行き方向の歪みを補正するべく前記左眼用画像と前記右眼用画像との間のずれ量を補正することを特徴とする。
In order to solve the above problems, the present invention provides a display unit that displays a display image including the left-eye image and the right-eye image, a display control unit that displays the display image on the display unit, Image display means for separating the display image displayed on the display means into the image for the left eye and the image for the right eye, and a position detection means capable of detecting the viewpoint position of the observer, the display image A projection device for projecting onto a projection member,
The display control unit is configured to correct the distortion in the depth direction of the display image when projected onto the projection member based on the viewpoint position detected by the position detection unit, and the left eye image and the right eye. It is characterized in that the amount of deviation from the image for use is corrected.

本発明は、前記課題を解決するために、左眼用画像と右眼用画像とを含む表示画像を表示する表示手段と、前記表示手段に表示された前記表示画像を前記左眼用画像と前記右眼用画像とに分離する画像分離手段と、観察者の視点位置を検出可能な位置検出手段と、を備え、前記表示画像を被投影部材に投影する表示装置の表示方法であって、
前記位置検出手段が検出した前記視点位置に基づいて前記被投影部材に投影したときの前記表示画像の奥行き方向の歪みを補正するべく前記左眼用画像と前記右眼用画像との間のずれ量を補正することを特徴とする。
In order to solve the above problem, the present invention provides a display unit that displays a display image including a left-eye image and a right-eye image, and the display image displayed on the display unit is the left-eye image. A display device display method comprising: an image separation unit that separates the right-eye image; and a position detection unit that is capable of detecting an observer's viewpoint position, and projects the display image onto a projection member.
Deviation between the left-eye image and the right-eye image to correct distortion in the depth direction of the display image when projected onto the projection member based on the viewpoint position detected by the position detection means It is characterized by correcting the amount.

本発明は、所期の目的を達成することができ、表示像の奥行き方向の歪みを補正し、視認性を向上させることが可能となる。   The present invention can achieve the intended purpose, correct distortion in the depth direction of the display image, and improve visibility.

本発明の実施形態のヘッドアップディスプレイ装置の概略図である。It is the schematic of the head-up display apparatus of embodiment of this invention. 同上における立体表示の例を説明する図である。It is a figure explaining the example of the three-dimensional display in the same as the above. 同上の制御部の電気的構成を示すブロック図である。It is a block diagram which shows the electric constitution of a control part same as the above. 同上における制御方法を示すフローチャート図である。It is a flowchart figure which shows the control method in the same as the above. 同上における視点検知を説明する図である。It is a figure explaining the viewpoint detection in the same as the above. 同上における画像補正方法を示すフローチャート図である。It is a flowchart figure which shows the image correction method in the same as the above. 同上における視点角度と視差補正パラメータとの関係を示す図である。It is a figure which shows the relationship between the viewpoint angle in the same as above, and a parallax correction parameter. 同上における視差補正パラメータの一例を示す図である。It is a figure which shows an example of the parallax correction parameter in the same as the above. 同上における左眼用画像の対応点と右眼用画像の対応点とのずれと立体像との関係を説明する図である。It is a figure explaining the relationship between the shift | offset | difference of the corresponding point of the image for left eyes and the corresponding point of the image for right eyes, and a three-dimensional image in the same as the above. 同上における虚像の奥行き方向の歪みを示す図である。It is a figure which shows the distortion of the depth direction of the virtual image in the same as the above.

以下、添付図面を用いて本発明をヘッドアップディスプレイ(HUD)装置100に適用した実施形態を説明する。
HUD装置100は、車両の車室内のダッシュボード内に設置されるものであり、図1に示すように、撮像部(位置検出手段)10と、制御部20と、表示手段30と、画像分離手段40と、凹面鏡50と、を備える。HUD装置100から出力された所定の画像を示す表示光Lは車両のウィンドシールド101にて反射し、運転者(観察者)102の眼に達する。運転者102は、ウィンドシールド101の前方に表示される虚像Vを視認する。
Hereinafter, an embodiment in which the present invention is applied to a head-up display (HUD) device 100 will be described with reference to the accompanying drawings.
The HUD device 100 is installed in a dashboard in a vehicle interior of a vehicle, and as shown in FIG. 1, an imaging unit (position detection unit) 10, a control unit 20, a display unit 30, and image separation are performed. Means 40 and a concave mirror 50. The display light L indicating a predetermined image output from the HUD device 100 is reflected by the windshield 101 of the vehicle and reaches the eyes of the driver (observer) 102. The driver 102 visually recognizes the virtual image V displayed in front of the windshield 101.

撮像部10は、CCD等の周知の撮像素子とこれを制御する周辺回路やレンズからなり、運転者102の前方に設置され、運転者102の顔を撮像して撮像画像を出力するものである。   The imaging unit 10 includes a known imaging device such as a CCD and peripheral circuits and lenses that control the imaging device. The imaging unit 10 is installed in front of the driver 102 and images the face of the driver 102 and outputs a captured image. .

制御部20は、いわゆるマイクロコンピュータからなるものである。制御部20は、撮像部10や表示手段30と接続され、撮像部10から出力される運転者102の顔画像を解析して運転者102の視点位置を算出する視点位置検出処理を行い、この算出結果に基づいて表示手段30に対して制御信号を出力して画像表示制御を行う。すなわち、制御部20は、撮像部10とともに本発明の位置検出手段として機能し、また、本発明の表示制御手段として機能する。制御部20は、対象物を左眼から見た左眼用画像と対象物を右眼から見た右眼用画像とをそれぞれストライプ状の分割画像を切り出し、各分割画像を水平方向に交互に並べて左目用画像と右目用画像とが含まれる合成画像(表示画像)を生成し、この合成画像を表示手段30に表示させる。   The control unit 20 is a so-called microcomputer. The control unit 20 is connected to the imaging unit 10 and the display unit 30, performs a viewpoint position detection process for analyzing the face image of the driver 102 output from the imaging unit 10 and calculating the viewpoint position of the driver 102. Based on the calculation result, a control signal is output to the display means 30 to perform image display control. That is, the control unit 20 functions as the position detection unit of the present invention together with the imaging unit 10 and also functions as the display control unit of the present invention. The control unit 20 cuts out a striped divided image from the image for the left eye when the object is viewed from the left eye and the image for the right eye when the object is viewed from the right eye, and alternately converts the divided images in the horizontal direction. A composite image (display image) including the left-eye image and the right-eye image is generated side by side, and this composite image is displayed on the display means 30.

表示手段30は、例えばバックライト光源31とドットマトリクス型の液晶表示パネル32とからなるものであり、前記合成画像を表示光Lとして凹面鏡50に向けて発するものである。なお、表示手段30は、前記合成画像を表示光Lとして出射するものであればよく、有機ELパネルなどの自発光型の表示パネルを用いても良い。   The display unit 30 includes, for example, a backlight light source 31 and a dot matrix type liquid crystal display panel 32, and emits the composite image as display light L toward the concave mirror 50. The display unit 30 may be any unit that emits the composite image as display light L, and may be a self-luminous display panel such as an organic EL panel.

画像分離手段40は、例えば光を透過するストライプ状のスリット部が複数設けられた視差バリア(パララックスバリア)からなり、表示手段30の出射面側に所定の間隔を有して設けられる。表示光Lが画像分離手段40のスリット部を透過することで、前記合成画像を左目用画像と右目用画像とに分割し、左眼用画像の光と右目用画像の光とを運転者102の左右の眼に別々に入射させることができる。なお、画像分離手段40として、レンチキュラレンズを用いてもよい。   The image separating means 40 is composed of, for example, a parallax barrier (parallax barrier) provided with a plurality of stripe-shaped slit portions that transmit light, and is provided on the emission surface side of the display means 30 with a predetermined interval. The display light L passes through the slit portion of the image separation means 40, so that the composite image is divided into a left-eye image and a right-eye image, and the left-eye image light and the right-eye image light are divided by the driver 102. Can be incident separately on the left and right eyes. A lenticular lens may be used as the image separation means 40.

凹面鏡50は、表示光Lが運転者102の左右の眼に対して結像するように、表示光Lをウィンドシールド101に照射するものである。凹面鏡50は、図示していない回転軸を備えている。この回転軸は、図1の図面に対して垂直方向であり、この回転軸を中心として、凹面鏡50のウィンドシールド101に対する角度を変えることが可能である。また、凹面鏡50には、凹面鏡50の角度を変えるために、駆動手段としてモータ(図示しない)を備えており、このモータによって、凹面鏡50のウィンドシールド101に対する角度を変更し、また、その角度を維持することができる。以上により、表示光Lを運転者102の目線に合わせることが可能となる。   The concave mirror 50 irradiates the windshield 101 with the display light L so that the display light L is focused on the left and right eyes of the driver 102. The concave mirror 50 includes a rotating shaft (not shown). The rotation axis is perpendicular to the drawing of FIG. 1, and the angle of the concave mirror 50 relative to the windshield 101 can be changed around the rotation axis. In addition, the concave mirror 50 is provided with a motor (not shown) as a driving means in order to change the angle of the concave mirror 50. By this motor, the angle of the concave mirror 50 with respect to the windshield 101 is changed, and the angle is changed. Can be maintained. As described above, the display light L can be adjusted to the driver's 102 line of sight.

運転者102は、表示光Lのうち、左眼用画像の光が左眼に入射し、右眼用画像が右眼に入射すると、両画像のずれ(視差)によって虚像Vを立体像として認識することができる。図2は、表示手段30に左眼用画像と右眼用画像とをそれぞれ2個(合計4個)含む前記合成画像を表示して立体表示を行う状態を示すものである。図2におけるE1〜E4は画像を観察可能な観察領域Eにおける各領域(ローブ)を示している。表示手段30に、左眼用画像60Lの分割画像と右眼用画像60Rの分割画像とを2個ずつ交互に配置した合成画像を表示すると(図2において左眼用画像60Lの分割画像の表示位置を「L」、右眼用画像60Rの分割画像の表示位置を「R」と表記している)、運転者102は前記合成画像を画像分離手段40のスリット部41を介して観察することにより、左眼と右眼とで異なる画像を観察する。図2においては、観察領域Eのうち、領域E1、E2で右眼用画像60Rを観察でき、領域E3、E4で左眼用画像60Lを観察できる。したがって、運転者102の右眼が領域E1からE2までの間に位置し、左眼が領域E3からE4までの間に位置すると、立体表示が可能となる。また、画像を分割して立体表示を行う視差バリア方式あるいはレンチキュラ方式においては、表示手段30からの光の広がりによって、観察領域Eにおいて領域E1〜E4が繰り返し存在することとなる。本実施形態において、観察領域Eのうち、中央に位置する領域E1〜E4が設計上の画像(虚像V)の観察位置であるメインローブとなり、メインローブの外側に位置する領域E1〜E4がサイドローブとなる。
なお、図2においては、図を簡略にするべく凹面鏡50及びウィンドシールド101は省略した。
When the left-eye image light enters the left eye and the right-eye image enters the right eye of the display light L, the driver 102 recognizes the virtual image V as a three-dimensional image due to a shift (parallax) between the two images. can do. FIG. 2 shows a state in which the composite image including two images for the left eye and two for the right eye (four in total) is displayed on the display unit 30 to perform stereoscopic display. E1 to E4 in FIG. 2 indicate each region (lobe) in the observation region E where the image can be observed. When a composite image in which two divided images of the left-eye image 60L and two divided images of the right-eye image 60R are alternately arranged is displayed on the display means 30 (display of the divided image of the left-eye image 60L in FIG. 2). The position is “L” and the display position of the divided image of the right-eye image 60R is “R”), and the driver 102 observes the composite image through the slit portion 41 of the image separation means 40. Thus, different images are observed for the left eye and the right eye. In FIG. 2, the right-eye image 60R can be observed in the areas E1 and E2 of the observation area E, and the left-eye image 60L can be observed in the areas E3 and E4. Therefore, when the right eye of the driver 102 is positioned between the areas E1 and E2 and the left eye is positioned between the areas E3 and E4, stereoscopic display is possible. Further, in the parallax barrier method or the lenticular method in which an image is divided and stereoscopic display is performed, the areas E1 to E4 exist repeatedly in the observation area E due to the spread of light from the display means 30. In the present embodiment, among the observation areas E, the areas E1 to E4 located in the center are main lobes that are the observation positions of the designed image (virtual image V), and the areas E1 to E4 located outside the main lobes are the side lobes. Become a robe.
In FIG. 2, the concave mirror 50 and the windshield 101 are omitted to simplify the drawing.

図3は、制御部20の電気的構成を示すものである。制御部20は、図3に示すように、CPU21、ROM22、汎用メモリ23、ビデオメモリ24及び外部デバイスI/F25を有してなる。   FIG. 3 shows the electrical configuration of the control unit 20. As illustrated in FIG. 3, the control unit 20 includes a CPU 21, a ROM 22, a general-purpose memory 23, a video memory 24, and an external device I / F 25.

CPU21は、ROM22内に予め記憶された所定のプログラムを読み出し、実行して撮像部10からの撮像画像、これを画像処理した処理画像及び視点位置などの演算結果等を汎用メモリ23に一時的に記憶させ、また、前記合成画像を作成するための画像処理を行う回路を使用して、表示手段30で表示させる前記合成画像をビデオメモリ24に記憶させる。   The CPU 21 reads out and executes a predetermined program stored in advance in the ROM 22, temporarily stores the captured image from the imaging unit 10, a processed image obtained by performing image processing on the image, a calculation result such as a viewpoint position, and the like in the general-purpose memory 23. The synthesized image to be displayed on the display means 30 is stored in the video memory 24 using a circuit that performs image processing for creating the synthesized image.

ROM22は、CPU21が動作するプログラムや後述する視差補正パラメータなどが記憶されるものである。   The ROM 22 stores a program for operating the CPU 21, parallax correction parameters described later, and the like.

汎用メモリ23は、撮像部10からの撮像画像、これを画像処理した処理画像及び視点位置などの演算結果等を一時的に記憶するものである。   The general-purpose memory 23 temporarily stores a captured image from the imaging unit 10, a processed image obtained by performing image processing on the captured image, a calculation result such as a viewpoint position, and the like.

ビデオメモリ24は、表示手段30で表示させる前記合成画像を記憶するものである。   The video memory 24 stores the composite image to be displayed on the display means 30.

外部デバイスI/F25は、制御部20を撮像部10、表示手段30及び車両を制御するコンピュータからなる車両制御システム部103と電気的に接続するものである。外部デバイスI/F25は、撮像部10から撮像画像を取得し、表示手段30に制御信号を出力し、また、車両制御システム部103から車速などの車両情報を取得する。CPU21は、取得した車両情報に基づいて表示手段30に車両情報を表示させることができる。   The external device I / F 25 electrically connects the control unit 20 to a vehicle control system unit 103 including a computer that controls the imaging unit 10, the display unit 30, and the vehicle. The external device I / F 25 acquires a captured image from the imaging unit 10, outputs a control signal to the display unit 30, and acquires vehicle information such as a vehicle speed from the vehicle control system unit 103. CPU21 can display vehicle information on the display means 30 based on the acquired vehicle information.

次に、図4を用いて制御部20における視点検出処理及び画像表示制御について説明する。   Next, viewpoint detection processing and image display control in the control unit 20 will be described with reference to FIG.

まず、CPU21は、ステップS1において、撮像部10から出力される運転者102の顔を撮像した撮像画像から、運転者102の左眼及び右眼を検知する。具体的には、図5に示すように、運転者102の顔を含む撮像画像Pに対して、例えば周知の画像処理技術であるテンプレートマッチングを行い、所定のテンプレートTを撮像画像P上で移動させ、テンプレートTとマッチングする個所を撮像画像P上の運転者102の左眼と右眼として検知する。   First, in step S <b> 1, the CPU 21 detects the left eye and the right eye of the driver 102 from the captured image obtained by capturing the face of the driver 102 output from the imaging unit 10. Specifically, as shown in FIG. 5, for example, template matching which is a well-known image processing technique is performed on the captured image P including the face of the driver 102, and a predetermined template T is moved on the captured image P. Then, the location that matches the template T is detected as the left eye and the right eye of the driver 102 on the captured image P.

次に、CPU21は、ステップS2において、ステップS1で検知した撮像画像P上の運転者102の左眼と右眼の位置に基づいて運転者102の空間上の左眼視点位置と右眼視点位置とを算出する。この左眼視点位置及び右眼視点位置の位置情報は2次元情報であっても3次元情報であってもよい。なお、撮像部10は、運転者102の左眼あるいは右眼が観察領域Eのメインローブ外、すなわちサイドローブ内にある場合及び観察領域Eの外側であっても、運転者102の顔を撮像することができ、CPU21は運転者102の左眼視点位置及び右眼視点位置を算出可能であるものとする。   Next, in step S2, the CPU 21 determines the left eye viewpoint position and the right eye viewpoint position in the space of the driver 102 based on the positions of the left eye and the right eye of the driver 102 on the captured image P detected in step S1. And calculate. The position information of the left eye viewpoint position and the right eye viewpoint position may be two-dimensional information or three-dimensional information. Note that the imaging unit 10 captures the face of the driver 102 even when the left eye or the right eye of the driver 102 is outside the main lobe of the observation area E, that is, inside the side lobe and outside the observation area E. It is assumed that the CPU 21 can calculate the left eye viewpoint position and the right eye viewpoint position of the driver 102.

次に、CPU21は、ステップS3において、左眼用画像60Lの分割画像と右眼用画像60Rの分割画像を所定の順序で配置した前記合成画像を生成する。このとき、CPU21は、ステップS2で算出した運転者102の左眼視点位置及び右眼視点位置に対応するように、左眼用画像60Lと右眼用画像60Rとのずれ量を補正し、また、水平方向の歪みを補正する。そして、CPU21は、補正した左眼用画像60Lの分割画像と右眼用画像60Rの分割画像を所定の順序で配置して前記合成画像を生成する。なお、左眼用画像60L及び右眼用画像60Rの補正方法については後で詳述する。   Next, in step S3, the CPU 21 generates the composite image in which the divided image of the left-eye image 60L and the divided image of the right-eye image 60R are arranged in a predetermined order. At this time, the CPU 21 corrects the shift amount between the left eye image 60L and the right eye image 60R so as to correspond to the left eye viewpoint position and the right eye viewpoint position of the driver 102 calculated in step S2, and Correct horizontal distortion. Then, the CPU 21 arranges the corrected divided image of the left eye image 60L and the divided image of the right eye image 60R in a predetermined order, and generates the composite image. The correction method for the left-eye image 60L and the right-eye image 60R will be described in detail later.

次に、CPU21は、ステップS4において、表示手段30に前記合成画像を表示させ、左眼用画像60Lと右眼用画像60Rとを並べて表示させる。   Next, in step S4, the CPU 21 displays the composite image on the display unit 30, and displays the left-eye image 60L and the right-eye image 60R side by side.

CPU21は、電源がオフされるまでステップS1〜S4を無限ループで実行する。   The CPU 21 executes steps S1 to S4 in an infinite loop until the power is turned off.

次に、図6を用いて左眼用画像60L及び右眼用画像60Rの補正方法の一例を説明する。   Next, an example of a correction method for the left-eye image 60L and the right-eye image 60R will be described with reference to FIG.

まず、CPU21は、ステップS11において、ステップS2で算出した左眼視点位置及び右眼視点位置から視点角度を算出する。具体的には、虚像Vの焦点面からの垂線を基準として、視点位置の中心(左眼視点位置と右眼視点位置との中心)と虚像Vの焦点面からの垂線とのなす水平方向の角度を視点角度として算出する。   First, in step S11, the CPU 21 calculates a viewpoint angle from the left eye viewpoint position and right eye viewpoint position calculated in step S2. Specifically, with reference to the perpendicular line from the focal plane of the virtual image V, the horizontal position formed by the center of the viewpoint position (the center between the left eye viewpoint position and the right eye viewpoint position) and the perpendicular line from the focal plane of the virtual image V The angle is calculated as the viewpoint angle.

次に、CPU21は、ステップS12において、ステップS11で算出した視点角度に対応する視差補正パラメータを取得する。視差補正パラメータは、例えば図7に示すように、複数の視点角度に応じて複数設定され、ROM22に保存されるものである。図7においては、視点角度60°、30°、0°、−30°、−60°の5つの視点角度に対して視差補正パラメータRP1〜RP5の5つの視差補正パラメータが設定されている。なお、本実施形態では5つの視点角度を等間隔で設けてあるが、視点角度の設定数及び間隔は任意である。複数設定される視差補正パラメータRP1〜RP5の各々は、図8に示すように、左眼用画像60Lと右眼用画像60Rとにそれぞれ設定される複数の対応点の表示手段30の表示面上のx軸(横軸)方向の位置とy軸(縦軸)方向の位置を示す値(原点からのドット数)を有する。なお、対応点とは、左眼用画像60Lと右眼用画像60Rとで同一あるいは近似すると判断されるドットを示す。図8においては各視差補正パラメータRP1〜RP5に1番〜9番の9つの対応点のx軸方向の値とy軸方向の値と設定した例を示しているが、対応点の数は任意である。   Next, in step S12, the CPU 21 acquires a parallax correction parameter corresponding to the viewpoint angle calculated in step S11. For example, as shown in FIG. 7, a plurality of parallax correction parameters are set according to a plurality of viewpoint angles and stored in the ROM 22. In FIG. 7, five parallax correction parameters RP1 to RP5 are set for five viewpoint angles of viewpoint angles 60 °, 30 °, 0 °, −30 °, and −60 °. In this embodiment, five viewpoint angles are provided at equal intervals, but the number of viewpoint angles set and the interval are arbitrary. As shown in FIG. 8, each of the plurality of parallax correction parameters RP1 to RP5 set is displayed on the display surface of the display means 30 for a plurality of corresponding points respectively set for the left-eye image 60L and the right-eye image 60R. Have a value (the number of dots from the origin) indicating the position in the x-axis (horizontal axis) direction and the position in the y-axis (vertical axis) direction. The corresponding point indicates a dot that is determined to be the same or approximate in the left-eye image 60L and the right-eye image 60R. FIG. 8 shows an example in which the values in the x-axis direction and the value in the y-axis direction of the nine corresponding points 1 to 9 are set in the parallax correction parameters RP1 to RP5, but the number of corresponding points is arbitrary. It is.

各視差補正パラメータRP1〜RP5は、左眼用画像60Lと右眼用画像60Rとによる立体視を可能とするべく、左眼用画像60Lの各対応点と右眼用画像60Rの各対応点との間に所定のずれ量(視差量)が設定されている。この左眼用画像60Lの各対応点と右眼用画像60Rの各対応点との間のずれ量によって、立体像の飛び出し量(あるいは奥行き量)が決定される。立体像の虚像Vの焦点面からの飛び出し量は、下記式1によって求められる。
(式1)
立体像の飛び出し量=(左右の対応点のずれ量)/(左右の対応点のずれ量)+瞳孔間隔)×虚像Vの焦点面までの距離
また、立体像の虚像Vの焦点面からの奥行き量は、下記式2によって求められる。
(式2)
立体像の奥行き量=(左右の対応点のずれ量)/(左右の対応点のずれ量−瞳孔間隔)×虚像Vの焦点面までの距離
図9は、左眼用画像60Lの対応点70Lと右眼用画像60Rの対応点70Rとの間のずれと立体像Fの飛び出しあるいは奥行きとの関係を示すものである。なお、図9は虚像Vを上から見た状態を示し、図9の下側が手前側(運転者102側)を示し、上側が奥行き側(前方側)を示す。虚像Vの焦点面Gに対して手前に飛び出した立体像Fを得る場合には、図9(a)に示すように、右眼用画像60Rの対応点70Rに対して左眼用画像60Lの対応点70Lをx軸方向の右側にずらして右方向の視差を設ける。これに対し、虚像Vの焦点面Gに対して奥行きを持った立体像Fを得る場合には、図9(b)に示すように、右眼用画像60Rの対応点70Rに対して左眼用画像60Lの対応点70Lをx軸方向の向かって左側にずらして左方向の視差を設ける。なお、図9(c)に示すように、右眼用画像60Rの対応点70Rと左眼用画像60Lの対応点70Lとが一致する場合は虚像Vの焦点面G上に立体像Fが形成される。
The parallax correction parameters RP1 to RP5 are respectively the corresponding points of the left-eye image 60L and the corresponding points of the right-eye image 60R to enable stereoscopic viewing by the left-eye image 60L and the right-eye image 60R. A predetermined deviation amount (parallax amount) is set between the two. The pop-out amount (or depth amount) of the stereoscopic image is determined by the amount of deviation between each corresponding point of the left-eye image 60L and each corresponding point of the right-eye image 60R. The amount of projection of the virtual image V of the stereoscopic image from the focal plane is obtained by the following equation 1.
(Formula 1)
3D image projection amount = (deviation amount of left and right corresponding points) / (deviation amount of left and right corresponding points) + pupil interval) × distance to the focal plane of the virtual image V Also, from the focal plane of the virtual image V of the stereoscopic image The depth amount is obtained by the following equation 2.
(Formula 2)
3D depth amount = (deviation amount between left and right corresponding points) / (deviation amount between left and right corresponding points−pupil interval) × distance to the focal plane of virtual image V FIG. 9 shows corresponding points 70L of left-eye image 60L. The relationship between the shift between the corresponding point 70 </ b> R and the corresponding point 70 </ b> R of the right-eye image 60 </ b> R and the projection or depth of the stereoscopic image F is shown. 9 shows a state in which the virtual image V is viewed from above. The lower side of FIG. 9 shows the near side (driver 102 side), and the upper side shows the depth side (front side). When obtaining a three-dimensional image F that protrudes toward the front with respect to the focal plane G of the virtual image V, as shown in FIG. 9A, the left-eye image 60L with respect to the corresponding point 70R of the right-eye image 60R. The corresponding point 70L is shifted to the right in the x-axis direction to provide a right parallax. On the other hand, when obtaining a stereoscopic image F having a depth with respect to the focal plane G of the virtual image V, as shown in FIG. 9B, the left eye with respect to the corresponding point 70R of the right-eye image 60R. The corresponding point 70L of the work image 60L is shifted leftward in the x-axis direction to provide a leftward parallax. As shown in FIG. 9C, when the corresponding point 70R of the right-eye image 60R and the corresponding point 70L of the left-eye image 60L match, a stereoscopic image F is formed on the focal plane G of the virtual image V. Is done.

さらに、各視差補正パラメータRP1〜RP5は、対応する視点角度に応じて生じる虚像Vの奥行き方向の歪みを補正するべく、左眼用画像60Lの各対応点と右眼用画像60Rの各対応点との間のずれ量が調整されている。虚像Vは、凹面鏡50による像の拡大やウィンドシールド101の形状等によって、ウィンドシールド101に表示光Lを投影したときに視点角度の変化に伴って異なる奥行き方向の歪みが生じる。図10は、虚像Vの奥行き方向の歪みの一例を示すものである。なお、図10は虚像Vを上から見た状態を示し、図10の下側が手前側(運転者102側)を示し、上側が奥行き側(前方側)を示す。奥行き方向の歪みとしては、領域V1で示すように虚像Vが焦点面Gよりも手前に出るような歪みと、領域V2で示すように虚像Vが焦点面Gよりも奥行き側に位置するような歪みとがある。例えば、図9(a)に示したように虚像Vのうち手前に飛び出した立体像Fを得る個所に奥行き方向の歪みが生じると、手前側への歪みが生じる場合は立体像Fの飛び出し量が設定よりも大きくなり、奥行き側への歪みが生じる場合は立体像Fの飛び出し量が設定よりも小さくなり、いずれも立体像Fの視認性が低下する。また、飛び出し量が過度に大きくなる場合には立体視が得られない場合もある。これに対し、各視差補正パラメータRP1〜RP5は、虚像Vの奥行き方向の歪み補正として、手前側への歪みが生じる個所においては、手前側と反対側、すなわち立体像に奥行きを持たせる視差を左眼用画像60Lの対応点と右眼用画像60Rの対応点との間のずれ量に付加する。具体的には、例えば左眼用画像60Lの対応点のx軸方向の値を手前側の歪みに応じた量だけx軸方向の左側にずらした値として右眼用画像60Rの対応点に対して左方向のずれ量を付加する。また、虚像Vの奥行き方向の歪み補正として、奥行き側への歪みが生じる個所においては、奥行き側と反対側、すなわち立体像を手前に飛び出させる視差を左眼用画像60Lの対応点と右眼用画像60Rの対応点との間のずれ量に付加する。具体的には、例えば左眼用画像60Lの対応点のx軸方向の値を奥行き側の歪みに応じた量だけx軸方向の向かって右側にずらした値として右眼用画像60Rの対応点に対して右方向のずれ量を付加する。なお、虚像Vの奥行き方向の歪み補正として、右眼用画像60Rの対応点におけるx軸方向の値を調整してもよい。右眼用画像60Rの対応点によるずれ量の補正を行う場合、手前側への歪みが生じる個所においては、具体的には、右眼用画像60Rの対応点のx軸方向の値を手前側の歪みに応じた量だけx軸方向の向かって右側にずらした値として左眼用画像60Lの対応点に対して右方向のずれ量を付加する。また、奥行き側への歪みが生じる個所においては、具体的には、右眼用画像60Rの対応点のx軸方向の値を奥行き側の歪みに応じた量だけx軸方向の向かって左側にずらした値として左眼用画像60Lの対応点に対して左方向のずれ量を付加する。   Furthermore, the parallax correction parameters RP1 to RP5 are respectively corresponding points of the left-eye image 60L and the right-eye image 60R to correct distortion in the depth direction of the virtual image V generated according to the corresponding viewpoint angle. The amount of deviation is adjusted. The virtual image V is distorted in the depth direction with the change in the viewpoint angle when the display light L is projected onto the windshield 101 due to the enlargement of the image by the concave mirror 50, the shape of the windshield 101, and the like. FIG. 10 shows an example of distortion of the virtual image V in the depth direction. 10 shows a state in which the virtual image V is viewed from above. The lower side of FIG. 10 shows the near side (driver 102 side), and the upper side shows the depth side (front side). The distortion in the depth direction is such that the virtual image V appears in front of the focal plane G as indicated by the region V1, and the virtual image V is positioned on the depth side of the focal plane G as indicated by the region V2. There is distortion. For example, as shown in FIG. 9A, when distortion in the depth direction occurs in a portion where the stereoscopic image F popping out from the virtual image V is obtained, if the distortion toward the near side occurs, the pop-out amount of the stereoscopic image F Becomes larger than the setting and the distortion to the depth side occurs, the pop-out amount of the stereoscopic image F becomes smaller than the setting, and the visibility of the stereoscopic image F is lowered in both cases. In addition, when the pop-out amount becomes excessively large, stereoscopic vision may not be obtained. On the other hand, each of the parallax correction parameters RP1 to RP5 has a parallax that gives the depth to the opposite side, that is, the stereoscopic image, at a position where distortion toward the near side occurs as distortion correction in the depth direction of the virtual image V. This is added to the amount of deviation between the corresponding point of the left-eye image 60L and the corresponding point of the right-eye image 60R. Specifically, for example, the value in the x-axis direction of the corresponding point of the left-eye image 60L is shifted to the left in the x-axis direction by an amount corresponding to the distortion on the near side with respect to the corresponding point of the right-eye image 60R. Add the amount of shift in the left direction. In addition, as a distortion correction in the depth direction of the virtual image V, in a portion where distortion to the depth side occurs, a parallax that causes the stereoscopic image to jump out to the opposite side of the depth side, i. This is added to the amount of deviation from the corresponding point of the image for use 60R. Specifically, for example, the corresponding point of the right-eye image 60R is a value obtained by shifting the value in the x-axis direction of the corresponding point of the left-eye image 60L to the right in the x-axis direction by an amount corresponding to the distortion on the depth side. Is added to the right. As the distortion correction in the depth direction of the virtual image V, the value in the x-axis direction at the corresponding point of the right-eye image 60R may be adjusted. In the case where the shift amount is corrected by the corresponding point of the right-eye image 60R, specifically, in the portion where the distortion to the near side occurs, specifically, the value in the x-axis direction of the corresponding point of the right-eye image 60R is the near side. The amount of rightward shift is added to the corresponding point of the left-eye image 60L as a value shifted to the right in the x-axis direction by an amount corresponding to the distortion of the left-eye. Further, at the location where the distortion to the depth side occurs, specifically, the value in the x-axis direction of the corresponding point of the right-eye image 60R is set to the left side in the x-axis direction by an amount corresponding to the distortion on the depth side. A shift amount in the left direction is added to the corresponding point of the left-eye image 60L as a shifted value.

各視差補正パラメータRP1〜RP5は、ルックアップテーブルとしてROM22に保存され、CPU21は算出された視点角度に基づいてROM22から視差補正パラメータRP1〜RP5を取得する。なお、視点角度が視差補正パラメータRP1〜RP5と対応しない値である場合(例えば視点角度が−50°の場合)は、その前後の視点角度に対応する視差補正パラメータRP1〜RP5を取得して両者の間の補間処理を行い、補間処理によって算出された視点角度に対応する視差補正パラメータを取得してもよい。一例として、視差補正パラメータRPnと視差補正パラメータRPn+1との中点を補間された視差補正パラメータRP’として取得する場合、視差補正パラメータRP’の右眼用画像60Rのm番の対応点のx軸方向の値xR’mとy軸方向の値yR’mとは以下の(式3)で求められる。
(式3)
xR’m=(xRnm−xRn+1m)/2
yR’m=(yRnm−yRn+1m)/(xRnm−xRn+1m)×xR’m+yRnm
なお、xRnmとyRnmは、それぞれ視差補正パラメータRPnにおける右眼用画像60Rのm番の対応点のx軸方向の値とy軸方向の値を示し、xRn+1mとyRn+1mは、それぞれ視差補正パラメータRPn+1における右眼用画像60Rのm番の対応点のx軸方向の値とy軸方向の値を示す。なお、視差補正パラメータRP’の左眼用画像60Lのm番の対応点のx軸方向の値xL’mとy軸方向の値yL’mも同様にして算出することができる。
また、補間関数として用いる多項式には、代表的なものとして線形補間のほかに、3次補間やラグランジュ補間、スプライン補間などがあるが、いずれを使用して補間処理を行っても良い。また、歪みが大きい個所に位置する対応点について補間処理に使用する補間関数に高次の多項式を用い、歪みが小さい個所に位置する対応点について補間処理に使用する補間関数により低次の多項式を用いるなど、多項式を対応点毎に変更してもよい。高次の多項式は計算量が増えるものの、歪みの補正精度は向上する。一方、低次の多項式は歪みの補正精度は低いが、計算量が少ない。両者を対応点によって使い分けることで、歪みの補正精度と計算速度の向上を両立させることができる。
The parallax correction parameters RP1 to RP5 are stored in the ROM 22 as a lookup table, and the CPU 21 acquires the parallax correction parameters RP1 to RP5 from the ROM 22 based on the calculated viewpoint angle. When the viewpoint angle is a value that does not correspond to the parallax correction parameters RP1 to RP5 (for example, when the viewpoint angle is −50 °), the parallax correction parameters RP1 to RP5 corresponding to the previous and next viewpoint angles are acquired and both The parallax correction parameter corresponding to the viewpoint angle calculated by the interpolation process may be acquired. As an example, when the midpoint between the parallax correction parameter RPn and the parallax correction parameter RPn + 1 is acquired as the interpolated parallax correction parameter RP ′, the x-axis of the m-th corresponding point of the right-eye image 60R of the parallax correction parameter RP ′ The value xR′m in the direction and the value yR′m in the y-axis direction are obtained by the following (Formula 3).
(Formula 3)
xR′m = (xRnm−xRn + 1m) / 2
yR′m = (yRnm−yRn + 1m) / (xRnm−xRn + 1m) × xR′m + yRnm
Note that xRnm and yRnm respectively indicate the value in the x-axis direction and the value in the y-axis direction of the m-th corresponding point of the right-eye image 60R in the parallax correction parameter RPn, and xRn + 1m and yRn + 1m are respectively in the parallax correction parameter RPn + 1. A value in the x-axis direction and a value in the y-axis direction of the m-th corresponding point of the right-eye image 60R are shown. Note that the value xL′m in the x-axis direction and the value yL′m in the y-axis direction of the m-th corresponding point of the left-eye image 60L of the parallax correction parameter RP ′ can be calculated in the same manner.
In addition to linear interpolation, there are three types of polynomials used as an interpolation function, such as cubic interpolation, Lagrangian interpolation, and spline interpolation. Any of them may be used for interpolation processing. In addition, a high-order polynomial is used for the interpolation function used for the interpolation process for the corresponding point located at the location where the distortion is large, and a low-order polynomial is used for the corresponding point located for the location where the distortion is small for the interpolation process. For example, the polynomial may be changed for each corresponding point. Although higher-order polynomials require more computation, distortion correction accuracy is improved. On the other hand, low-order polynomials have a low distortion correction accuracy but a small amount of calculation. By properly using the two according to the corresponding points, both the distortion correction accuracy and the calculation speed can be improved.

次に、CPU21は、ステップS13において、ステップS12で取得した(補間処理により取得した場合も含む)視差補正パラメータRP1〜RP5に基づいて、左眼用画像60Lと右眼用画像60Rとの視差を補正する。具体的には、視差補正パラメータRP1〜RP5として取得した各対応点のx軸方向の値とy軸方向の値とに基づいて各対応点を移動させる。また、各対応点の移動に伴って画素の欠落が生じる場合には画像補間を行う。   Next, in step S13, the CPU 21 calculates the parallax between the left-eye image 60L and the right-eye image 60R based on the parallax correction parameters RP1 to RP5 acquired in step S12 (including the case acquired by interpolation processing). to correct. Specifically, each corresponding point is moved based on the value in the x-axis direction and the value in the y-axis direction of each corresponding point acquired as the parallax correction parameters RP1 to RP5. In addition, image interpolation is performed when pixel loss occurs with the movement of each corresponding point.

次に、CPU21は、ステップS14において、ステップS13で視差補正した左眼用画像と右眼用画像とをそれぞれ所定個数の略三角形状に分割し、これらを水平方向の歪みを補正する歪み補正パラメータ(ROM22に記憶される)に基づいて作成された三角パッチにテクスチャマッピングによって貼り付ける。なお、テクスチャマッピングはCPU21の画像処理を行う回路に実装されている機能を用いても良いし、ソフトウェアとして実装されている機能であってもよい。   Next, in step S14, the CPU 21 divides the left-eye image and the right-eye image subjected to the parallax correction in step S13 into a predetermined number of substantially triangular shapes, and distortion correction parameters for correcting the horizontal distortion. It is pasted to the triangular patch created based on (stored in the ROM 22) by texture mapping. The texture mapping may use a function implemented in a circuit that performs image processing of the CPU 21 or may be a function implemented as software.

CPU21は、ステップS11〜S14を実行することで左眼用画像60L及び右眼用画像60Rの補正を実行する。   The CPU 21 corrects the left-eye image 60L and the right-eye image 60R by executing steps S11 to S14.

本実施形態におけるHUD装置100は、左眼用画像60Lと右眼用画像60Rとを含む合成画像を表示する表示手段30と、前記合成画像を表示手段30に表示させる表示制御手段(制御部20)と、表示手段30に表示された前記合成画像を左眼用画像60Lと右眼用画像60Rとに分離する画像分離手段40と、運転者102の視点位置を検出可能な位置検出手段(撮像部10及び制御部20)と、を備え、前記合成画像をウィンドシールド101に投影する表示装置であって、
前記表示制御手段は、前記位置検出手段が検出した前記視点位置に基づいてウィンドシールド101に投影されたときの前記合成画像(虚像V)の奥行き方向の歪みを補正するべく左眼用画像60Lと右眼用画像60Rとの間のずれ量を補正することを特徴とする。
The HUD device 100 according to the present embodiment includes a display unit 30 that displays a composite image including a left-eye image 60L and a right-eye image 60R, and a display control unit (control unit 20) that displays the composite image on the display unit 30. ), An image separation unit 40 that separates the composite image displayed on the display unit 30 into a left-eye image 60L and a right-eye image 60R, and a position detection unit (imaging) that can detect the viewpoint position of the driver 102. Unit 10 and control unit 20), and a display device for projecting the composite image onto the windshield 101,
The display control means includes a left-eye image 60L to correct distortion in the depth direction of the composite image (virtual image V) when projected onto the windshield 101 based on the viewpoint position detected by the position detection means. The amount of deviation from the right-eye image 60R is corrected.

また、HUD装置100の表示方法は、前記位置検出手段が検出した前記視点位置に基づいてウィンドシールド101に投影されたときの前記合成画像(虚像V)の奥行き方向の歪みを補正するべく左眼用画像60Lと右眼用画像60Rとの間のずれ量を補正することを特徴とする。   Further, the display method of the HUD device 100 is such that the left eye corrects the distortion in the depth direction of the composite image (virtual image V) when projected onto the windshield 101 based on the viewpoint position detected by the position detection unit. The shift amount between the image for use 60L and the image for the right eye 60R is corrected.

これによれば、従来は立体視のみを目的として設定される左眼用画像60Lと右眼用画像60Rとの間のずれ量によって虚像Vの奥行き方向の歪みを相殺することによって、表示像の奥行き方向の歪みを補正することができ、視認性を向上させることが可能となる。   According to this, the distortion in the depth direction of the virtual image V is canceled by the amount of shift between the left-eye image 60L and the right-eye image 60R that is conventionally set only for stereoscopic vision. Distortion in the depth direction can be corrected, and visibility can be improved.

また、本実施形態におけるHUD装置100は、運転者102の視点角度に応じた左眼用画像60Lと右眼用画像60Rとの間のずれ量の視差補正パラメータRP1〜RP5を記憶するROM22を備え、
前記表示制御手段は、前記位置検出手段が検出した前記視点位置に基づいて運転者102の視点角度を算出し、算出した視点角度に応じた視差補正パラメータRP1〜RP5をROM22より取得し、取得した視差補正パラメータRP1〜RP5に基づいて左眼用画像60Lと右眼用画像60Rと間のずれ量を補正することを特徴とする。
In addition, the HUD device 100 according to the present embodiment includes a ROM 22 that stores parallax correction parameters RP1 to RP5 of deviation amounts between the left-eye image 60L and the right-eye image 60R according to the viewpoint angle of the driver 102. ,
The display control unit calculates the viewpoint angle of the driver 102 based on the viewpoint position detected by the position detection unit, acquires parallax correction parameters RP1 to RP5 corresponding to the calculated viewpoint angle from the ROM 22, and acquires them. The shift amount between the left-eye image 60L and the right-eye image 60R is corrected based on the parallax correction parameters RP1 to RP5.

また、HUD装置100の表示方法は、前記位置検出手段が検出した前記視点位置に基づいて運転者102の視点角度を算出し、算出した視点角度に応じた視差補正パラメータRP1〜RP5をROM22より取得し、取得した視差補正パラメータRP1〜RP5に基づいて左眼用画像60Lと右眼用画像60Rと間のずれ量を補正することを特徴とする。   The display method of the HUD device 100 calculates the viewpoint angle of the driver 102 based on the viewpoint position detected by the position detection unit, and acquires parallax correction parameters RP1 to RP5 corresponding to the calculated viewpoint angle from the ROM 22. The shift amount between the left-eye image 60L and the right-eye image 60R is corrected based on the acquired parallax correction parameters RP1 to RP5.

これによれば、運転者102の視点が水平方向に移動する場合であっても視点角度に応じて表示像の奥行き方向の歪みを補正することができ、視認性を向上させることが可能となる。   According to this, even when the viewpoint of the driver 102 moves in the horizontal direction, the distortion in the depth direction of the display image can be corrected according to the viewpoint angle, and the visibility can be improved. .

本実施形態におけるHUD装置100において、前記表示制御手段は、算出した前記視点角度に応じて複数の前記補正パラメータ間の補間処理を行うことを特徴とする。   In the HUD device 100 according to the present embodiment, the display control unit performs an interpolation process between a plurality of the correction parameters according to the calculated viewpoint angle.

また、HUD装置100の表示方法は、算出した前記視点角度に応じて複数の前記補正パラメータ間の補間処理を行うことを特徴とする。   Further, the display method of the HUD device 100 is characterized in that interpolation processing between a plurality of the correction parameters is performed according to the calculated viewpoint angle.

これによれば、ROM22に記憶するデータ量を低減して記憶部を大型化させることなく精度の高い奥行き方向の歪み補正が可能となる。   According to this, it is possible to perform distortion correction in the depth direction with high accuracy without reducing the amount of data stored in the ROM 22 and increasing the size of the storage unit.

なお、本発明は前述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更(構成要素の削除を含む)が可能であることはもちろんである。本実施形態は、表示手段30に左眼用画像60Lの分割画像と右眼用画像60Rの分割画像とを2個ずつ(合計4個)並べて表示するものであったが、表示手段30に左眼用画像60Lと右眼用画像60Rとを1個ずつ表示するものであっても良いし、各3個以上ずつ表示するものであっても良い。また、ステップS2で算出した運転者102の左眼視点位置及び右眼視点位置に対応するように、表示手段30における左眼用画像60Lの表示位置と右眼用画像60Rの表示位置とを変更し、運転者102の視点位置が移動しても立体視が維持されるようにしてもよい。また、本実施形態においては立体表示装置として虚像Vを表示するHUD装置100を例に挙げたが、本発明を表示手段からの表示像を反射スクリーン(被投影部材)や透過スクリーン(被投影部材)に投影して実像を視認させる表示装置に適用しても良い。また、本実施形態のHUD装置100は車両用であったが、本発明を車両用以外の表示装置に適用しても良い。   Note that the present invention is not limited to the above-described embodiment, and various modifications (including deletion of constituent elements) can be made without departing from the scope of the invention. In the present embodiment, two divided images of the left eye image 60L and two divided images of the right eye image 60R (a total of four) are displayed side by side on the display unit 30. The eye image 60L and the right eye image 60R may be displayed one by one, or three or more of each may be displayed. Further, the display position of the left eye image 60L and the display position of the right eye image 60R on the display unit 30 are changed so as to correspond to the left eye viewpoint position and right eye viewpoint position of the driver 102 calculated in step S2. The stereoscopic view may be maintained even if the viewpoint position of the driver 102 moves. In the present embodiment, the HUD device 100 that displays the virtual image V is taken as an example of the stereoscopic display device. However, the present invention is not limited to the display image from the display means as a reflection screen (projection member) or a transmission screen (projection member). ), And may be applied to a display device for visually recognizing a real image. Moreover, although the HUD apparatus 100 of this embodiment was for vehicles, you may apply this invention to display apparatuses other than the object for vehicles.

本発明は、表示装置に利用可能である。   The present invention is applicable to a display device.

100 ヘッドアップディスプレイ装置
101 ウィンドシールド(被投影部材)
102 運転者(観察者)
10 撮像部
20 制御部
30 表示手段
40 画像分離手段
50 凹面鏡
60L 左眼用画像
60R 右眼用画像
100 Head-up display device 101 Wind shield (projection member)
102 Driver (observer)
DESCRIPTION OF SYMBOLS 10 Imaging part 20 Control part 30 Display means 40 Image separation means 50 Concave mirror 60L Image for left eyes 60R Image for right eyes

Claims (6)

左眼用画像と右眼用画像とを含む表示画像を表示する表示手段と、
前記表示画像を前記表示手段に表示させる表示制御手段と、
前記表示手段に表示された前記表示画像を前記左眼用画像と前記右眼用画像とに分離する画像分離手段と、
観察者の視点位置を検出可能な位置検出手段と、を備え、前記表示画像を被投影部材に投影する表示装置であって、
前記表示制御手段は、前記位置検出手段が検出した前記視点位置に基づいて前記被投影部材に投影されたときの前記表示画像の奥行き方向の歪みを補正するべく前記左眼用画像と前記右眼用画像との間のずれ量を補正することを特徴とする表示装置。
Display means for displaying a display image including a left-eye image and a right-eye image;
Display control means for displaying the display image on the display means;
Image separation means for separating the display image displayed on the display means into the left-eye image and the right-eye image;
A position detecting means capable of detecting an observer's viewpoint position, and projecting the display image onto a projection target member,
The display control unit is configured to correct the distortion in the depth direction of the display image when projected onto the projection member based on the viewpoint position detected by the position detection unit, and the left eye image and the right eye. A display device that corrects a deviation amount from an image for use.
前記観察者の視点角度に応じた前記左眼用画像と前記右眼用画像との間のずれ量の補正パラメータを記憶する記憶部を備え、
前記表示制御手段は、前記位置検出手段が検出した前記視点位置に基づいて前記観察者の視点角度を算出し、算出した視点角度に応じた前記補正パラメータを前記記憶部より取得し、取得した前記補正パラメータに基づいて前記左眼用画像と前記右眼用画像と間のずれ量を補正することを特徴とする請求項1に記載の表示装置。
A storage unit that stores a correction parameter for a shift amount between the left-eye image and the right-eye image according to the viewpoint angle of the observer;
The display control unit calculates a viewpoint angle of the observer based on the viewpoint position detected by the position detection unit, acquires the correction parameter corresponding to the calculated viewpoint angle from the storage unit, and acquires the acquired The display device according to claim 1, wherein a shift amount between the left-eye image and the right-eye image is corrected based on a correction parameter.
前記表示制御手段は、算出した前記視点角度に応じて複数の前記補正パラメータ間の補間処理を行うことを特徴とする請求項2に記載の表示装置。   The display device according to claim 2, wherein the display control unit performs an interpolation process between the plurality of correction parameters according to the calculated viewpoint angle. 左眼用画像と右眼用画像とを含む表示画像を表示する表示手段と、
前記表示手段に表示された前記表示画像を前記左眼用画像と前記右眼用画像とに分離する画像分離手段と、
観察者の視点位置を検出可能な位置検出手段と、を備え、前記表示画像を被投影部材に投影する表示装置の表示方法であって、
前記位置検出手段が検出した前記視点位置に基づいて前記被投影部材に投影したときの前記表示画像の奥行き方向の歪みを補正するべく前記左眼用画像と前記右眼用画像との間のずれ量を補正することを特徴とする表示装置の表示方法。
Display means for displaying a display image including a left-eye image and a right-eye image;
Image separation means for separating the display image displayed on the display means into the left-eye image and the right-eye image;
A position detection means capable of detecting a viewer's viewpoint position, and a display device display method for projecting the display image onto a projection target member,
Deviation between the left-eye image and the right-eye image to correct distortion in the depth direction of the display image when projected onto the projection member based on the viewpoint position detected by the position detection means A display method for a display device, wherein the amount is corrected.
前記観察者の視点角度に応じた前記左眼用画像と前記右眼用画像との間のずれ量の補正パラメータを記憶する記憶部を備え、
前記位置検出手段が検出した前記視点位置に基づいて前記観察者の視点角度を算出し、算出した視点角度に応じた前記補正パラメータを前記記憶部より取得し、取得した前記補正パラメータに基づいて前記左眼用画像と前記右眼用画像と間のずれ量を補正することを特徴とする請求項4に記載の表示装置の表示方法。
A storage unit that stores a correction parameter for a shift amount between the left-eye image and the right-eye image according to the viewpoint angle of the observer;
The viewpoint angle of the observer is calculated based on the viewpoint position detected by the position detection unit, the correction parameter corresponding to the calculated viewpoint angle is acquired from the storage unit, and the correction parameter is acquired based on the acquired correction parameter. The display device display method according to claim 4, wherein a shift amount between the left-eye image and the right-eye image is corrected.
算出した前記視点角度に応じて複数の前記補正パラメータ間の補間処理を行うことを特徴とする請求項5に記載の表示装置の表示方法。   The display method of the display device according to claim 5, wherein an interpolation process between the plurality of correction parameters is performed according to the calculated viewpoint angle.
JP2013016394A 2013-01-31 2013-01-31 Display device and display method therefor Pending JP2014150304A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013016394A JP2014150304A (en) 2013-01-31 2013-01-31 Display device and display method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013016394A JP2014150304A (en) 2013-01-31 2013-01-31 Display device and display method therefor

Publications (1)

Publication Number Publication Date
JP2014150304A true JP2014150304A (en) 2014-08-21

Family

ID=51572991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013016394A Pending JP2014150304A (en) 2013-01-31 2013-01-31 Display device and display method therefor

Country Status (1)

Country Link
JP (1) JP2014150304A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047009A1 (en) * 2014-09-26 2016-03-31 パナソニックIpマネジメント株式会社 Head-up display and moving body
KR101704242B1 (en) * 2015-08-06 2017-02-07 현대자동차주식회사 Apparatus and method for displaying stereoscopic image in vehicle
WO2019021340A1 (en) * 2017-07-24 2019-01-31 三菱電機株式会社 Display control device, display system, and display control method
KR20190012630A (en) * 2017-07-28 2019-02-11 삼성전자주식회사 Method of processing images and apparatus thereof
FR3076627A1 (en) * 2018-01-08 2019-07-12 Psa Automobiles Sa THREE - DIMENSIONAL DISPLAY DEVICE FOR MOTOR VEHICLE AND MOTOR VEHICLE HAVING SUCH A DEVICE.
KR102030288B1 (en) * 2018-11-01 2019-11-29 가부시키가이샤 덴소 Head-up-display system
WO2019230366A1 (en) * 2018-05-30 2019-12-05 京セラ株式会社 Display system
WO2020004258A1 (en) * 2018-06-25 2020-01-02 京セラ株式会社 Three-dimensional display system, optical element, installation method, control method, and movable body
CN111076905A (en) * 2019-12-31 2020-04-28 重庆大学 Vehicle-mounted head-up display virtual image quality comprehensive measurement method
WO2020090629A1 (en) * 2018-10-31 2020-05-07 京セラ株式会社 Image display device, image display system, and movable body
JP2020160251A (en) * 2019-03-26 2020-10-01 京セラ株式会社 Image display module, movable body, and concave mirror
JP2021021914A (en) * 2019-07-30 2021-02-18 怡利電子工業股▲ふん▼有限公司 Naked eye 3d reflection type diffusion piece head-up display device
WO2021112386A1 (en) * 2019-12-05 2021-06-10 삼성전자 주식회사 Display apparatus
CN114341703A (en) * 2019-09-25 2022-04-12 Jvc建伍株式会社 Display device, display system, and display adjustment method
CN114999225A (en) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 Information display method for road object and vehicle
JP2022159303A (en) * 2019-03-26 2022-10-17 京セラ株式会社 Image display module
JP7354846B2 (en) 2020-01-15 2023-10-03 日本精機株式会社 heads up display device
EP4155884A4 (en) * 2020-05-20 2024-04-17 Kyocera Corp Viewpoint detecting device, and display device

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3200005A4 (en) * 2014-09-26 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Head-up display and moving body
WO2016047009A1 (en) * 2014-09-26 2016-03-31 パナソニックIpマネジメント株式会社 Head-up display and moving body
KR101704242B1 (en) * 2015-08-06 2017-02-07 현대자동차주식회사 Apparatus and method for displaying stereoscopic image in vehicle
JPWO2019021340A1 (en) * 2017-07-24 2019-11-07 三菱電機株式会社 Display control device, display system, and display control method
WO2019021340A1 (en) * 2017-07-24 2019-01-31 三菱電機株式会社 Display control device, display system, and display control method
KR20190012630A (en) * 2017-07-28 2019-02-11 삼성전자주식회사 Method of processing images and apparatus thereof
JP2019030004A (en) * 2017-07-28 2019-02-21 三星電子株式会社Samsung Electronics Co.,Ltd. Image processing method, image processing device, computer program, and storage medium
US11634028B2 (en) 2017-07-28 2023-04-25 Samsung Electronics Co., Ltd. Image processing method of generating an image based on a user viewpoint and image processing device
JP7098452B2 (en) 2017-07-28 2022-07-11 三星電子株式会社 Image processing methods, image processing equipment, computer programs and recording media
KR102397089B1 (en) 2017-07-28 2022-05-12 삼성전자주식회사 Method of processing images and apparatus thereof
FR3076627A1 (en) * 2018-01-08 2019-07-12 Psa Automobiles Sa THREE - DIMENSIONAL DISPLAY DEVICE FOR MOTOR VEHICLE AND MOTOR VEHICLE HAVING SUCH A DEVICE.
WO2019230366A1 (en) * 2018-05-30 2019-12-05 京セラ株式会社 Display system
JPWO2020004258A1 (en) * 2018-06-25 2021-08-02 京セラ株式会社 3D display system, optics, installation method, control method, and moving object
WO2020004258A1 (en) * 2018-06-25 2020-01-02 京セラ株式会社 Three-dimensional display system, optical element, installation method, control method, and movable body
US11483544B2 (en) 2018-06-25 2022-10-25 Kyocera Corporation Three-dimensional display system, optical element, installation method, control method, and moving body
WO2020090629A1 (en) * 2018-10-31 2020-05-07 京セラ株式会社 Image display device, image display system, and movable body
KR102030288B1 (en) * 2018-11-01 2019-11-29 가부시키가이샤 덴소 Head-up-display system
JP7332764B2 (en) 2019-03-26 2023-08-23 京セラ株式会社 Image display module
CN113614618B (en) * 2019-03-26 2023-09-12 京瓷株式会社 Image display module, moving body, and concave mirror
JP2022159303A (en) * 2019-03-26 2022-10-17 京セラ株式会社 Image display module
JP7250582B2 (en) 2019-03-26 2023-04-03 京セラ株式会社 Image display module, moving body, and optical system
JP2020160251A (en) * 2019-03-26 2020-10-01 京セラ株式会社 Image display module, movable body, and concave mirror
CN113614618A (en) * 2019-03-26 2021-11-05 京瓷株式会社 Image display module, moving object, and concave mirror
JP2021021914A (en) * 2019-07-30 2021-02-18 怡利電子工業股▲ふん▼有限公司 Naked eye 3d reflection type diffusion piece head-up display device
CN114341703B (en) * 2019-09-25 2024-02-02 Jvc建伍株式会社 Display device, display system, and display adjustment method
CN114341703A (en) * 2019-09-25 2022-04-12 Jvc建伍株式会社 Display device, display system, and display adjustment method
WO2021112386A1 (en) * 2019-12-05 2021-06-10 삼성전자 주식회사 Display apparatus
CN111076905A (en) * 2019-12-31 2020-04-28 重庆大学 Vehicle-mounted head-up display virtual image quality comprehensive measurement method
JP7354846B2 (en) 2020-01-15 2023-10-03 日本精機株式会社 heads up display device
EP4155884A4 (en) * 2020-05-20 2024-04-17 Kyocera Corp Viewpoint detecting device, and display device
CN114999225A (en) * 2022-05-13 2022-09-02 海信集团控股股份有限公司 Information display method for road object and vehicle
CN114999225B (en) * 2022-05-13 2024-03-08 海信集团控股股份有限公司 Information display method of road object and vehicle

Similar Documents

Publication Publication Date Title
JP2014150304A (en) Display device and display method therefor
JP2014199385A (en) Display device and display method thereof
JP4257356B2 (en) Image generating apparatus and image generating method
JP6596668B2 (en) Virtual image display device, head-up display system, and vehicle
US20190373249A1 (en) Stereoscopic display device and head-up display
JP4857885B2 (en) Display device
JP2019064580A (en) Systems and methods for displaying three-dimensional images on vehicle instrument console
US10015480B2 (en) Three-dimensional (3D) display module, 3D display system and 3D display method
JP2015015708A (en) Method and device for displaying three-dimensional image using video unit of view field display device for vehicle
JP2010070066A (en) Head-up display
US20200228791A1 (en) Image projection apparatus, image display apparatus, and vehicle
JP2014068331A (en) Stereoscopic display device and display method of the same
WO2020035264A3 (en) Method for operating a visual field display device for a motor vehicle
US20210152812A1 (en) Display control device, display system, and display control method
JP2013168063A (en) Image processing device, image display system, and image processing method
JP5849628B2 (en) Vehicle display device
US9684166B2 (en) Motor vehicle and display of a three-dimensional graphical object
TW201225640A (en) Apparatus and method for displaying stereoscopic images
JP2015061212A (en) Image creation device, image display system, and image creation method
US20190166358A1 (en) Display device, electronic mirror and method for controlling display device
JP2014050062A (en) Stereoscopic display device and display method thereof
KR101723235B1 (en) Apparatus and method for attenuating three dimensional effect of stereoscopic image
JP2016137817A (en) Image generation device, and head-up display
WO2018101170A1 (en) Display device and electronic mirror
JP2019169828A (en) On-vehicle display control unit and on-vehicle display control method