JP2019099030A - Display device for vehicle - Google Patents

Display device for vehicle Download PDF

Info

Publication number
JP2019099030A
JP2019099030A JP2017233999A JP2017233999A JP2019099030A JP 2019099030 A JP2019099030 A JP 2019099030A JP 2017233999 A JP2017233999 A JP 2017233999A JP 2017233999 A JP2017233999 A JP 2017233999A JP 2019099030 A JP2019099030 A JP 2019099030A
Authority
JP
Japan
Prior art keywords
vehicle
image
display
distortion correction
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017233999A
Other languages
Japanese (ja)
Other versions
JP6968676B2 (en
Inventor
一賀 小笠原
Kazuyoshi Ogasawara
一賀 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2017233999A priority Critical patent/JP6968676B2/en
Priority to US16/208,898 priority patent/US10732412B2/en
Priority to CN201811475253.9A priority patent/CN110001400B/en
Priority to DE102018221066.7A priority patent/DE102018221066B4/en
Publication of JP2019099030A publication Critical patent/JP2019099030A/en
Application granted granted Critical
Publication of JP6968676B2 publication Critical patent/JP6968676B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/27—Optical features of instruments using semi-transparent optical elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/29—Holographic features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

To provide a display device for a vehicle capable of accurately adjusting a display image following to a change of a viewpoint position of a driver.SOLUTION: A display device 1 for vehicle displays an image when a 3D object 20 for distortion correction formed in a virtual space VS is viewed from a reference eye point EPs of a driver D as a display image P on a display unit 18. A control part 13 performs texture mapping by sticking an original display image Po to the 3D object 20 for distortion correction in the virtual space VS, then adjusts the 3D object 20 for the distortion correction according to a positional change of the reference eye point EPs and actual eye point EPr. The 3D object 20 for the distortion correction is a curve model obtained by reverse distorting the display image P so as to cancel distortion generated on a virtual image S. An adjustment part 22 changes a position of the 3D object 20 for the distortion correction from the reference position according to the positional change.SELECTED DRAWING: Figure 5

Description

本発明は、車両用表示装置に関する。   The present invention relates to a display device for a vehicle.

近年、自動車等の車両には、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）等の車両用表示装置を搭載するものがある。車両用表示装置には、表示器に表示される表示画像を反射ミラー等の光学系を介してウインドシールドに投影することで、運転者に虚像として視認させるものがある。このような車両用表示装置では、ウインドシールドや光学系により虚像に歪みが生じて視認性が低下するおそれがある。例えば、特許文献１では、平面的な歪補正マップを用い、虚像の歪みを相殺するように予め表示画像を歪ませて補正する技術が開示されている。   2. Description of the Related Art In recent years, there is a vehicle such as a car equipped with a display device for a vehicle such as a head up display (HUD). Among the display devices for vehicles, there is one which causes a driver to visually recognize as a virtual image by projecting a display image displayed on a display onto a windshield via an optical system such as a reflection mirror. In such a display device for vehicles, there is a possibility that distortion may occur in the virtual image due to the windshield or the optical system, and the visibility may be reduced. For example, Patent Document 1 discloses a technique of distorting and correcting a display image in advance so as to cancel distortion of a virtual image using a planar distortion correction map.

特開平１０−１４９０８５号公報Unexamined-Japanese-Patent No. 10-149085 gazette

しかしながら、従来の車両用表示装置では、運転者の視点位置の変化に対応するために、視点位置ごとに歪ませ方が異なる歪補正マップを複数持たせる必要があるが、メモリ容量が有限であることから、無数の視点位置に対して精度よく補正することが困難である。   However, in the conventional display device for a vehicle, in order to cope with changes in the viewpoint position of the driver, it is necessary to have a plurality of distortion correction maps which differ in how to distort for each viewpoint position, but the memory capacity is limited. Therefore, it is difficult to correct the innumerable viewpoint positions with high accuracy.

本発明は、表示画像を運転者の視点位置の変化に追従して精度よく調整することができる車両用表示装置を提供することを目的とする。   An object of the present invention is to provide a display device for a vehicle that can accurately adjust a display image by following changes in the viewpoint position of the driver.

上記目的を達成するため、本発明に係る車両用表示装置は、表示器に表示される表示画像を光学系で反射して車両のウインドシールドに投影し、前記ウインドシールドに投影された前記表示画像に対応する虚像を、前記車両の運転者の視点位置から視認させる車両用表示装置であって、前記運転者の実視点位置を検出する検出部と、原表示画像に基づいて前記表示画像を作成する制御部と、を備え、前記制御部は、仮想空間内に形成された歪補正用３Ｄオブジェクトを前記運転者の基準視点位置から見た際の画像を前記表示画像として前記表示器に表示させるものであり、前記原表示画像を取得する取得手段と、前記仮想空間内において、前記原表示画像を前記歪補正用３Ｄオブジェクトに貼り付けてテクスチャマッピングを行うテクスチャマッピング手段と、前記仮想空間内において、前記基準視点位置と前記実視点位置の位置変化に合わせて、前記歪補正用３Ｄオブジェクトを調整する調整手段と、を有し、前記歪補正用３Ｄオブジェクトは、前記ウインドシールド及び前記光学系の少なくとも一方に起因し前記表示画像に対して前記虚像に生じる歪みを相殺するように逆に歪ませた曲面モデルであり、前記調整手段は、前記位置変化に合わせて、前記歪補正用３Ｄオブジェクトの位置を基準位置から変化させる、ことを特徴とする。   In order to achieve the above object, a display device for a vehicle according to the present invention reflects a display image displayed on a display by an optical system and projects the reflected image on a windshield of the vehicle, and the displayed image projected on the windshield A display device for a vehicle that causes a virtual image corresponding to the image to be viewed from the viewpoint position of the driver of the vehicle, and the display unit generates the display image based on the detection unit that detects the actual viewpoint position of the driver; A control unit for causing the display unit to display an image when the distortion correction 3D object formed in the virtual space is viewed from the reference viewpoint position of the driver as the display image Acquisition means for acquiring the original display image; and texture for performing texture mapping by attaching the original display image to the distortion correction 3D object in the virtual space. And a adjusting unit configured to adjust the distortion correction 3D object in accordance with the position change of the reference viewpoint position and the actual viewpoint position in the virtual space. A curved surface model reversely distorted so as to offset distortion of the display image caused by at least one of the windshield and the optical system with respect to the display image, and the adjusting means is adapted to the position change. The position of the distortion correction 3D object is changed from a reference position.

上記車両用表示装置において、前記調整手段は、前記歪補正用３Ｄオブジェクトの位置を前記基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる、ことが好ましい。   In the display device for a vehicle, the adjustment unit moves the position of the 3D object for distortion correction vertically or horizontally with respect to the reference position, or tilts the position vertically or horizontally. Is preferred.

上記車両用表示装置において、前記制御部は、前記車両の車種ごとに形成された前記歪補正用３Ｄオブジェクトを複数備え、前記車種に対応する前記歪補正用３Ｄオブジェクトを読み出す、ことが好ましい。   In the display device for a vehicle, preferably, the control unit includes a plurality of the 3D objects for distortion correction formed for each vehicle type of the vehicle, and reads out the 3D objects for distortion correction corresponding to the vehicle type.

本発明に係る車両用表示装置によれば、表示画像を運転者の視点位置の変化に追従して精度よく調整することができる、という効果を奏する。   The display apparatus for a vehicle according to the present invention has an effect that the display image can be accurately adjusted following the change of the viewpoint position of the driver.

図１は、実施形態に係る車両用表示装置を搭載した車両の概略構成を示す模式図である。FIG. 1 is a schematic view showing a schematic configuration of a vehicle equipped with a display device for a vehicle according to the embodiment. 図２は、実施形態に係る車両用表示装置の概略構成を示す模式図である。FIG. 2 is a schematic view showing a schematic configuration of a display device for a vehicle according to the embodiment. 図３は、実施形態に係る車両用表示装置における制御部の概略構成を示すブロック図である。FIG. 3 is a block diagram showing a schematic configuration of a control unit in the vehicle display device according to the embodiment. 図４は、実施形態に係る車両用表示装置における画像表示処理の一例を表すフローチャート図である。FIG. 4 is a flowchart showing an example of image display processing in the vehicle display device according to the embodiment. 図５は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの概略構成を表す図である。FIG. 5 is a view showing a schematic configuration of a distortion correction 3D object in the vehicle display device according to the embodiment. 図６は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの調整処理の一例を表すフローチャート図である。FIG. 6 is a flowchart showing an example of adjustment processing of the distortion correction 3D object in the vehicle display device according to the embodiment. 図７は、実施形態に係る車両用表示装置における表示画像の補正動作の一例を示す模式図である。FIG. 7 is a schematic view showing an example of the correction operation of the display image in the vehicle display device according to the embodiment. 図８は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの作成方法を説明するための説明図である。FIG. 8 is an explanatory diagram for explaining a method of creating a distortion correction 3D object in the vehicle display device according to the embodiment. 図９は、実施形態に係る車両用表示装置における歪補正用３Ｄオブジェクトの作成方法を説明するための他の説明図である。FIG. 9 is another explanatory view for explaining a method of creating a distortion correction 3D object in the vehicle display device according to the embodiment.

以下に、本発明の実施形態に係る車両用表示装置を図面を参照しながら詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。また、下記の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。   Hereinafter, a display device for a vehicle according to an embodiment of the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited by the embodiments described below. In addition, constituent elements in the following embodiments include those that can be easily replaced by persons skilled in the art or those that are substantially the same. Moreover, various omissions, replacements, and changes can be made to the components in the following embodiments without departing from the scope of the invention.

［実施形態］
図１及び図２に示す本実施形態に係る車両用表示装置１は、例えば、自動車等の車両１００に搭載されるＨＵＤである。車両用表示装置１は、表示画像Ｐを光学系で反射して車両１００のウインドシールド１０４に投影し、ウインドシールド１０４に投影された表示画像Ｐに対応する虚像Ｓを、車両１００の運転者Ｄの視点位置（アイポイントＥＰ）から視認させるものである。本実施形態の車両用表示装置１は、車両前方の実風景に虚像Ｓを重畳して表示する。ウインドシールド１０４は、半透過性を有し、車両用表示装置１から入射する表示光Ｌを運転者ＤのアイポイントＥＰに向けて反射する。アイポイントＥＰは、車両１００に応じて予め定まる運転者Ｄの目が位置するアイレンジＥＲに含まれる。アイレンジＥＲは、典型的には、車両１００において運転者Ｄの目の位置の統計的な分布から定められた領域であり、例えば、運転者Ｄが運転席１０６に着座した状態で所定割合（例えば、９５％）の運転者Ｄの目の位置が含まれる領域に相当する。運転者Ｄは、少なくともアイポイントＥＰがアイレンジＥＲ内にある場合、ウインドシールド１０４に投影される表示画像Ｐを車両１００の前方に存在する虚像Ｓとして視認することができる。表示画像Ｐは、車両用表示装置１を構成する表示器１８に表示され、光学系で反射してウインドシールド１０４に投影される。表示画像Ｐは、例えば、運転者Ｄに報知する経路案内情報であり、車両１００の進行方向、交差点までの距離、交通情報、車両情報等が含まれる。本実施形態における車両用表示装置１は、車両前方カメラ２と、運転者カメラ３と、装置本体４とを含んで構成される。 [Embodiment]
The display apparatus 1 for vehicles which concerns on this embodiment shown to FIG.1 and FIG.2 is HUD mounted in vehicles 100, such as a motor vehicle, for example. The vehicle display device 1 reflects the display image P by the optical system and projects the reflected image on the windshield 104 of the vehicle 100, and the driver D of the vehicle 100 receives the virtual image S corresponding to the displayed image P projected on the windshield 104. It is made to visually recognize from the viewpoint position (eye point EP). The display apparatus 1 for vehicles of this embodiment superimposes the virtual image S on the real scenery ahead of a vehicle, and displays it. The windshield 104 is semi-transmissive and reflects the display light L incident from the vehicle display device 1 toward the eye point EP of the driver D. The eye point EP is included in the eye range ER where the eyes of the driver D determined in advance according to the vehicle 100 are located. The eye range ER is typically an area determined from the statistical distribution of the positions of the eyes of the driver D in the vehicle 100, and for example, a predetermined ratio when the driver D is seated on the driver's seat 106 For example, it corresponds to an area including the eye position of the driver D of 95%). The driver D can visually recognize the display image P projected on the windshield 104 as a virtual image S existing in front of the vehicle 100 when at least the eye point EP is within the eye range ER. The display image P is displayed on the display 18 constituting the display device 1 for a vehicle, is reflected by the optical system, and is projected on the windshield 104. The display image P is, for example, route guidance information for notifying the driver D, and includes the traveling direction of the vehicle 100, the distance to the intersection, traffic information, vehicle information, and the like. The display apparatus 1 for vehicles in this embodiment is comprised including the vehicle front camera 2, driver's camera 3, and the apparatus main body 4. FIG.

車両前方カメラ２は、単眼式または複眼式のカメラであり、車両１００の車室内に配置され、ウインドシールド１０４を通して車両前方の実風景を連続して撮像するものである。車両前方カメラ２は、例えば、車室内のルーフ１０３やバックミラー（不図示）に配置される。車両前方カメラ２は、通信線１５を介して装置本体４に接続され、撮像した前方画像を装置本体４に逐次出力する。前方画像には、動画像も含まれる。   The vehicle front camera 2 is a single-eye type or compound eye type camera, which is disposed in a vehicle compartment of the vehicle 100 and continuously images a real scene in front of the vehicle through the windshield 104. The vehicle front camera 2 is disposed, for example, on a roof 103 or a rearview mirror (not shown) in the vehicle compartment. The vehicle front camera 2 is connected to the device body 4 via the communication line 15 and sequentially outputs the captured front image to the device body 4. The forward image also includes a moving image.

運転者カメラ３は、車両１００の車室内に配置され、運転者Ｄの両眼を含む顔を連続して撮像するものである。運転者カメラ３は、例えば、車室内のステアリングコラム１０５の上部で、かつ運転者Ｄから見てステアリングホイール１０１の背後に配置される。本実施形態の運転者カメラ３は、後述する画像解析部１２と共に、運転者Ｄの実視点位置（実アイポイントＥＰｒ）を検出する検出部を構成する。運転者カメラ３は、通信線１６を介して装置本体４に接続され、撮像した画像を運転者画像として、通信線１６を介して装置本体４に逐次出力する。運転者画像には、動画像も含まれる。   The driver camera 3 is disposed in the cabin of the vehicle 100, and continuously captures a face including both eyes of the driver D. The driver camera 3 is disposed, for example, above the steering column 105 in the vehicle compartment and behind the steering wheel 101 as viewed from the driver D. The driver camera 3 of the present embodiment, together with an image analysis unit 12 described later, constitutes a detection unit that detects an actual viewpoint position (actual eye point EPr) of the driver D. The driver camera 3 is connected to the device body 4 via the communication line 16 and sequentially outputs the captured image as the driver image to the device body 4 via the communication line 16. The driver image also includes a moving image.

装置本体４は、表示画像Ｐをウインドシールド１０４に投影するものである。装置本体４は、例えば、車両１００のインストルメントパネル１０２の内側に配置されている。装置本体４は、車両１００に搭載されたナビゲーション装置５に接続される。本実施形態の装置本体４は、図２に示すように、画像表示部１１と、画像解析部１２と、制御部１３とを含んで構成される。   The apparatus body 4 projects the display image P on the windshield 104. The device body 4 is disposed, for example, inside an instrument panel 102 of the vehicle 100. The device body 4 is connected to the navigation device 5 mounted on the vehicle 100. As shown in FIG. 2, the apparatus main body 4 of the present embodiment is configured to include an image display unit 11, an image analysis unit 12, and a control unit 13.

画像表示部１１は、表示器１８に表示される表示画像Ｐを光学系で反射して車両のウインドシールドに投影する部分である。表示器１８は、例えば、ＴＦＴ−ＬＣＤ（Thin Film Transistor−Liquid Crystal Display）等で構成される。表示器１８は、表示画像Ｐに対応する表示光Ｌを出射する。光学系は、平面ミラーや凹面ミラー等で構成される。光学系は、表示器１８から出射された表示光Ｌをウインドシールド１０４に向けて反射する。光学系により反射された表示光Ｌは、ウインドシールド１０４から運転者Ｄに向けて反射し、運転者ＤのアイポイントＥＰから見た車両前方に表示される虚像Ｓとして表示される。   The image display unit 11 is a portion that reflects the display image P displayed on the display 18 by the optical system and projects it on the windshield of the vehicle. The display 18 is configured of, for example, a TFT-LCD (Thin Film Transistor-Liquid Crystal Display) or the like. The display 18 emits display light L corresponding to the display image P. The optical system is composed of a plane mirror, a concave mirror and the like. The optical system reflects the display light L emitted from the display 18 toward the windshield 104. The display light L reflected by the optical system is reflected from the windshield 104 toward the driver D, and is displayed as a virtual image S displayed in front of the vehicle viewed from the eye point EP of the driver D.

画像解析部１２は、上述した検出部であり、運転者カメラ３から入力される運転者画像に基づいて、運転者Ｄの実アイポイントＥＰｒを検出するものである。画像解析部１２は、通信線１６を介して運転者カメラ３から運転者画像を入力する。画像解析部１２は、入力された運転者画像から運転者Ｄの実アイポイントＥＰｒを座標位置として検出する。画像解析部１２は、例えば、運転者画像における顔部の眼球の虹彩や眉間の位置に基づいて運転者Ｄの実アイポイントＥＰｒを検出する。画像解析部１２は、検出した運転者Ｄの実アイポイントＥＰｒを示すアイポイント情報を制御部１３に出力する。アイポイント情報は、例えば３次元の直交座標である。   The image analysis unit 12 is the above-described detection unit, and detects the actual eye point EPr of the driver D based on the driver image input from the driver camera 3. The image analysis unit 12 inputs a driver image from the driver camera 3 via the communication line 16. The image analysis unit 12 detects the actual eye point EPr of the driver D as a coordinate position from the input driver image. The image analysis unit 12 detects the real eye point EPr of the driver D based on, for example, the position of the iris or eyelid of the eyeball of the face in the driver image. The image analysis unit 12 outputs eye point information indicating the detected actual eye point EPr of the driver D to the control unit 13. Eye point information is, for example, three-dimensional orthogonal coordinates.

また、画像解析部１２は、車両前方カメラ２から入力される前方画像に基づいて、車両１００の前方に存在する重畳対象を検出するものである。重畳対象は、実風景において虚像Ｓを重畳表示する対象物であり、例えば前方を走行または停止している車両、歩行者、白線、道路標示等が含まれる。画像解析部１２は、通信線１５を介して車両前方カメラ２から前方画像を入力する。画像解析部１２は、入力された前方画像から重畳対象を検出する。画像解析部１２は、検出した重畳対象の位置情報を示す重畳対象情報を制御部１３に出力する。   Further, the image analysis unit 12 detects a superimposition target existing in front of the vehicle 100 based on a front image input from the vehicle front camera 2. The superimposition target is an object on which the virtual image S is superimposed and displayed in a real landscape, and includes, for example, a vehicle traveling or stopping in the front, a pedestrian, a white line, a road marking, and the like. The image analysis unit 12 inputs a front image from the vehicle front camera 2 via the communication line 15. The image analysis unit 12 detects a superposition target from the input forward image. The image analysis unit 12 outputs superposition target information indicating the detected position information of the superposition target to the control unit 13.

制御部１３は、例えば、グラフィックディスプレイコントローラ（Graphics Display Controller：ＧＤＣ）であり、ＳｏＣ（System-on-a-Chip）で構成される。制御部１３は、ＧＤＣが有する機能を用いて、例えば、後述する図４、図６のフローチャートに示す処理を行う。本実施形態の制御部１３は、原表示画像Ｐｏに基づいて表示画像Ｐを作成する。原表示画像Ｐｏは、表示器１８に表示される表示画像Ｐの元となる画像である。制御部１３は、ナビゲーション装置５に接続されており、重畳対象情報に基づいてナビゲーション装置５から原表示画像Ｐｏを取得する。本実施形態の制御部１３は、仮想空間ＶＳ内に形成された歪補正用３Ｄオブジェクト２０を運転者Ｄの基準視点位置（基準アイポイントＥＰｓ）から見た際の画像を表示画像Ｐとして表示器１８に表示させるものである。歪補正用３Ｄオブジェクト２０は、ウインドシールド１０４及び光学系の少なくとも一方に起因し表示画像Ｐに対して虚像Ｓに生じる歪みを相殺するように逆に歪ませた曲面モデルである。また、制御部１３は、表示画像Ｐを画像表示部１１に出力し、画像表示部１１により実風景に重畳して表示させる。制御部１３は、取得した実アイポイントＥＰｒの位置に応じて、表示画像Ｐの位置を微調整する。制御部１３は、表示画像・情報取得部２１と、調整部２２と、テクスチャマッピング・描画部２３とを備える。   The control unit 13 is, for example, a graphic display controller (GDC), and is configured by a system-on-a-chip (SoC). The control unit 13 performs, for example, the processing illustrated in the flowcharts of FIGS. 4 and 6 described later, using the function of the GDC. The control unit 13 of the present embodiment creates a display image P based on the original display image Po. The original display image Po is an image that is the source of the display image P displayed on the display 18. The control unit 13 is connected to the navigation device 5 and acquires the original display image Po from the navigation device 5 based on the superimposition target information. The control unit 13 of the present embodiment displays a display image P as an image when the distortion correction 3D object 20 formed in the virtual space VS is viewed from the reference viewpoint position (reference eye point EPs) of the driver D. It is displayed on 18. The distortion correction 3D object 20 is a curved surface model that is distorted in a reverse manner so as to cancel distortion caused in the virtual image S with respect to the display image P due to at least one of the windshield 104 and the optical system. Further, the control unit 13 outputs the display image P to the image display unit 11 and causes the image display unit 11 to superimpose the display image P on a real landscape for display. The control unit 13 finely adjusts the position of the display image P in accordance with the acquired position of the actual eye point EPr. The control unit 13 includes a display image / information acquisition unit 21, an adjustment unit 22, and a texture mapping / drawing unit 23.

表示画像・情報取得部２１は、取得手段であり、原表示画像Ｐｏの取得や画像を分析して情報を取得するものである。表示画像・情報取得部２１は、例えばナビゲーション装置５から原表示画像Ｐｏを取得する。ここで原表示画像Ｐｏは、例えばカーナビゲーション機能における経路を示す文字、図形、記号等であり、いわゆるターンバイターン等が含まれる。表示画像・情報取得部２１は、取得した原表示画像Ｐｏをテクスチャマッピング・描画部２３に送る。また、表示画像・情報取得部２１は、ナビゲーション装置５から、上記経路を示す文字、図形、記号等（ターンバイターン等を含む）に対応する情報を取得し、当該情報に基づく画像を作成して、テクスチャマッピング・描画部２３に送る。また、表示画像・情報取得部２１は、車両前方カメラ２から入力された画像に基づいて、前方車両や人等を認識して位置を算出したり、道路形状を認識して、これらに基づく情報を作成する構成であってもよい。   The display image / information acquisition unit 21 is an acquisition unit, and acquires information by acquiring the original display image Po and analyzing the image. The display image / information acquisition unit 21 acquires, for example, the original display image Po from the navigation device 5. Here, the original display image Po is, for example, characters, figures, symbols and the like indicating the route in the car navigation function, and includes so-called turn-by-turn and the like. The display image / information acquisition unit 21 sends the acquired original display image Po to the texture mapping / drawing unit 23. In addition, the display image / information acquisition unit 21 acquires information corresponding to characters, figures, symbols, etc. (including turn-by-turn etc.) indicating the route from the navigation device 5, and creates an image based on the information. And sends it to the texture mapping / drawing unit 23. Further, the display image / information acquisition unit 21 recognizes a forward vehicle, a person, etc. based on an image input from the vehicle front camera 2 to calculate a position or recognizes a road shape, and information based on these. May be configured to create

調整部２２は、調整手段であり、仮想空間ＶＳ内において、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０を調整するための計算をするものである。調整部２２は、運転者Ｄの基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０の位置を基準位置から変化させる。基準アイポイントＥＰｓと実アイポイントＥＰＳとの位置変化は、例えば、平面上の直交座標系における基準アイポイントＥＰｓの座標と実アイポイントＥＰｒの座標との違いである。調整部２２は、歪補正用３Ｄオブジェクト２０の位置を基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる。上下方向は、例えば車両高さ方向であり、左右方向は車幅方向である。なお、傾斜には、上下方向または左右方向の回転が含まれる。   The adjustment unit 22 is an adjustment unit, and performs calculation for adjusting the distortion correction 3D object 20 in accordance with the positional change of the reference eye point EPs and the real eye point EPr in the virtual space VS. The adjustment unit 22 changes the position of the distortion correction 3D object 20 from the reference position in accordance with the change in position of the reference eye point EPs and the actual eye point EPr of the driver D. The positional change between the reference eye point EPs and the actual eye point EPS is, for example, the difference between the coordinates of the reference eye point EPs and the coordinates of the actual eye point EPr in an orthogonal coordinate system on a plane. The adjustment unit 22 moves the position of the distortion correction 3D object 20 in the vertical direction or the lateral direction, or inclines the position in the vertical direction or the lateral direction with respect to the reference position. The vertical direction is, for example, the vehicle height direction, and the horizontal direction is the vehicle width direction. Inclination includes rotation in the vertical direction or in the horizontal direction.

テクスチャマッピング・描画部２３は、テクスチャマッピング手段である。テクスチャマッピング・描画部２３は、テクスチャマッピングして描画出力を作成する部分であり、
仮想空間ＶＳ内において、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０に貼り付けてテクスチャマッピングを行うものである。テクスチャマッピング・描画部２３は、原表示画像Ｐｏを引き伸ばし、歪補正用３Ｄオブジェクト２０の表面２０ａに貼り付けてテクスチャマッピングを行う。表面２０ａは、歪補正用３Ｄオブジェクト２０を基準アイポイントＥＰｓから見た曲面である。テクスチャマッピング・描画部２３は、仮想空間ＶＳ内において、テクスチャマッピングされた歪補正用３Ｄオブジェクト２０を基準アイポイントＥＰｓから見た際の画像を表示画像Ｐとして画像表示部１１に出力する。 The texture mapping / drawing unit 23 is a texture mapping unit. The texture mapping / drawing unit 23 is a part that performs texture mapping to create a drawing output,
In the virtual space VS, the original display image Po is attached to the distortion correction 3D object 20 to perform texture mapping. The texture mapping / drawing unit 23 stretches the original display image Po and attaches it to the surface 20 a of the distortion correction 3D object 20 to perform texture mapping. The surface 20a is a curved surface when the distortion correction 3D object 20 is viewed from the reference eye point EPs. The texture mapping / drawing unit 23 outputs an image when the texture-mapping 3D object for distortion correction that is texture-mapped as viewed from the reference eye point EPs in the virtual space VS to the image display unit 11 as a display image P.

ナビゲーション装置５は、いわゆるカーナビゲーションであり、例えば運転者Ｄに対して自車両の位置や周辺の詳細な地図情報を提供したり、目的地への経路案内を行う装置である。ナビゲーション装置５は、ＧＰＳ（Global Positioning System）衛星からの情報等に基づいて自車両の位置を取得する。また、ナビゲーション装置５は、地図情報や経路案内情報等を、内部のメモリから読み出したり、通信によって外部から取得する。ナビゲーション装置５は、通信線１７により制御部１３に接続され、取得した自車両の位置情報や各種情報を通信線１７を介して制御部１３に出力する。   The navigation device 5 is a so-called car navigation system, for example, providing the driver D with detailed map information of the position of the vehicle and the surroundings, and performing route guidance to a destination. The navigation device 5 acquires the position of the vehicle based on information from GPS (Global Positioning System) satellites and the like. In addition, the navigation device 5 reads map information, route guidance information, and the like from an internal memory or obtains the information from the outside by communication. The navigation device 5 is connected to the control unit 13 by the communication line 17 and outputs the acquired position information of the vehicle and various information to the control unit 13 through the communication line 17.

次に、実施形態に係る車両用表示装置１における歪補正用３Ｄオブジェクト２０の作成方法について説明する。本実施形態の歪補正用３Ｄオブジェクト２０は、予め車両１００の設計段階において作成される。   Next, a method of creating the distortion correction 3D object 20 in the vehicle display device 1 according to the embodiment will be described. The distortion correction 3D object 20 of this embodiment is created in advance at the design stage of the vehicle 100.

まず、ウインドシールド１０４や光学系の設計情報、装置本体４や運転者、カメラ等の実車配置情報等に基づいて、光学シミュレーションを行い、平面上の補正マップＭを作成する。例えば、図８、図９に示すように、基準アイポイントＥＰｓに対して、基準となる格子状の表示画像Ｐを表示器１８に表示し、表示画像Ｐに対して虚像Ｓがどのくらい歪んでいるかを測定する。具体的には、表示画像Ｐの各格子点と虚像Ｓの各格子点とを比較し、変位した格子点の座標を測定して、各格子点のずれを歪み量とする。そして、表示画像Ｐの各格子点に対して、歪み量に基づいて逆に変位させた格子点を補正マップＭとして作成する。図９に示す表示画像Ｐｄは、表示画像Ｐを補正マップＭに貼り付けた表示画像である。虚像Ｓｎは、ウインドシールド１０４に投影され、基準アイポイントＥＰｓから運転者Ｄに視認される虚像である。   First, optical simulation is performed based on the windshield 104 and the design information of the optical system, the apparatus body 4 and the actual vehicle arrangement information of the driver, the camera, etc., and the correction map M on the plane is created. For example, as shown in FIGS. 8 and 9, a grid-like display image P as a reference is displayed on the display 18 with respect to the reference eye point EPs, and how much the virtual image S is distorted with respect to the display image P Measure Specifically, each lattice point of the display image P is compared with each lattice point of the virtual image S, the coordinates of the displaced lattice point are measured, and the deviation of each lattice point is taken as the distortion amount. Then, with respect to each lattice point of the display image P, lattice points displaced in reverse based on the distortion amount are created as a correction map M. The display image Pd shown in FIG. 9 is a display image in which the display image P is attached to the correction map M. The virtual image Sn is a virtual image projected on the windshield 104 and visually recognized by the driver D from the reference eye point EPs.

次に、図４に示すように、仮想空間ＶＳ内において、補正マップＭを用いて歪補正用３Ｄオブジェクト２０を作成する。例えば、設計者は、基準となる２Ｄモデルに対して、仮想的な視点として設定した運転者Ｄの基準アイポイントＥＰｓからの見え方が補正マップＭと重なる様に板ポリゴンを押し引きして３Ｄ形状に変形させて歪補正用３Ｄオブジェクト２０を作成する。歪補正用３Ｄオブジェクト２０は、例えば、アイレンジＥＲ内にある各アイポイントＥＰからの見え方が、各アイポイントＥＰに対応する補正マップＭと重なるように作成される。なお、設計者自身が運転席１０６に着座した状態で虚像Ｓを見ながら直接調整してもよい。これにより、車両１００に対応する歪補正用３Ｄオブジェクトを作成することができる。   Next, as shown in FIG. 4, in the virtual space VS, the distortion correction 3D object 20 is created using the correction map M. For example, the designer pushes and pulls the plate polygon so that the appearance of the driver D from the reference eye point EPs set as a virtual viewpoint with respect to the reference 2D model overlaps the correction map M. The distortion correction 3D object 20 is created by deforming it into a shape. For example, the distortion correction 3D object 20 is created such that the appearance from each eye point EP in the eye range ER overlaps the correction map M corresponding to each eye point EP. The designer may adjust directly while looking at the virtual image S in a state where the designer is seated on the driver's seat 106. Thereby, a distortion correction 3D object corresponding to the vehicle 100 can be created.

次に、車両用表示装置１にて実行される画像表示処理の一例について図４を参照して説明する。本処理は、車両１００の始動（例えば、イグニッションスイッチＯＮ）と共に実行され、車両１００の停止（例えば、イグニッションスイッチＯＦＦ）と共に終了するものとするが、これに限定されるものではない。また、図示の各ステップは、図示の順に限定されるものではない。   Next, an example of the image display process performed by the display device 1 for a vehicle will be described with reference to FIG. The present process is performed together with the start of the vehicle 100 (for example, the ignition switch ON), and ends with the stop of the vehicle 100 (for example, the ignition switch OFF), but is not limited thereto. In addition, the illustrated steps are not limited to the illustrated order.

図４において、ステップＳ１では、画像解析部１２は、前方画像から重畳対象を検出し、重畳対象を示す重畳対象情報を制御部１３に出力する。制御部１３は、表示画像・情報取得部２１が、重畳対象情報に基づいて、ナビゲーション装置５から重畳対象に対応する原表示画像Ｐｏを取得する。   In FIG. 4, in step S <b> 1, the image analysis unit 12 detects a superposition target from the front image, and outputs superposition target information indicating the superposition target to the control unit 13. The control unit 13 causes the display image / information acquisition unit 21 to acquire the original display image Po corresponding to the superposition target from the navigation device 5 based on the superposition target information.

ステップＳ２では、画像解析部１２は、運転者画像から運転者Ｄの実アイポイントＥＰｒを検出し、実アイポイントＥＰｒを示すアイポイント情報を制御部１３に出力する。   In step S2, the image analysis unit 12 detects the actual eyepoint EPr of the driver D from the driver image, and outputs eyepoint information indicating the actual eyepoint EPr to the control unit 13.

ステップＳ３では、制御部１３は、テクスチャマッピング・描画部２３が、仮想空間ＶＳ内において、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０にテクスチャマッピングを行う。   In step S3, the control unit 13 causes the texture mapping / drawing unit 23 to perform texture mapping on the original display image Po on the distortion correction 3D object 20 in the virtual space VS.

ステップＳ４では、制御部１３は、調整部２２が、入力されたアイポイント情報に示す実アイポイントＥＰｒと、予め設定されている基準アイポイントＥＰｓとの位置ずれに応じて、歪補正用３Ｄオブジェクト２０を調整する。制御部１３は、図７に示すように、基準アイポイントＥＰｓに対する実アイポイントＥＰｒの移動方向と反対方向に移動または傾斜させる。なお、実アイポイントＥＰｒと基準アイポイントＥＰｓとの位置ずれが無かった場合、本ステップをスルーしてもよい。   In step S4, the control unit 13 controls the distortion correction 3D object in accordance with the positional deviation between the actual eye point EPr indicated by the input eye point information by the adjustment unit 22 and the reference eye point EPs set in advance. Adjust 20. The control unit 13 moves or inclines in the direction opposite to the moving direction of the actual eye point EPr with respect to the reference eye point EPs, as shown in FIG. If there is no positional deviation between the actual eye point EPr and the reference eye point EPs, this step may be passed through.

ステップＳ５では、制御部１３は、歪補正用３Ｄオブジェクト２０を運転者Ｄの基準アイポイントＥＰｓから見た際の画像を表示画像Ｐ（表示画像Ｐｄ）として表示器１８に表示する。制御部１３は、実アイポイントＥＰｒと重畳対象の位置から表示画像Ｐと実風景とが重なり合うように見える位置を算出し、算出した位置にウインドシールド１０４に投影される表示画像Ｐを配置する。なお、表示する表示画像が複数ある場合、全ての表示画像が実風景と重なり合うように配置される。その後、本処理を終了する。   In step S5, the control unit 13 displays an image when the distortion correction 3D object 20 is viewed from the reference eye point EPs of the driver D on the display 18 as a display image P (display image Pd). The control unit 13 calculates the position where the display image P and the real landscape appear to overlap from the actual eye point EPr and the position of the superimposition target, and arranges the display image P projected on the windshield 104 at the calculated position. In addition, when there exist multiple display images to display, it arranges so that all the display images may overlap with real scenery. Thereafter, the process ends.

次に、車両用表示装置１にて実行される調整処理の一例について図６、図７を参照して説明する。図６の処理は、実アイポイントＥＰｒが時間経過により変化した場合に実行される。   Next, an example of the adjustment process performed by the display device 1 for a vehicle will be described with reference to FIGS. 6 and 7. The process of FIG. 6 is executed when the actual eye point EPr changes with time.

ステップＳ１１では、制御部１３は、画像解析部１２により検出された前回の実アイポイントＥＰｒと今回の実アイポイントＥＰｒとを比較し、位置が変化したかを判定する。実アイポイントＥＰｒの位置が変化していない場合、ステップＳ１１を繰り返す一方、実アイポイントＥＰｒの位置が変化した場合、ステップＳ１２に進む。   In step S11, the control unit 13 compares the previous actual eye point EPr detected by the image analysis unit 12 with the current actual eye point EPr, and determines whether the position has changed. If the position of the actual eye point EPr has not changed, step S11 is repeated, while if the position of the actual eye point EPr has changed, the process proceeds to step S12.

ステップＳ１２では、制御部１３は、実アイポイントＥＰｒの位置の変化に応じて歪補正用３Ｄオブジェクト２０を調整して、ステップＳ１１に戻る。ステップＳ１２では、図７に示すように、前回の実アイポイントＥＰｒに対する今回の実アイポイントＥＰｒの移動方向と反対方向に移動または傾斜させる。   In step S12, the control unit 13 adjusts the distortion correction 3D object 20 according to the change in the position of the actual eye point EPr, and returns to step S11. In step S12, as shown in FIG. 7, the moving or tilting is performed in the direction opposite to the moving direction of the actual eye point EPr with respect to the previous actual eye point EPr.

以上のように、本実施形態に係る車両用表示装置１は、制御部１３が、仮想空間ＶＳ内に形成された歪補正用３Ｄオブジェクト２０を運転者Ｄの基準アイポイントＥＰｓから見た際の画像を表示画像Ｐとして表示器１８に表示させる。これにより、歪補正機能を有していないＳｏＣであっても３次元モデルを利用して歪補正が可能となり、設計段階におけるＳｏＣの選択幅を広げることができる。また、１つの歪補正用の３Ｄモデルを形成すればよいので、描画容量の増加を抑制することができる。また、本実施形態に係る車両用表示装置１は、仮想空間ＶＳ内で、原表示画像Ｐｏを歪補正用３Ｄオブジェクト２０に貼り付けてテクスチャマッピングを行い、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて歪補正用３Ｄオブジェクト２０を調整する。これにより、運転者ＤのアイポイントＥＰごとに歪み方の異なる複数の補正マップＭを持つ必要がなくなり、メモリ容量の増加を抑制することができる。また、フラグメントシェーダーを利用した描画方法とすることで、板ポリゴンの境目近辺でも滑らかな連続性のある表示が可能となる。また、本実施形態に係る車両用表示装置１は、調整部２２が、基準アイポイントＥＰｓと実アイポイントＥＰｒの位置変化に合わせて、歪補正用３Ｄオブジェクト２０の位置を基準位置から変化させる。これにより、実アイポイントＥＰｒの微小な変化に素早く追従することができ、かつより細かく滑らかに歪補正を行うことが可能となる。さらに、実アイポイントＥＰｒの変化に応じて、より短時間に歪補正用３Ｄオブジェクト２０の位置を変化させることが可能となるので、リアルタイム性が向上する。   As described above, in the vehicle display device 1 according to the present embodiment, the control unit 13 looks at the distortion correction 3D object 20 formed in the virtual space VS from the reference eye point EPs of the driver D. The image is displayed on the display 18 as a display image P. As a result, even if the SoC does not have a distortion correction function, distortion correction can be performed using a three-dimensional model, and the selection range of the SoC at the design stage can be expanded. In addition, since it is sufficient to form one distortion correction 3D model, it is possible to suppress an increase in drawing capacity. In addition, the display apparatus 1 for vehicle according to the present embodiment pastes the original display image Po onto the distortion correction 3D object 20 in the virtual space VS to perform texture mapping, and the reference eye point EPs and the actual eye point EPr. The distortion correction 3D object 20 is adjusted in accordance with the position change. As a result, it is not necessary to have a plurality of correction maps M having different distortion methods for each eye point EP of the driver D, and an increase in memory capacity can be suppressed. In addition, by using a drawing method using a fragment shader, it is possible to display smooth continuity even in the vicinity of the boundary of a plate polygon. Further, in the vehicle display device 1 according to the present embodiment, the adjustment unit 22 changes the position of the distortion correction 3D object 20 from the reference position in accordance with the position change of the reference eye point EPs and the actual eye point EPr. As a result, minute changes in the actual eye point EPr can be quickly followed and distortion correction can be performed more finely and smoothly. Furthermore, since it is possible to change the position of the distortion correction 3D object 20 in a shorter time according to the change of the actual eye point EPr, real time property is improved.

また、実施形態に係る車両用表示装置１は、調整部２２が、歪補正用３Ｄオブジェクト２０の位置を基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる。このように、移動方向または傾斜方向を限定することで、処理を簡素化し応答性を向上させることができる。   Further, in the vehicle display device 1 according to the embodiment, the adjustment unit 22 moves the position of the distortion correction 3D object 20 in the vertical direction or the lateral direction with respect to the reference position, or the vertical direction or the lateral direction Tilt to Thus, by limiting the moving direction or the tilting direction, processing can be simplified and responsiveness can be improved.

なお、上記実施形態では、車両用表示装置１は、ＳｏＣに対して、車両１００に適応する歪補正用３Ｄオブジェクトを１つ保持しているが、これに限定されるものではない。例えば、ＳｏＣが、車両１００の車種ごとに形成された歪補正用３Ｄオブジェクト２０を複数備え、車種に対応する歪補正用３Ｄオブジェクト２０を読み出す構成であってもよい。これにより、部品の共用化を図ることができ、部品コストの増加を抑制することができる。   In the above embodiment, the vehicle display device 1 holds one distortion correction 3D object adapted to the vehicle 100 with respect to the SoC, but the present invention is not limited to this. For example, the SoC may include a plurality of distortion correction 3D objects 20 formed for each vehicle type of the vehicle 100 and read out the distortion correction 3D objects 20 corresponding to the vehicle type. Thereby, parts sharing can be achieved, and an increase in parts cost can be suppressed.

また、上記実施形態では、制御部１３は、ナビゲーション装置５から原表示画像Ｐｏを取得しているが、これに限定されるものではない。例えば、制御部１３が無線通信により外部から経路案内情報等を取得するように構成されていてもよい。   Further, in the above embodiment, the control unit 13 acquires the original display image Po from the navigation device 5, but the present invention is not limited to this. For example, the control unit 13 may be configured to acquire route guidance information and the like from the outside by wireless communication.

また、上記実施形態では、表示画像Ｐは、例えば経路案内情報であるとしたが、運転者Ｄの運転を支援するための情報であってもよい。例えば、車速情報、車両状態情報、道路情報、外部環境情報、搭乗者情報等であってもよい。   Further, in the above embodiment, the display image P is, for example, route guidance information, but may be information for assisting the driver D's driving. For example, it may be vehicle speed information, vehicle state information, road information, external environment information, passenger information and the like.

また、上記実施形態では、重畳対象を画像認識で行っているが、レーダー等で検出するように構成してもよい。   Further, in the above embodiment, although the superposition target is performed by image recognition, it may be configured to be detected by a radar or the like.

また、上記実施形態では、車両前方カメラ２および運転者カメラ３は、それぞれ通信線１５，１６を介して有線により装置本体４に接続されているが、無線により接続されていてもよい。これにより、通信線１５，１６自体や配線作業が不要となると共に、車両前方カメラ２および運転者カメラ３のレイアウトの制限を改善することが可能となる。   Moreover, in the said embodiment, although the vehicle front camera 2 and the driver | operator camera 3 are each connected to the apparatus main body 4 by wire communication via the communication lines 15 and 16, they may be connected by radio | wireless. As a result, the communication lines 15 and 16 themselves and wiring work become unnecessary, and it becomes possible to improve the restriction of the layout of the vehicle front camera 2 and the driver camera 3.

上述した実施形態に係る車両用表示装置１で実行されるプログラムは、例えばＳｏＣに予め組み込まれて提供されてもよいし、外部からＧＤＣにインストールして提供されてもよい。   The program executed by the display device 1 for a vehicle according to the above-described embodiment may be provided, for example, by being incorporated in advance in the SoC, or may be provided by being installed in the GDC from the outside.

１ 車両用表示装置
２ 車両前方カメラ
３ 運転者カメラ
４ 装置本体
５ ナビゲーション装置
１１ 画像表示部
１２ 画像解析部
１３ 制御部
１８ 表示器
２０ 歪補正用３Ｄオブジェクト
２１ 表示画像・情報取得部
２２ 調整部
２３ テクスチャマッピング・描画部
１００ 車両
１０４ ウインドシールド
Ｄ 運転者
ＥＰ アイポイント
ＥＰｓ 基準アイポイント
ＥＰｒ 実アイポイント
ＥＲ アイレンジ
Ｐ，Ｐｄ 表示画像
Ｐｏ 原表示画像
ＶＳ 仮想空間
Ｍ 補正マップ
Ｓ，Ｓｎ 虚像 Reference Signs List 1 vehicle display device 2 vehicle forward camera 3 driver camera 4 device body 5 navigation device 11 image display unit 12 image analysis unit 13 control unit 18 display unit 20 distortion correction 3D object 21 display image / information acquisition unit 22 adjustment unit 23 Texture mapping and drawing unit 100 Vehicle 104 Windshield D Driver EP Eye point EPs Reference eye point EPr Real eye point ER Eye range P, Pd Display image Po Original display image VS Virtual space M Correction map S, Sn Virtual image

Claims (3)

表示器に表示される表示画像を光学系で反射して車両のウインドシールドに投影し、前記ウインドシールドに投影された前記表示画像に対応する虚像を、前記車両の運転者の視点位置から視認させる車両用表示装置であって、
前記運転者の実視点位置を検出する検出部と、
原表示画像に基づいて前記表示画像を作成する制御部と、
を備え、
前記制御部は、
仮想空間内に形成された歪補正用３Ｄオブジェクトを前記運転者の基準視点位置から見た際の画像を前記表示画像として前記表示器に表示させるものであり、
前記原表示画像を取得する取得手段と、
前記仮想空間内において、前記原表示画像を前記歪補正用３Ｄオブジェクトに貼り付けてテクスチャマッピングを行うテクスチャマッピング手段と、
前記仮想空間内において、前記基準視点位置と前記実視点位置の位置変化に合わせて、前記歪補正用３Ｄオブジェクトを調整する調整手段と、
を有し、
前記歪補正用３Ｄオブジェクトは、
前記ウインドシールド及び前記光学系の少なくとも一方に起因し前記表示画像に対して前記虚像に生じる歪みを相殺するように逆に歪ませた曲面モデルであり、
前記調整手段は、
前記位置変化に合わせて、前記歪補正用３Ｄオブジェクトの位置を基準位置から変化させる、
ことを特徴とする車両用表示装置。 The display image displayed on the display is reflected by the optical system and projected on the windshield of the vehicle, and a virtual image corresponding to the display image projected on the windshield is viewed from the viewpoint of the driver of the vehicle A display device for a vehicle,
A detection unit that detects an actual viewpoint position of the driver;
A control unit that creates the display image based on an original display image;
Equipped with
The control unit
The display unit is configured to display, as the display image, an image when the distortion correction 3D object formed in the virtual space is viewed from the reference viewpoint position of the driver,
Acquisition means for acquiring the original display image;
Texture mapping means for pasting the original display image onto the distortion correction 3D object in the virtual space to perform texture mapping;
An adjustment unit configured to adjust the distortion correction 3D object in accordance with position changes of the reference viewpoint position and the actual viewpoint position in the virtual space;
Have
The distortion correction 3D object is
It is a curved surface model reversely distorted so as to cancel distortion generated in the virtual image with respect to the display image due to at least one of the windshield and the optical system.
The adjusting means is
The position of the distortion correction 3D object is changed from the reference position in accordance with the position change.
And a display device for a vehicle. 前記調整手段は、
前記歪補正用３Ｄオブジェクトの位置を前記基準位置に対して、上下方向または左右方向に移動させるか、または、上下方向または左右方向に傾斜させる、
請求項１に記載の車両用表示装置。 The adjusting means is
The position of the distortion correction 3D object is moved vertically or horizontally with respect to the reference position, or inclined vertically or horizontally.
A display device for a vehicle according to claim 1. 前記制御部は、
前記車両の車種ごとに形成された前記歪補正用３Ｄオブジェクトを複数備え、
前記車種に対応する前記歪補正用３Ｄオブジェクトを読み出す、
請求項１または２に記載の車両用表示装置。 The control unit
A plurality of the distortion correction 3D objects formed for each vehicle type of the vehicle are provided,
Read out the 3D object for distortion correction corresponding to the vehicle type
The display apparatus for vehicles of Claim 1 or 2.
JP2017233999A 2017-12-06 2017-12-06 Display device for vehicles Active JP6968676B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017233999A JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles
US16/208,898 US10732412B2 (en) 2017-12-06 2018-12-04 Display device for vehicle
CN201811475253.9A CN110001400B (en) 2017-12-06 2018-12-04 Display device for vehicle
DE102018221066.7A DE102018221066B4 (en) 2017-12-06 2018-12-05 Display device for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233999A JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles

Publications (2)

Publication Number Publication Date
JP2019099030A true JP2019099030A (en) 2019-06-24
JP6968676B2 JP6968676B2 (en) 2021-11-17

Family

ID=66547930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233999A Active JP6968676B2 (en) 2017-12-06 2017-12-06 Display device for vehicles

Country Status (4)

Country Link
US (1) US10732412B2 (en)
JP (1) JP6968676B2 (en)
CN (1) CN110001400B (en)
DE (1) DE102018221066B4 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015166A (en) * 2019-07-10 2021-02-12 マクセル株式会社 Head-up display and calibration method therefor
JP7494646B2 (en) 2020-08-24 2024-06-04 日本精機株式会社 Head-up display device, display control device, and control method for head-up display device

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10564829B2 (en) * 2016-03-25 2020-02-18 Vmware, Inc. Optimizing window resize actions for remoted applications
DE102016213687B4 (en) * 2016-07-26 2019-02-07 Audi Ag Method for controlling a display device for a motor vehicle, display device for a motor vehicle and motor vehicle with a display device
DE102017214545A1 (en) * 2017-08-21 2019-02-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for determining a probability with which an object is located in a field of view of a driver of a vehicle
JP7105174B2 (en) * 2018-11-02 2022-07-22 京セラ株式会社 Communication heads-up display systems, communication equipment, mobile objects, and programs
JP7183943B2 (en) * 2019-05-09 2022-12-06 トヨタ自動車株式会社 steering module
DE102020211154A1 (en) 2020-09-04 2022-03-10 Robert Bosch Gesellschaft mit beschränkter Haftung Method and apparatus for calibrating a vehicle mounted camera
CN112258399A (en) * 2020-09-10 2021-01-22 江苏泽景汽车电子股份有限公司 Hud image optical correction method for reverse modeling
CN112666713B (en) * 2021-01-05 2023-06-02 大陆汽车车身电子系统（芜湖）有限公司 Method for updating calibration data of head-up display
CN116017174B (en) * 2022-12-28 2024-02-06 江苏泽景汽车电子股份有限公司 HUD distortion correction method, device and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249289B1 (en) * 1996-11-27 2001-06-19 Silicon Graphics, Inc. Multi-purpose high resolution distortion correction
JP2014199385A (en) * 2013-03-15 2014-10-23 日本精機株式会社 Display device and display method thereof
JP2015087619A (en) * 2013-10-31 2015-05-07 日本精機株式会社 Vehicle information projection system and projection device
JP2018092107A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and movable body

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149085A (en) 1996-11-20 1998-06-02 Asahi Glass Co Ltd Holographic display device
JP2011105306A (en) * 2010-12-28 2011-06-02 Yazaki Corp Display device for vehicle
JP5724949B2 (en) * 2012-06-05 2015-05-27 株式会社デンソー Head-up display device
US9317895B1 (en) * 2012-08-09 2016-04-19 Xilinx, Inc. Non-linear image mapping
DE102013212667A1 (en) * 2013-06-28 2014-12-31 Robert Bosch Gmbh A method and apparatus for displaying a three-dimensional image using an imager of a visual field display device for a vehicle
JP2015049842A (en) * 2013-09-04 2015-03-16 トヨタ自動車株式会社 Alert display device and alert display method
US20150116197A1 (en) * 2013-10-24 2015-04-30 Johnson Controls Technology Company Systems and methods for displaying three-dimensional images on a vehicle instrument console
JP2015215509A (en) * 2014-05-12 2015-12-03 パナソニックＩｐマネジメント株式会社 Display apparatus, display method and program
US10438331B2 (en) * 2014-06-26 2019-10-08 Intel Corporation Distortion meshes against chromatic aberrations
US10397539B2 (en) * 2014-08-25 2019-08-27 Schepens Eye Research Institute Compensating 3D stereoscopic imagery
DE102015205167A1 (en) * 2015-03-23 2016-09-29 Robert Bosch Gmbh Method and control device for operating an autostereoscopic field of view display device for a vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6249289B1 (en) * 1996-11-27 2001-06-19 Silicon Graphics, Inc. Multi-purpose high resolution distortion correction
JP2014199385A (en) * 2013-03-15 2014-10-23 日本精機株式会社 Display device and display method thereof
JP2015087619A (en) * 2013-10-31 2015-05-07 日本精機株式会社 Vehicle information projection system and projection device
JP2018092107A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and movable body

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021015166A (en) * 2019-07-10 2021-02-12 マクセル株式会社 Head-up display and calibration method therefor
JP7221161B2 (en) 2019-07-10 2023-02-13 マクセル株式会社 Head-up display and its calibration method
JP7494646B2 (en) 2020-08-24 2024-06-04 日本精機株式会社 Head-up display device, display control device, and control method for head-up display device

Also Published As

Publication number Publication date
CN110001400B (en) 2022-03-29
DE102018221066B4 (en) 2023-03-16
US10732412B2 (en) 2020-08-04
DE102018221066A1 (en) 2019-06-06
JP6968676B2 (en) 2021-11-17
CN110001400A (en) 2019-07-12
US20190171011A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6968676B2 (en) Display device for vehicles
CN110573369B (en) Head-up display device and display control method thereof
JP6201690B2 (en) Vehicle information projection system
US8536995B2 (en) Information display apparatus and information display method
US11999231B2 (en) Head-up display device
JP5723106B2 (en) Vehicle display device and vehicle display method
CN111433067A (en) Head-up display device and display control method thereof
US11525694B2 (en) Superimposed-image display device and computer program
WO2019097755A1 (en) Display device and computer program
CN109927552B (en) Display device for vehicle
CN109489681A (en) Display apparatus and display control method
JP2023001215A (en) Display control device and display control program
WO2019224922A1 (en) Head-up display control device, head-up display system, and head-up display control method
JP7310560B2 (en) Display control device and display control program
WO2018173512A1 (en) Display control device for vehicle and display unit for vehicle
JP6991794B2 (en) Vehicle display device and display control method
JP7215466B2 (en) Display control device and display control program
WO2021044741A1 (en) Display control device, display control program, and heads-up display
JP7111121B2 (en) Display control device and display control program
JP7173078B2 (en) Display control device and display control program
JP2018167669A (en) Head-up display device
KR20160062255A (en) Head-up display system based on vehicle driving direction
US12033548B2 (en) Display control device and display control program product
US20220172652A1 (en) Display control device and display control program product
WO2023145852A1 (en) Display control device, display system, and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6968676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350