JP2022040021A - ヘッドアップディスプレイ及びその制御方法 - Google Patents

ヘッドアップディスプレイ及びその制御方法 Download PDF

Info

Publication number
JP2022040021A
JP2022040021A JP2021133896A JP2021133896A JP2022040021A JP 2022040021 A JP2022040021 A JP 2022040021A JP 2021133896 A JP2021133896 A JP 2021133896A JP 2021133896 A JP2021133896 A JP 2021133896A JP 2022040021 A JP2022040021 A JP 2022040021A
Authority
JP
Japan
Prior art keywords
image
ground
display
dimensional
graphic object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021133896A
Other languages
English (en)
Inventor
ジェウォン チャ
Jae Won Cha
ジェソン イ
Jae Sung Lee
ギソン キム
Kisung Kim
ジョンジン パク
Jong-Jin Park
ウンヨン ジョン
Eun Young Jung
ヨンホ シン
Yongho Shin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Labs Corp
Original Assignee
Naver Labs Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Labs Corp filed Critical Naver Labs Corp
Publication of JP2022040021A publication Critical patent/JP2022040021A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】 画像を地面に位置させて運転者の視点で拡張現実を実現する拡張現実ヘッドアップディスプレイにおいて立体感を有するグラフィックオブジェクトを実現する方法を提供する。【解決手段】本発明による車両のヘッドアップディスプレイは、光を出力するディスプレイ素子と、前記光により形成される画像が光透過性領域に向けて出力されるように、前記光の経路を制御する光学系と、前記画像が形成されるように前記ディスプレイ素子を制御する制御部とを含み、前記光学系は、前記画像の虚像が前記車両の前方地面１１に位置するように前記光の経路を制御し、前記画像は、前記画像の虚像に地面１１を基準に立体感を有するグラフィックオブジェクト１１３が含まれるように、アイボックス（eye-box）を基準に地面１１を向く第１視点、及び前記アイボックスを基準に地面１１上の３次元空間を向く第２視点を用いて生成されることを特徴とする。【選択図】図１

Description

本発明は、運転者の前方に情報を出力する車両のヘッドアップディスプレイ及びその制御方法に関する。
車両用ヘッドアップディスプレイ（Head-Up Display,ＨＵＤ）装置は、ディスプレイから出力される画像を光学系を介して運転者前方のウインドシールド（Wind Shield）やコンバイナにグラフィックイメージで投影し、運転者に情報を伝達する装置である。
ここで、光学系は、ディスプレイから送出された画像の光経路を変更するために、複数のミラー又はレンズからなるようにしてもよい。このような車両用ヘッドアップディスプレイ（ＨＵＤ）装置は、運転者の即時反応を誘導すると共に利便性を提供するという利点がある。
一般的な車両用ヘッドアップディスプレイ（ＨＵＤ）装置において、画像は運転者の前方約２～３ｍに固定されて位置する。それに対して、運転者の運転時の注視距離は近距離～３００ｍ程度である。よって、運転者は、遠距離を注視しながら運転し、運転中にヘッドアップディスプレイ（ＨＵＤ）装置の情報を確認するためには目の焦点を大幅に調整しなければならない不便がある。すなわち、主な視野が位置する遠距離と画像が結像された２～３ｍ間で運転者の焦点調整が繰り返し行われる。
よって、運転者が運転中に注視している視点で目の焦点を変化させることなく所望の情報を取得できるように運転環境に拡張現実を提供するヘッドアップディスプレイ装置の開発が求められている。
例えば、特許文献１（２０２０年５月２５日登録）は、拡張現実を実現するヘッドアップディスプレイ装置に関するものであり、画像を地面に位置させて運転者の視点で事実的な情報を提供する。このように、画像を地面に位置させることにより運転者の視点で３次元的に情報を伝達するが、特定の情報の場合は地面に横になった形態よりは立った形態の方が有利である。
韓国登録特許第１０－２１１６７８３号公報
本発明は、画像を地面に位置させて運転者の視点で拡張現実を実現する拡張現実ヘッドアップディスプレイにおいて立体感を有するグラフィックオブジェクトを実現する方法を提供するものである。
上記課題を解決するために、本発明によるヘッドアップディスプレイ及びその制御方法は、地面を３次元空間に切り替え、前記３次元空間に画像を生成し、その後前記地面に対応する２次元平面に切り替えるプロセスを用いる。
具体的には、車両のヘッドアップディスプレイは、光を出力するディスプレイ素子と、前記光により形成される画像が光透過性領域に向けて出力されるように、前記光の経路を制御する光学系と、前記画像が形成されるように前記ディスプレイ素子を制御する制御部とを含み、前記光学系は、前記画像の虚像が前記車両の前方地面に位置するように前記光の経路を制御し、前記画像は、前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックス（eye-box）を基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて生成される。
前記第１視点は、前記地面で前記虚像を認識する運転者視点であり、前記第２視点は、仮想カメラのカメラ視点であり、前記運転者視点と前記カメラ視点とを一致させることにより前記画像が生成されるようにしてもよい。前記グラフィックオブジェクトは、前記カメラ視点を基準に前記３次元空間上に形成されて前記運転者視点を基準に前記地面の２次元平面に投影されるようにしてもよい。
前記制御部は、前記グラフィックオブジェクトに対応する３次元物体を前記地面に投影する変換と、前記画像を前記虚像に変換する前記光学系の特性を用いて、前記３次元物体が前記地面に投影された前記グラフィックオブジェクトを生成する。
前記制御部は、前記３次元物体を前記地面に投影したイメージを生成し、前記投影したイメージを前記光学系の特性を用いて前記虚像に対応する画像に変換するようにしてもよい。
前記制御部は、前記３次元物体を前記地面に投影する第１変換行列と、前記虚像を前記画像に変換する第２変換行列との内積を用いて、前記３次元物体を前記グラフィックオブジェクトに変換するようにしてもよい。
また、本発明において、前記画像の虚像は、前記地面に対応する虚像平面に形成される２次元グラフィックオブジェクトを備え、前記立体感を有するグラフィックオブジェクトは、前記虚像平面上で正立する３次元グラフィックオブジェクトを備えるようにしてもよい。
前記ディスプレイ素子は、単一の画像を形成し、前記単一の画像に前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトが選択的に生成されるようにしてもよい。
前記２次元グラフィックオブジェクトは、車線、走行速度及び走行方向表示の少なくとも１つに関する情報であり、前記３次元グラフィックオブジェクトは、関心地点（Point of Interest, ＰＯＩ）、案内文句、到着地及び周辺車両の少なくとも１つに関する情報であってもよい。
前記光透過性領域は、コンバイナ又はウインドシールドに形成されるようにしてもよい。
また、本発明は、画像を出力するディスプレイ素子と、前記画像を光透過性領域を通して結像し、前記画像の虚像が車両の前方地面に位置するように前記光の経路を制御する結像光学系と、前記画像が形成されるように前記ディスプレイ素子を制御する制御部とを含み、前記制御部は、前記地面に対応する２次元グラフィックオブジェクト、及び前記地面を基準に立体感を有する３次元グラフィックオブジェクトが前記地面に配置されるように前記画像を生成し、前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトは、アイボックス（eye-box）を基準に異なる視点処理により生成されることを特徴とするヘッドアップディスプレイを開示する。
さらに、本発明は、ヘッドアップディスプレイの画像出力方法において、前記ヘッドアップディスプレイを通して伝達する情報を選択するステップと、ディスプレイ素子により形成される画像の虚像を車両の前方地面に配置する光学系を用いて、前記画像を出力するステップとを含み、前記画像を出力するステップは、前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックス（eye-box）を基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて、前記画像を生成することを特徴とするヘッドアップディスプレイの画像出力方法を開示する。
本発明によるヘッドアップディスプレイ及びその制御方法は、画像の位置を地面に対応させる形態の表示方法において、地面上に立てられた形態の画像を実現することができる。よって、拡張現実の事実的な情報を地面上で立体感を有するグラフィックオブジェクトで提供することができる。
また、本発明によれば、地面上に立体感を有するグラフィックオブジェクトを実現するので、可読性が向上し、より直観的な形態で情報を伝達できるヘッドアップディスプレイを実現することができる。
本発明によるヘッドアップディスプレイで実現される画像を説明するための概念図である。 本発明の一実施形態によるヘッドアップディスプレイにおける画像の位置を示す図である。 図２ａのヘッドアップディスプレイにおける光学設計構成の一態様を示す概念図である。 図２ａのヘッドアップディスプレイにおける光学設計構成の他の態様を示す概念図である。 本発明によるヘッドアップディスプレイで実現される画像の一態様を示す概念図である。 本発明によるヘッドアップディスプレイで実現される画像の他の態様を示す概念図である。 地面に虚像を出力するディスプレイ素子の画像生成方法を示す概念図である。 ３次元物体の２次元地面画像の生成方法を示す概念図である。 ３次元物体の２次元地面画像の生成方法を示す概念図である。 ３次元物体の画像を２次元地面画像の生成方法に組み合わせる理論を説明する概念図である。 図６の理論を用いたデータ処理方法の一例を示すフローチャートである。 図７の各ステップに対応するイメージの例を示す図である。 図６の理論を用いたデータ処理方法の他の例を示すフローチャートである。 図９の各ステップに対応するイメージの例を示す図である。
以下、添付図面を参照して本明細書に開示される実施形態について詳細に説明するが、図面番号に関係なく同一又は類似の構成要素には同一又は類似の符号を付し、その説明は省略する。以下の説明で用いる構成要素の接尾辞である「モジュール」及び「部」は、明細書の作成を容易にするために付与又は混用されるものであり、それ自体が有意性や有用性を有するものではない。また、本明細書に開示される実施形態について説明するにあたって、関連する公知技術についての具体的な説明が本明細書に開示される実施形態の要旨を不明にする恐れがあると判断される場合は、その詳細な説明を省略する。なお、添付図面は本明細書に開示される実施形態を容易に理解できるようにするためのものにすぎず、添付図面により本明細書に開示される技術的思想が限定されるものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物又は代替物が本発明に含まれるものと理解されるべきである。
第１、第２などのように序数を含む用語は様々な構成要素を説明するために用いられるが、上記構成要素は上記用語により限定されるものではない。上記用語は１つの構成要素を他の構成要素と区別する目的でのみ用いられる。
ある構成要素が他の構成要素に「連結」又は「接続」されていると言及された場合は、他の構成要素に直接連結又は接続されていてもよく、中間にさらに他の構成要素が存在してもよいものと解すべきである。それに対して、ある構成要素が他の構成要素に「直接連結」又は「直接接続」されていると言及された場合は、中間にさらに他の構成要素が存在しないものと解すべきである。
単数の表現には、特に断らない限り複数の表現が含まれる。
本明細書において、「含む」や「有する」などの用語は、明細書に記載された特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせが存在することを指定しようとするもので、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はそれらの組み合わせの存在や付加可能性を予め排除するものではないと理解すべきである。
より具体的には、本発明は、地面に一致した画像から立った形態のグラフィックオブジェクトを実現する方法を提供する。
また、本発明は、地面に一致した画像と地面上で正立した立体感を有するイメージを共に実現するヘッドアップディスプレイ及びその制御方法を提供する。
本発明は、ヘッドアップディスプレイ及びその制御方法に関するものであり、具体的には、車両で運転者の前方に情報を出力するヘッドアップディスプレイを提供するものである。
ここで、ヘッドアップディスプレイ（ＨＵＤ）とは、自動車又は航空機で運転者又はパイロットの前方に設置された画面表示装置をいい、運転者又はパイロットが頭を上げたまま各種情報を視認できるようにしたディスプレイを意味する。本発明においては、説明の便宜上、ヘッドアップディスプレイが車両、とりわけ自動車に適用された場合を例に挙げるが、本発明は、必ずしもこれに限定されるものではない。例えば、前記車両は、運転者が搭乗する動力装置であればよく、自動車、オートバイ、電動キックボード、電動自転車、電動車椅子、ヘリコプター、航空機、船舶、建設装置、移動ロボットなど様々である。
このように、本発明によるヘッドアップディスプレイ及びその制御方法は、ユーザが頭を上げたまま各種情報を視認できるようにした装置であり、様々なタイプの車両に適用することができる。以下、説明の便宜上、自動車を例に挙げて、本発明によるヘッドアップディスプレイ及びその制御方法についてより詳細に説明する。
図１は、本発明によるヘッドアップディスプレイで実現される画像を説明するための概念図である。
図１は、車両の運転席にいるユーザの視線から認識される虚像として、様々なグラフィックオブジェクト１１１、１１２が出力された場合を例示する。本例示では、コンバイナ１２１を用いてグラフィックオブジェクト１１１、１１２を出力するが、ウインドシールドを用いる方式を適用することもできる。
本発明においては、実世界での物体（例えば、標識板）を画像内にグラフィック（又はイメージ）で表現したものをグラフィックオブジェクトという。ここで、グラフィックオブジェクトは、独立して区分できる物体単位で形成されるようにしてもよい。例えば、３次元物体である「標識板」に対応するグラフィックオブジェクトと、２次元物体である「車線」に対応するグラフィックオブジェクトがそれぞれ存在し得る。
この場合、前記車両の周辺空間は、２次元空間と３次元空間とに定義される。前記車両が走行する走行面が前記２次元空間であり、前記車両が走行する立体空間が前記３次元空間１２である。前記走行面は、地面１１ともいい、前記車両の車輪が接する面と解される。また、本発明において、前記地面は、必ずしも前記走行面に限定されるものではなく、道路面や歩行路面などであり得る。
一方、前記車両に搭乗したユーザは、地面１１及び３次元空間１２の少なくとも一方の空間を見る。
本発明のヘッドアップディスプレイにおいては、地面１１に拡張現実の情報を虚像として出力することができる。例えば、前記ユーザが注視している視点の実際の道路面上に仮想のイメージを表示することができる。
ここで、前記仮想のイメージは、地面１１に位置する仮想のスクリーンに２次元的に表示されるので、２次元グラフィックオブジェクト１１１ともいう。２次元グラフィックオブジェクト１１１は、走行中の道路上での方向転換（右左折）情報、車線情報、前車との距離情報、走行方向表示（又はナビゲーション情報）、制限速度表示、車線逸脱警報などの情報の少なくとも１つに対応するものであってもよい。その例として、２次元グラフィックオブジェクト１１１は、同図に示すように、車線情報、走行速度情報及び走行方向表示（又はナビゲーション情報）の少なくとも１つに対応するものであってもよい。より具体的には、同図に示すように、制限速度６０に関する情報と車線内の走行ガイドが地面１１上に２次元グラフィックオブジェクト１１１で出力される。
他の意味として、前記ディスプレイ素子から出力される光により画像が形成され、前記画像の虚像は、地面１１に対応する虚像平面に形成される２次元グラフィックオブジェクトを備える。
このように、本発明によるヘッドアップディスプレイにおいて、仮想のスクリーンを地面に対応させることにより、ユーザは、様々な運転環境で目の焦点を他の所に移動させることなく直観的に情報を視認することができる。すなわち、ヘッドアップディスプレイは、伝達する情報を、ユーザが運転中に実際に注視する地面に拡張現実で実現することができる。
一方、同図に示すように、本発明によるヘッドアップディスプレイは、３次元空間１２に立体感を有するグラフィックオブジェクトを出力することができる。より具体的には、前記立体感を有するグラフィックオブジェクトは、前記虚像平面上で正立する３次元グラフィックオブジェクト１１２を備えてもよい。
３次元グラフィックオブジェクト１１２は、地面１１に位置し、かつ少なくとも一部が３次元空間１２に突出する形態の３次元イメージであり、ユーザが立体として認識するイメージであってもよい。その例として、３次元グラフィックオブジェクト１１２は、地面１１上に立てられた正立イメージであってもよい。また、３次元グラフィックオブジェクト１１２は、関心地点（ＰＯＩ）、案内文句、到着地及び周辺車両の少なくとも１つに関する情報であってもよい。
より具体的には、前記正立イメージは、異なる特性を有する第１正立イメージ及び第２正立イメージのいずれかであってもよい。
ここで、第１正立イメージは、深さ値（デプス値）を有する３次元イメージであってもよい。この場合、第１正立イメージは、左眼画像と右眼画像の組み合わせにより形成されてもよく、ホログラムで実現されてもよい。
また、第２正立イメージは、実際の深さ値を有するのではなく、錯視現象などにより３次元イメージのように感じるイメージであってもよい。第２正立イメージは、２次元平面上に位置するが、錯視現象により、運転者が地面に立てられたように感じるようになる。以下、前記正立イメージが前記第２正立イメージに実現される場合を例示する。ただし、本発明は、必ずしもこれに限定されるものではなく、前記第１正立イメージを実現する方法の一部としても用いることができる。同図に示すように、前記車両の右前方にガソリンスタンドが位置するようになると、前記車両は、前記ガソリンスタンドに関する情報を認識し、前記ヘッドアップディスプレイは、前記ガソリンスタンドが位置する地点にガソリンスタンドイメージを出力する。
前記ガソリンスタンドイメージは、３次元グラフィックオブジェクト１１２であってもよく、例えば、地面１１上に立てられたイメージであってもよい。
このように、本発明においては、地面１１に一致した２次元グラフィックオブジェクト１１１を生成するヘッドアップディスプレイを用いて、地面１１上に立体感を有する３次元グラフィックオブジェクト１１２を出力する。
このように、本発明は、伝達する情報を、ユーザが注視する地面に拡張現実として提供し、その場合、前記情報の種類によって２次元グラフィックオブジェクトと３次元グラフィックオブジェクトを選択し、より直観的なヘッドアップディスプレイを実現する。以下、添付図面を参照して、本発明によるヘッドアップディスプレイ及びその制御方法についてより具体的に説明する。
図２ａは、本発明の一実施形態によるヘッドアップディスプレイにおける画像の位置を示す図であり、図２ｂ及び図２ｃは、図２ａのヘッドアップディスプレイにおける光学設計構成の様々な態様を示す概念図であり、図３ａ及び図３ｂは、本発明によるヘッドアップディスプレイで実現される画像の様々な態様を示す概念図である。
まず、図２ａを参照すると、本発明によるヘッドアップディスプレイは、ユーザ１３が視認できる仮想の画像、すなわち虚像１１０の位置を、運転者の前方路面、すなわち地面１１に対応するように横になった３次元視点で表現することができる。
一般的な車両用ヘッドアップディスプレイの光学系を通した画像は、運転者の前方２～３ｍの固定された距離に位置し、地面１１に対して略垂直である。それとは異なり、本発明によるヘッドアップディスプレイは、３次元拡張現実ディスプレイであって、運転者が注視する前方の地面１１に対応する仮想の平面上に虚像１１０を位置させるものである。
この場合、本発明によるヘッドアップディスプレイは、ディスプレイ素子及び光学系を備えてもよい。本発明によるヘッドアップディスプレイは、一般的なプロジェクタのようにスクリーンに直接投射（projection）して実像を生成する方式ではなく、前記光学系を通して反射して視認できる虚像１１０を生成する方式である。
前記ディスプレイ素子は、光を出力し、前記光学系は、前記光により形成される画像が光透過性領域に向けて出力されるように、前記光の経路を屈折や反射などにより制御する。
前記光学系は、前記ディスプレイ素子の画像を結像する結像光学系であってもよい。前記結像光学系は、光が前記光透過性領域を通過することにより広がり、地面に虚像を出力するように構成される。ここで、前記光透過性領域は、コンバイナ１２１（図２ｂ参照）又はウインドシールド２２１（図２ｃ参照）に形成されてもよい。
まず、図２ｂに示すように、本発明によるヘッドアップディスプレイ１２０は、ディスプレイ素子１２２及びコンバイナ１２１を含んでもよい。
ディスプレイ素子１２２は、ディスプレイパネル、ディスプレイソースなどともいい、ＬＣＤ（Liquid Crystal Display）、ＬＥＤ（Light Emitting Diode）、ＤＬＰ（Digital Light Projector）、ＯＬＥＤ（Organic Light Emitting Diodes）、ＬＤ（Laser Diode）、ＬＢＳ（Laser Beam Scanning）のいずれかであってもよい。
コンバイナ１２１は、光をユーザの目の方向に反射すると共に外部（前方）に向けて透過させるように構成される。コンバイナ１２１は、単一又は複数の光学素子からなるようにしてもよい。以下では、説明の便宜上、単一の光学素子からなるコンバイナを用いた場合を仮定して説明する。
画像の品質を向上させるために、また、場合に応じて最適な大きさと性能を持たせるために、ディスプレイ素子１２２とコンバイナ１２１間にさらなる光学系（図示せず）を含んでもよい。また、コンバイナ１２１は、ヘッドアップディスプレイ１２０に含まれる素子として構成されてもよい。
一方、車両のウインドシールド２２１をコンバイナとして用いることも可能である。図２ｃに示すように、車両のウインドシールド２２１をコンバイナとして用いるために、ヘッドアップディスプレイ２２０は、ディスプレイ素子２２２及びミラー２２３を備えてもよい。
ディスプレイ素子２２２は、前述したコンバイナ方式のディスプレイ素子と同じ特徴を有するので、その説明は省略する。
ミラー２２３は、ディスプレイ素子２２２の光をウインドシールド２２１に反射し、仮想の画像（虚像）を運転者の前方地面にフォーカシングする機能を有する。ここで、ウインドシールド２２１は、ミラー２２３に反射した光源の光をアイボックスに向けて反射すると共に、外部（前方）に向けて透過させる役割を果たす。前記アイボックスとは、ユーザがイメージを視認できる空間ボリュームであって、運転者の目の位置を意味する。
ヘッドアップディスプレイ２２０は、光源の光をミラー２２３とウインドシールド２２１を経て地面に投射させる構造を含み、仮想の画像を運転者の前方地面に位置させることができる。ここで、ミラー２２３は、光学系であって、複数のミラーを備えてもよい。
前述したように、本発明においては、コンバイナ方式のヘッドアップディスプレイとウインドシールド方式のヘッドアップディスプレイをどちらも適用することができ、地面１１に虚像１１０を位置させるように構成される。また、本発明は、図１を参照して説明したように、地面１１に位置する虚像１１０で立体感を有する３次元グラフィックオブジェクト１１２（図１参照）を実現する。
このように、本発明においては、２次元グラフィックオブジェクトを実現するディスプレイ素子と、３次元グラフィックオブジェクトを実現するディスプレイ素子とを別途備えるのではなく、単一のディスプレイ素子で２次元グラフィックオブジェクト及び３次元グラフィックオブジェクトを実現する。例えば、前記ディスプレイ素子は、単一の画像を形成し、前記単一の画像に前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトが生成されるようにしてもよい。この場合、前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトは、選択的に生成されるようにしてもよく、同時に生成されるようにしてもよい。
前記３次元グラフィックオブジェクトの一例として、図３ａに示すように、横断歩道での車両の速度超過防止のために、障害物イメージ１１３が地面上に形成されるようにしてもよい。前記３次元グラフィックオブジェクトの他の例として、図３ｂに示すように、周辺状況に関する情報である案内文句１１４が地面に立てられた形態で出力されるようにしてもよい。案内文句１１４は、アイボックスから見たとき立てられた字に見えるように実現され、高い可読性を運転者に提供する。
図３ａ及び図３ｂに示すように、本発明のヘッドアップディスプレイは、３次元グラフィック情報を地面上に出力し、より直観的な情報を運転者に提供する。
車両用ナビゲーションにおいては、走行中の道路上の経路情報、車線情報、前車との距離情報などを主な情報として提供する。また、ＡＤＡＳ（Advanced Driver-Assistance System）においては、運転者に安全に関する情報を提供するが、ここで、安全に関する情報には、車線情報、前車／隣車との距離情報、突発情報などが含まれる。同様に、自律走行時、運転の主体である車両は、道路上の方向転換や車線変更などのように今後起こる状況に関する情報を搭乗者に提供する必要がある。経路情報は、経路を案内するための情報であって、直進、方向転換などを案内するＴＢＴ（turn-by-turn）情報が含まれる。
このような様々な情報は、２次元グラフィックオブジェクト及び３次元グラフィックオブジェクトのいずれかに選択され、本発明のヘッドアップディスプレイにより地面上で実現される。
このとき、前記ヘッドアップディスプレイは、３次元グラフィック情報を虚像として地面上に提供し、前記虚像に対応する画像が前記ディスプレイ素子で生成されるように前記ディスプレイ素子を制御する制御部（図示せず）を備えてもよい。前記制御部は、前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックスを基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて、前記画像を生成する。ただし、本発明は、必ずしもこれに限定されるものではない。例えば、前記画像の生成は、サーバやコンピュータなどの別個の装置で実現されるようにしてもよい。この場合、通信により、前記生成された画像が車両又はヘッドアップディスプレイに送信されるようにしてもよい。
このように、本発明においては、異なる視点を一致させる方法により、ディスプレイ素子の画像を導出する。
この場合、前記第１視点は、前記地面で前記虚像を認識する運転者視点であり、前記第２視点は、仮想カメラのカメラ視点であり、前記運転者視点と前記カメラ視点とを一致させることにより前記画像が生成される。以下、このようなディスプレイ素子の画像導出方法についてより詳細に説明する。
より具体的には、以下、地面に位置する画像を実現するヘッドアップディスプレイを用いて、前記制御部が前記地面に立体感を有する３次元グラフィックを出力する方法についてより詳細に説明する。
図４は、地面に虚像を出力するディスプレイ素子の画像生成方法を示す概念図であり、図５ａ及び図５ｂは、３次元物体の２次元地面画像の生成方法を示す概念図であり、図６は、３次元物体の画像を２次元地面画像の生成方法に組み合わせる理論を説明する概念図である。
本発明においては、運転者視点で立った形態で視認される画像を地面に実現する。そのために、ヘッドアップディスプレイにおいては、画像を生成する２次元空間（地面、２次元イメージ平面）を３次元空間に切り替え、前記３次元空間に正立画像を生成し、その後前記生成された画像を前記２次元空間に切り替える方法を用いる。
図４は、画像を地面に位置させるヘッドアップディスプレイにおいて、ディスプレイ素子（例えば、ＬＣＤ）で生成された画像が運転者に視認されるステップを示す。まず、ディスプレイ素子（ＬＣＤ）から画像が出力されると、前記画像は、ヘッドアップディスプレイの光学系の特性が反映された変換行列Ｍにより、地面に表示される画像に変換される。
ここで、変換行列Ｍは、ディスプレイ素子（ＬＣＤ）においてトップビュー（平面）にマッピングするインデックスを含むマッピングマトリクスで定義され、前記ディスプレイ素子（ＬＣＤ）の画像を、前記地面を基準に上方から見たトップビュー（平面）の画像に切り替える。すなわち、前記ディスプレイ素子（ＬＣＤ）の画像に前記ヘッドアップディスプレイの光学系の特性を反映すると、トップビュー画像（平面画像）に変換される。ここで、前記ヘッドアップディスプレイの光学系は、前記地面に位置する虚像を出力する結像光学系の特性を有するようにしてもよい。
その後、前記トップビュー画像は、運転者の位置と画像が表示された地面の関係に応じた変換行列Ｄｖにより、地面に表示された画像を運転者が３次元視点で見る画像に切り替えられる。ここで、前記運転者の位置とは、目の高さを含む位置を意味する。
このような画像生成方法により、車両の運転席のユーザが前記ディスプレイ素子（ＬＣＤ）から出力される画像を地面で認識するようになり、それは運転者視点の画像と定義される。
一方、図５ａ及び図５ｂは、地面に限定されることなく、３次元空間上に自由に生成された画像が運転者に視認されるステップの一部を示す。すなわち、３次元物体を２次元地面画像に切り替えるステップを示す。
まず、仮想カメラ１４０が特定の物体１４１（Ｏｂｊ）を見ていると仮定すると、特定の物体１４１（Ｏｂｊ）は、仮想カメラ１４０の視野角（camera FoV）内の３次元空間上に位置する。このとき、特定の物体１４１（Ｏｂｊ）は、物体をカメラの位置及び角度（あるいは運転者の視点）に応じて地面に投影（projection）する変換行列Ｃにより、３次元空間上の特定の物体１４１（Ｏｂｊ）がカメラの位置及び角度に応じて地面１１に投影された画像１４２に変換される。より具体的には、特定の物体１４１（Ｏｂｊ）は、カメラの視野角内の物体を地面に投影する変換行列Ｃを用いて、カメラで投影して上方から見たトップビューの画像に切り替える。
この場合、仮想カメラが見る３次元空間は歪みのない空間であるので、図５ａのカメラで投影して上方から見たトップビューの画像は正しい台形となる。これは、図４においてトップビューの画像が曲がるのとは異なる。
その後、前記上方から見たトップビューの画像は、前記仮想カメラが前記地面の画像を見る関係を示す行列Ｃｖにより、前記仮想カメラが前記地面に投影された画像を３次元視点で見る画像に実現される。このような方法によれば、３次元空間上の物体を仮想カメラが３次元視点で見るとき地面に投影される画像に切り替えることができる。
前述した３次元物体を２次元地面画像に切り替える方法は、本発明のヘッドアップディスプレイの画像生成方法に組み合わせることができる。すなわち、３次元空間上の物体を３次元グラフィックに変換し、地面上に位置させることである。より具体的には、図６は、３次元空間上の物体を本発明のヘッドアップディスプレイに組み合わせる方法を示す。
図４を参照して説明した地面に虚像を出力するディスプレイ素子の画像生成方法と、図５ａ及び図５ｂを参照して説明した３次元空間上の物体を３次元グラフィックとして生成する方法とを組み合わせる。このような組み合わせにより、３次元空間上に位置する物体を見るカメラ視点で運転者がヘッドアップディスプレイを通して見て立体感ある３次元グラフィックオブジェクトを認知するようになる。ここで、３次元空間上に位置する物体は、ヘッドアップディスプレイを通して運転者に伝達したい情報で生成されるようにしてもよい。このような方法によれば、３次元グラフィックオブジェクトで伝達したい情報を、本発明のヘッドアップディスプレイを通して、地面上に立体感を有するように出力することができる。
そのために、３次元空間上での仮想カメラの位置は、実際の運転者のアイボックスの位置と一致させるようにしてもよい。こうすることにより、運転者視点とカメラ視点とが同じであるという条件が成立する。
よって、前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトは、アイボックスを基準に異なる視点処理により生成される。すなわち、前記２次元グラフィックオブジェクトは、運転者視点のみを考慮して生成し、前記３次元グラフィックオブジェクトは、アイボックスを基準に運転者視点とカメラ視点とを一致させて生成する。
上記条件により、前記ヘッドアップディスプレイが出力する立体感を有するグラフィックオブジェクトは、前記カメラ視点を基準に前記３次元空間上に形成されて前記運転者視点を基準に前記地面の２次元平面に投影されて実現される。
より具体的には、上記条件を用いると、３次元空間上で実現したい特定の物体（Ｏｂｊ）を運転者が見ているヘッドアップディスプレイで生成するために、実際にディスプレイ素子（ＬＣＤ）から出力する画像は、下記数式１で導出することができる。
ＬＣＤ＝Ｍ－１・Ｄｖ－１・Ｃｖ・Ｃ・Ｏｂｊ （数式１）
ここで、Ｃｖ＝Ｃ－１であり得る。これは、仮想カメラの位置及び角度に応じて特定の物体（Ｏｂｊ）が視認される形状を地面に投影し、再び同じ位置及び角度で前記カメラに映る画像を取得するからである。
また、Ｄｖ＝Ｃｖであり得る。これは、仮想カメラを運転者の目、より正確にはアイボックスの位置に一致させると、仮想カメラと運転者が地面の画像を見る条件が同一になるからである。
よって、上記数式１は、下記数式２のようにまとめられる。
ＬＣＤ＝Ｍ－１・Ｃ・Ｏｂｊ （数式２）
このように、本発明のヘッドアップディスプレイを用いて３次元グラフィックオブジェクトを地面に出力する方法は、結局、伝達する情報に対応する特定の物体１４１（Ｏｂｊ）を、Ｍ－１とＣを用いて、前記ディスプレイ素子（ＬＣＤ）から実際に出力する画像に変換する方法であり得る。ここで、Ｍ－１は、本発明のヘッドアップディスプレイの光学系の特性が反映された変換行列の逆変換行列であり、Ｃは、特定の物体１４１（Ｏｂｊ）をカメラの位置及び角度（あるいは運転者の視点）に応じて地面に投影する変換行列である。
このように、前記ヘッドアップディスプレイの制御部は、前記グラフィックオブジェクトに対応する３次元物体を前記地面に投影する変換と、前記画像を前記虚像に変換する前記光学系の特性を用いて、前記３次元物体が前記地面に投影された前記グラフィックオブジェクトを生成する。
理論的に、本発明においては、上記数式２を用いて、３次元グラフィックオブジェクトを地面に出力するディスプレイ素子（ＬＣＤ）の画像を導出する制御方法を提示する。以下、図７～図１０ｃを参照して、本発明のヘッドアップディスプレイの制御方法についてより詳細に説明する。
図７は、図６の理論を用いたデータ処理方法の一例を示すフローチャートであり、図８は、図７の各ステップに対応するイメージの実際の形状の例を示す図であり、図９は、図６の理論を用いたデータ処理方法の他の例を示すフローチャートであり、図１０は、図９の各ステップに対応するイメージの実際の形状の例を示す図である。
図７及び図８を参照して、まず、ＬＣＤ＝Ｍ－１・Ｃ・ＯｂｊからＣ・Ｏｂｊを求め、その後、その結果値をＭ－１と内積して、ディスプレイ素子（ＬＣＤ）で生成する画像を導出する方法について説明する。この場合、Ｃ・Ｏｂｊは、シミュレーションにより導出することができる。
図７に示すように、本発明のヘッドアップディスプレイの制御方法においては、まず、前記ヘッドアップディスプレイを通して伝達する情報を選択するステップ（Ｓ１１０）が行われる。
前記伝達する情報は、図１～図３ｂを参照して説明した２次元グラフィックオブジェクト及び３次元グラフィックオブジェクトが代表する情報であってもよい。例えば、図１に示すように、前方にガソリンスタンドが位置するようになると、ガソリンスタンドの位置や存在の有無が前記伝達する情報となり、ガソリンスタンドイメージが３次元グラフィックオブジェクトとなる。
次に、ディスプレイ素子により形成される画像の虚像を車両の前方地面に配置する光学系を用いて、前記画像を出力するステップ（Ｓ１２０）が行われる。
この場合、前記画像を出力するステップ（Ｓ１２０）においては、前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックスを基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて、前記画像を生成する。
前記第１視点は、前記車両の運転席のユーザが地面を見る運転者視点であってもよい。また、前記第２視点は、仮想のカメラが前記車両の前方を見るカメラ視点であってもよい。前記画像を出力するステップは、図６を参照して説明したように、前記第１視点と前記第２視点とのアイボックスを一致させる方法により前記画像を生成する。
同図に示すように、前記画像を出力するステップ（Ｓ１２０）は、投影するステップ（Ｓ１２１）と、変換するステップ（Ｓ１２２）とを含んでもよい。これらのステップにおいては、前記３次元グラフィックオブジェクトの対象となる３次元物体（又は情報）を前記地面に投影したイメージを生成し、前記投影したイメージを前記光学系の特性を用いて前記虚像に対応する画像に変換する。
例えば、前記投影するステップ（Ｓ１２１）は、前記アイボックスを基準に前記グラフィックオブジェクトに対応する対象物を前記地面に投影するステップであってもよい。これは、ＬＣＤ＝Ｍ－１・Ｃ・ＯｂｊからＣ・Ｏｂｊを求めるステップであり、特定の物体がカメラの位置及び角度に応じて地面に投影されるイメージを求めるステップであってもよい。
図８は、前記グラフィックオブジェクトに対応する対象物を前記地面に投影したイメージを例示する。地面を上方から見たトップビューの画像として、同図においては、白黒領域が反復及び連続するイメージを例示する。
次に、前記変換するステップ（Ｓ１２２）は、前記グラフィックオブジェクトが前記虚像になるように、前記地面に投影された対象物のイメージに前記光学系の特性を反映して前記ディスプレイ素子により形成される画像に変換するステップであってもよい。
このようなプロセスにより導出された画像をディスプレイ素子に出力すると、ユーザは地面に位置する虚像で３次元グラフィックオブジェクト（又は３次元イメージ）を認識するようになる（Ｓ１３０）。
より具体的には、Ｃ・Ｏｂｊの結果値をＭ－１と内積して、ディスプレイ素子（ＬＣＤ）で生成する画像を導出する。図８を参照すると、実際にＬＣＤから出力する画像が上記方法により導出されており、ユーザは本発明のヘッドアップディスプレイを通して運転者視点で立体感あるイメージを認識するようになる。
一方、前記ヘッドアップディスプレイの制御方法を実行するために、前記ヘッドアップディスプレイの制御部を別途備えてもよい。
次に、図９及び図１０を参照して、ＬＣＤ＝Ｍ－１・Ｃ・ＯｂｊからＭ－１・Ｃを求め、その後、その結果値をＯｂｊと内積して、ディスプレイ素子（ＬＣＤ）で生成する画像を導出する方法について説明する。この場合、Ｃは、シミュレーションにより、Ｍは、光学系の設計により設定することができる。
例えば、図９に示すように、本例示の前記ヘッドアップディスプレイの制御方法において、前記画像を出力するステップ（Ｓ２２０）は、変換行列を内積するステップ（Ｓ２２１）と、グラフィックオブジェクトを生成するステップ（Ｓ２２２）とを含んでもよい。これらのステップにおいて、前記ヘッドアップディスプレイの制御部は、前記３次元グラフィックオブジェクトに対応する３次元物体（又は情報）を前記地面に投影する第１変換行列と、前記虚像を前記画像に変換する第２変換行列との内積を用いて、前記３次元物体を前記グラフィックオブジェクトに変換する。
例えば、前記変換行列を内積するステップ（Ｓ２２１）においては、まず、前記第１変換行列と前記第２変換行列との内積を求める。前記第１変換行列は、カメラで物体を地面に投影するＣであり、前記第２変換行列は、前記ヘッドアップディスプレイのディスプレイ素子でトップビューにマッピングするＭの逆行列であってもよい。
次に、前記グラフィックオブジェクトを生成するステップ（Ｓ２２２）は、内積の結果値を用いて３次元物体をグラフィックオブジェクトに変換する。
図１０を参照すると、本例示の制御方法により、３次元空間上に位置する物体（Ｏｂｊ）を実際にディスプレイ素子に出力する画像に変換した結果を確認することができる。
具体例として、図１０の（ａ）を参照すると、３次元空間上に左折表示の矢印が３次元物体である正立画像として配置され、その下方に走行方向を示す線が地面に対して水平に２次元平面上に配置される。これらの物体を本例示の制御方法により画像に切り替えると、図１０の（ｂ）に示すように、ディスプレイ素子（ＬＣＤ）に出力する画像が導出される。また、本発明のヘッドアップディスプレイにより、ユーザは、図１０の（ｃ）に示すように、走行方向を示す２次元グラフィックオブジェクトと左折表示を示す３次元グラフィックオブジェクトを認識するようになる。
以上説明したように、本発明によるヘッドアップディスプレイ及びその制御方法は、画像の位置を地面に対応させる形態の表示方法において、地面上に立てられた形態の画像を実現することができる。よって、拡張現実の事実的な情報を地面上で立体感を有するグラフィックオブジェクトで提供することができる。また、地面上に立体感を有するグラフィックオブジェクトを実現するので、可読性が向上し、より直観的な形態で情報を伝達できるヘッドアップディスプレイを実現することができる。さらに、本発明によれば、運転者視点とカメラ視点とを一致させる方法を用いてより簡単なデータ処理だけでも地面を基準に２次元グラフィックオブジェクトと３次元グラフィックオブジェクトとを組み合わせた画像を実現することができる。また、これにより、単一のディスプレイで異なる形態の画像出力を実現することができる。
前述したヘッドアップディスプレイ及びその制御方法は、上記実施形態の構成や方法に限定されるものではなく、上記実施形態に様々な変形が行われるように、各実施形態の全部又は一部を選択的に組み合わせて構成してもよい。
１１ 地面
１２ ３次元空間
１１０ 虚像
１１１、１１２ グラフィックオブジェクト
１２０ ヘッドアップディスプレイ
１２１ コンバイナ
１２２ ディスプレイ素子
１４０ 仮想カメラ
１４１ 物体
１４２ 画像
２２０ ヘッドアップディスプレイ
２２１ ウインドシールド
２２２ ディスプレイ素子
２２３ ミラー

Claims (15)

  1. 車両のヘッドアップディスプレイにおいて、
    光を出力するディスプレイ素子と、
    前記光により形成される画像が光透過性領域に向けて出力されるように、前記光の経路を制御する光学系と、
    前記画像が形成されるように前記ディスプレイ素子を制御する制御部とを含み、
    前記光学系は、前記画像の虚像が前記車両の前方地面に位置するように前記光の経路を制御し、
    前記画像は、
    前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックスを基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて生成される、車両のヘッドアップディスプレイ。
  2. 前記第１視点は、前記地面で前記虚像を認識する運転者視点であり、前記第２視点は、仮想カメラのカメラ視点であり、前記運転者視点と前記カメラ視点とを一致させることにより前記画像が生成される、請求項１に記載の車両のヘッドアップディスプレイ。
  3. 前記グラフィックオブジェクトは、前記カメラ視点を基準に前記３次元空間上に形成されて前記運転者視点を基準に前記地面の２次元平面に投影される、請求項２に記載の車両のヘッドアップディスプレイ。
  4. 前記制御部は、
    前記グラフィックオブジェクトに対応する３次元物体を前記地面に投影する変換と、前記画像を前記虚像に変換する前記光学系の特性を用いて、前記３次元物体が前記地面に投影された前記グラフィックオブジェクトを生成する、請求項１～３のいずれか１項に記載の車両のヘッドアップディスプレイ。
  5. 前記制御部は、
    前記３次元物体を前記地面に投影したイメージを生成し、前記投影したイメージを前記光学系の特性を用いて前記虚像に対応する画像に変換する、請求項４に記載の車両のヘッドアップディスプレイ。
  6. 前記制御部は、
    前記３次元物体を前記地面に投影する第１変換行列と、前記虚像を前記画像に変換する第２変換行列との内積を用いて、前記３次元物体を前記グラフィックオブジェクトに変換する、請求項４に記載の車両のヘッドアップディスプレイ。
  7. 前記画像の虚像は、前記地面に対応する虚像平面に形成される２次元グラフィックオブジェクトを備え、
    前記立体感を有するグラフィックオブジェクトは、前記虚像平面上で正立する３次元グラフィックオブジェクトを備える、請求項１～６のいずれか１項に記載の車両のヘッドアップディスプレイ。
  8. 前記ディスプレイ素子は、単一の画像を形成し、前記単一の画像に前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトが生成される、請求項７に記載の車両のヘッドアップディスプレイ。
  9. 前記２次元グラフィックオブジェクトは、車線、走行速度及び走行方向表示の少なくとも１つに関する情報であり、前記３次元グラフィックオブジェクトは、関心地点、案内文句、到着地及び周辺車両の少なくとも１つに関する情報である、請求項７に記載の車両のヘッドアップディスプレイ。
  10. 前記光透過性領域は、コンバイナ又はウインドシールドに形成される、請求項１～９のいずれか１項に記載の車両のヘッドアップディスプレイ。
  11. ヘッドアップディスプレイにおいて、
    画像を出力するディスプレイ素子と、
    前記画像を光透過性領域を通して結像し、前記画像の虚像が車両の前方地面に位置するように光の経路を制御する結像光学系と、
    前記画像が形成されるように前記ディスプレイ素子を制御する制御部とを含み、
    前記制御部は、前記地面に対応する２次元グラフィックオブジェクト、及び前記地面を基準に立体感を有する３次元グラフィックオブジェクトが前記地面に配置されるように前記画像を生成し、
    前記２次元グラフィックオブジェクト及び前記３次元グラフィックオブジェクトは、アイボックスを基準に異なる視点処理により生成される、ヘッドアップディスプレイ。
  12. 前記制御部は、
    ３次元物体を前記地面に投影する変換と、前記画像を前記地面を基準に前記虚像に変換する前記光学系の特性を用いて、前記３次元物体が前記地面に投影された前記３次元グラフィックオブジェクトを生成する、請求項１１に記載のヘッドアップディスプレイ。
  13. ヘッドアップディスプレイの制御方法において、
    前記ヘッドアップディスプレイを通して伝達する情報を選択するステップと、
    ディスプレイ素子により形成される画像の虚像を車両の前方地面に配置する光学系を用いて、前記画像を出力するステップとを含み、
    前記画像を出力するステップは、前記画像の虚像に前記地面を基準に立体感を有するグラフィックオブジェクトが含まれるように、アイボックスを基準に前記地面を向く第１視点、及び前記アイボックスを基準に前記地面上の３次元空間を向く第２視点を用いて、前記画像を生成する、ヘッドアップディスプレイの制御方法。
  14. 前記画像を出力するステップは、
    前記アイボックスを基準に前記グラフィックオブジェクトに対応する対象物を前記地面に投影するステップと、
    前記グラフィックオブジェクトが前記虚像になるように、前記地面に投影された対象物のイメージに前記光学系の特性を反映して前記ディスプレイ素子により形成される画像に変換するステップとを含む、請求項１３に記載のヘッドアップディスプレイの制御方法。
  15. 前記画像を出力するステップは、
    ３次元物体を前記地面に投影する第１変換行列と、前記虚像を前記画像に変換する第２変換行列との内積を用いて、前記グラフィックオブジェクトを生成する、請求項１３又は１４に記載のヘッドアップディスプレイの制御方法。
JP2021133896A 2020-08-27 2021-08-19 ヘッドアップディスプレイ及びその制御方法 Pending JP2022040021A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0108424 2020-08-27
KR1020200108424A KR102543899B1 (ko) 2020-08-27 2020-08-27 헤드업 디스플레이 및 그 제어방법

Publications (1)

Publication Number Publication Date
JP2022040021A true JP2022040021A (ja) 2022-03-10

Family

ID=76920606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021133896A Pending JP2022040021A (ja) 2020-08-27 2021-08-19 ヘッドアップディスプレイ及びその制御方法

Country Status (5)

Country Link
US (1) US11897394B2 (ja)
EP (1) EP3961293A1 (ja)
JP (1) JP2022040021A (ja)
KR (1) KR102543899B1 (ja)
CN (1) CN114114685A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114999213B (zh) * 2022-05-26 2024-04-30 中显全息(北京)科技有限公司 地面交通引导装置及地面交通辅助系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130181823A1 (en) * 2010-09-15 2013-07-18 Continental Teve AG & Co., oHG Visual Driver Information and Warning System for a Driver of a Motor Vehicle
JP2015065614A (ja) * 2013-09-26 2015-04-09 日産自動車株式会社 情報表示制御装置
JP2018159882A (ja) * 2017-03-23 2018-10-11 日本精機株式会社 ヘッドアップディスプレイ装置
JP2020112542A (ja) * 2019-01-16 2020-07-27 株式会社デンソー 表示システム、表示制御装置及び表示制御プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3098689B1 (en) * 2014-01-23 2019-04-03 Sony Corporation Image display device and image display method
JP6310149B2 (ja) * 2015-07-28 2018-04-11 株式会社日立製作所 画像生成装置、画像生成システム及び画像生成方法
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
KR20170060652A (ko) * 2015-11-24 2017-06-02 현대오트론 주식회사 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP6493361B2 (ja) * 2016-04-01 2019-04-03 株式会社デンソー 車両用装置、車両用プログラム、フィルタ設計プログラム
KR101899981B1 (ko) * 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
KR101909374B1 (ko) * 2017-02-23 2018-10-17 엘지전자 주식회사 차량용 헤드 업 디스플레이
US11241960B2 (en) * 2017-04-19 2022-02-08 Maxell, Ltd. Head up display apparatus and display control method thereof
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法
KR102116783B1 (ko) * 2018-10-10 2020-05-29 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
WO2020110580A1 (ja) * 2018-11-30 2020-06-04 株式会社小糸製作所 ヘッドアップディスプレイ、車両用表示システム、及び車両用表示方法
KR20210087271A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 3ｄ 증강 현실 내비게이션 정보 표시 방법 및 장치
CN112738487B (zh) * 2020-12-24 2022-10-11 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130181823A1 (en) * 2010-09-15 2013-07-18 Continental Teve AG & Co., oHG Visual Driver Information and Warning System for a Driver of a Motor Vehicle
JP2015065614A (ja) * 2013-09-26 2015-04-09 日産自動車株式会社 情報表示制御装置
JP2018159882A (ja) * 2017-03-23 2018-10-11 日本精機株式会社 ヘッドアップディスプレイ装置
JP2020112542A (ja) * 2019-01-16 2020-07-27 株式会社デンソー 表示システム、表示制御装置及び表示制御プログラム

Also Published As

Publication number Publication date
EP3961293A1 (en) 2022-03-02
KR20220027494A (ko) 2022-03-08
US11897394B2 (en) 2024-02-13
US20220063510A1 (en) 2022-03-03
CN114114685A (zh) 2022-03-01
KR102543899B1 (ko) 2023-06-20

Similar Documents

Publication Publication Date Title
US8792177B2 (en) Head-up display
KR101409846B1 (ko) 3차원 증강현실 기반 헤드 업 디스플레이 장치
JP2019014474A (ja) 動的焦点面を備える立体ヘッドアップディスプレイ
US8451111B2 (en) Image display apparatus and method for displaying an image
KR102397089B1 (ko) 이미지 처리 방법 및 이미지 처리 장치
KR20150093353A (ko) 헤드 업 디스플레이 장치
JP2017211370A (ja) Ｈｕｄ装置、車両装置、情報表示方法。
WO2022188096A1 (zh) 一种hud系统、车辆及虚像的位置调节方法
JP7003925B2 (ja) 反射板、情報表示装置および移動体
CN210348060U (zh) 一种增强现实抬头显示装置及系统
Seo et al. 59‐4: A Study on Multi‐depth Head‐Up Display
CN113168012A (zh) 表示虚拟图像的体积显示装置及其方法
KR20190011944A (ko) 차량용 삼차원 헤드업 디스플레이 장치 및 그 형성 방법
CN211375182U (zh) 一种抬头显示设备、成像系统和车辆
JP2022040021A (ja) ヘッドアップディスプレイ及びその制御方法
JP6793372B2 (ja) 網膜投影装置、網膜投影システム
JP2018081276A (ja) 虚像表示装置
JP6550690B2 (ja) 表示装置、車両
CN219676374U (zh) 显示装置、抬头显示装置和交通工具
JP7110968B2 (ja) ヘッドアップディスプレイ装置
CN115629515B (zh) 立体投影系统、投影系统和交通工具
KR20180048049A (ko) 차량용 가변 헤드 업 디스플레이 제어 장치 및 방법
CN116165808A (zh) 立体显示装置、立体显示系统和交通工具
CN112014972A (zh) 车辆的视场显示设备的显示装置、相关显示设备和方法
CN112526748A (zh) 一种抬头显示设备、成像系统和车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230925

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231005

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231020