JP2020064047A - コンテンツを視覚化する装置及び方法 - Google Patents

コンテンツを視覚化する装置及び方法 Download PDF

Info

Publication number
JP2020064047A
JP2020064047A JP2019142154A JP2019142154A JP2020064047A JP 2020064047 A JP2020064047 A JP 2020064047A JP 2019142154 A JP2019142154 A JP 2019142154A JP 2019142154 A JP2019142154 A JP 2019142154A JP 2020064047 A JP2020064047 A JP 2020064047A
Authority
JP
Japan
Prior art keywords
content
visualizing
display position
vehicle
route guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019142154A
Other languages
English (en)
Other versions
JP7303691B2 (ja
Inventor
敏重 李
Min-Joong Lee
敏重 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020064047A publication Critical patent/JP2020064047A/ja
Application granted granted Critical
Publication of JP7303691B2 publication Critical patent/JP7303691B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B2027/0192—Supplementary details
    • G02B2027/0198—System for aligning or maintaining alignment of an image in a predetermined direction

Abstract

【課題】コンテンツを視覚化する装置及び方法を提供する。【解決手段】コンテンツを視覚化する装置は、経路案内コンテンツの指示地点及び道路面及び障害物などに基づいてオブジェクト配置空間１１０を生成し、オブジェクト配置空間内で経路案内コンテンツ１２１に対応するグラフィック表現が視覚化される表示位置を決定する。指示地点は、経路案内コンテンツに対応する動作が行われる地点を含む。決定された表示位置に記経路案内コンテンツに対応するグラフィックオブジェクトを３次元的に視覚化する。【選択図】図１

Description

以下、コンテンツを視覚化する技術が提供される。
車両及びその他の運送手段の走行を補助するために様々な視覚情報（Ｖｉｓｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ）を示す拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）のための機能が車両に搭載されたディスプレイ又はナビゲーションを介して提供される。例えば、ＡＲ基盤ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）装置により走行情報を表示しようとする試みが行われている。
一実施形態における課題は、コンテンツを視覚化する方法において、オブジェクト配置空間を生成し、生成されたオブジェクト配置空間内でユーザに情報を提供するグラフィックオブジェクトを視覚化することにある。
一実施形態における別の課題は、コンテンツを視覚化する方法において、先行オブジェクト、例えば、他の車両と重ならない深さに立体的なグラフィックオブジェクトを視覚化することにある。
一実施形態に係るコンテンツを視覚化する方法は、推定された前方道路領域に基づいて３次元のオブジェクト配置空間を生成するステップと、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて、前記経路案内コンテンツに対する表示位置を決定するステップと、前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを３次元的に視覚化するステップとを含む。
前記指示地点は、前記経路案内コンテンツに対応する動作が行われる地点を含み得る。
前記オブジェクト配置空間を生成するステップは、ユーザの視野角及び前記ユーザ視点から障害物までの距離に基づいて前記オブジェクト配置空間を生成するステップを含み得る。
前記グラフィックオブジェクトを３次元的に視覚化するステップは、ユーザの左眼に対応する第１グラフィック表現及び前記ユーザの右眼に対応する第２グラフィック表現を生成するステップと、前記第１グラフィック表現及び前記第２グラフィック表現との間に視差を提供するステップとを含み得る。
前記提供するステップは、前記ユーザの左眼及び右眼の位置を追跡するステップをさらに含み得る。
前記表示位置を決定するステップは、前記指示地点が前記オブジェクト配置空間から離れる場合に応答して、前記表示位置を前記オブジェクト配置空間内の位置として決定するステップを含み得る。
前記指示地点に対応する位置は、前記オブジェクト配置空間の限界平面の近くに位置し、前記地点に向かう前記ユーザのアイボックスの中心からの軸上に位置し得る。
前記表示位置を決定するステップは、前記指示地点の高さが前記オブジェクト配置空間の底よりも低い場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含み得る。
前記表示位置を決定するステップは、ユーザの視野に対応する空間及び道路面が交差しない場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含み得る。
前記表示位置を決定するステップは、ユーザから前記表示位置までの距離が前記オブジェクト配置空間の最大距離よりも遠い場合に応答して、前記表示位置を前記オブジェクト配置空間内にアップデートするステップを含み得る。
前記オブジェクト配置空間を生成するステップは、コンテンツを視覚化する装置が装着された車両の車体及びユーザの視野角（ＦＯＶ）に基づいて前記オブジェクト配置空間を生成するステップを含み得る。
前記グラフィックオブジェクトを３次元的に視覚化するステップは、ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定するステップと、コンテンツを視覚化する装置が前記指示地点にアクセスする場合に応答して、前記コンテンツ動き軌跡に基づいて前記グラフィックオブジェクトの高さを調整することで前記グラフィックオブジェクトを視覚化するステップとを含み得る。
コンテンツを視覚化する方法は、前記３次元のオブジェクト配置空間が道路面に交差する場合に応答して、前記３次元のオブジェクト配置空間を制限するステップをさらに含み得る。
前記オブジェクト配置空間の底は、車両の周辺に推定された道路領域の表面にフィッティングされ得る。
前記オブジェクト配置空間を生成するステップは、視野角に対応する空間及び前記道路面の交差地点から最大距離まで、前記オブジェクト配置空間の底を前記道路面にフィッティングさせるステップを含み得る。
前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間で前記グラフィックオブジェクトの下方に対応する領域にシェードオブジェクトを視覚化するステップを含み得る。
前記シェードオブジェクトを視覚化するステップは、シェード領域の周辺領域に対して前記グラフィックオブジェクトの下方で前記シェード領域の明るさを保持するステップと、前記シェード領域よりも高い明るさのグラフィックオブジェクトを視覚化するステップとを含み得る。
コンテンツを視覚化する方法は、コンテンツを視覚化する装置が前記経路案内コンテンツに対する前記表示地点に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定するステップと、前記次の表示位置に前記次の経路案内コンテンツに対応する他のグラフィックオブジェクトを視覚化するステップとをさらに含み得る。
前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間の最大距離から前記グラフィックオブジェクトまでの距離に基づいて、前記グラフィックオブジェクトの透明度を決定するステップを含み得る。
コンテンツを視覚化する方法は、前記３次元のオブジェクト配置空間の境界に隣接に位置する前記経路案内コンテンツの透明度を増加させるステップをさらに含み得る。
前記経路案内コンテンツは、線に沿って配置された複数のポイントオブジェクトを含み、前記複数のポイントオブジェクトのそれぞれは、互いに対して単位間隔に離隔され得る。
前記表示位置を決定するステップは、前記指示地点及び前記表示位置が異なる場合に応答して、前記表示位置に対応する臨時案内コンテンツを取得するステップを含み、前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間が前記指示地点を含むまで、前記臨時案内コンテンツに対応するグラフィックオブジェクトを前記表示位置に視覚化するステップを含み得る。
コンテンツを視覚化する方法は、コンテンツを視覚化する装置が位置した道路で、前記装置が走行している車路情報に対応するグラフィックオブジェクト及び危険オブジェクトに対応するグラフィックオブジェクトを視覚化するステップをさらに含み得る。
前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記グラフィックオブジェクトを視覚化する途中前記表示位置が変更された場合に応答して、前記グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化するステップを含み得る。
一実施形態に係るコンテンツを視覚化する装置は、推定された前方道路領域に基づいて３次元のオブジェクト配置空間を生成し、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて表示位置を決定するプロセッサと、前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを３次元的に視覚化するディスプレイとを含む。
コンテンツを視覚化する装置は、前記経路案内コンテンツ、装置の前記状態に関する情報、マップデータベース、及び実行された時に前記３次元のオブジェクト配置空間及び前記表示位置のうちいずれか１つ又は組合せを前記プロセッサが決定するように設定する命令語を格納するメモリをさらに含み得る。
前記プロセッサは、マップデータベースで道路情報に基づいて前記指示地点を決定するようにさらに構成され得る。
コンテンツを視覚化する装置は、装置に配置され、前記装置の周辺に障害物からの距離及び前記装置の状態に関する情報を検出し、前記装置が動く場合に応答してユーザの左眼及び右眼の位置を追跡するように構成されるセンサをさらに含み、前記プロセッサは、前記ユーザの前記左眼の位置に対応する第１グラフィック表現を生成し、前記ユーザの前記右眼の位置に対応する第２グラフィック表現を生成し、前記第１グラフィック表現及び前記第２グラフィック表現間の視差に基づいてヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ）上に３次元グラフィックオブジェクトをレンダリングし得る。
前記装置は車両を含み、前記装置の前記状態に関する情報は、前記車両の位置情報、前記車両の現在地理学的座標、前記車両の位置に対応する道路情報、前記車両が走行中である車路、前記車両が走行中である車路の幅、前記車両が走行中である道路の幅、前記道路の車路個数、前記車路の中心線、前記道路上の回転地点、前記道路上の交通信号、前記車両速度、前記車両の燃料、前記車両の燃料レベル、及び前記車両の整備情報のいずれか１つ又は組合せを含み得る。
前記オブジェクト配置空間は、ユーザの両目から前記車両の前の道路領域に延長する長方形の四角錐領域を含み得る。
一実施形態に係るコンテンツを視覚化する方法によると、道路面にフィッティングされ、最大距離により制限されるオブジェクト配置空間を生成することで、立体表示の際発生し得るクロストークを防止できる。
一実施形態に係るコンテンツを視覚化する方法によると、先行オブジェクト、例えば、他の車両と重ならない深さに立体的なグラフィックオブジェクトを視覚化することで、先行オブジェクトと仮想オブジェクトとの間の深さ混同により誘発されるクロストークを防止し、ユーザの視覚的な疲れを軽減させることができる。
一実施形態により視覚化されたコンテンツの例示を説明する図である。 一実施形態に係るコンテンツを視覚化する装置の構成を示すブロック図である。 一実施形態に係るコンテンツを視覚化する装置のヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄ ｕｐ ｄｉｓｐｌａｙ）の構成を示すブロック図である。 一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。 一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。 一実施形態に係る経路案内コンテンツを取得する方法を説明するフローチャートである。 一実施形態に係る表示位置決定及びグラフィックオブジェクト視覚化を説明するフローチャートである。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。 一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。 一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。 一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。 一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。 一実施形態に係るコンテンツを視覚化する装置が登り坂に進入及び進出する間に経路案内コンテンツの表示位置を決定する例示を説明する図である。 一実施形態に係るコンテンツ視覚化方法を説明するフローチャートである。 一実施形態に係るコンテンツを視覚化する装置が視野確保により経路案内コンテンツの位置を変更してグラフィックオブジェクトを変形する動作を説明する例示である。 一実施形態に係る経路指示線に対応するグラフィックオブジェクトを説明する図である。 一実施形態に係る車路情報の視覚化を説明する図である。 一実施形態に係る経路案内コンテンツを動的に視覚化する動作を説明する図である。 一実施形態に係る経路案内コンテンツを静的に視覚化する動作を説明する図である。 一実施形態により危険オブジェクトを警告する動作を説明する図である。 一実施形態により速度制限情報を提供する動作を説明する図である。 一実施形態により経路案内コンテンツに対応するシェードオブジェクトを視覚化した例示を説明する図である。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに関する重複説明は省略することにする。
図１は、一実施形態により視覚化されたコンテンツの例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツ１２１に対応するグラフィックオブジェクトを視覚化する。例えば、コンテンツを視覚化する装置は、オブジェクト配置空間１１０内の任意の位置にグラフィックオブジェクトを配置して視覚化する。コンテンツを視覚化する装置は、ユーザの左眼に左眼映像、ユーザの右眼に右眼映像を提供することにより、グラフィックオブジェクトを立体的に提供し得る。左眼映像及び右眼映像は、互いに対して水平軸に沿って深さによる視差（ｄｉｓｐａｒｉｔｙ）だけ離隔したグラフィックオブジェクトを含む。したがって、ユーザは、立体的にレンダリングされたグラフィックオブジェクトの深度感を認識することができる。
オブジェクト配置空間１１０は、グラフィックオブジェクトが配置される空間であって、３次元空間を示す。オブジェクト配置空間１１０は、深さを有するグラフィックオブジェクトが立体的に視覚化される空間を示す。オブジェクト配置空間１１０に属する各地点の座標は、物理的世界（ｐｈｙｓｉｃａｌ ｗｏｒｌｄ）の位置座標と同一であるか、又は類似のスケールにマッピングされる。オブジェクト配置空間１１０の境界は、ヘッドアップディスプレイの構造により決定される。例えば、コンテンツを視覚化する装置は、ヘッドアップディスプレイの構造により決定された最小の深さ（例えば、最小距離）から最大の深さ（例えば、最大距離）までの空間内でグラフィックオブジェクトを視覚化し得る。図１において、最小距離は５ｍ、最大距離は７０ｍと示しているが、これに限定されることはない。
オブジェクト配置空間１１０は、ユーザの視野に対応する空間に基づいて決定される。オブジェクト配置空間１１０の形態及び大きさは、アイボックス１９０（ｅｙｅ ｂｏｘ）の大きさ及びヘッドアップディスプレイによって提供される視野角（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて決定される。例えば、オブジェクト配置空間１１０は四角錐（ｒｅｃｔａｎｇｕｌａｒ ｃｏｎｅ）の形態であり、アイボックス１９０から視野角に対応して拡張される形態の空間であり得る。アイボックス１９０は、ユーザの２つの目が位置するものとして設定された領域を示す。
一実施形態に係るコンテンツを視覚化する装置は、ウィンドシールドガラス（ｗｉｎｄ ｓｈｉｅｌｄ ｇｌａｓｓ）１８０の向かい側にオブジェクト配置空間１１０内の表示位置に、様々な種類のグラフィック表現を視覚化することができ、互いに異なる種類のグラフィック表現は、互いに異なるオブジェクト配置空間１１０に視覚化するように実現される。
オブジェクト配置空間１１０内に表示可能なグラフィック表現の種類は、例えば、経路案内コンテンツ１２１、経路指示線１２２、警告コンテンツ１２３、及び走行関連コンテンツ１２４などを含む。その他にも、オブジェクト配置空間１１０内に表示可能なグラフィック表現の種類は、様々な形態に変更及び実施可能である。他の種類のグラフィック表現は、例えば、道路障害物、道路状態などが使用される。
ユーザは、オブジェクト配置空間１１０内の表示位置に対応する物理的位置に該当のグラフィック表現が存在すると認識する。上述したように、オブジェクト配置空間１１０の各座標は、物理的座標と一対一にマッピングされてもよい。
本明細書に係る表示位置は、グラフィックオブジェクトが表示される地点として、例えば、３次元空間内で任意の地点であってもよい。表示位置は、絶対的３次元座標又は車両を基準とする相対的３次元座標を有する。表示位置は、コンテンツを視覚化する装置の動作により固定されたり移動される。
ここで言及された車両は、輸送、配達、又は通信中に任意のモードを示し、例えば、自動車、トラック、トラクター、スクーター、バイク、サイクル、水陸両用自動車、スノーモービル、船、公共輸送車両、バス、モノレール、汽車、トラム、自動又は無人走行車両、知能型車両、自律走行車両、無人航空機、電気車、ハイブリッドカー、スマート移動装置、及びドローンを示す。例えば、スマート移動装置は、例えば、電動ホイール（ｅｌｅｃｔｒｉｃ ｗｈｅｅｌｓ）、電動キックボード（ｅｌｅｃｔｒｉｃ ｋｉｃｋｂｏａｒｄ）、及び電気自転車などのような装置を含んでもよい。例えば、車両は、エンジンが走った車両及びエンジンが走っていない車両を含んでもよく、動力エンジンを有する車両（例えば、耕うん機又はバイク）、自転車又は手押し車などであり得る。
また、車両は、様々な装置を含んでもよく、例えば、スマートフォン、歩行補助装置、ウェアラブル装置、セキュリティー装置、ロボット、移動端末、及び様々なＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）装置を含む。
「道路」は、道路の表面にマーキングされた車路境界によって区別される道路空間を示す。「現在走行車路」は車両が現在走行中である車路を示し、該当の車両によって現在占有されて用いられる車路空間を示す。現在走行車路は、また、「自己車路（ｅｇｏ ｌａｎｅ）」と示してもよい。「車路境界（ｌａｎｅ ｂｏｕｎｄａｒｙ）」は、車路を区別する道路の表面にマーキングされた実線又は破線を示す。「道路境界」は、「車線表示（ｌａｎｅ ｍａｒｋｉｎｇ）」のように示してもよい。
一実施形態に係る方法及び装置は、車両のナビゲーション装置で道路案内情報に使用され、例えば、ＡＲ ３Ｄ ＨＵＤ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ）及び自律走行車両であり得る。例えば、ここで方法及び装置は、運転者をサポートしたり自律走行車両を制御するための情報を生成するために使用される。例えば、例示は、車両で完全自律走行又は走行補助のために設置された知能型システムに対して視覚的情報を解釈し、安全で安らかな走行を補助するために使用され得る。また、例示は、車両及び車両管理システム、例えば、自律車両、自動又は自律走行システム、知能型車両、ＡＤＡＳ（ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）、ナビゲーションシステムに適用され、車両、スマートフォン、又は、移動装置が移動中である車路を安全に保持するよう車両を補助する。車両のための道路案内情報を表示するものに関する例示は、例えば、トレーニング、ゲーム、健康管理アプリケーション、公衆安全、観光、及びマーケティングなどに提供され得る。
経路案内情報は、ユーザによって設定された経路によるユーザの移動を案内する情報を示す。例えば、経路案内情報は、ユーザが直進しなければならない距離、別れ目で方向転換などを含んでもよい。経路は、出発地から目的地までユーザが通過しなければならない道（ｐａｔｈ）を示す。経路案内コンテンツ１２１は、目的地までの経路を進むために提供されなければならない経路案内情報が視覚化されたコンテンツであり、例えば、ユーザが直進しなければならない距離を指示する数字及び文字、そして、別れ目で方向転換（例えば、左折及び右折など）を指示する矢印などを含んでもよい。経路指示線１２２は、目的地までの経路を指示する線であり、経路案内コンテンツ１２１と区別される形態の経路案内情報として視覚化される。警告コンテンツ１２３は、現在の走行環境で必要な場合、ユーザに与えられなければならない警告メッセージを含む。
走行関連コンテンツ１２４は、走行に関するコンテンツを示す。走行関連コンテンツ１２４は、例えば、車両速度、加速度、位置、燃料、及び整備に関する情報を示す。燃料に関する情報は、ガソリン車の場合にガソリンの残量、ディーゼル車の場合にディーゼルの残量、水素車の場合に水素の残量、電気車の場合に充填された電力量を示す。整備に関する情報は、エンジンオイルの状態、トランスミッションオイルの状態、累積した走行距離、及びタイヤの空気圧などのように車両の整備が必要であるか否かを判断するために要求される情報を示す。ただし、上述したことは単なる例示であって、これに限定されることはない。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツ１２１及び経路指示線１２２などをユーザから離れた位置に視覚化される。参考として、コンテンツを視覚化する装置が車両に搭載されている場合、ユーザは該当車両の運転者であってもよい。
コンテンツを視覚化する装置が搭載された車両を運転している運転者は、主に道路１７０で車両から遠い位置を凝視する可能性が高い。コンテンツを視覚化する装置は、経路案内コンテンツ１２１又は経路指示線１２２のようなコンテンツを車両から遠い位置に視覚化することで、ユーザの眼球の疲れを軽減させ得る。すなわち、経路を指示するグラフィックオブジェクトをユーザが凝視している深さと類似の深さに対応する距離に視覚化することで、コンテンツを視覚化する装置は、ユーザの深さ混同によるクロストーク（ｃｒｏｓｓｔａｌｋ）を減少させることができる。
一実施形態に係るコンテンツを視覚化する装置は、センサ（例えば、カメラセンサ、ＧＰＳ、及びＬＩＤＡＲなど）を用いて、車両の位置を推定する。コンテンツを視覚化する装置は、車両の位置から運転者の目の位置だけの誤差間隔を考慮して、経路案内コンテンツ１２１に対応するグラフィックオブジェクトを実際の道路に整合して視覚化する。コンテンツを視覚化するための装置は、経路案内コンテンツ１２１に対応するグラフィックオブジェクトを車両の位置から運転者の目の位置だけの誤差間隔（ｅｒｒｏｒ ｉｎｔｅｒｖａｌ）を考慮して実際の道路上に視覚化する。ＨＤマップデータが用いられる場合、コンテンツを視覚化する装置は、より正確な位置に経路案内コンテンツ１２１を整合することができる。このような整合により、コンテンツを視覚化する装置は運転者の心理的な安定感を改善させることができる。
また、平凡な走行状況（ｎｏｒｍａｌ ｄｒｉｖｉｎｇ ｃｉｒｃｕｍｓｔａｎｃｅ）の間に運転者に提供される一般情報に関する走行関連コンテンツ１２４は、ユーザから一定の距離だけ離れた第１位置（例えば、近い位置）に視覚化される。運転者にアラームが必要と判断される場合、コンテンツを視覚化する装置は、走行関連コンテンツ１２４の一部又は全てを第１位置よりも遠い位置に視覚化することで、ユーザにアラーム（ａｌａｒｍ）を提供し得る。例えば、車両の走行速度が警告コンテンツ１２３の形態に５０ｍ程度位置に視覚化されてもよい。アラームが必要な状況が解除された場合、コンテンツを視覚化する装置は、走行関連コンテンツ１２４の一部又は全てを再び第１位置に移動させてもよい。
ユーザが走行する間に頻繁に凝視する経路案内コンテンツ１２１とは異なって、走行関連コンテンツ１２４は、ユーザが必要な時のみ見ることができる。したがって、ユーザが走行関連コンテンツ１２４を凝視する頻度が低いため、走行関連コンテンツ１２４が近い位置に視覚化されても、走行関連コンテンツ１２４によるクロストーク誘発の可能性は低い。運転の視野確保のために、走行関連コンテンツ１２４は、オブジェクト配置空間１１０のコーナー（例えば、下段部）に視覚化されてもよい。図１において、近い位置は５ｍ〜１７ｍ、遠い位置は１７ｍ〜７０ｍとして示されているが、これに限定されることはない。
参考として、図１に表示されているように、道路１７０は１つ以上の車路（ｌａｎｅ）を含んでもよい。車路境界線（ｌａｎｅ ｌｉｎｅ）１５０は、車路と車路との間を区分する境界線を示す。ただし、道路１７０又は車路に車路境界線１５０が存在するものと限定することはない。走行車路は、車両が現在走行中である車路を示す。中央線１６０は、車両の進入禁止を指示する境界線を示す。
図２は、一実施形態に係るコンテンツを視覚化する装置の構成を示すブロック図である。
コンテンツを視覚化する装置２００は、センサ２１０、ディスプレイ２２０、プロセッサ２３０、及びメモリ２４０を含む。
センサ２１０は、コンテンツの視覚化のために必要な情報を検出する。一実施形態によれば、センサ２１０は、ユーザの周辺に位置するオブジェクトまでの距離を測定し、例えば、ライダ（ＬＩＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）及びレーダー（ＲＡＤＡＲ：Ｒａｄｉｏ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などを含んでもよい。また、センサ２１０は、コンテンツを視覚化する装置２００が装着された機器の状態に関する情報を検出する。例えば、車両に装着された場合、センサ２１０は、車両に関する情報を検出し、車両に関する情報は、車両の位置情報、車両の位置に対応する道路情報、及び車両の走行関連情報などを含んでもよい。ここで、走行関連情報は車両の走行に関する情報として、例えば、車両速度、加速度、位置、燃料、及び整備に関する情報であってもよい。また、センサ２１０は、車両内部を撮影する内部センサを含んでもよい。内部センサは、カメラセンサ（例えば、カラーカメラ）、赤外線センサ、深さセンサ、及び熱画像センサなどであるが、これに限定されることはない。
車両の位置情報は、車両が位置する現在の座標であってもよく、現在車両が走行中である車路情報まで指示される。例えば、センサ２１０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を介して車両の２次元座標を取得する。また、センサ２１０は、車両の前方に対する前方イメージを取得し、プロセッサ２３０が前方イメージから道路を構成している複数の車路のうち、現在車両が走行中である車路（ｅｇｏ ｌａｎｅ）を決定してもよい。ただし、これに限定されることなく、プロセッサ２３０は、センサ２１０から収集されたイメージに基づいて現在車両の位置を推定し得る。
「プロセッサ」は、ハードウェアで実現されるデータ処理装置であって、物理的な構造で所望する動作を行う回路を有する。例えば、所望する動作は、プログラムに含まれたコード又は命令語を含んでもよい。ハードウェアで実現されるデータ処理装置は、例えば、マイクロプロセッサー、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア、マルチコアプロセッサ、マルチプロセッサ、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、及びＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などを含んでもよい。プロセッサ２３０は、コンテンツ視覚化装置２００を制御してプログラムを実行する。プロセッサ２３０によって実行されるプログラムのコードは、メモリ２４０に格納される。プロセッサ２３０の詳細は後述する。
道路情報は、道路の幅、道路を構成している車路（ｌａｎｅ）の個数、車路の幅、中央線、方向転換地点、交通信号、及び、その他の交通に関する情報のうちの１つ以上を含む。
ディスプレイ２２０は、コンテンツを視覚化してユーザに提供する。例えば、ディスプレイ２２０は、ユーザインタフェースをレンダリングしたり、ユーザ入力を受信できる１つ以上のハードウェア構成を含む物理的構造である。例えば、ウィンドシールドガラス又はＨＵＤ（ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ）を用いて車両の分離したスクリーン上にコンテンツが表示されたり、又はＡＲ ＨＵＤ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ）上に表示されてもよい。一実施形態によれば、ディスプレイ２２０は、ヘッドアップディスプレイであってもよく、ユーザの前方にプロジェクション平面を形成して、プロジェクション平面を介してコンテンツをユーザに提供することができる。また、ディスプレイ２２０は、ユーザの左眼に左映像を提供し、右眼に右映像を提供する。例えば、プロセッサ２１０は、運転者の左眼に対応する第１グラフィック表現を含む左映像、及び運転者の右眼に対応する第２グラフィック表現を含む右映像を生成する。ディスプレイ２２０は、互いに対して視差を有するように左映像及び右映像を提供する。ディスプレイ２２０は、左映像でコンテンツが視覚化されたグラフィックオブジェクト及び右映像でコンテンツが視覚化されたグラフィックオブジェクトを互いに対して両眼視差（ｂｉｎｏｃｕｌａｒ ｄｉｓｐａｒｉｔｙ）に基づいて離隔させることで、深さを有するコンテンツをユーザに立体的なグラフィックオブジェクトとして視覚化して提供できる。例えば、ディスプレイ２２０は、プロセッサ２３０によって決定された表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。ユーザ両眼の位置は、上述したセンサ２１０（例えば、内部センサ）によって測定されてプロセッサ２３０に提供される。ユーザ両眼の位置は、車両が移動する間に常に追跡されて運転者が頭を上下左右に移動したり座席の高低を調整しても、コンテンツを立体的に伝えることができる。
プロセッサ２３０は、ディスプレイ２２０を介して視覚化されるコンテンツを生成（ｃｒｅａｔｅ）、変形（ｄｅｆｏｒｍ）、及び調整（ａｄｊｕｓｔ）する。一実施形態によれば、プロセッサ２３０は、推定された前方道路領域に基づいてオブジェクト配置空間を生成する。プロセッサ２３０は、経路案内コンテンツの指示地点及びオブジェクト配置空間に基づいて表示位置を決定する。例えば、プロセッサ２３０は、表示位置を固定したり、表示位置を動的に調整してもよい。
経路案内コンテンツの指示地点は、該当の経路案内コンテンツに対応する動作をユーザが行わなければならない地点を示す。例えば、経路案内コンテンツが別れ目で方向転換（例えば、左折）を指示するコンテンツである場合、指示地点は、ユーザが方向転換しなければならない地点として別れ目の入口地点である。
プロセッサ２３０は、マップデータベースに含まれた道路情報に基づいて指示地点を決定する。例えば、プロセッサ２３０は、車両に与えられた経路案内情報に基づいて、方向転換が実行されなければならない方向転換領域を決定し、方向転換領域の進入地点を指示地点として決定する。方向転換領域は、方向転換地点を含む領域を示す。
ただし、プロセッサ２３０の動作を上述したものに限定せず、プロセッサ２３０は、下記の図３〜図２４を参照して説明された動作のうち少なくとも１つと共に上述した動作を行ってもよい。プロセッサ２３０のより詳細な動作については、下記の図３〜図２４を参照して説明する。
メモリ２４０は、コンテンツの視覚化に要求される情報を臨時的又は永久的に格納する。例えば、メモリ２４０は、プロセッサ２３０によって実行されて下記の図３〜図２４による動作を行うための命令語を格納する。また、メモリ２４０は、経路案内情報、走行関連コンテンツ、及びマップデータベースなどを格納してもよい。マップデータベースは、マップデータを格納するデータベースを示す。マップデータベースは、例えば、ＨＤ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ）マップデータを格納してもよい。ＨＤマップデータは、例えば、車路個数、車路の幅、及び中心線の位置などのような精密データに関する情報を含む。
一実施形態に係るコンテンツを視覚化する装置２００は、車両用３次元ヘッドアップディスプレイ装置及び車両の走行経路を指示するナビゲーション装置などにより実現される。例えば、コンテンツ視覚化装置２００は、車両のＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）又はＶＣＵ（ｖｅｈｉｃｌｅ ｃｏｎｔｒｏｌ ｕｎｉｔ）にコンテンツを送信する。ＥＣＵ又はＶＣＵは、車両のディスプレイ２２０上にコンテンツを表示する。ただし、コンテンツのディスプレイは、上述した例示に限定せず、他の機構クラスタ（ｉｎｓｔｒｕｍｅｎｔ ｃｌｕｓｔｅｒ）、車両インフォテインメントシステム（ｖｅｈｉｃｕｌａｒ ｉｎｆｏｔａｉｎｍｅｎｔ ｓｙｓｔｅｍ）、車両でスクリーン又は、車両でディスプレイパネルがディスプレイ機能を行ってもよい。例えば、他のディスプレイ、スマートフォン、ＥＧＤ（ｅｙｅ ｇｌａｓｓ ｄｉｓｐｌａｙ）などは、動作的にコンテンツ視覚化装置２００と接続されて使用されてもよい。
また、コンテンツを視覚化する装置２００は、ユーザに拡張現実を提供するように実現されることができる。例えば、コンテンツを視覚化する装置２００は、車両のボンネットの向かい側の一定範囲（例えば、車両から５ｍ〜７０ｍ）の深さにコンテンツを表示してもよい。コンテンツを視覚化する装置２００は、下記図３〜図２４を参照して説明するが、ユーザの現在の注視位置と類似の深さにコンテンツを視覚化することで、ユーザの視覚的な疲れを軽減し、より正確な深さでコンテンツを視覚化することによって、ユーザが運転に集中すできるように補助できる。
図３は、一実施形態に係るコンテンツを視覚化する装置のヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄ ｕｐ ｄｉｓｐｌａｙ）の構成を示すブロック図である。
コンテンツ視覚化システム３００は、ユーザ３９０にコンテンツ３６１を提供するシステムであって、例えば、コンテンツを視覚化する装置３１０が装着された機器である。
コンテンツを視覚化する装置３１０は、センサ３１１、プロセッサ３１２、及びヘッドアップディスプレイ３１３を含む。
センサ３１１は、前方に存在するオブジェクトを検出する。例えば、センサ３１１は、前方に存在するオブジェクトまでの距離を測定する。ただし、これに限定されることなく、センサ３１１は、車両の周辺に存在するオブジェクトまでの距離を測定することがき、周辺に存在するオブジェクトまでの距離を指示する周辺距離マップを生成する。また、センサ３１１は、車両の前方、後方、左側、及び右側の環境を撮影してイメージを生成する。
プロセッサ３１２は、検出されたオブジェクトに基づいて、ユーザ３９０に提供するコンテンツ３６１を生成する。コンテンツ３６１は、ユーザに情報を提供するためのデータを示す。運転に関する情報（以下、運行情報）は、例えば、経路案内情報及び走行関連情報などのように運転者に必要とされる情報であり得る。また、プロセッサ３１２は、センサ３１１によって検出された周辺情報（例えば、周辺のオブジェクトまでの距離及びオブジェクトを含む映像など）を分析し、オブジェクトをモデリングしたり、オブジェクトの位置を検出したり、オブジェクトを認識する動作などを行ってもよい。
ヘッドアップディスプレイ３１３は、ユーザ３９０の前方に位置するユーザ３９０の可視領域にコンテンツ３６１を視覚化する。例えば、ヘッドアップディスプレイ３１３は、ユーザ３９０の前方に配置されるガラス窓（例えば、車両のウィンドシールドガラス）にコンテンツ３６１を視覚化する。ヘッドアップディスプレイ３１３は、仮想のプロジェクション平面３５０を形成する。プロジェクション平面３５０は、ヘッドアップディスプレイ３１３によって生成されたコンテンツ３６１を含む虚像が表示される平面を示す。ユーザ３９０は、プロジェクション平面３５０に虚像が配置されたものと認識する。
また、ヘッドアップディスプレイ３１３は、プロジェクション平面３５０に深さを有するコンテンツ３６１を視覚化する。例えば、プロセッサ３１２は、プロジェクション平面３５０を基準としてコンテンツ３６１が視覚化される深さを決定し、ヘッドアップディスプレイ３１３は、決定された深さに基づいてユーザ３９０を基準としてプロジェクション平面３５０から遠い深さ又は近い深さを有するようコンテンツ３６１を視覚化する。ヘッドアップディスプレイ３１３は、仮想領域３６０内に該当する深さを有するコンテンツ３６１をプロジェクション平面３５０に視覚化する。ここで、プロセッサ３１２は、ヘッドアップディスプレイ３１３の光学系に基づいて、コンテンツ３６１を３次元グラフィック表現でレンダリングする。３次元グラフィック表現は、深さを有する立体的なグラフィック表現を示し、以下ではグラフィックオブジェクトのように示してもよい。ヘッドアップディスプレイ３１３は、コンテンツ３６１が有する深さに基づいて、左映像及び右映像を含むプロジェクション平面３５０を形成し、プロジェクション平面３５０を介して左映像をユーザ３９０の左眼に、右映像をユーザ３９０の右眼に提供する。したがって、ユーザ３９０は、立体的にレンダリングされたコンテンツ３６１の深度感を認識する。
一実施形態に係るヘッドアップディスプレイ３１３は、例えば、画像生成部３１４、折り畳みミラー（ｆｏｌｄ ｍｉｒｒｏｒ）３１５、及び凹面鏡３１６を含む。ただし、ヘッドアップディスプレイ３１３の構成がこれに限定されることなく、設計に応じてユーザ３９０の前方に配置されたガラス窓への投射を介して虚像が生じるプロジェクション平面３５０を形成する複数のコンポーネントを含んでもよい。
本明細書では、コンテンツを視覚化する装置３１０が車両に装着された例示を中心に説明するが、これに限定されることはない。例えば、コンテンツを視覚化する装置３１０は、拡張現実メガネ（ＡＲ ｇｌａｓｓ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｇｌａｓｓ）及び混合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）などのように現実と仮想の情報を結合させる技術に適用され得る。
一実施形態に係るコンテンツを視覚化する装置３１０は、コンテンツ３６１の深さを調整することで、ヘッドアップディスプレイ３１３によって形成されるプロジェクション平面３５０を位置変更しなくても、連続的な深さを表現することができる。また、コンテンツを視覚化する装置３１０は、プロジェクション平面３５０の位置を変更する必要がないため、ヘッドアップディスプレイ３１３に含まれた構成要素に対する物理的な操作を要求しない。コンテンツを視覚化する装置３１０が車両に装着された場合、コンテンツを視覚化する装置３１０は、運転者の前方に３次元コンテンツ３６１を動的に視覚化できる。
また、コンテンツを視覚化する装置３１０は、ヘッドアップディスプレイ３１３を介して連続的な深さを表現することができ、ユーザ３９０の前方数百ｍの前までの深さを有するコンテンツ３６１を視覚化できる。ただし、ユーザ３９０と深さを有するように視覚化されたコンテンツ３６１との間に障害物（例えば、建物又は登り坂による被さりなど）が存在する場合、コンテンツ３６１が深度感あるように視覚化された３次元グラフィック表現と障害物との間の重なりが発生する恐れがある。このような重複は、ユーザ３９０の視覚的な疲れを誘発したり、ユーザ３９０に不自然な映像を認知させるクロストークを引き起こす。
一実施形態に係るコンテンツを視覚化する装置３１０は、よりナチュラルに視覚化されるようコンテンツ３６１を調整できる。コンテンツを視覚化する装置３１０の具体的な動作については以下で説明する。
図４及び図５は、一実施形態に係るコンテンツを視覚化する方法を説明するフローチャートである。
図４は、コンテンツを視覚化する方法の概略的なフローチャートを示す。
まず、ステップＳ４１０において、コンテンツを視覚化する装置は、推定された前方道路領域に基づいてオブジェクト配置空間を生成する。例えば、コンテンツを視覚化する装置は、センサによって検出されたデータ（例えば、イメージなど）から前方道路領域を推定する。コンテンツを視覚化する装置は、視野角に対応する空間内で、前方道路領域に対応する空間をオブジェクト配置空間として決定する。例えば、コンテンツを視覚化する装置は、ユーザの視野角及びユーザ視点から障害物までの距離に基づいてオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、装置自身から障害物の間の空間をオブジェクト配置空間として決定し、障害物の向かい側の空間を排除する。したがって、コンテンツを視覚化する装置は、ユーザの視野が確保される空間までのみをオブジェクト配置空間として決定する。
そして、ステップＳ４２０において、コンテンツを視覚化する装置は、経路案内コンテンツの指示地点（ｉｎｄｉｃａｔｉｏｎ ｐｏｉｎｔ）及びオブジェクト配置空間に基づいて、経路案内コンテンツに対する表示位置を決定する。例えば、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間内に属する場合に応答して、指示地点を表示位置として決定する。異なる例として、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間の外側に属する場合に応答して、オブジェクト配置空間内で指示地点に対応する地点を表示位置として決定してもよい。
本明細書でオブジェクト配置空間内で指示地点に対応する地点は、例えば、ユーザの視線軸（例えば、アイボックスの中心から指示地点に向かう軸）がオブジェクト配置空間の限界面と交差する地点である。異なる例として、表示位置は、指示地点に向かう視線軸上に存在する地点のうち、オブジェクト配置空間内の地点であってもよい。表示位置は、指示地点に向かう視線軸上に存在する地点のうち、オブジェクト配置空間の限界面からマージン距離（ｍａｒｇｉｎ ｄｉｓｔａｎｃｅ）だけ近い地点であり得る。マージン距離は、オブジェクト配置空間の限界によって、グラフィックオブジェクトの表現がカットされることを防止するために、設定されたマージンを示すことができる。言い換えれば、例えば、表示位置は、指示地点に対応する地点がオブジェクト配置空間から離隔して位置する場合に応答して、オブジェクト配置空間内の地点に対応する位置を含み得る。例えば、地点に対応する位置は、オブジェクト配置空間の限界平面に近くに位置し、ユーザのアイボックスの中心から地点に向かう軸上に位置する。
次に、ステップＳ４３０において、コンテンツを視覚化する装置は、決定された表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。したがって、コンテンツを視覚化する装置は、ユーザによって認識される空間である、オブジェクト配置空間内でのみグラフィックオブジェクトを視覚化できる。
例えば、コンテンツを視覚化する装置は、表示位置に経路案内コンテンツに対応するグラフィックオブジェクトを固定して視覚化し得る。ここで、グラフィックオブジェクトの表示位置は任意の平面座標で固定され、コンテンツを視覚化する装置が表示位置にアクセスするほど、コンテンツを視覚化する装置は、グラフィックオブジェクトの深さを徐々に減少させることができる。したがって、ユーザは表示位置に固定されたグラフィックオブジェクトにアクセスすることを認識することができる。ただし、これに限定されることなく、コンテンツを視覚化する装置は、表示位置を動的に調整することで、装置自身からグラフィックオブジェクトまでの相対的な距離を一定に保持して視覚化することができる。また、コンテンツを視覚化する装置は、表示位置を動的に調整することで、アニメーション効果を与える可能性もあるが、このような視覚的な効果の実現については次の図１７、図２０、及び図２３を参照して詳細に説明する。
参考として、本明細書において位置は、絶対座標位置を示す。コンテンツを視覚化する装置を基準とする相対的座標は、相対的な位置と示すことができる。
図５は、コンテンツを視覚化する方法をより詳細に説明したフローチャートである。
まず、ステップＳ５０１において、コンテンツを視覚化する装置は、経路案内コンテンツを取得する。コンテンツを視覚化する装置は、目的地までの経路に基づいて経路案内情報を生成し、生成された経路案内情報に基づいて経路案内コンテンツを生成する。例えば、コンテンツを視覚化する装置は、経路案内情報に含まれた任意の指示地点との距離が閾値距離未満の場合に応答して、該当の指示地点に対応する経路案内コンテンツを生成する。
そして、ステップＳ５１０において、コンテンツを視覚化する装置は、経路案内情報及び推定された前方道路領域に基づいてオブジェクト配置空間を生成する。例えば、コンテンツを視覚化する装置は、経路案内情報から前方道路が登り坂（ｕｐｈｉｌｌ）であるか、又は下り坂（ｄｏｗｎｈｉｌｌ）であるかの有無を決定する。登り坂として決定された場合に応答して、コンテンツを視覚化する装置は、登り坂との道路面及びオブジェクト配置空間の交差面に基づいてオブジェクト配置空間を制限する。さらに、コンテンツを視覚化する装置は、深さセンサによって検出された道路面又はイメージデータから推定された道路面などに基づいてオブジェクト配置空間を制限してもよい。また、コンテンツを視覚化する装置は、経路案内情報によって指示される案内経路に基づいて装置自身が進行するものと予測される走行予定領域を決定する。経路案内情報が交差点で右折を指示する場合、走行予定領域は、右折に対応する領域を含み、左折に対応する領域を排除する。コンテンツを視覚化する装置は、視野角に対応する空間のうち前方道路領域の中から走行予定領域に対応する空間を、上述したオブジェクト配置空間として決定する。したがって、ユーザの視線が主に走行予定領域に向かっているため、コンテンツを視覚化する装置は、ユーザの視線がフォーカスされる領域をオブジェクト配置空間で生成する。ただし、これに限定されることなく、コンテンツを視覚化する装置は、経路案内情報に関係なく、オブジェクト配置空間を生成してもよい。
次に、ステップＳ５２１において、コンテンツを視覚化する装置は、経路案内コンテンツの表示位置を決定する。例えば、経路案内コンテンツの指示地点がオブジェクト配置空間部である場合、コンテンツを視覚化する装置は、該当の指示地点を経路案内コンテンツの表示位置として決定する。異なる例として、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間から離れる場合に応答して、表示位置をオブジェクト配置空間内の位置として決定する。ここで、コンテンツを視覚化する装置は、ユーザから表示位置までの距離がオブジェクト配置空間の最大距離よりも遠い場合に応答して、表示位置をオブジェクト配置空間内にアップデートする。コンテンツを視覚化する装置は、表示位置の深さだけ調整（例えば、減少）し、残りの座標（例えば、高さなど）を保持することによって、オブジェクト配置空間内の位置を表示位置として決定できる。
そして、ステップＳ５２２において、コンテンツを視覚化する装置は、コンテンツ動き軌跡を決定する。例えば、コンテンツを視覚化する装置は、ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定する。コンテンツ動き軌跡は、例えば、道路面から車体の前方エッジを経てユーザの目に対応する領域（例えば、アイボックス）に達する軌跡を示すことができる。コンテンツ動き軌跡は、表示位置及びコンテンツを視覚化する装置間の距離によるグラフィックオブジェクトの高さを定義する。コンテンツ動き軌跡は、下記の図１４を参照して詳細に説明する。
次に、ステップＳ５３０において、コンテンツを視覚化する装置は、経路案内コンテンツに対応するグラフィックオブジェクトを生成及び視覚化する。例えば、コンテンツを視覚化する装置は、固定された表示位置にグラフィックオブジェクトを視覚化したり、動く表示位置に沿ってグラフィックオブジェクトを視覚化してもよい。また、コンテンツを視覚化する装置は、コンテンツ動き軌跡に応じて決定された高さでグラフィックオブジェクトを視覚化し得る。コンテンツ動き軌跡は、ユーザの視野角にフィッティングされて決定された軌跡であるため、コンテンツを視覚化する装置は、経路案内コンテンツに対する表示位置が近接しても安定的にグラフィックオブジェクトをユーザに提供することができる。
そして、ステップＳ５４０において、コンテンツを視覚化する装置は、走行関連情報に対応するグラフィックオブジェクトを決定及び視覚化する。例えば、コンテンツを視覚化する装置は、経路案内コンテンツ以外の付加的な情報に対するグラフィックオブジェクトを視覚化してもよい。コンテンツを視覚化する装置は、走行関連情報に対応するグラフィックオブジェクトをオブジェクト配置空間でユーザに隣接する隈空間（例えば、プロジェクション平面の下段部など）に視覚化してもよい。
図６は、一実施形態に係る経路案内コンテンツを取得する方法を説明するフローチャートである。
まず、ステップＳ６０１において、コンテンツを視覚化する装置は、ユーザから目的地を受信する。例えば、コンテンツを視覚化する装置は、ユーザ入力に応答して、ユーザの所望する目的地を取得する。目的地は、例えば、任意の地理的位置であり得る。
そして、ステップＳ６０２において、コンテンツを視覚化する装置は、センサに基づいて周辺距離マップを生成する。周辺距離マップは、コンテンツを視覚化する装置を中心に周辺に存在するターゲット地点（例えば、障害物など）までの距離を指示するマップである。コンテンツを視覚化する装置は、カラーイメージ、深さイメージ、及びライダデータ（ＬｉＤＡＲ ｄａｔａ、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ ｄａｔａ）などに基づいて周辺距離マップを生成する。
次に、ステップＳ６０３において、コンテンツを視覚化する装置は、受信された目的地までの案内経路を算出する。例えば、コンテンツを視覚化する装置は、車両が走行できる車路に基づいて、現在位置から目的地までの案内経路を決定する。
そして、ステップＳ６０４において、コンテンツを視覚化する装置は、算出された案内経路による経路案内コンテンツを取得する。例えば、様々な案内地点（例えば、別れ目）で上述したステップＳ６０３で算出された案内経路を進むための指示がユーザに提供される。コンテンツを視覚化する装置は、該当の案内経路により複数の指示地点に対する経路案内コンテンツを取得できる。
図７は、一実施形態に係る表示位置決定及びグラフィックオブジェクト視覚化を説明するフローチャートである。
まず、ステップＳ７２１において、コンテンツを視覚化する装置は、マップデータがＨＤマップであるか否かを判断する。ＨＤマップは上述したように、車路の個数などのような精密な情報を含むマップデータを示すことができる。
そして、コンテンツを視覚化する装置は、マップデータがＨＤマップである場合に応答して、経路案内コンテンツを視覚化する表示位置を決定する。例えば、ステップＳ７２２において、指示地点がオブジェクト配置空間の外側であるか否かを決定する。ステップＳ７２３において、コンテンツを視覚化する装置は、経路案内コンテンツの指示地点がオブジェクト配置空間の外側である場合に応答して、経路案内コンテンツの表示位置をオブジェクト配置空間内部に調整する。例えば、上述したように、コンテンツを視覚化する装置は、指示地点に対する視線軸上に存在する地点のうち、オブジェクト配置空間内の地点を表示位置として決定する。コンテンツを視覚化する装置は、指示地点が経路配置空間の内側である場合に応答して、経路案内コンテンツの指示地点を表示位置として決定する。
次に、ステップＳ７２４において、コンテンツを視覚化する装置は、マップデータがＨＤマップではない場合に応答して、プロジェクション平面の真ん中を表示位置として決定する。マップデータがＳＤマップである場合、オブジェクト配置空間を物理的世界に正確にフィッティングし難しこともあるため、コンテンツを視覚化する装置は、経路案内コンテンツの表示位置を任意に決定してもよい。ただし、これに限定されることなく、マップデータに関係なく、コンテンツを視覚化する装置は、オブジェクト配置空間内に経路案内コンテンツの表示位置を決定してもよい。
そして、ステップＳ７３１において、コンテンツを視覚化する装置は、経路指示コンテンツの透明度を距離に応じて決定する。経路指示コンテンツは、例えば、経路指示線として現在位置から目的地までの案内経路を指示する線を示す。経路指示コンテンツは、例えば、車両の中心点が通過すると予測される地点の集合であり得る。例えば、直進区間で経路指示コンテンツは、車路の中心を通過する指示線であり得る。方向転換区間（例えば、右折又は左折区間など）で経路指示コンテンツは、方向転換区間の進入車路の中心及び進出車路の中心を通過する曲線型態の指示線であり得る。
一実施形態に係るコンテンツを視覚化する装置は、経路指示コンテンツで経路配置空間の境界面に隣接する部分に対して高い透明度を割り当てる。例えば、コンテンツを視覚化する装置は、経路配置空間に隣接するほど、経路指示コンテンツの透明度を増加することで、経路指示コンテンツの終端（ｅｎｄ）をフェードアウト（ｆａｄｅ ｏｕｔ）させる。したがって、コンテンツを視覚化する装置は、経路指示コンテンツをナチュラルに実際の世界と融和させることができる。
次に、ステップＳ７３２において、コンテンツを視覚化する装置は、シェードオブジェクトを視覚化する。例えば、コンテンツを視覚化する装置は、経路案内コンテンツに対応するグラフィックオブジェクトの下段にシェードオブジェクトを表現することで、該当グラフィックオブジェクトのリアリティを改善できる。シェードオブジェクトの視覚化については、下記の図２４を参照して詳細に説明する。
図８〜図１０は、一実施形態によりオブジェクト配置空間内部に決定された表示位置を有するグラフィックオブジェクトを説明する図である。
図８は、コンテンツを視覚化する装置が車両８９０に搭載された例示を示す側面図である。
コンテンツを視覚化する装置は、オブジェクト配置空間８１０内に経路案内コンテンツの表示位置を決定する。一実施形態によれば、コンテンツを視覚化する装置は、車両８９０の周辺に対して推定された道路領域に基づいて、道路領域の道路面８０９にオブジェクト配置空間８１０の底がフィッティングされるようオブジェクト配置空間８１０を生成する。コンテンツを視覚化する装置は、道路面８０９及び視野角に対応する空間が交差する部分から最大距離まで、オブジェクト配置空間８１０の底を道路面８０９にフィッティングさせ得る。
コンテンツを視覚化する装置は、オブジェクト配置空間８１０の底に経路案内コンテンツに対応するグラフィックオブジェクト８２０を視覚化する。オブジェクト配置空間８１０は、ユーザの視野８１１が確保された空間であるため、ユーザはグラフィックオブジェクト８２０を凝視できる。
図９は、登り坂を進行する車両９９０に対するグラフィックオブジェクトの表示位置を説明する側面図である。
例えば、コンテンツを視覚化する装置が登り坂に進入する場合、経路案内コンテンツの指示地点が車両９９０を基準として道路面９０９よりも遠い位置であるかもしれない。道路面９０９より遠い位置に視覚化されたグラフィックオブジェクト９２１は、それよりも近い道路面９０９によって遮られるため、ユーザにクロストークを誘発し得る。水平距離を保持しながら道路面９０９よりも高い位置に視覚化されたグラフィックオブジェクト９２２は、ユーザの視野角から離れているため、ユーザは、該当のグラフィックオブジェクト９２２を観測できない。
一実施形態に係るコンテンツを視覚化する装置は、道路情報及び視野情報に基づいてオブジェクト配置空間９１０を生成することにより、オブジェクト配置空間９１０を道路面９０９にフィッティングさせることができる。例えば、コンテンツを視覚化する装置は、指示地点の高さがオブジェクト配置空間９１０の底よりも低い場合に応答して、表示位置の高さをオブジェクト配置空間９１０の底にフィッティングする。コンテンツを視覚化する装置は、オブジェクト配置空間９１０の底に経路案内コンテンツに対応するグラフィックオブジェクト９２３を視覚化する。したがって、コンテンツを視覚化する装置は、登り坂のような障害物によって指示地点が遮断されても、その前の地点を表示位置として決定することで、ユーザに経路案内コンテンツを安定的に提供することができる。
図１０は、図９を参照して説明された登り坂でのオブジェクト配置空間を透視図（ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗ）として示す図である。オブジェクト配置空間は、車両のウィンドシールドガラス１０９０の向かい側のユーザ視野に対応する空間１０１０から決定される。視野に対応する空間１０１０は、図１０に示すように四角錐の形状の空間であってもよい。
例えば、コンテンツを視覚化する装置は、視野に対応する空間１０１０及び道路面１００９が交差する交差面１０１５を決定する。交差面１０１５は、例えば、遠距離クリッピング平面（ｆａｒ ｃｌｉｐｐｉｎｇ ｐｌａｎｅ）とも示してもよい。コンテンツを視覚化する装置は、交差面１０１５をオブジェクト配置空間の境界面として決定する。コンテンツを視覚化する装置は、上述したように、決定された境界面上に経路案内コンテンツ１０２０の表示位置を決定することによって、道路面１００９にフィッティングされたグラフィックオブジェクトを視覚化する。また、コンテンツを視覚化する装置は、経路指示線１０３０をオブジェクト配置空間の底面（例えば、境界面）にフィッティングして視覚化する。コンテンツを視覚化する装置は、プロジェクション平面に隣接する空間に走行関連情報１０４０を視覚化する。
登り坂では、オブジェクト配置空間１０１０の境界面が道路面によって制限されることで、オブジェクトが配置され得る距離も減少する。例えば、図１０では、オブジェクト配置空間１０１０の視覚化できる最大距離が４０ｍに減少する。
図１１及び図１２は、一実施形態により指示地点が遮断される場合、経路案内コンテンツに対応するグラフィックオブジェクトの表示位置を決定する動作を説明する図である。
図１１は、指示地点に対するユーザの視野が遮断される状況を示す鳥瞰図である。
第１視点１１０１で、コンテンツを視覚化する装置は、指示地点に視覚化された経路案内コンテンツ１１２１にユーザの視線が到達できるか否かを判断する。コンテンツを視覚化する装置は、車両１１９０から指示地点に対応する経路案内コンテンツ１１２１の間に障害物１１８０が存在する場合、視野が遮られたものと決定する。
第２視点１１０２で、コンテンツを視覚化する装置は、障害物に基づいてオブジェクト配置空間１１１０を再生成する。例えば、コンテンツを視覚化する装置は、障害物によって遮られる面をオブジェクト配置空間の境界面として決定する。コンテンツを視覚化する装置は、車両１１９０から指示地点に向かう視線軸に沿って境界面に隣接するオブジェクト配置空間内部の地点を表示位置として決定する。コンテンツを視覚化する装置は、決定された表示位置に経路案内コンテンツ１１２２に対応するグラフィックオブジェクトを視覚化する。
第３視点１１０３で、コンテンツを視覚化する装置は、指示地点に対する視野が確保された場合に応答して、指示地点に経路案内コンテンツ１１２３に対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、車線変更地点、迂迴路地点、及び交差点進入地点のように、運転者が行こうとする場所に予めグラフィックオブジェクトを配置し、該当の場所を予め知らせることができる。
図１２は、指示地点及び表示位置が異なる場合の視覚化動作を説明するための鳥瞰図を示す。
一実施形態に係るコンテンツを視覚化する装置は、指示地点及び表示位置が異なる場合に応答して、表示位置に対応する臨時案内コンテンツを取得する。コンテンツを視覚化する装置は、オブジェクト配置空間が指示地点を含むまで、臨時案内コンテンツに対応するグラフィックオブジェクトを表示位置に視覚化する。コンテンツを視覚化する装置は、臨時案内コンテンツに対応するグラフィックオブジェクトの表示位置を装置の移動に応じて変更することで、該当の装置からグラフィックオブジェクトまでの相対的な距離を保持する。
例えば、第１視点１２０１で、車両１２９０から指示地点までの視野が確保されないことがある。コンテンツを視覚化する装置は、指示地点と表示位置が異なるため、障害物によって制限されるオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、オブジェクト配置空間内に表示位置を決定し得る。図１２において、車両１２９０は、交差点で右折しなければならないが、第１視点１２０１で決定された表示位置は直進道路であるため、コンテンツを視覚化する装置は、直進の臨時案内コンテンツ１２２１を取得する。コンテンツを視覚化する装置は、臨時案内コンテンツ１２２１の表示位置を経路指示線上の地点として決定する。ただし、これに限定されることはない。
第２視点１２０２においても、依然として車両１２９０から指示地点までの視野が確保されないことがある。コンテンツを視覚化する装置は、以前の第１視点１２０１で生成された臨時案内コンテンツを車両１２９０からの距離を保持しながら視覚化する。
第３視点１２０３において、車両１２９０から指示地点までの視野が確保される。ただし、コンテンツを視覚化する装置は、グラフィックオブジェクトを視覚化する間に、表示位置が変更された場合に応答して、グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化する。例えば、コンテンツを視覚化する装置は、以前表示位置から次の表示位置まで、臨時案内コンテンツ１２２１を徐々に移動させ得る。また、コンテンツを視覚化する装置は、臨時案内コンテンツ１２２１から中間コンテンツ１２２２を経て経路案内コンテンツ１２２３に対応するグラフィックオブジェクトに徐々に変形し得る。
本明細書でグラフィックオブジェクトの漸進的な変形、表示位置の漸進的な変更（例えば、移動）は、連続的に行われる。例えば、コンテンツを視覚化する装置は、指定されたフレームレート（例えば、３０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓなど）で各フレームにより徐々に変形又は移動したグラフィックオブジェクトをナチュラルに視覚化することができる。
第４視点１２０４において、コンテンツを視覚化する装置は、指示地点に経路案内コンテンツ１２２３に対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、車両１２９０が指示地点に到達するまで、経路案内コンテンツ１２２３を指示地点に固定して視覚化する。第４視点１２０４でコンテンツを視覚化する装置は、変形が完了したグラフィックオブジェクトを視覚化し得る。
図１３及び図１４は、一実施形態に係るコンテンツ動き軌跡に基づいた経路案内コンテンツの視覚化を説明する図である。
まず、図５に示すステップＳ５２２において説明したように、コンテンツを視覚化する装置は、ユーザの視野角及び車両１４９０の車体に基づいてコンテンツ動き軌跡１４１９を決定する。
そして、ステップＳ１３２１において、コンテンツを視覚化する装置は、経路案内コンテンツが視野角及び車体によって遮られているか否かを判断する。例えば、車両１４９０と指示地点との間の距離が閾値距離未満である場合、車両１４９０の車体（例えば、ボンネット）によって経路案内コンテンツが遮断される。コンテンツを視覚化する装置は、指示地点及び現在位置間の距離が閾値距離未満である場合、経路案内コンテンツが遮られたものとして決定する。
次に、ステップＳ１３２２において、経路案内コンテンツが遮断される場合に応答して、コンテンツを視覚化する装置は、車体及びコンテンツ動き軌跡１４１９に基づいて経路案内コンテンツの高さを調整する。例えば、コンテンツを視覚化する装置は、該当の装置が装着された車両１４９０の車体及びユーザの視野角（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいてオブジェクト配置空間を生成する。コンテンツを視覚化する装置は、このように生成されたオブジェクト配置空間内でグラフィックオブジェクトの自然な高さ変更のためのコンテンツ動き軌跡１４１９をさらに活用する。例えば、コンテンツを視覚化する装置は、該当の装置が指示地点にアクセスする場合に応答して、コンテンツ動き軌跡１４１９に基づいてグラフィックオブジェクトの高さを調整することで、グラフィックオブジェクトを視覚化することができる。
図１４に示すように、車両１４９０が指示地点に視覚化されたグラフィックオブジェクト１４２１にアクセスし、コンテンツを視覚化する装置は、アクセスによりコンテンツ動き軌跡１４１９に基づいて決定された高さで視覚化されたグラフィックオブジェクト１４２２をユーザに提供する。コンテンツ動き軌跡１４１９は、装置から閾値距離以上である領域については、道路面に高さがフィッティングされた軌跡を示し、閾値距離未満の領域については、道路面から車体の前方のエッジを経てユーザの目に対応する領域に到達する軌跡を示す。
図１５は、一実施形態に係るコンテンツを視覚化する装置が登り坂に進入及び進出する間に経路案内コンテンツの表示位置を決定する例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、表示地点に経路案内コンテンツを視覚化した後、該当の表示地点に装置が到達するまで表示位置を固定する。例えば、図１５に示すように、コンテンツを視覚化する装置は、オブジェクト配置空間内に第１コンテンツ１５２１を視覚化し、第１コンテンツ１５２１に到達するまで第１コンテンツ１５２１の位置を保持する。したがって、ユーザは、装置が第１コンテンツ１５２１にアクセスするものと認識する。
コンテンツを視覚化する装置は、該当の装置が現在の経路案内コンテンツに対する現在の表示地点に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定する。コンテンツを視覚化する装置は、次の表示位置に次の経路案内コンテンツに対応するグラフィックオブジェクトを視覚化する。例えば、図１５に示すように、コンテンツを視覚化する装置は、第１コンテンツ１５２１に対応する地点に達した場合、第２コンテンツ１５２２を視覚化する。
登り坂では視野が制限されるため、第２コンテンツ１５２２は、車両１５９０に近い上方に視覚化される。コンテンツを視覚化する装置は、第２コンテンツ１５２２に到達する場合に応答して、第３コンテンツ１５２３を視覚化する。図１５に示すように、登り坂の進入時には視野が制限されるため、オブジェクト配置空間が小さく生成される。登り坂に進入した後には、コンテンツを視覚化する装置は平地に類似の距離に第４コンテンツ１５２４を視覚化する。
一実施形態に係るユーザの視野に対応する空間及び道路面が交差しない場合に応答して、表示位置の高さをオブジェクト配置空間の底にフィッティングする。例えば、図１５において、車両１５９０が登り坂から進出するとき、オブジェクト配置空間の底面が道路面から離隔される。すなわち、ユーザの視野に道路面が見られない。コンテンツを視覚化する装置は、第５コンテンツ１５２５を道路面にフィッティングする代わりに、オブジェクト配置空間の底面にフィッティングして視覚化することができる。
図１５は登り坂について説明したが、下り坂においてもコンテンツを視覚化する装置は、類似の方式により経路案内コンテンツを視覚化できる。例えば、登り坂の進入は下り坂の進出に対応し、登り坂の進出は下り坂の進入に対応する。
図１６は、一実施形態に係るコンテンツ視覚化方法を説明するフローチャートである。
まず、ステップＳ１６２１において、コンテンツを視覚化する装置は、車両速度が高速であるか否かを判断する。例えば、コンテンツを視覚化する装置は、車両速度が閾値速度を超過するか否かを判断する。
そして、ステップＳ１６２２において、コンテンツを視覚化する装置は、車両速度が高速である場合に応答して、グラフィックオブジェクトを遠い位置（例えば、第２位置）に視覚化する。車両速度が高速である場合、運転者が遠い位置を凝視しているものと予想されるため、コンテンツを視覚化する装置は、運転者の視線に対応する位置を表示位置として決定する。第２位置は、例えば、５０ｍであってもよいが、これに限定されることはない。
次に、ステップＳ１６２３において、コンテンツを視覚化する装置は、車両速度が高速でない場合に応答して、グラフィックオブジェクトを近い位置（例えば、第１位置）に視覚化する。車両速度が低速である場合、運転者が比較的に近い位置を凝視していると予想されるため、コンテンツを視覚化する装置は、運転者の視線に対応する位置を表示位置として決定する。第１位置は、例えば、１５ｍであってもよいが、これに限定されることはない。
ただし、速度を２段階に区分したが、これに限定されることはない。コンテンツを視覚化する装置は、車両速度をｎ個の速度区間のうち一速度区間に分類してもよく、分類された速度区間に対応する表示位置にグラフィックオブジェクトを視覚化してもよい。ここで、ｎは１以上の整数であり得る。
そして、ステップＳ１６２４において、コンテンツを視覚化する装置は、車路変更が要求されるか否かを決定する。コンテンツを視覚化する装置は、経路案内情報に基づいて、車路を変更しなければならないか否かを決定する。例えば、方向転換（例えば、左折又は右折など）をしなければならないが、現在車両が方向転換できない車路である場合、コンテンツを視覚化する装置は、方向転換が可能な車路に変更しなければならないものと決定する。
次に、ステップＳ１６２５において、コンテンツを視覚化する装置は、車路変更が要求される場合に応答して、グラフィックオブジェクトを動的に視覚化する。例えば、コンテンツを視覚化する装置は、装置から指示地点までグラフィックオブジェクトを移動させる連続的な軌跡を視覚化することで、運転者のアクションを誘導し得る。
ただし、グラフィックオブジェクトの動的視覚化を車路変更イベントに限定することはない。コンテンツを視覚化する装置は、ユーザの能動的なアクションが要求されるイベント（例えば、方向転換、車路変更など）が検出される場合に応答して、経路案内コンテンツに対応するグラフィックオブジェクトを動的に視覚化できる。グラフィックオブジェクトの動的視覚化は、経路指示線に沿って装置の現在位置から指示地点まで表示位置を繰り返し移動させながら連続的に視覚化する動作を含み得る。動的視覚化については下記の図２０を参照して説明する。
そして、ステップＳ１６２６において、コンテンツを視覚化する装置は、指示地点に近接する場合に応答して、ステップＳ１６２７において、グラフィックオブジェクトを指示地点に固定して視覚化する。例えば、コンテンツを視覚化する装置は、指示地点及び装置の位置間の距離が指示要求距離よりも小さい場合に応答して、指示地点に経路案内コンテンツを視覚化する。例えば、コンテンツ視覚化装置は、経路案内情報を指示地点に固定（ｐｉｎ）する。指示地点がオブジェクト配置空間の外側である場合、コンテンツを視覚化する装置は、オブジェクト配置空間内の表示地点を新しく決定し、表示地点にグラフィックオブジェクトを視覚化する。目的地に向かう経路に関する数多い情報が一回に提供される場合、該当情報に対応するグラフィックオブジェクトによって運転が妨害されることがある。案内経路に含まれる無数に多い指示を一回に提供できないため、コンテンツを視覚化する装置は、指示が要求される距離に近接すれば、それに対応する経路案内コンテンツを提供する。目的地まで全ての情報が一回に提供される場合、該当情報に対応するグラフィックオブジェクトが運転を妨げるためである。
次に、ステップＳ１６２８において、コンテンツを視覚化する装置は、経路指示線を点線に視覚化する。コンテンツを視覚化する装置は、経路指示コンテンツを一定の間隔の点を表示することにより、ユーザに距離を認識させることができる。経路指示線の視覚化は、下記の図１８を参照して説明する。
そして、ステップＳ１６２９において、コンテンツを視覚化する装置は、目的地に到達したか否かを決定する。コンテンツを視覚化する装置は、目的地に到達した場合、経路案内に関する動作を終了する。コンテンツを視覚化する装置は、目的地に到達できない場合に応答して、ステップＳ５１０を行う。
また、一実施形態に係るコンテンツを視覚化する装置は、案内経路から車両が外れる場合に応答して迂迴路を算出し、それに対応する経路指示線を視覚化する。例えば、コンテンツを視覚化する装置は、運転者のミスによって案内経路から外れた場合、経路案内コンテンツ及び経路指示コンテンツを用いて迂迴路を予め視覚化することで、新しい道を運転者に提示することができる。
図１７は、一実施形態に係るコンテンツを視覚化する装置が視野確保により経路案内コンテンツの位置を変更してグラフィックオブジェクトを変形する動作を説明する例示である。
図１６において、上述したステップＳ１６２６，Ｓ１６２７でコンテンツを視覚化する装置は、指示地点に近接する場合に応答して、指示地点に経路案内コンテンツに対応するグラフィックオブジェクトを視覚化することができる。
第１視点１７０１で、コンテンツを視覚化する装置は、指示地点までの距離が指示要求距離未満であるか否かを決定する。また、コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間に含まれるか否かを判断する。指示要求距離は、例えば、オブジェクト配置空間の最大距離であってもよいが、これに限定されることはない。コンテンツを視覚化する装置は、指示地点がオブジェクト配置空間に含まれるものとして決定された場合に応答して、第１経路案内コンテンツ１７２１を視覚化する。
コンテンツを視覚化する装置は、第１視点１７０１の第１経路案内コンテンツ１７２１を移動させることにより、第２視点１７０２で第２経路案内コンテンツ１７２２を視覚化する。コンテンツを視覚化する装置は、第２経路案内コンテンツ１７２２を移動させることにより、第３視点１７０３で第３経路案内コンテンツ１７２３を視覚化する。そして、コンテンツを視覚化する装置は、第４視点１７０４で指示地点に第４経路案内コンテンツ１７２４を視覚化する。コンテンツを視覚化する装置は、第１経路案内コンテンツ１７２１から第４経路案内コンテンツ１７２４に毎フレームごとにグラフィックオブジェクトの形態を徐々に変形する。また、コンテンツを視覚化する装置は、経路指示線に沿って毎フレームごとに移動した第１経路案内コンテンツ１７２１ないし第４経路案内コンテンツ１７２４を視覚化することで、経路案内コンテンツが変形されながら移動することを視覚化できる。したがって、コンテンツを視覚化する装置は、経路案内コンテンツの移動により装置が進行しなければならない経路をユーザに誘導することができ、アクションが実行されなければならない地点（例えば、方向転換地点）を案内できる。
図１８は、一実施形態に係る経路指示線に対応するグラフィックオブジェクトを説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、経路案内コンテンツとして経路指示線１８２０を視覚化する。経路指示線１８２０を、上述したように車両が走行しなければならない案内経路を指示する線として、例えば、車路の中心線に対応する。経路案内コンテンツは、案内経路に沿って配置された複数のポイントオブジェクト１８２１を含む経路指示線１８２０を含んでもよい。複数のポイントオブジェクト１８２１のそれぞれは、互いに対して単位間隔で離隔される。単位間隔は、例えば、１ｍであってもよいが、これに限定されることはない。例えば、近い距離（例えば、車両から３０ｍ以内の距離）に対しては、単位間隔が１ｍと設定されてもよく、遠い距離（例えば、車両から６０ｍ以上の距離）に対しては単位間隔が１０ｍと設定されてもよい。単位間隔は、ユーザの視覚的な認知力を強化する。
コンテンツを視覚化する装置は、等間隔に配置されたポイントオブジェクト１８２１を介してユーザに周辺の障害物までの距離情報を直観的に提供できる。ポイントオブジェクト１８２１は、図１８で円形に示されているが、これに限定されることなく、ポイントオブジェクト１８２１の大きさ及び形態は限定されない。
また、コンテンツを視覚化する装置は、オブジェクト配置空間の最大距離からグラフィックオブジェクトまでの距離に基づいて、グラフィックオブジェクトの透明度を決定する。透明度は、アルファブレンディング（ａｌｐｈａ ｂｌｅｎｄｉｎｇ）に基づいて決定される。例えば、コンテンツを視覚化する装置は、経路指示線１８２０で装置から遠い一端１８４０（ｄｉｓｔａｌ ｅｎｄ ｐｏｒｔｉｏｎ）の透明度を装置から遠いほど徐々に増加させてもよい。コンテンツを視覚化する装置は、経路指示線１８２０でオブジェクト配置空間の境界面に対応する部分を完全に透明に視覚化し得る。したがって、コンテンツを視覚化する装置は、経路指示線１８２０をナチュラルにフェードアウトさせることができる。また、コンテンツを視覚化する装置は、経路指示線１８２０で装置に近い一端１８３０（ｐｒｏｘｉｍａｌ ｅｎｄ ｐｏｒｔｉｏｎ）の透明度を装置から近いほど徐々に増加させてもよい。
図１９は、一実施形態に係る車路情報の視覚化を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、走行関連情報として車路情報に対応するグラフィックオブジェクトを視覚化する。例えば、図１９に示すように、コンテンツを視覚化する装置は、視野角の下段部に走行関連コンテンツを視覚化する。上述したようにコンテンツを視覚化する装置は、走行関連コンテンツをプロジェクション平面に対応する表示位置に視覚化することで、ユーザが走行中に計器盤を見るように走行関連情報を提供する。走行関連コンテンツは、走行に妨害されない大きさに設定される。コンテンツを視覚化する装置は、車両の状態に応じてリアルタイムに走行関連コンテンツをアップデートする。例えば、コンテンツを視覚化する装置は、前方５０ｍに子ども保護区域が示されれば、運転者視線に類似の前方位置へ３０Ｋｍ速度制限表示板のグラフィックオブジェクトを配置及び整合させる。コンテンツを視覚化する装置は、走行関連コンテンツのうち主な情報に対応するコンテンツは、予め定められた時間の間に視野中央に視覚化し、下段の運行情報提供領域に移動させ得る。
図１９に示された例示は、車両が４車路に進入する状況について説明する。
第１視点の車両１９９１は、高速道路に合流するための車路を走行する。第１視点の車両１９９１に対して、コンテンツを視覚化する装置は、第１視点の視野イメージ１９０１を提供する。視野イメージ１９０１は、ユーザの２目のうちいずれか一目によって認識されるビジョン（ｖｉｓｉｏｎ）を示し、例えば、車両の前方に対する実際の環境にコンテンツを視覚化する装置により視覚化されるグラフィックオブジェクトがオーバーレイされたイメージを示すことができる。第１視点の視野イメージ１９０１に示すように、コンテンツを視覚化する装置は、車両が現在の走行中である１つの車路を指示するグラフィックオブジェクト１９３１を視覚化する。追加的に、コンテンツを視覚化する装置は、車両速度を指示するグラフィックオブジェクト１９４２及び道路情報を要約した要約コンテンツに対応するグラフィックオブジェクト１９４１を視覚化する。
要約コンテンツは、道路情報の要約に対応するコンテンツとして、例えば、道路の線形、形態、車路個数、及び属性などを示す。図１９に示された要約コンテンツ１９４１は、車両が走行中である車路が高速道路に合流予定の車路であることを示す。
第２視点の車両１９９２は、高速道路に合流できる区間を走行する。第２視点の視野イメージ１９０２に示すように、コンテンツを視覚化する装置は、道路の車路個数及び現在車両が走行中である車路の位置に対応するグラフィックオブジェクト１９３２を視覚化する。例えば、第３視点でグラフィックオブジェクト１９３２は合計５個の車路のうち車両が最右側の車路を走行中であるという情報を提供し得る。
第３視点の車両１９９３は、高速道路に合流した後の区間を走行する。第３視点の視野イメージ１９０３に示すように、コンテンツを視覚化する装置は、車両の車路変更によってアップデートされた車路情報に関するグラフィックオブジェクト１９３３を視覚化する。例えば、第３視点で車路情報は、合計５個の車路のうち、現在車両が走行中である車路が４車路であるという情報を提供し得る。
第４視点の車両１９９４は、合流区間を通過した後の区間を走行する。第４視点の視野イメージ１９０４に示すように、コンテンツを視覚化する装置は、合流車路が排除されることによってアップデートされた車路情報に関するグラフィックオブジェクト１９３４を視覚化する。例えば、第４視点で車路情報を合計４個の車路のうち、現在車両が走行中である車路が最右側の車路であるという情報を提供し得る。
図１９は、理解を助けるための例示であって、車路情報及びそれに対応するグラフィックオブジェクトはこれに限定されることはない。
図２０は、一実施形態に係る経路案内コンテンツを動的に視覚化する動作を説明する図である。
一実施形態によれば、コンテンツを視覚化する装置は、動的イベントを検出する場合に応答して、該当動的イベントに対応する経路案内コンテンツのグラフィックオブジェクトを動的に視覚化する。
例えば、コンテンツを視覚化する装置は、装置から指示地点まで表示地点を毎フレームごとに連続的に変更して視覚化されるグラフィックオブジェクトの位置を移動させる。コンテンツを視覚化する装置は、経路指示線２０８０に沿ってグラフィックオブジェクトを移動させる。したがって、ユーザの視野でグラフィックオブジェクトが経路指示線２０８０に沿って前方に早く移動することにより、コンテンツを視覚化する装置は、動的イベントに対応するユーザのアクションを誘導できる。
図２０を参照して、動的イベントは車路変更イベントであり得る。図２０において、経路案内情報は左側車路に合流しろとの案内を含んでもよく、現在の車路から車路変更の対象となる左側車路に経路指示線２０８０が形成されてもよい。第１視点で、コンテンツを視覚化する装置は第１経路案内コンテンツ２０２１を生成し、経路指示線２０８０に対応する表示位置に視覚化する。第２視点で、コンテンツを視覚化する装置は、経路指示線２０８０に沿って表示位置を前進させ、変更された表示位置に第２経路案内コンテンツ２０２２を視覚化する。第３視点で、コンテンツを視覚化する装置は、第２経路案内コンテンツ２０２２より前進された位置を表示位置として決定し、該当の表示位置に第３経路案内コンテンツ２０２３を視覚化する。コンテンツを視覚化する装置は、経路案内コンテンツの表示位置が経路指示線２０８０に沿って前方に変更されながら、オブジェクト配置空間の境界面に到達する場合に応答して、既存表示位置を除去し、新しい表示位置を決定する。例えば、コンテンツを視覚化する装置は、装置の位置を開始地点で経路案内コンテンツに対応する新しいグラフィックオブジェクトを生成し、指示地点（例えば、オブジェクト配置空間の境界面に対応する終了地点）まで移動させることができる。
図２１は、一実施形態に係る経路案内コンテンツを静的に視覚化する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、静的イベントを検出する場合に応答して、該当静的イベントに対応する経路案内コンテンツのグラフィックオブジェクトを静的に視覚化する。
例えば、コンテンツを視覚化する装置は、指示地点に表示位置を固定し、グラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、装置が表示位置を通過するまで、固定された表示位置にグラフィックオブジェクトを視覚化する。ユーザは、グラフィックオブジェクトが配置された位置で装置がアクセスするように認識することができる。
図２１において、静的イベントは、車路保持イベントであってもよい。図２１で経路案内情報は、現在の車路で走行しろとの案内を含んでもよく、現在の車路の中心線に沿って経路指示線が形成される。コンテンツを視覚化する装置は、第１視点２１０１で指示地点に直進走行のための経路案内コンテンツ２１２１を視覚化する。コンテンツを視覚化する装置は、第２視点２１０２で装置と指示地点との間の距離が減少した時にも、指示地点に経路案内コンテンツ２１２１を視覚化することができる。
図２２は、一実施形態により危険オブジェクトを警告する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、該当の装置が位置した道路で、装置が走行している車路情報に対応するグラフィックオブジェクト及び装置の周辺にある危険オブジェクトに対応するグラフィックオブジェクトを視覚化する。
例えば、コンテンツを視覚化する装置は、危険物体が危険距離以内に存在するか否かを検出する。コンテンツを視覚化する装置は、危険物体が危険距離以内に存在する場合に応答して、該当危険オブジェクトの物理的座標に基づいて表示位置を決定する。例えば、コンテンツを視覚化する装置は、危険オブジェクトに対して検出されたバウンディングボックスの後面に対応する地点を表示位置として決定する。コンテンツを視覚化する装置は、危険オブジェクトの後面に第１危険グラフィックオブジェクト２２２１を視覚化する。また、コンテンツを視覚化する装置は、危険オブジェクトの後方に危険可能性を示す危険領域２２２２を視覚化する。危険領域２２２２は、オブジェクト配置空間の底面にフィッティングできる。さらに、コンテンツを視覚化する装置は、危険オブジェクトが存在する車路情報に対応するグラフィックオブジェクト２２２３を視覚化できる。
図２３は、一実施形態により速度制限情報を提供する動作を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、走行関連イベントを検出する場合に応答して、検出されたイベントに対応するグラフィックオブジェクトを視覚化する。走行関連イベントに区間が指定された場合、コンテンツを視覚化する装置は、区間の開始地点を表示位置として決定して固定する。コンテンツを視覚化する装置は、固定された表示位置に走行関連イベントに対応するグラフィックオブジェクトを視覚化する。コンテンツを視覚化する装置は、区間の開始地点を該当の装置が通過した場合に応答して、該当の走行関連イベントに対応する走行関連コンテンツに対応するグラフィックオブジェクトをオブジェクト配置空間の隅に追加してもよい。
例えば、コンテンツを視覚化する装置は、速度制限区間に進入するイベントを検出する場合に応答して、速度制限区間に対応する走行関連コンテンツのグラフィックオブジェクトを視覚化する。図２３において、コンテンツを視覚化する装置は、速度制限区間の開始地点を表示位置として決定する。コンテンツを視覚化する装置は、速度制限区間の開始地点に速度制限コンテンツ２３２１を視覚化する。コンテンツを視覚化する装置は、速度制限コンテンツ２３２１の位置を固定する。したがって、車両が進むことによりコンテンツを視覚化する装置は、拡大して視覚化される速度制限コンテンツ２３２２を提供する。コンテンツを視覚化する装置は、速度制限区間に進入した後には、運行情報提供領域（例えば、オブジェクト配置空間内で下段領域）に速度制限コンテンツ２３２３を視覚化する。
ただし、走行関連イベントを速度制限イベントに限定することなく、設計に応じて様々なイベントが設定されてもよい。
図２４は、一実施形態により経路案内コンテンツに対応するシェードオブジェクトを視覚化した例示を説明する図である。
一実施形態に係るコンテンツを視覚化する装置は、オブジェクト配置空間でグラフィックオブジェクト２４２０の下方に対応する領域にシェードオブジェクトを視覚化する。コンテンツを視覚化する装置は、グラフィックオブジェクト２４２０の下で、シェード領域２４３１の明るさを保持する。コンテンツを視覚化する装置は、シェード領域２４３１の周辺領域２４３２に対してシェード領域２４３１よりも高い明るさのオブジェクトを視覚化する。周辺領域２４３２は、少なくともシェード領域２４３１を取り囲む形態の領域であってもよい。周辺領域２４３２は円形のように示されているが、これに限定されることはない。
透明ヘッドアップディスプレイは、グラフィックオブジェクト２４２０の明るさを低くすることが難しいため、影を表現するのに制約がある。一実施形態に係るコンテンツを視覚化する装置は、影を表現するためのシェード領域２４３１そのものではない、その周辺領域２４３２の明るさを増加することで、シェード領域２４３１の明るさが相対的に低く見える錯視効果により影を実現することができる。道路面２４９０は、一般的に暗い色であるため、影がリアリティに表現できる。立体空間に表現される３次元オブジェクトは、影がなければ、ユーザがリアリティを感じることができない。
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
２００：コンテンツを視覚化する装置
２１０：センサ
２２０：ディスプレイ
２３０：プロセッサ
２４０：メモリ

Claims (31)

  1. コンテンツを視覚化する方法において、
    推定された前方道路領域に基づいて３次元のオブジェクト配置空間を生成するステップと、
    経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて、前記経路案内コンテンツに対する表示位置を決定するステップと、
    前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを３次元的に視覚化するステップと、
    を含むコンテンツを視覚化する方法。
  2. 前記指示地点は、前記経路案内コンテンツに対応する動作が行われる地点を含む、請求項１に記載のコンテンツを視覚化する方法。
  3. 前記オブジェクト配置空間を生成するステップは、ユーザの視野角及び前記ユーザ視点から障害物までの距離に基づいて前記オブジェクト配置空間を生成するステップを含む、請求項１に記載のコンテンツを視覚化する方法。
  4. 前記グラフィックオブジェクトを３次元的に視覚化するステップは、
    ユーザの左眼に対応する第１グラフィック表現及び前記ユーザの右眼に対応する第２グラフィック表現を生成するステップと、
    前記第１グラフィック表現及び前記第２グラフィック表現との間に視差を提供するステップと、
    を含む、請求項１に記載のコンテンツを視覚化する方法。
  5. 前記提供するステップは、前記ユーザの左眼及び右眼の位置を追跡するステップをさらに含む、請求項４に記載のコンテンツを視覚化する方法。
  6. 前記表示位置を決定するステップは、前記指示地点が前記オブジェクト配置空間から離れる場合に応答して、前記表示位置を前記オブジェクト配置空間内の位置として決定するステップを含む、請求項１−５のうち何れか一項に記載のコンテンツを視覚化する方法。
  7. 前記指示地点に対応する位置は、前記オブジェクト配置空間の限界平面に近くに位置し、前記地点に向かうユーザのアイボックスの中心からの軸上に位置する、請求項１に記載のコンテンツを視覚化する方法。
  8. 前記表示位置を決定するステップは、前記指示地点の高さが前記オブジェクト配置空間の底よりも低い場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含む、請求項１−５のうち何れか一項に記載のコンテンツを視覚化する方法。
  9. 前記表示位置を決定するステップは、ユーザの視野に対応する空間及び道路面が交差しない場合に応答して、前記表示位置の高さを前記オブジェクト配置空間の底にフィッティングするステップを含む、請求項１−５のうち何れか一項に記載のコンテンツを視覚化する方法。
  10. 前記表示位置を決定するステップは、ユーザから前記表示位置までの距離が前記オブジェクト配置空間の最大距離よりも遠い場合に応答して、前記表示位置を前記オブジェクト配置空間内にアップデートするステップを含む、請求項１−５のうち何れか一項に記載のコンテンツを視覚化する方法。
  11. 前記オブジェクト配置空間を生成するステップは、コンテンツを視覚化する装置が装着された車両の車体及びユーザの視野角（ＦＯＶ）に基づいて前記オブジェクト配置空間を生成するステップを含む、請求項１に記載のコンテンツを視覚化する方法。
  12. 前記グラフィックオブジェクトを３次元的に視覚化するステップは、
    ユーザの視野角及び車両の車体に基づいてコンテンツ動き軌跡を決定するステップと、
    コンテンツを視覚化する装置が前記指示地点にアクセスする場合に応答して、前記コンテンツ動き軌跡に基づいて前記グラフィックオブジェクトの高さを調整することで前記グラフィックオブジェクトを視覚化するステップと、
    を含む、請求項１に記載のコンテンツを視覚化する方法。
  13. 前記３次元のオブジェクト配置空間が道路面に交差する場合に応答して、前記３次元のオブジェクト配置空間を制限するステップをさらに含む、請求項１−１２のうち何れか一項に記載のコンテンツを視覚化する方法。
  14. 前記オブジェクト配置空間の底は、車両の周辺に推定された道路領域の表面にフィッティングされる、請求項１−１３のうち何れか一項に記載のコンテンツを視覚化する方法。
  15. 前記オブジェクト配置空間を生成するステップは、視野角に対応する空間及び道路面の交差地点から最大距離まで、前記オブジェクト配置空間の底を前記道路面にフィッティングさせるステップを含む、請求項１４に記載のコンテンツを視覚化する方法。
  16. 前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間で前記グラフィックオブジェクトの下方に対応する領域にシェードオブジェクトを視覚化するステップを含む、請求項１に記載のコンテンツを視覚化する方法。
  17. 前記シェードオブジェクトを視覚化するステップは、
    シェード領域の周辺領域に対して前記グラフィックオブジェクトの下方で前記シェード領域の明るさを保持するステップと、
    前記シェード領域よりも高い明るさのグラフィックオブジェクトを視覚化するステップと、
    を含む、請求項１６に記載のコンテンツを視覚化する方法。
  18. コンテンツを視覚化する装置が前記経路案内コンテンツに対する前記表示位置に達した場合に応答して、次の経路案内コンテンツに対する次の表示位置を決定するステップと、
    前記次の表示位置に前記次の経路案内コンテンツに対応する他のグラフィックオブジェクトを視覚化するステップと、
    をさらに含む、請求項１−１７のうち何れか一項に記載のコンテンツを視覚化する方法。
  19. 前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間の最大距離から前記グラフィックオブジェクトまでの距離に基づいて、前記グラフィックオブジェクトの透明度を決定するステップを含む、請求項１−１１のうち何れか一項に記載コンテンツを視覚化する方法。
  20. 前記３次元のオブジェクト配置空間の境界に隣接に位置する前記経路案内コンテンツの透明度を増加させるステップをさらに含む、請求項１−１９のうち何れか一項に記載コンテンツを視覚化する方法。
  21. 前記経路案内コンテンツは、線に沿って配置された複数のポイントオブジェクトを含み、
    前記複数のポイントオブジェクトのそれぞれは、互いに対して単位間隔に離隔される、請求項１−２０のうち何れか一項に記載コンテンツを視覚化する方法。
  22. 前記表示位置を決定するステップは、前記指示地点及び前記表示位置が異なる場合に応答して、前記表示位置に対応する臨時案内コンテンツを取得するステップを含み、
    前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記オブジェクト配置空間が前記指示地点を含むまで、前記臨時案内コンテンツに対応するグラフィックオブジェクトを前記表示位置に視覚化するステップを含む、請求項１−５のうち何れか一項に記載コンテンツを視覚化する方法。
  23. コンテンツを視覚化する装置が位置した道路で、前記装置が走行している車路情報に対応するグラフィックオブジェクト及び危険オブジェクトに対応するグラフィックオブジェクトを視覚化するステップをさらに含む、請求項１−５のうち何れか一項に記載コンテンツを視覚化する方法。
  24. 前記グラフィックオブジェクトを３次元的に視覚化するステップは、前記グラフィックオブジェクトを視覚化する途中前記表示位置が変更された場合に応答して、前記グラフィックオブジェクトを以前表示位置から変更された表示位置まで徐々に変更しながら視覚化するステップを含む、請求項１−１１のうち何れか一項に記載コンテンツを視覚化する方法。
  25. 請求項１乃至請求項２４のうち何れか一項に記載の方法を視覚化装置のコンピュータに実行させる命令語を含むコンピュータプログラム。
  26. コンテンツを視覚化する装置において、
    推定された前方道路領域に基づいて３次元のオブジェクト配置空間を生成し、経路案内コンテンツの指示地点及び前記オブジェクト配置空間に基づいて表示位置を決定するプロセッサと、
    前記決定された表示位置に前記経路案内コンテンツに対応するグラフィックオブジェクトを３次元的に視覚化するディスプレイと、
    を含むコンテンツを視覚化する装置。
  27. 前記経路案内コンテンツ、装置の状態に関する情報、マップデータベース、及び実行された時に前記３次元のオブジェクト配置空間及び前記表示位置のうちいずれか１つ又は組合せを前記プロセッサが決定するように設定する命令語を格納するメモリをさらに含む、請求項２６に記載のコンテンツを視覚化する装置。
  28. 前記プロセッサは、マップデータベースで道路情報に基づいて前記指示地点を決定するようにさらに構成される、請求項２６に記載のコンテンツを視覚化する装置。
  29. 装置に配置され、前記装置の周辺に障害物からの距離及び前記装置の状態に関する情報を検出し、前記装置が動く場合に応答してユーザの左眼及び右眼の位置を追跡するように構成されるセンサをさらに含み、
    前記プロセッサは、
    前記ユーザの前記左眼の位置に対応する第１グラフィック表現を生成し、
    前記ユーザの前記右眼の位置に対応する第２グラフィック表現を生成し、
    前記第１グラフィック表現及び前記第２グラフィック表現間の視差に基づいてヘッドアップディスプレイ（ＨＵＤ：ｈｅａｄ−ｕｐ ｄｉｓｐｌａｙ）上に３次元グラフィックオブジェクトをレンダリングする、請求項２８に記載のコンテンツを視覚化する装置。
  30. 前記装置は車両を含み、
    前記装置の前記状態に関する情報は、前記車両の位置情報、前記車両の現在地理学的座標、前記車両の位置に対応する道路情報、前記車両が走行中である車路、前記車両が走行中である車路の幅、前記車両が走行中である道路の幅、前記道路の車路個数、前記車路の中心線、前記道路上の回転地点、前記道路上の交通信号、前記車両速度、前記車両の燃料、前記車両の燃料レベル、及び前記車両の整備情報のいずれか１つ又は組合せを含む、請求項２９に記載のコンテンツを視覚化する装置。
  31. 前記オブジェクト配置空間は、ユーザの両目から前記車両の前の道路領域に延長する長方形の四角錐領域を含む、請求項３０に記載のコンテンツを視覚化する装置。
JP2019142154A 2018-10-15 2019-08-01 コンテンツを視覚化する装置及び方法 Active JP7303691B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180122382A KR20200042166A (ko) 2018-10-15 2018-10-15 컨텐츠를 시각화하는 장치 및 방법
KR10-2018-0122382 2018-10-15

Publications (2)

Publication Number Publication Date
JP2020064047A true JP2020064047A (ja) 2020-04-23
JP7303691B2 JP7303691B2 (ja) 2023-07-05

Family

ID=66175268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019142154A Active JP7303691B2 (ja) 2018-10-15 2019-08-01 コンテンツを視覚化する装置及び方法

Country Status (5)

Country Link
US (2) US11099026B2 (ja)
EP (1) EP3640598A1 (ja)
JP (1) JP7303691B2 (ja)
KR (1) KR20200042166A (ja)
CN (1) CN111055853A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014709A1 (ko) * 2021-07-13 2024-01-18 엘지전자 주식회사 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
EP3720751A4 (en) * 2018-10-25 2021-07-14 Samsung Electronics Co., Ltd. AUGMENTED REALITY PROCESS AND APPARATUS FOR DRIVING ASSISTANCE
KR20200117641A (ko) * 2019-04-05 2020-10-14 현대자동차주식회사 경로 안내 장치 및 그 방법
DE102020111250A1 (de) * 2019-04-25 2020-10-29 Aptiv Technologies Limited Grafische benutzerschnittstelle zur anzeige des verhaltens autonomer fahrzeuge
US20220289229A1 (en) * 2019-05-17 2022-09-15 Kabushiki Kaisha Tokai Rika Denki Seisakusho Control device and presentation system
JP2021039085A (ja) * 2019-09-02 2021-03-11 アイシン・エィ・ダブリュ株式会社 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
KR102270502B1 (ko) * 2019-10-24 2021-06-30 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
US11767023B2 (en) * 2019-11-04 2023-09-26 Volvo Car Corporation Displaying next action of an autonomous vehicle
KR20210129976A (ko) 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129974A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
KR20210129975A (ko) * 2020-04-21 2021-10-29 현대자동차주식회사 차량의 표시 장치 및 그 방법
FR3110710A1 (fr) * 2020-05-19 2021-11-26 Thales Dispositif électronique de gestion d’affichage d’un écran d’affichage tête haute, système d’affichage, procédé de gestion et produit programme ordinateur associés
CN111896015A (zh) * 2020-07-22 2020-11-06 Oppo广东移动通信有限公司 导航方法、装置、存储介质及电子设备
KR20220022340A (ko) 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
KR20220036199A (ko) * 2020-09-15 2022-03-22 현대자동차주식회사 증강현실 기반의 정보 표시 장치
KR102481075B1 (ko) * 2020-10-08 2022-12-26 네이버랩스 주식회사 헤드업 디스플레이의 제어 방법 및 시스템
US20220128993A1 (en) * 2020-10-23 2022-04-28 Deere & Company Methods, apparatus, and articles of manufacture to display acquisition paths
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
GB2613004A (en) * 2021-11-19 2023-05-24 Wayray Ag System and method
KR102645699B1 (ko) * 2022-06-10 2024-03-12 엘지전자 주식회사 차량의 ar 디스플레이 장치 및 그것의 동작방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックＩｐマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
WO2015136874A1 (ja) * 2014-03-13 2015-09-17 パナソニックＩｐマネジメント株式会社 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
WO2016166887A1 (ja) * 2015-04-17 2016-10-20 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
WO2017042923A1 (ja) * 2015-09-10 2017-03-16 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
WO2018042898A1 (ja) * 2016-08-29 2018-03-08 マクセル株式会社 ヘッドアップディスプレイ装置
JP2018159738A (ja) * 2017-03-22 2018-10-11 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100721560B1 (ko) * 2005-11-30 2007-05-23 한국전자통신연구원 임의 시점을 가지는 3차원 차량정보 제공 시스템 및 그방법
JPWO2007097037A1 (ja) * 2006-02-27 2009-07-09 株式会社ナビタイムジャパン 地図表示システム、ｐｏｉ検索条件の入力方法およびｐｏｉ案内表示方法ならびに端末装置
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8503762B2 (en) 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
WO2012090325A1 (ja) * 2010-12-28 2012-07-05 トヨタ自動車株式会社 ナビゲーション装置
US20120224060A1 (en) 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
KR20130027367A (ko) 2011-09-07 2013-03-15 동국대학교 산학협력단 내비게이션 장치 및 경로 표시 방법
KR101316176B1 (ko) 2011-12-14 2013-10-08 현대자동차주식회사 다중도로구간 안내시스템 및 그 안내 방법
KR20150054022A (ko) 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
JP2016074410A (ja) 2014-10-07 2016-05-12 株式会社デンソー ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP6642972B2 (ja) 2015-03-26 2020-02-12 修一 田山 車輌用画像表示システム及び方法
KR102330034B1 (ko) 2015-09-04 2021-11-25 현대모비스 주식회사 지능형 차량 제어 방법
US9625264B1 (en) 2016-01-20 2017-04-18 Denso Corporation Systems and methods for displaying route information
KR102463688B1 (ko) 2016-05-26 2022-11-07 현대자동차주식회사 증강현실 헤드업 디스플레이 시스템에서 월드좌표를 활용한 정보 표시 방법
CN117058345A (zh) 2016-09-23 2023-11-14 苹果公司 增强现实显示器
KR102552715B1 (ko) 2016-11-07 2023-07-06 현대모비스 주식회사 차량용 헤드업 디스플레이 장치 및 이의 제어 방법
GB201702309D0 (en) 2017-02-13 2017-03-29 Jaguar Land Rover Ltd An apparatus and a method for controlling a head-up display of a vehicle
KR20200042166A (ko) * 2018-10-15 2020-04-23 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010156608A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 車載用表示システム及び表示方法
WO2015118859A1 (ja) * 2014-02-05 2015-08-13 パナソニックＩｐマネジメント株式会社 車両用表示装置および車両用表示装置の表示方法
WO2015136874A1 (ja) * 2014-03-13 2015-09-17 パナソニックＩｐマネジメント株式会社 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
WO2016166887A1 (ja) * 2015-04-17 2016-10-20 三菱電機株式会社 表示制御装置、表示システム、表示制御方法および表示制御プログラム
WO2017042923A1 (ja) * 2015-09-10 2017-03-16 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
WO2018042898A1 (ja) * 2016-08-29 2018-03-08 マクセル株式会社 ヘッドアップディスプレイ装置
JP2018159738A (ja) * 2017-03-22 2018-10-11 アイシン・エィ・ダブリュ株式会社 虚像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014709A1 (ko) * 2021-07-13 2024-01-18 엘지전자 주식회사 혼합 현실에 기반한 디스플레이 장치 및 경로 안내 시스템

Also Published As

Publication number Publication date
EP3640598A1 (en) 2020-04-22
KR20200042166A (ko) 2020-04-23
JP7303691B2 (ja) 2023-07-05
US20210341305A1 (en) 2021-11-04
US20200116518A1 (en) 2020-04-16
US11099026B2 (en) 2021-08-24
US11656091B2 (en) 2023-05-23
CN111055853A (zh) 2020-04-24

Similar Documents

Publication Publication Date Title
JP7303691B2 (ja) コンテンツを視覚化する装置及び方法
KR102547823B1 (ko) 컨텐츠 시각화 장치 및 방법
US10293748B2 (en) Information presentation system
US10766498B2 (en) Method, apparatus, and computer readable storage medium having instructions for controlling a display of an augmented reality display device for a transportation vehicle
EP2860971B1 (en) Display control apparatus, method, recording medium, and vehicle
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
CN111788459A (zh) 辅助信息在显示单元上的显现
CN110920609A (zh) 用于模仿前车的系统和方法
KR102306790B1 (ko) 컨텐츠 시각화 장치 및 방법
JP2006501443A (ja) 車両に対してナビゲーション情報を表示する方法及び装置
TWI728117B (zh) 動態信息系統及動態信息系統的操作方法
US20200249044A1 (en) Superimposed-image display device and computer program
JP2015210644A (ja) 車両用表示システム
JP6856085B2 (ja) 車両用表示制御装置、方法及びプログラム
US11828613B2 (en) Superimposed-image display device
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
US20220242234A1 (en) System integrating autonomous driving information into head up display
WO2023145852A1 (ja) 表示制御装置、表示システム、及び表示制御方法
JP2019087259A (ja) 重畳画像表示装置及びコンピュータプログラム
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
JP2021133874A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JP2021028587A (ja) 車載表示制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230623

R150 Certificate of patent or registration of utility model

Ref document number: 7303691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150