JP2015015708A - 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 - Google Patents

車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 Download PDF

Info

Publication number
JP2015015708A
JP2015015708A JP2014132780A JP2014132780A JP2015015708A JP 2015015708 A JP2015015708 A JP 2015015708A JP 2014132780 A JP2014132780 A JP 2014132780A JP 2014132780 A JP2014132780 A JP 2014132780A JP 2015015708 A JP2015015708 A JP 2015015708A
Authority
JP
Japan
Prior art keywords
image
eye
information
processing information
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014132780A
Other languages
English (en)
Inventor
ヴァインガルテン、ヤン
Weingarten Jan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2015015708A publication Critical patent/JP2015015708A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/346Image reproducers using prisms or semi-transparent mirrors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する。
【解決手段】第1の事前に歪められた画像を獲得するために、三次元画像の観察者の第1の目のための第1の画像を、第1の目100に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める工程1006Aと、第2の事前に歪められた画像を獲得するために、三次元画像の観察者の第2の目102のための第2の画像を、第2の目に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める工程1006Bと、三次元画像を表示するために、車両の映像装置へのインタフェースに、第1の事前に歪められた画像及び第2の事前に歪められた画像を出力する工程1008と、を含む。
【選択図】図10

Description

本発明は、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する方法、対応する装置、及び、対応する記録媒体に関する。
車両のフロントガラスが例えば仮想的な三次元画像の表示面として使用される、HUD(Head−Up Display、ヘッドアップディスプレイ)とも呼称される視野ディスプレイが、既に車両に標準装備されるようになっている。
特許文献1では、運転者を観察するカメラを有するHUDが紹介されている。画像表示のために逆向きの光路が利用される。特許文献2は、自動立体視対応のHUDを紹介している。特許文献3は、HUD内でコンタクトアナログな(kontaktanalog)情報を表示する可能性を示している。
欧州特許第1783531号明細書 欧州特許第2200332号明細書 独国特許第102009027026号明細書
このような背景から、本発明によって、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する方法、更に、本方法を利用する装置、最後に、当該方法を実行するための又は当該装置を実現するためのプログラムを記録したコンピュータ読取可能な記録媒体が提示される。
本発明のある観点によれば、車両(600)のための視野ディスプレイ装置(602)の映像装置(604)を利用して三次元画像(306)を表示する方法(1000)であって、第1の事前に歪められた画像(700)を獲得するために、前記三次元画像(306)の観察者(608)の第1の目(100)のための第1の画像を、前記第1の目(100)に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める工程(1006A)と、第2の事前に歪められた画像(702)を獲得するために、前記三次元画像(306)の観察者(608)の第2の目(102)のための第2の画像を、前記第2の目(102)に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める工程(1006B)であって、前記第1の事前に歪められた画像(700)の事前歪み処理は、前記第2の事前に歪められた画像(702)の事前歪み処理とは異なっている、前記事前に歪める工程(1006B)と、前記三次元画像(306)を表示するために、前記車両(600)の前記映像装置(604)へのインタフェースに、前記第1の事前に歪められた画像(700)及び前記第2の事前に歪められた画像(702)を出力する工程(1008)と、を有する、方法(1000)が提供される。
また、本発明の別の観点によれば、車両(600)のための視野ディスプレイ装置(602)の映像装置(604)を利用して三次元画像(306)を表示する装置(610)であって、第1の事前に歪められた画像(700)を獲得するために、前記三次元画像(306)の観察者(608)の第1の目(100)のための第1の画像を、前記第1の目(100)に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める第1の事前歪み処理装置(612)と、第2の事前に歪められた画像(702)を獲得するために、前記三次元画像(306)の観察者(608)の第2の目(102)のための第2の画像を、前記第2の目(102)に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める第2の事前歪み処理装置(614)であって、前記第1の事前に歪められた画像(700)の歪み処理は、前記第2の事前に歪められた画像(702)の歪み処理とは異なっている、前記第2の事前歪み処理装置(614)と、前記三次元画像(306)を表示するために、前記車両(600)の前記映像装置(604)へのインタフェースに、前記第1の事前に歪められた画像(700)及び前記第2の事前に歪められた画像(702)を出力する(1008)出力装置(616)と、を有する、装置(610)が提供される。
その他、有利な構成は、主請求項、各従属請求項及び以下の明細書の記載から明らかとなろう。
収束の原則を解説するための図を示す。 発散の原則を解説するための図を示す。 上下発散の原則を解説するための図を示す。 第1の画像と第2の画像とが最適に重なり合っていない場合の誤った奥行き感を解説するためのグラフを示す。 従来の視野ディスプレイ装置を利用した虚像の表示を解説するための概略図を示す。 従来の視野ディスプレイ装置を利用した、事前歪み処理が施された虚像の表示を解説するための概略図を示す。 視野がより大きな従来の視野ディスプレイ装置を利用した虚像の表示を解説するための概略図を示す。 本発明の一実施形態に係る、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する装置のブロック図を示す。 本発明の一実施形態に係る、図6の装置を利用した虚像の表示を解説するための概略図を示す。 本発明の一実施形態に係る、観察者の頭部が動いた際の図6の装置を利用した虚像の表示を解説するための概略図を示す。 本発明の一実施形態に係る、図6の装置及び運転者観察システムを利用した虚像の表示を解説するための概略図を示す。 本発明の一実施形態に係る、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する方法のフローチャートを示す。 図10の方法に係る画像事前歪み処理を解説するための図を示す。
観察者の両目が同一の光学系を介して対象物を見る両眼式HUD光学系の場合、右目と左目は、異なる観察角度から虚像を観察する。このことから、特に、画像の歪み、並びに、収束エラー及び上下発散エラーが、像点の横方向の位置と目標位置とのずれを記述するパラメータに依存して発生する。従って、画像鮮明度に対する要求と並んで、収束及び上下発散に対する要求も満たすために、HUDは、十分な光学素子を備えた高価な光学系を有する可能性がある。コスト削減の理由から、一般的には、可能な限り少数の光学素子を使用して上記の要求に応えることが試みられている。その際に、観察角度に渡って近似的に同一のままの歪みを、HUDの映像装置上での画像事前歪み処理(Bildvorverzerrung)によって修正できるという考え方を利用することが可能である。この構想は、「ワーピング」(Warping)とも呼ばれる。
本発明の一実施形態では、立体視対応のHUDは、観察者の左目と右目のために別々の画像事前歪み処理を実行するワーピングユニットを有することが可能である。従って有利に、特に、歪み、収束、及び上下発散に関して、HUD結像光学系の不十分な光学的品質を補正することが可能である。
ここで紹介するアプローチの発展形態では、観察者のアイポジションを追跡するシステムを付け加えることによって、アイボックス(Eyebox)全体に渡る歪みパラメータ、収束パラメータ、及び上下発散パラメータの補正を、動的なワーピングによって実現することが可能である。プリワーピング(Pre−Warping)とも呼ばれるこの操作は、ここで提示される構想に従って、観察者の左目と右目が、事前に歪み処理が施された異なる画像を見るという事態によって可能となる。
ここで提示されるアプローチに従って構想された、動的な両眼視対応のワーピングが行われるHUDには、ヘッドアップディスプレイの結像光学系自身がより安価に設計可能であり、従ってコストが節約されるという利点がある。さらに、このようにして光学素子を省略出来ることによって、コストの他に設置空間も節約することが可能である。特に、本発明に係る構想に従って構成されるシステムは、コンタクトアナログなHUDのために適している。ここで提示されるアプローチが無ければ、両眼式HUDとしての、表示可能な仮想的な像距離が約15mの際の、典型的に少なくとも8°×4°という必要な画像サイズは、許容差に対する要求が増大し、かつ、典型的に少なくとも3個と光学素子の数が多いことにより、実現が非常に困難であろう。
ここで提示されるアプローチによれば、HUD、特にコンタクトアナログなHUDの光学系の複雑さを有利に低減することが可能である。従って、HUDの設置空間がより小さくなり、又は、設置空間に対する要求が同じままで実現可能な視野が最大化される。
本発明の一実施形態に係る、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する方法は、
第1の事前に歪められた画像を獲得するために、三次元画像の観察者の第1の目のための第1の画像を、第1の目に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める工程と、
第2の事前に歪められた画像を獲得するために、三次元画像の観察者の第2の目のための第2の画像を、第2の目に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める工程であって、第1の事前に歪められた画像の事前歪み処理は、第2の事前に歪められた画像の事前歪み処理とは異なっている、上記事前に歪める工程と、
三次元画像を表示するために、車両の映像装置へのインタフェースに、第1の事前に歪められた画像及び第2の事前に歪められた画像を出力する工程と、
を有する。
三次元画像には、観察者に適切に提示するための空間的な表示が関わりうる。HUD(Head Up Display)とも呼ばれる視野ディスプレイ装置では、表示すべき情報、ここでは例えば三次元画像が、観察者の主要視野内に配置された表示面に投影されるため、観察者は情報を受容するために頭の位置又は視線方向を変える必要がなく又は僅かに変えればよい表示装置として理解されうる。映像装置には、視野ディスプレイ装置上での三次元画像の表示がそれにより生成される画像信号を生成するための電子装置が関わりうる。このために、映像装置は、視野ディスプレイ装置の表示面に対して適切な距離な距離を取って配置されうる。第1の画像及び第2の画像への事前歪み処理(Vorverzerren)は、ワーピング(Warping)とも呼ばれる。この事前歪み処理は、第1の画像と第2の画像とで構成される三次元画像を観察した際に左目と右目の位置が異なることから発生しうる歪みを補正するために使用することが可能である。従って、この事前歪み処理によって、事前歪み処理情報に基づいた、制御されて補正を受けた第1の画像及び第2の画像の表示であって、歪みがない表示という印象を観察者が受けるように観察の際に発生する歪みを解消しうる点で優れた上記表示が可能となる。正しい事前歪み処理のために必要な事前歪み処理情報は、関連するデータ及び/又は測定値、特に、三次元画像の奥行き効果を示すためのデータを利用して、適切なアルゴリズムを利用して定めることが可能である。第1の画像と第2の画像とに対して各事前歪み処理を施す際の相違は、両目の間隔により与えられる観察者の第1の目(例えば左目)と第2の目(例えば右目)との異なる位置に基づいている。
一実施形態によれば、本方法は、前記第1の画像を事前に歪める工程及び前記第2の画像を事前に歪める工程に先立ち、第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報を定める工程を更に有してもよい。その際に、第2の画像事前歪み処理情報は、第1の画像事前歪み処理情報とは異なっていてもよい。従って、第1の画像及び第2の画像への事前歪み処理を決定するために、常に現在の実際のデータに依拠し、各事前歪み処理を適切に決定することが可能である。
さらに、上記第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報を定める工程は、第1の位置情報及び第2の位置情報を取得する工程を含んでもよい。その際に、第1の位置情報は、観察者の頭部のための第1の所定移動空間内での第1の目の位置を表し、第2の位置情報は、観察者の頭部のための第2の所定移動空間内での第2の目の位置を表わしてもよい。上記第1の所定移動空間及び上記第2の所定移動空間は、それぞれ、第1のアイボックス(Eyebox)、第2のアイボックスとも呼ばれ、記載される方法によりサポートされるタスクの際に観察者の頭部がその中で動く空間を記述する。第1の所定移動空間及び第2の所定移動空間は、予め設定された寸法を有してもよい。車両内で運転者に対して情報が提示される場合には、第1の所定移動空間及び第2の所定移動空間は、車両の内部空間内での車両の運転者の頭部が動く範囲を表してもよい。第1の所定移動空間及び第2の所定移動空間は、経験値に基づいて計算されて予め設定されてもよい。代替的に、第1の所定移動空間及び第2の所定移動空間は、例えば、運転者を観察するために車両の内部空間内に設置されたカメラシステムによって、実時間で定められて定期的に更新されてもよい。本実施形態には、第1の画像と第2の画像とへの事前歪み処理が互いに依存せずに、各目の位置に従って正確に決定されるという利点がある。従って、三次元画像を観察する際の像の跳躍の危険性を基本的に低減することが可能である。
一実施形態によれば、上記第1の位置情報及び第2の位置情報を取得する工程では、第1の位置情報及び第2の位置情報が光学的に取得されてもよい。このために、車両は、カメラベースの運転者観察システムを具備してもよい。この運転者観察システムは、主要な自動車内に既に標準装備として存在し、将来的には更に普及するであろう。有利に、位置情報を光学的に取得する工程を有する本方法によって、常に最新データを用いて操作を行い、事前歪み処理をさらに正確に計算することが可能である。
例えば、上記第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報を定める工程では、第1の画像事前歪み処理情報が第1の位置情報に基づいて定められ、第2の画像事前歪み処理情報が第2の位置情報に基づいて定められてもよい。従って有利に、各画像事前歪み処理が、右目又は左目のための各画像がそこから観察される角度について正確に計算されうる。このことは、両角度の大きさが非常に異なる場合には特に重要である。
更なる別の実施形態によれば、上記第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報を定める工程は、第1の目の更なる別の位置に関する更なる別の第1の位置情報に基づいて更なる別の第1の画像事前歪み処理情報を取得し、第2の目の更なる別の位置に関する更なる別の第2の位置情報に基づいて更なる別の第2の画像事前歪み処理情報を取得する工程を含んでもよい。従って、実時間での歪みの無い三次元画像の表示を、観察者の頭部の動き及び視線のずれ(Sichtachsenverschiebung)に対して調整することが可能である。従って、頭部が移動した結果、三次元画像の表示エラーによって観察者がイライラさせられることが効果的に予防される。
例えば、本方法は、更なる別の第1の位置情報に基づいて、第1の所定移動空間の空間座標を調整し、更なる別の第2の位置情報に基づいて、第2の所定移動空間の空間座標を調整する工程を有してもよい。空間座標は、例えば車両内部空間内での、各所定移動空間の境界及び所定移動空間の位置を表すことが可能である。空間座標の調整によって、第1の所定移動空間及び/又は第2の所定移動空間のシフトを実現することが可能である。従って有利に、像の跳躍が起らずに三次元画像を観察者に示すことが可能なゾーンから、観察者の頭部が出て動くことが予防される。同時に、事前歪み処理をそのために定める範囲が最小に保たれ、計算能力が節約される。
代替的に、更なる別の第1の位置情報は、観察者の頭部のための第3の所定移動空間内での第1の目の位置を表し、及び/又は、更なる別の第2の位置情報は、観察者の頭部のための第4の所定移動空間内での第2の目の位置を表わしてもよい。このように、観察者の頭部の推定される移動フィールド内、例えば車両内部空間内に、任意の数の更なる別の所定移動空間を定めてもよい。本実施形態によれば、更なる別の第1の位置情報又は更なる別の第2の位置情報に基づき、変更された画像事前歪み処理を決定するための演算コストを省略出来るという利点がある。従って、事前に歪められた適切な第1の画像又は第2の画像が各任意の時点に存在し、画面の動きがギクシャクした(ruckhaft)イライラさせる三次元画像の表示を実際的に排除することが可能である。
本方法は、第1の事前に歪められた画像及び第2の事前に歪められた画像を利用して、車両の視野ディスプレイ装置に三次元画像を表示する工程を有してもよい。特に、視野ディスプレイの光学系は、車両のフロントガラスによって形成されてもよい。従って、交通状況から視線を逸らす必要なく、車両の運転者は重要な情報を取得することが可能であり、その際に、歪みエラー、発散エラー、又は上下発散エラーによってイライラさせられ、状況によっては走行状況から注意が逸らされることがない。
特に、上記表示する工程では、三次元画像は、コンタクトアナログな三次元画像として表示されてもよい。従って、運転者は直観的に、従って特に迅速に、走行状況についての重要で関連する情報を得ることが可能である。
本発明の更なる別の実施形態によれば、第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報を定める上記工程、及び/又は、更なる別の第1の画像事前歪み処理情報及び更なる別の第2の画像事前歪み処理情報を定める上記工程では、第1の画像事前歪み処理情報及び第2の画像事前歪み処理情報、及び/又は、更なる別の第1の画像事前歪み処理情報及び更なる別の第2の画像事前歪み処理情報が、三次元画像を表示した際の少なくとも1つの収束エラー、少なくとも1つの発散エラー及び/又は少なくとも1つの上下発散エラーを補正するために定められてもよい。従って有利に、三次元画像の観察者、例えば車両の運転者がイライラして、集中力がそがれることを予防することが可能である。特に、より安全で、事故の危険性がより低い車両の運転を行うことが可能である。
本発明の一実施形態に係る、車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示する装置は、
第1の事前に歪められた画像を獲得するために、三次元画像の観察者の第1の目のための第1の画像を、第1の目に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める第1の事前歪み処理装置と、
第2の事前に歪められた画像を獲得するために、三次元画像の観察者の第2の目のための第2の画像を、第2の目に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める第2の事前歪み処理装置であって、第1の事前に歪められた画像の歪み処理は、第2の事前に歪められた画像の歪み処理とは異なっている、上記第2の事前歪み処理装置と、
三次元画像を表示するために、車両の映像装置へのインタフェースに、第1の事前に歪められた画像及び第2の事前に歪められた画像を出力する出力装置と、
を有する。
本装置は、適切な素子内で本発明に係る方法の工程を実行し又は実現するよう構成されてもよい。さらに、装置の形態による本発明のこの変形例によっても、本発明の根底にある課題を迅速かつ効果的に解決することが可能である。
装置とは、本明細書では、センサ信号を処理しセンサ信号に従って制御信号又はデータ信号を出力する電気装置として理解されうる。装置は、ハードウェア又はソフトウェアにより構成可能なインタフェースを有してもよい。ハードウェアによる構成の場合には、インタフェースは例えば、装置の様々な機能を含む所謂システムASICの一部であってもよい。しかしながら、インタフェースが固有の集積回路であり、又は、少なくとも部分的に別々の構成要素で構成されるということも可能である。ソフトウェアによる構成の場合には、インタフェースは、他のソフトウェアと共に例えばマイクロコンピュータ上に存在するソフトウェアモジュールであってもよい。
また、先に記載した実施形態又は後述する実施形態のうちの1つに記載された装置の各機能を実現するためのコンピュータプログラムを作製し、PC(Personal Computer)等の情報処理装置に実装することが可能である。また、先に記載した実施形態又は後述する実施形態のうちの1つに記載された方法を実行するためのコンピュータプログラムも、同様にして、作製、実装可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な担体(記録媒体)も提供することができる。記録媒体は、例えば、半導体メモリ、磁気ディスク(例えばハードディスク)、光ディスク、光磁気ディスク等である。更に、このようなコンピュータプログラムは、いわゆるプログラム製品としても提供され得る。
以下では、本発明が添付の図面を用いて例示的により詳細に解説される。
本発明の好適な実施形態についての以下の記載では、様々な図に示される類似して機能する構成要素については、同一又は類似した符号が利用され、このような構成要素について繰り返し記載することは省略される。
画像ディスプレイ装置又はHUD上に表示される画像は、空間的なイメージを伝達し、仮想オブジェクトも含むことが可能である。表示される画像の視覚的な印象は、観察者の左目と右目とが眺める画像がどの程度まで類似しているかに特に強く依存している。なぜならば、これらの画像が良好に一致する場合にのみ、人間の視覚的な知覚システムにとっては、快適に観察される画像が所望の空間的位置に生じるからである。
両眼式光学系を備えた立体視対応のHUDの場合、両眼網膜像差(Binokulare Disparitaet)という奥行き感の指標(Tiefenhinweis)を用いて様々な象徴的距離(Symboldistanz)を模倣する(emulieren)ために、固定の仮想的な像距離に、左目と右目とのために異なる画像が表示される。その一方で、例えば、映像装置としてボリュームディスプレイ(Volumendisplay)を利用することによって、3D的な体積(Volumen)での象徴表示(Symbol−Darstellung)を可能にするHUDも存在する。
以下の図1A〜1Cは、立体視(stereoskopisches Sehen)と3D画像表示の際の問題とを解説する役目を果たす。
図1Aは、簡単な概略図によって、立体視の際の収束(Konvergenz)の原則を具体的に解説する。比較的近距離で観察される対象物の空間的な位置付けのために、観察者の第1の目100と第2の目102とは、対象物の領域内の共通の消失点108へと方向付けられる。その際に、点108において交点を形成するために、目100又は102の光軸が、相対するように互いに向きを変えられる。正しい視覚的な奥行き感のために、全ての奥行き感の指標(視差(Disparitaet)、収束、運動視差、調節(Akkomodation))が互いに一定であり、即ち、全てが点108に存在する対象物を示唆していることが重要である。
三次元画像を表示する際の問題は、観察者が、整合性のない奥行き感の指標の中に置かれる場合に発生することが多い。目が、或る対象物を観察し、脳が、調節(目レンズの屈折力の眼球運動的な調整)を用いて、当該対象物までの距離を短いと推測し、この推測された距離が、目100、102の互いに向かい合う2つの光軸104、106の交点からの距離と一致しない場合には、奥行き感の指標に不整合が生じる。この不整合は或る程度までは許容される(詳細は下記参照。)。
図1Bに示される分散(Divergenz)は許容されず、ここでは、2つの光軸104、106は交わることが出来ない。ここでは、左目100は、点110に焦点が合っており、右目102は、点112に焦点が合っている。但し、光軸104、106は互いに逸れており、このようなことは現実的には起こらない。なぜならば、現実的に発生する全ての対象物は、互いに向き合った光軸104、106によって観察され、又は、無限の彼方に存在する対象物の場合、平行する光軸によって観察されるからである(交点は無限の彼方に存在する)。
知覚的な視差の他の形態が、上下分散(Dipvergenz)を解説するための図3を用いて解説される。この上下発散は、上下方向の分散に相当する。ここでは、第1の焦点110に割り当てられた第1の視角104と、第2の焦点112に割り当てられた第2の視角106と、が上下方向において互いに異なっている。
画像の鮮明度に対する要求の他に、収束及び分散に対する要求を満たすために、HUDは、十分な光学素子を備えた高価な光学系を必要とする。許容可能なエラーは、ここでは典型的に2mradと等しく又は2mradよりも小さい(≦2mrad)範囲内で変動し、歪みエラーの場合は、この閾値は典型的に5%である。
図2は、HUD光学系上に三次元画像を表示した際に第1の画像と第2の画像とが最適に重なり合っていない場合の、誤った奥行き感を解説するためのグラフである。図1B及び図1Cによって解説されたケースに対応して、左目と右目とについて適切に重なり合わずに生じた虚像によって、誤った奥行き感がもたらされる。このグラフは、収束エラーがある両眼網膜像差が奥行き感の指標として使用された場合に、人間の視覚機構が、どのような画像の歪曲(Bildwoelbung)を推測するのかを示している。ここでは、発生した仮想的な像平面の寸法及び距離が示されている。中央の仮想的な像距離は、ここでは約15メートルである。
図2のグラフは、このようなHUDの、先に挙げた位置のずれにより平坦ではなく歪曲して生じた仮想的な像平面の例を示している。しかしながら、この文脈において、距離約15メートルという数メートルの範囲内での、例示的に示される奥行きの変化は、観察者にとって必ずしも気に障るものではないことに注意されたい。このグラフは、左目又は右目のための僅かに異なる画像に基づく、三角測量を介して定められた奥行き感を示している。本発明の一実施形態では、1つの改善が、立体視対応のHUDを利用して達成されうる。対応して装備される立体視対応のHUDは、3〜5メートルの仮想的な像距離を実現することが可能であり、立体効果によって、両眼網膜像差を介して調整可能な可変的な像距離を可能にし、動的なワーピングシステムと、アイポジション追跡と、を組み合わせることによって、設置空間に関して可能な限り小さく設計されうる。このようなワーピングシステムは、図2に示した歪曲(Woelbung)、及び、上下分散及び歪みのような他の画像エラーを完全に補正することが可能であり、これにより、対応するHUD光学系は、小さな許容差要求のみ満たせばよく、場合によっては1、2個の光学素子を省略することが可能であり、これにより、コストと設置空間が節約されうる。
図3は、従来の立体視対応の視野ディスプレイ装置を利用して虚像を表示するシステムを極めて簡単に示している。ここでは、視野ディスプレイ装置又はHUD300が示されている。HUD300は、映像装置302と、HUD光学系304と、で構成され、事前歪み処理要素は含んでいない。例えば車両にHUDを搭載した際に、HUD光学系は、車両のフロントガラスによって形成される。観察者、ここでは例えば運転者の第1の目100及び第2の目102は、HUD光学系304の方に向いており、このHUD光学系304へと、視野ディスプレイ装置300の適切な反射要素を用いて映像装置302の表面(Oberflaeche)が映される。従って、HUD光学系304は、図示される仮想的な像距離308に観察者にとっては生じる虚像306の形態により、映像装置表面が映されたバージョンを示している。
図3に示される両眼式HUD光学系304の場合、映像装置302は、2つの目100、102によって、同一の結像光学系、例えばミラーベースの反射光学系を介して観察される。この結像光学系によって、映像装置面302は、拡大鏡の原則に従って、実際の距離よりも大きく隔てたところに、虚像306として目前に発生する。その際に、第1の目100(例えば左目100)、及び、第2の目102(例えば右目102)は、異なる「アイボックスポジション」(Eyebox−Position)から虚像306を観察している。このアイボックスポジションは、約66mmの平均的な目の間隔に相当する横方向のずれを表している。しかしながら、この2つのアイボックスポジションは、簡素な結像光学系の使用によって、あたかも1つの(図では縦方向の両方向矢印により示される)共通のアイボックス310に纏められるため、虚像306を観察した際に、様々な観察角度に基づく歪み、並びに、収束エラー及び上下分散エラーが知覚される可能性がある。さらに、図3で示される従来のHUD300は、ワーピング機能を有しておらず、即ち、10より小さい(<10)典型的な倍率(Abbildungsmassstab)に従って実現されている。「プリワーピング」とも呼ばれる画像の事前歪み処理が行われないことによって、虚像306は歪み、この場合はバナナ形状の歪みが生じる。
図4は、虚像を表示するための別の従来のシステムを示している。ここでは、従来のヘッドアップディスプレイ(Head−Up−Display)300には両眼式結像光学系が具備されており、事前歪み処理機能により、歪みが取れた虚像としての画像306の表示が可能となる。
図5は、虚像を表示するための更に別の従来のシステムを示している。この場合、両眼式光学系を備えたヘッドアップディスプレイ300は、(図5からは分からない)より大きな視野及びより大きな像距離を実現するコンタクトアナログな(kontaktanalog)HUDである。
ここで、コンタクトアナログなHUDとは、車両の外部に存在する物体に重畳させるように、仮想的な画像をHUD光学系(例えばフロントガラス)に表示させることが可能なHUDのことである。コンタクトアナログなHUDを実現するための構成として、例えば、車両の外部の物体を検出するセンサ及び観察者(例えば運転者)の視線を検出するセンサが設けられる。これらのセンサの検出結果に基づいて、例えば自車両に接近する他の車両に対して危険を示すシンボルを重畳表示する等、車両の外部の物体に対して、運転者によって認識可能なように画像を重畳させて表示させる制御が行われ得る。コンタクトアナログな表示(画像)とは、このような、コンタクトアナログなHUDにおける表示(画像)のことを意味する。三次元画像を表示可能なコンタクトアナログなHUDであれば、コンタクトアナログな画像も三次元画像として表示され得る。
特に、コンタクトアナログなHUD300の場合、従来のHUDの場合よりも明らかに大きな視野と共に、より大きな像距離308が実現される。このことによって、必要な画質を実現するために、より寸法が大きなより多くの光学系が必要となり、より大きな光路が必要となる。これにより、車両内の例えばダッシュボードにHUDを搭載した際の、設置空間に対する要求が増大する。車両内のステアリングコラム及び支持管(Tragrohr)のようなセーフティクリティカルな構成要素によって、HUDの設置空間及び視野、対応して、機能及び利用が最初から制限されている。
利用可能な設置空間が小さいことにより光学素子の数が制限され、例えば光学素子の数が2〜4個であり、かつ、倍率が拡大され、例えば倍率が20よりも大きい(>20)場合には、左目100と右目102とに関する虚像306の歪みはそれほど類似していない。図5に示されるように、三次元画像306を形成する第1の画像500と第2の画像502とは、明らかに互いに異なっている。収束エラー及び上下分散エラー、並びに、歪みにより記述されるこの影響によって、奥行きが誤って知覚され、ある程度の限界値以降、例えば約2mrad以降は、運転者又は観察者にとっては不快であり、従って許容されえない。
図5に示されるヘッドアップディスプレイ300は、所謂コンタクトアナログなヘッドアップディスプレイの場合に生じるような、要求のより大きなパラメータに基づいている。虚像の内容を走行シーンに溶け込ませられるという目的によって、ここでは、拡張された視野、及び、より大きな像距離が必要となり、このことによって、より多素子的で(mehrelementig)より拡大された光学素子となり、かつ、倍率が上がり、例えば倍率が20よりも大きく(>20)なる。このことこそ、左目100と右目102とが見る虚像500、502が良好に重なり合わない理由であり、これにより奥行き感が損なわれ、最悪の場合には、運転者に不快なものとして知覚されることになる。
図6は、本発明の一実施形態に係る三次元画像を表示する装置のブロック図を示す。ここでは、視野ディスプレイ装置又はHUD602を備えた車両600が示されており、HUD602は、映像装置604と、ここでは車両のフロントガラスにより形成されるHUD光学系606と、を備える。HUD光学系606の観察者608は、ここでは、車両600の運転者により表される。車両600はさらに、第1の画像及び第2の画像で構成される三次元画像を表示する装置610を有する。装置610は、三次元画像の観察者608の第1の目100のための第1の画像を事前に歪める第1の事前歪み処理装置612と、三次元画像の観察者608の第2の目102のための第2の画像を事前に歪める第2の事前歪み処理装置614と、三次元画像を表示するために、車両600の映像装置604へのインタフェースに、第1の事前に歪められた画像及び第2の事前に歪められた画像を出力する出力装置616と、を備える。
図6で示される装置610の実施形態の場合、第1の事前歪み処理装置612は、第1の目100に割り当てられた第1の画像事前歪み処理情報に基づき、第1の画像に事前に歪みを引き起こすよう構成され、第2の事前歪み処理装置614は、第2の目102に割り当てられた第2の画像事前歪み処理情報に基づき、第2の画像に事前に歪みを引き起こすよう構成される。図6に示されるように、第1の画像事前歪み処理情報は、観察者608の頭部のための第1の所定移動空間620内の第1の目100の位置を表す第1の位置情報618に基づいており、第2の画像事前歪み処理情報は、観察者608の頭部のための第2の所定移動空間624内の第2の目102の位置を表す第2の位置情報622に基づいている。
図7は、非常に簡素化して示されるシステムを用いて、図6の本発明の一実施形態に係る装置を利用した虚像の表示を解説している。本発明に係る装置の分だけ拡張されたヘッドアップディスプレイ602は、両眼式光学系を有し、即ち、観察者の左目100と右目102とは、ここでは示されない映像装置の表面によって反射された異なる映像を観察し、ここでは、左目100のために第1の画像事前歪み処理情報に従って事前に歪められた第1の画像700と、右目102のために第2の画像事前歪み処理情報に従って事前に歪められた第2の画像702と、を観察し、その際に、第1の画像700への事前歪み処理は、第2の画像702への事前歪み処理とは異なっている。この異なる画像事前歪み処理は、図6を用いて解説したように、第1の所定移動空間620内での第1の目100の位置を表す第1の位置情報と、第2の所定移動空間624内での第2の目102の位置を表す第2の位置情報と、に基づいている。第1のアイボックス(Eyebox)と呼ぶことも可能な第1の所定移動空間620と、第2のアイボックスと呼ぶことも可能な第2の所定移動空間624と、は、図7では、2組の1対の矢印によって概略的に表されている。その際に、第1の目100及び第2の目102のための事前歪み処理は、得られる虚像306が歪まずに所望の仮想的な像距離308に生じるように実現される。
図7で示される両眼式HUD602は、例えば左目である第1の目100と、例えば右目である第2の目102と、のために異なる画像内容を表示することが可能な自動立体視スクリーンのように機能する。当該構成は、左目100のための第1のアイボックス620と、右目102のための第2のアイボックス624と、のために別々に行われる事前歪み処理の際に利用される。対応して、図3〜図5によって解説された収束エラー、上下分散エラー、及び歪みエラーが補正されうる。
図8は、観察者の頭部が動いた場合の、図6及び図7を用いて解説された立体視対応のHUD602の機能形態の例を示す。図8で示されるように、観察者又は運転者が、頭部をここでは右の方に動かす場合について考える。運転者の横方向への移動によって、例えば第1の目である左目100は、第1のアイボックス620から第2のアイボックス624へと動き、例えば第2の目である右目102は、第2のアイボックス624から、第4のアイボックス又は観察者の頭部のための第4の所定移動空間800へと動く。第1の目100の横に定められ得る第3のアイボックスは、図には示されていない。更なる措置を取らなければ、アイボックス620、624の外、即ち例えば移動空間800内には画像は生じないであろう。HUD602が、左目100及び右目102それぞれのために1個よりも多い画像を表示することが可能な場合には、画像を失うことなく運転者の移動の自由が拡大し、図示されない第3及び第4のアイボックス内に画像が生じるであろう。
本実施形態によれば、適切なアイボックス設定範囲、即ち例えば車両の内部空間の或る範囲を完全にカバーすることが可能な複数の更なる別の小さなアイボックスが生じてもよい。この場合、第1の目100及び第2の目102がいずれのアイボックス内に位置するかに応じて、第1の目100の位置を表す第1の位置情報及び第2の目102の位置を表す第2の位置情報が変化し得る。すなわち、第1の目100の位置に応じて、第1の位置情報は、第1の所定移動空間620(第1のアイボックス620)内での第1の目100の位置を表す情報でもあり得るし、第1の所定移動空間620とは異なる第3の所定移動空間(第3のアイボックス)内での第1の目100の位置を表す情報でもあり得る。また、第2の目102の位置に応じて、第2の位置情報は、第2の所定移動空間624(第2のアイボックス624)内での第2の目102の位置を表す情報でもあり得るし、第2の所定移動空間624とは異なる第4の所定移動空間800(第4のアイボックス800)内での第2の目102の位置を表す情報でもあり得る。このように、図8に示す実施形態では、第1の目100及び第2の目102の位置に応じて、第1の所定移動空間620及び第2の所定移動空間624内の位置情報ではない、更なる別の第1の位置情報及び更なる別の第2の位置情報が取得され得る。
図8で示される本発明に係る装置の実施形態によって、第1の目100又は第2の目102がアイボックスから出て動いた場合であっても、画像がもはや見られないという事態が防止される。十分な数の小さなアイボックスがあり、対応する数の(事前に歪められた)画像が表示される際には、1のアイボックスから、他のアイボックス又は下位のアイボックスへ観察者の目の位置が移動した際の画像の跳躍が回避されうる。
図9は、観察者の頭部が動いた場合の、本発明に係る装置を備えた、図6及び図7で解説されたHUD602の機能形態の更なる別の例を示している。図9に示される本発明に係る装置を備えたHUD602の実施形態では、車両には、カメラの形態による運転者観察ユニット900が具備されており、この運転者観察ユニット900を用いて、第1の目100及び第2の目102の位置の変更を実時間で追跡することが可能である。図9で示されるHUDの実施形態の場合、本発明に係る装置は、第1の目100の更なる別の第1の位置を表す更なる別の第1の位置情報に基づいて所定移動空間620の空間座標を調整し、第2の目102の更なる別の第2の位置を表す更なる別の第2の位置情報に基づいて第2の所定移動空間624の空間座標を調整する装置(図示せず)を有する。空間座標の調整によって定められるシフト範囲902が、図では両方向矢印で示されている。
図9に示す実施形態において、アイボックス620、624のシフトと共に、第1の画像700及び第2の画像702のための事前歪み処理パラメータの調整を一緒に実現できることによって、運転者は、アイボックス620、624の設定範囲内で動くことが可能であり、その際、虚像306内での画像の跳躍若しくは画像の損失のような望まぬ影響によって、又は、第1の画像700若しくは第2の画像702の表示が一時的に途切れることによってイライラさせられることはない。
アイポジション追跡のための装置900によって、本発明に係るHUD602は、左目100と右目102とのための2つのワーピングシステムに、実時間で、目100、102の位置データを供給することが可能である。従って、この2つのワーピングシステムは、左のアイポジションと右のアイポジションとのために並行して、別々の画像事前歪み処理パラメータを決定する。従って、第1の事前に歪められた画像700と、第2の事前に歪められた画像702により歪みが取れた3D画像306が、HUD光学系606を介して表示されうる。
図8及び図9を用いて説明した実施形態によって、仮にアイボックスの寸法が制限される場合であっても、運転者の頭が横方向に動いた際に第1の目100又は第2の目102が第1のアイボックス620又は第2のアイボックス624から外れてしまい、画像の跳躍又は一時的な画像の損失が認知されることが効果的に予防される。
最後に、第1の画像700と第2の画像702とを別々に制御することにより、収束エラー、上下分散エラー、及び歪みエラーが事前歪み処理又はプリワーピングによって補正されるだけではなく、画像のシフトを利用することによって、両眼網膜像差を介して知覚される像距離が変更されることに言及したい。従って、「ゼロ視差距離」(Zero−Parallax−Distance)とも呼ばれる固定の距離に物理的に生じる仮想的な画像平面306は、様々な像距離において内容をシミュレートする(simulieren)ことが可能である。このことは、典型的な15メートルとは異なる様々な像距離で、コンタクトアナログなHUDの場合に必要とされるように画像内容を走行シーンに溶け込ませることを実現するために利用可能である。従って、従来のHUDに比較して、コンタクトアナログなHUDは、より大きな倍率を必ずしも必要とせず、従って、許容差又は設置空間に対する要求が緩和されるであろう。このような本発明の一実施形態に係る画像事前歪み処理機能を利用することにより、光学系を更に簡素化し、従って、設置空間に対する要求を更に低減させることが可能である。
図10は、観察者の第1の目により知覚するための第1の画像と、観察者の第2の目により知覚するための第2の画像と、を用いて三次元画像を表示する方法1000の一実施形態のフローチャートを示す。本方法1000は、図6〜図9を用いて解説された左目と右目とのために事前歪み処理が別々に行われる、本発明の一実施形態に係る立体視対応のHUDによって実現することが可能である。
工程1002では、アイポジション追跡のために、第1の画像事前歪み処理情報と、第1の画像事前歪み処理とは異なる第2の画像事前歪み処理情報が定められる。当該定める工程1002には、観察者の第1の目の位置に関して第1の位置情報を取得する工程1004Aと、観察者の第2の目の位置に関して第2の位置情報を取得する工程1004Bと、が含まれる。なお、図9に示す実施形態の場合には、必要に応じて、工程1004A、1004Bに先立ち、第1の目100の更なる別の第1の位置を表す更なる別の第1の位置情報に基づいて所定移動空間620の空間座標を調整し、第2の目102の更なる別の第2の位置を表す更なる別の第2の位置情報に基づいて第2の所定移動空間624の空間座標を調整する工程が行われてもよい。工程1006Aでは、第1の目のための第1の位置情報から定められたワーピングパラメータに基づき、第1の画像が事前に歪められる。工程1006Bでは、第2の目のための第2の位置情報から定められたワーピングパラメータに基づき、第2の画像が事前に歪められる。工程1008では、三次元画像を表示するために、第1の事前に歪められた画像と第2の事前に歪められた画像とが、車両の映像装置へのインタフェースに出力される。これにより、車両の視野ディスプレイ装置に三次元画像が表示されることとなる。
方法1000によれば、アイポジションデータに基づいて、第1の目100(例えば左目100)及び第2の目102(例えば右目102)のためのワーピングパラメータが計算され、このワーピングパラメータによって、画像表示の際に、図7〜9で詳細に解説したように、歪みのない画像となる。
図11は、図10の方法1000に係るHUD内でのワーピングを解説するための一連の画像を示している。第1の画像1102は、HUD上で再生すべき基準画像を概略的に示している。第2の画像1104は、HUDがプリワーピング機能を有さない場合の基準画像の表示を概略的に示している。明確に分かるように、基準画像は歪んで表示されている。第3の画像1106は、プリワーピング機能による基準画像への事前歪み処理が施された表示を概略的に示しており、従って、第4の画像1108で分かるように、画像を補正してHUD上で再生することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
また、以上に記載され、図示された実施形態は、単に例示的に選択されたものに過ぎない。様々な実施形態を、完全に又は個々の特徴に関して互いに組み合わせることが可能である。さらに、一の実施形態は、他の実施形態の特徴によって補完されうる。さらに、上述した本発明の一実施形態に係る処理工程は、反復して実施可能であり、及び、記載された順序とは異なる順序で実施可能である。
或る実施形態が、第1の特徴と第2の特徴との間に「及び/又は」(und/oder)という接続詞を含む場合には、当該実施形態は、一実施形態において第1の特徴も第2の特徴も有し、更なる別の実施形態において第1の特徴のみ又は第2の特徴のみを有すると理解されたい。


Claims (13)

  1. 車両(600)のための視野ディスプレイ装置(602)の映像装置(604)を利用して三次元画像(306)を表示する方法(1000)であって、
    第1の事前に歪められた画像(700)を獲得するために、前記三次元画像(306)の観察者(608)の第1の目(100)のための第1の画像を、前記第1の目(100)に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める工程(1006A)と、
    第2の事前に歪められた画像(702)を獲得するために、前記三次元画像(306)の観察者(608)の第2の目(102)のための第2の画像を、前記第2の目(102)に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める工程(1006B)であって、前記第1の事前に歪められた画像(700)の事前歪み処理は、前記第2の事前に歪められた画像(702)の事前歪み処理とは異なっている、前記事前に歪める工程(1006B)と、
    前記三次元画像(306)を表示するために、前記車両(600)の前記映像装置(604)へのインタフェースに、前記第1の事前に歪められた画像(700)及び前記第2の事前に歪められた画像(702)を出力する工程(1008)と、
    を有する、方法(1000)。
  2. 前記方法(1000)は、前記歪める工程(1006A、1006B)に先立ち、前記第1の画像事前歪み処理情報及び前記第2の画像事前歪み処理情報を定める工程(1002)を更に有し、
    前記第2の画像事前歪み処理情報は、前記第1の画像事前歪み処理情報とは異なっている、
    請求項1に記載の方法(1000)。
  3. 前記定める工程(1002)は、第1の位置情報(618)及び第2の位置情報(622)を取得する工程(1004A、1004B)を含み、前記第1の位置情報(618)は、前記観察者(608)の頭部のための第1の所定移動空間(620)内での前記第1の目(100)の位置を表し、前記第2の位置情報(622)は、前記観察者(608)の頭部のための第2の所定移動空間(624)内での前記第2の目(102)の位置を表す、
    請求項2に記載の方法(1000)。
  4. 前記取得する工程(1004A、1004B)では、前記第1の位置情報(618)及び前記第2の位置情報(622)が光学的に取得される、
    請求項3に記載の方法(1000)。
  5. 前記定める工程(1002)では、前記第1の画像事前歪み処理情報が、前記第1の位置情報(618)に基づいて定められ、前記第2の画像事前歪み処理情報が、前記第2の位置情報(622)に基づいて定められる、
    請求項3又は4に記載の方法(1000)。
  6. 前記定める工程(1002)は、前記第1の目(100)の更なる別の位置に関する更なる別の第1の位置情報に基づいて更なる別の第1の画像事前歪み処理情報を取得し、前記第2の目(102)の更なる別の位置に関する更なる別の第2の位置情報に基づいて更なる別の第2の画像事前歪み処理情報を取得する工程を含む、
    請求項3〜5のいずれか1項に記載の方法(1000)。
  7. 前記更なる別の第1の位置情報に基づいて前記第1の所定移動空間(620)の空間座標を調整し、前記更なる別の第2の位置情報に基づいて前記第2の所定移動空間(624)の空間座標を調整する工程を有する、
    請求項6に記載の方法(1000)。
  8. 前記更なる別の第1の位置情報は、前記観察者(608)の頭部のための第3の所定移動空間内での前記第1の目(100)の位置を表し、及び/又は、前記更なる別の第2の位置情報は、前記観察者(608)の頭部のための第4の所定移動空間(800)内での前記第2の目(102)の位置を表す、
    請求項6又は7に記載の方法(1000)。
  9. 前記第1の事前に歪められた画像(700)及び前記第2の事前に歪められた画像(702)を利用して、前記車両(600)の視野ディスプレイ装置(602)に、前記三次元画像(306)を表示する工程を有する、
    請求項1〜8のいずれか1項に記載の方法(1000)。
  10. 前記表示する工程では、前記三次元画像(306)がコンタクトアナログな三次元画像(306)として表示される、
    請求項9に記載の方法(1000)。
  11. 前記第1の画像事前歪み処理情報及び前記第2の画像事前歪み処理情報を定める前記工程(1002)、及び/又は、前記更なる別の第1の画像事前歪み処理情報及び前記更なる別の第2の画像事前歪み処理情報を定める前記工程では、前記第1の画像事前歪み処理情報及び前記第2の画像事前歪み処理情報、及び/又は、前記更なる別の第1の画像事前歪み処理情報及び前記更なる別の第2の画像事前歪み処理情報が、前記三次元画像(306)を表示した際の少なくとも1つの収束エラー及び/又は少なくとも1つの発散エラー及び/又は少なくとも1つの上下発散エラーを補正するために定められる、
    請求項6〜10のいずれか1項に記載の方法(1000)。
  12. 車両(600)のための視野ディスプレイ装置(602)の映像装置(604)を利用して三次元画像(306)を表示する装置(610)であって、 第1の事前に歪められた画像(700)を獲得するために、前記三次元画像(306)の観察者(608)の第1の目(100)のための第1の画像を、前記第1の目(100)に割り当てられた第1の画像事前歪み処理情報に基づいて事前に歪める第1の事前歪み処理装置(612)と、
    第2の事前に歪められた画像(702)を獲得するために、前記三次元画像(306)の観察者(608)の第2の目(102)のための第2の画像を、前記第2の目(102)に割り当てられた第2の画像事前歪み処理情報に基づいて事前に歪める第2の事前歪み処理装置(614)であって、前記第1の事前に歪められた画像(700)の歪み処理は、前記第2の事前に歪められた画像(702)の歪み処理とは異なっている、前記第2の事前歪み処理装置(614)と、
    前記三次元画像(306)を表示するために、前記車両(600)の前記映像装置(604)へのインタフェースに、前記第1の事前に歪められた画像(700)及び前記第2の事前に歪められた画像(702)を出力する(1008)出力装置(616)と、
    を有する、装置(610)。
  13. 装置(610)に、請求項1〜11のいずれか1項に記載の方法(1000)を実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。


JP2014132780A 2013-06-28 2014-06-27 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置 Pending JP2015015708A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013212667.0A DE102013212667A1 (de) 2013-06-28 2013-06-28 Verfahren und Vorrichtung zum Darstellen eines dreidimensionalen Bildes unter Verwendung eines Bildgebers einer Blickfeldanzeigeeinrichtung für ein Fahrzeug
DE102013212667.0 2013-06-28

Publications (1)

Publication Number Publication Date
JP2015015708A true JP2015015708A (ja) 2015-01-22

Family

ID=52017368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014132780A Pending JP2015015708A (ja) 2013-06-28 2014-06-27 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置

Country Status (4)

Country Link
JP (1) JP2015015708A (ja)
CN (1) CN104253990B (ja)
DE (1) DE102013212667A1 (ja)
FR (1) FR3007923B1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190299858A1 (en) * 2018-03-27 2019-10-03 Panasonic Intellectual Property Management Co., Ltd. Display system, electronic mirror system, moving vehicle, and display method
JP2019174794A (ja) * 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法
WO2020261830A1 (ja) * 2019-06-26 2020-12-30 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
JP2021004973A (ja) * 2019-06-26 2021-01-14 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
JP2021004974A (ja) * 2019-06-26 2021-01-14 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
WO2021065699A1 (ja) * 2019-09-30 2021-04-08 日本精機株式会社 表示制御装置、及びヘッドアップディスプレイ装置
JP7494646B2 (ja) 2020-08-24 2024-06-04 日本精機株式会社 ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015205167A1 (de) * 2015-03-23 2016-09-29 Robert Bosch Gmbh Verfahren und Steuergerät zum Betreiben eines autostereoskopischen Sichtfeldanzeigegeräts für ein Fahrzeug
DE102015206796A1 (de) * 2015-04-15 2016-10-20 Robert Bosch Gmbh Sichtfeldanzeigevorrichtung für ein Fahrzeug und Verfahren zum Darstellen eines Bildes in einem Sichtbereich einer Person
CN105404011B (zh) * 2015-12-24 2017-12-12 深圳点石创新科技有限公司 一种抬头显示器的3d图像校正方法以及抬头显示器
CN105730237A (zh) * 2016-02-04 2016-07-06 京东方科技集团股份有限公司 一种行车辅助装置及行车辅助方法
CN107146381A (zh) * 2016-03-01 2017-09-08 中国矿业大学(北京) 一种利用视觉图像监测固定岗位人员疲劳的方法和设备
DE102016212687A1 (de) 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
DE102017204589A1 (de) * 2017-03-20 2018-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Darstellen eines Bildes
WO2019021340A1 (ja) * 2017-07-24 2019-01-31 三菱電機株式会社 表示制御装置、表示システムおよび表示制御方法
JP6968676B2 (ja) * 2017-12-06 2021-11-17 矢崎総業株式会社 車両用表示装置
CN108364265A (zh) 2018-02-09 2018-08-03 京东方科技集团股份有限公司 一种影像校正方法及装置
JP6890306B2 (ja) 2018-03-20 2021-06-18 パナソニックIpマネジメント株式会社 画像形成システム、画像補正システム、画像表示システム、移動体、画像形成方法、及びプログラム
DE102019200957A1 (de) 2019-01-25 2020-07-30 Robert Bosch Gmbh Verfahren und Projektionsvorrichtung zum Erzeugen virtueller Bilder
DE102019218627A1 (de) * 2019-11-29 2021-06-02 Volkswagen Aktiengesellschaft Augmented-Reality-Head-up-Display
WO2023208962A1 (de) * 2022-04-27 2023-11-02 Saint-Gobain Glass France Verbundscheibe mit einer reflexionsschicht und einem hologrammelement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008209212A (ja) * 2007-02-26 2008-09-11 Denso Corp 表示歪み測定装置及び表示歪み補正方法
JP2010524102A (ja) * 2007-04-10 2010-07-15 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車道経過を表示する方法および制御装置
JP2011203643A (ja) * 2010-03-26 2011-10-13 Nippon Seiki Co Ltd 車両用ヘッドアップディスプレイ装置
JP2012078619A (ja) * 2010-10-04 2012-04-19 Panasonic Corp 透過型表示装置
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005052424A1 (de) 2005-11-03 2007-05-10 Robert Bosch Gmbh Projektionsanzeige
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
US20080088527A1 (en) * 2006-10-17 2008-04-17 Keitaro Fujimori Heads Up Display System
EP2200332A1 (en) 2008-12-17 2010-06-23 Robert Bosch GmbH Autostereoscopic display
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
DE102009027026A1 (de) 2009-06-18 2010-12-23 Robert Bosch Gmbh Verfahren und Steuergerät zum Bereitstellen einer virtuellen Fahrlinienmarkierung
KR20120039563A (ko) * 2009-07-02 2012-04-25 톰슨 라이센싱 3차원(3d) 투영에 대한 차동 왜곡 보정을 위한 방법 및 시스템
US9191659B2 (en) * 2011-11-16 2015-11-17 Christie Digital Systems Usa, Inc. Collimated stereo display system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008209212A (ja) * 2007-02-26 2008-09-11 Denso Corp 表示歪み測定装置及び表示歪み補正方法
JP2010524102A (ja) * 2007-04-10 2010-07-15 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車道経過を表示する方法および制御装置
JP2011203643A (ja) * 2010-03-26 2011-10-13 Nippon Seiki Co Ltd 車両用ヘッドアップディスプレイ装置
JP2012078619A (ja) * 2010-10-04 2012-04-19 Panasonic Corp 透過型表示装置
JP2012163613A (ja) * 2011-02-03 2012-08-30 Denso Corp 虚像表示装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190299858A1 (en) * 2018-03-27 2019-10-03 Panasonic Intellectual Property Management Co., Ltd. Display system, electronic mirror system, moving vehicle, and display method
JP2019174794A (ja) * 2018-03-27 2019-10-10 パナソニックIpマネジメント株式会社 表示システム、電子ミラーシステム、移動体、及び表示方法
US10836314B2 (en) 2018-03-27 2020-11-17 Panasonic Intellectual Property Management Co., Ltd. Display system, electronic mirror system, moving vehicle, and display method
WO2020261830A1 (ja) * 2019-06-26 2020-12-30 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
JP2021004973A (ja) * 2019-06-26 2021-01-14 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
JP2021004974A (ja) * 2019-06-26 2021-01-14 株式会社Jvcケンウッド ヘッドアップディスプレイ装置
WO2021065699A1 (ja) * 2019-09-30 2021-04-08 日本精機株式会社 表示制御装置、及びヘッドアップディスプレイ装置
JP7494646B2 (ja) 2020-08-24 2024-06-04 日本精機株式会社 ヘッドアップディスプレイ装置、表示制御装置、及びヘッドアップディスプレイ装置の制御方法

Also Published As

Publication number Publication date
CN104253990A (zh) 2014-12-31
CN104253990B (zh) 2018-11-16
FR3007923B1 (fr) 2019-09-20
FR3007923A1 (fr) 2015-01-02
DE102013212667A1 (de) 2014-12-31

Similar Documents

Publication Publication Date Title
JP2015015708A (ja) 車両のための視野ディスプレイ装置の映像装置を利用して三次元画像を表示するための方法及び装置
JP4686586B2 (ja) 車載用表示装置及び表示方法
US7952808B2 (en) Display system for vehicle and display method
CN105988220B (zh) 用于运行车辆用的自动立体观测的视野显示器的方法和控制设备
JP2019064580A (ja) 車両インストルメントコンソール上に3次元画像を表示するシステム及び方法
JP2010070066A (ja) ヘッドアップディスプレイ
US10274726B2 (en) Dynamic eyebox correction for automotive head-up display
JP4367212B2 (ja) 虚像表示装置およびプログラム
JP2014150304A (ja) 表示装置及びその表示方法
WO2019058492A1 (ja) 表示システム及び表示方法
JP2014081483A (ja) 多重表示装置
JPWO2019004238A1 (ja) ヘッドアップディスプレイ装置
WO2020009217A1 (ja) ヘッドアップディスプレイ装置
US11443719B2 (en) Information processing apparatus and information processing method
JP2019102936A (ja) 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム
JP7126115B2 (ja) 表示システム、移動体、及び、設計方法
JP7397918B2 (ja) 映像装置
JP2018041011A (ja) 表示装置
JP2021067909A (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP2019083385A (ja) ヘッドアップディスプレイ装置
JP7354846B2 (ja) ヘッドアップディスプレイ装置
JPWO2018101170A1 (ja) 表示装置、及び、電子ミラー
US20200192007A1 (en) Apparatus and method for displaying image and computer program thereof
WO2023054307A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
US11187910B2 (en) Head-up display device for adjusting display distances of virtual images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181112

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190319

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190425