JP2022091878A - 自動車における表示デバイスの操作装置 - Google Patents

自動車における表示デバイスの操作装置 Download PDF

Info

Publication number
JP2022091878A
JP2022091878A JP2022048570A JP2022048570A JP2022091878A JP 2022091878 A JP2022091878 A JP 2022091878A JP 2022048570 A JP2022048570 A JP 2022048570A JP 2022048570 A JP2022048570 A JP 2022048570A JP 2022091878 A JP2022091878 A JP 2022091878A
Authority
JP
Japan
Prior art keywords
information
display device
display
automobile
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022048570A
Other languages
English (en)
Inventor
キューネ、マルクス
Kuehne Marcus
プロフェンディナー、ダニエル
Profendiner Daniel
ヴォルニー、ニルス
Wollny Nils
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of JP2022091878A publication Critical patent/JP2022091878A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】自動車の表示デバイスを操作する方法を提供する。【解決手段】方法は、自動車のセンサシステム(4)によって、自動車(19)の周囲の環境に属しかつユーザ(17)の視野内にある少なくとも1つの周囲領域に関連する環境データを検出し、情報源(10、11、13)によってユーザ(17)に出力される少なくとも1つの情報を提供し、情報を反映する情報表示(14、15、16)とユーザ(17)の周囲領域とが少なくとも部分的に重ねられた表現(27)を、表示デバイス(1、2)によって可視化し、そのときに、情報表示の種類および/または情報表示(14、15、16)が可視化される位置および/または方向を、環境データに依存させる。【選択図】図1

Description

本発明は、自動車における表示デバイスの操作方法に関する。さらに、本発明は自動車に関する。
自動車では、運転者やその他の乗員のために大量の情報が提供される。その場合に、情報を簡単に把握できるようにする必要があるが、手動運転の際に運転者が交通状況から気をそらすことがないようにしなければならない。
特許文献1から、ヘッドアップディスプレイまたはデータ眼鏡に情報を表示することが知られている。このことで、情報がユーザの視野内で直接利用可能になるが、多くの場合、この情報を、直感的にこの情報に関連する対象または場所に割り当てることは、不可能である。
より直感的に情報を記録できるようにするために、関連する画像領域に追加情報を直接重ね合わせることが知られている。対応する拡張現実イメージングも、例えば特許文献2から知られている。この重ね合わせ表現を可能にするために、データ眼鏡に配置されたカメラによって周囲の状況が取り込まれる。
ドイツ特許出願公開第102015012309号明細書 ドイツ特許出願公開第112012001022号明細書
自動車において拡張現実装置を使用するときの問題は、自動車における対応するヘッドセットまたは対応するデータ眼鏡の周囲の状況が非常に複雑である点にある。自動車の窓を通して、特定の状況下では急速に移動する環境を見ることが可能であるが、車両自体の構成要素は、ユーザの頭部の動きに対して、基本的に静止しているか、ゆっくりと移動する。さらに、自動車の窓の周囲領域は、汚れたり、反射したり、ステッカーなどで覆われたりする可能性があり、そのため、周囲についてのデータの評価がより困難になる。特に、視界が明確であっても、悪天候および、または暗闇の中では、従来の拡張現実メガネまたはヘッドセットを使用して、しっかりとした位置ベースの情報表示で車両の周囲の情報を豊かにすることはほとんど不可能である。
したがって、本発明は、自動車の周囲に関する情報の表現を改善するという目的に基づいている。この目的は、本発明によれば、最初に述べたタイプの方法によって達成され、この方法は以下のステップを含む。すなわち、
自動車の周囲の環境に属し、かつユーザの視野内にある、少なくとも1つの周囲領域に関連する環境データを自動車のセンサシステムによって検出し、
情報源によってユーザに出力される少なくとも1つの情報を提供し、
情報を反映する情報表示とユーザについての周囲領域とが少なくとも部分的に重ねられた表現を、表示デバイスによって可視化し、そのときに、情報表示の種類および/または情報表示が可視化される位置および/または方向を、前記環境データに依存させる。
したがって、本発明によれば、自動車のセンサシステムによって検出される情報表示のタイプ、または情報表示の位置および/または向きを、周囲データの関数として決定することが提案される。たとえば、拡張現実の表示のためにデータ眼鏡またはヘッドセットが使用されている場合に、環境に関する情報表示の登録は、表示デバイス側のセンサデバイスを介して取得された画像データのみに基づいて行われるのではなく、代わりにあるいは追加的に、使用する自動車のセンサデータに基づいて行われる。
これにはいくつかの利点がある。一方で、現代の自動車には複雑なセンサシステムが存在することが多く、これは拡張現実眼鏡に搭載されているセンサシステムをはるかに超えている。例えば、自動車は、可視光範囲および/または赤外線範囲で自動車の周囲を記録する1つまたは複数のカメラを含むことができる。ただし、自動車のセンサシステムは、物体までの距離や物体との相対速度を、直接検出することもできる。この検出は、たとえば、飛行時間カメラなどの3Dカメラや、レーダセンサや、レーザスキャナを使用して、可能である。したがって、利用可能な環境データの情報源がいくつか存在する可能性があり、それを使用して、たとえば拡張現実眼鏡における単一のカメラを用いて可能である場合よりも、優れた環境モデルを決定することができる。
既存のセンサシステムは、自動車についての環境を検出するためにすでに最適化されている。さらに、自動車についての環境データの処理は、相対速度が比較的高いにもかかわらず、堅牢な物体の検出を可能にするように、しばしば最適化される。前述の理由により、自動車センサシステムは、例えば、拡張現実眼鏡のセンサシステムによるよりも、車両環境についてのはるかに優れた画像を提供する。
同時に、本発明による方法は、しかしながら比較的少ない技術的努力で実施することができる。高品質の自動車センサシステムが、とにかく運転中の運転者をサポートするために、または自動車の部分的に自動化された動作または自動化された動作を可能にするために、自動車においてしばしば存在する。さらに、データ眼鏡などのユーザが携帯できる表示装置は、すでに無線通信用のインターフェースを備えていることが多く、これは、直接またはわずかな調整で自動車の通信装置と通信することもできる。たとえば、ブルートゥース(登録商標)または無線LANを介して通信を行うことができる。通信プロトコルとしては、インターネットやネットワーク層で動作するインターネットプロトコルを利用できる。例えば、自動車通信装置は、「適応型インターネットプロトコル」(AIP)を介して、別個に設計されたディスプレイ装置と通信することができる。この場合、情報視覚化のためのアプリケーションは、ディスプレイとして表示される情報を表示装置に供給する自動車側または自動車外部のサーバ上で実行することができる。データレートは、接続品質に動的に適合させることができる。AIPはまた、例えば、ユーザの頭部に着用されたディスプレイ装置の相対的な動きまたは位置を、自動車のサーバに伝達するために、ディスプレイ側からの入力をサポートする。
情報は、文字、記号、および/または数字の形式で提示できる。これは、2次元グラフィックにすることも、2次元グラフィックで構成することもできる。2次元グラフィックを、テキストパネルとして対応する位置に直接表示することができる。この場合に、グラフィックまたは英数字表現は透明にすることができるが、読みやすさや視認性を向上させるために、対応する背景を表すことができる。
情報が最初に3次元で表され、そして2次元の情報表示が、仮想カメラによる2次元画像によってのみ計算されることも可能である。ここで、情報は、例えばナビゲーション指示を与えるための矢印のような、3次元の形で表すことができる。しかしながら、情報が平面的に表現されることも可能であり、情報が表示される領域は、最初に仮想3次元空間において位置決めされるとともに、配向および/または湾曲され、次いで画像化される。
情報表示のタイプは、情報が表示される方法として理解される。例えば、情報および/または情報が表示される領域の形状を表す3次元の物体について、この3次元の物体の表現および/または背景および/または形状の少なくとも1つの色は、環境データに依存し得る。
本発明による方法では、潜在的に異なる情報を、表示することができる。たとえば、ナビゲーション情報を表示することができる。これは、周囲に重ねて表示される矢印の形で行うことができる。代替的にまたは追加的に、仮想情報ボードを、特定の位置または特定の物体に対して表示できる。これらは、すでに説明したように、2次元で直接表示するか、最初に座標系の3次元の面として配置してから投影することができる。たとえば、通りの名、家の番号、距離、他の道路利用者の相対速度を、情報として表示できる。しかしながら、特に少なくとも部分的に自動運転の状況において、または運転者ではない車両の乗客のために、運転に直接影響しない背景情報を提供することも可能である。たとえば、レストランおよび店舗、および/または観光スポットに関する情報を可視化することができる。
本発明による方法では、自動車とは分離するように設計され、頭部への取り付けのために、およびユーザの視野内となるように設計される表示デバイスを使用することができる。特に、これらは、拡張現実眼鏡、仮想現実眼鏡、または対応するヘッドセットとすることができる。それに代えて、自動車自体における表示デバイス、例えばディスプレイも、ここにいう表示デバイスとして使用することができる。また、表示デバイスとして、自動車とは別体の表示デバイスを用いて、これを、例えば、自動車のホルダーに保持したり、ユーザが手で保持したりすることも可能である。例えば、スマートフォンを表示デバイスとして利用することができる。
自動車によって設計された別個の表示デバイスが使用される場合において、特に、自動車に対する、したがって環境データを記録するために使用される自動車のセンサシステムに対する、この表示デバイスの相対位置が既知であると、特にユーザの視野に情報が表示される場合に有利である。したがって、表示デバイスは、位置検出装置であって、自動車に固定された基準位置および/または基準方向に対する表示デバイスの相対位置および/または相対方向が検出される、または相対位置および/または相対方向を決定する基準情報が検出される、前記の位置検出装置を有することが可能である。例えば、表示デバイスは、環境検出のための、カメラまたは別のセンサシステムを有することができる。スマートフォン、拡張現実眼鏡、仮想現実眼鏡、または対応するヘッドセットが表示デバイスとして使用される場合には、そのようなセンサシステムは、とにかくしばしば存在する。このさらなるセンサシステムのセンサデータ、例えばカメラの画像データを評価することにより、自動車に固定された基準位置および/または基準方向に対する表示デバイスの相対位置および/または相対方向を決定することができる。例えば、自動車の内部または自動車の車体の特定のマーキングおよび/または特徴的な静止要素は、さらなるセンサによって検出されることができるとともに、センサデータを評価することによって認識されることができる。センサシステムによって検出された特徴的なマーキングに対してセンサシステムの位置または方向を決定することは、原則的に先行技術において知られており、ここでは詳細には説明しない。相対的な位置または相対的な方向を決定するためのさらなるセンサデータは、表示デバイスの処理装置、自動車側の処理装置および/または車両外部の処理装置によって、評価することができる。
ビデオベースの表示デバイスをここに言う表示デバイスとして使用することができ、周囲領域を可視化するために、センサシステムまたは別のセンサシステムによって、周囲領域の画像が取得および表示される。あるいは、部分的に透明な表示デバイスを使用することができ、それによって、出力デバイスを通して、ユーザが周囲の領域を少なくとも部分的に見ることができる。仮想網膜ディスプレイを表示デバイスとして使用し、それを通して情報表示を網膜上に投影することも可能である。仮想網膜ディスプレイは、「virtual retinal display」とも呼ばれる。上記の表示デバイスは、原則として他の応用分野で知られている。このため、ここでは詳細には説明しない。
環境データを評価することにより、少なくとも1つの物体または少なくとも1つの位置を認識することができ、出力される情報は、認識された物体の特性の関数または位置の関数として利用可能とされる。したがって、表示される情報を、特に、環境内の固定位置または特定の物体が配置されている位置に割り当てることができる。情報表示は、ユーザが位置または物体に対して明確に割り当てることができるように視覚化されることが好ましい。
たとえば、物体の場合、その物体のクラスまたはその物体のIDを決定し、そして追加情報を情報ソースとしてデータベースから読み取ることができる。あるいは、1つまたは複数の車両側センサ、車両間通信、または車両からインフラストラクチャへの通信なども、物体のための情報源として機能することができる。例えば、他の道路利用者に関する情報や、信号機などのインフラ施設に関する情報が表示されると有利である。
自動車の運転モードに応じて、ユーザがドライバーであるかどうかに応じて、および/またはユーザが指定した構成に応じて、どの情報が表示されるか、またはどの物体情報または位置情報が提供されるかが考えられる。例えば、手動運転中は、運転者に運転に関する情報のみを表示することができる。他の乗員の場合や完全自動運転中などにおいては、例えば、特定の場所や建物などの興味深い情報や、そのエリア内で車両が認識された知人の連絡先などを表示することができる。
情報表示を視認することができる物体の位置および/または向き、情報表示のタイプおよび/または位置、および/または方向に応じて、環境データを評価することによって、物体を認識することができる。例えば、ユーザのための情報表示が物体の上に浮き上がっているように見えるか、またはその情報表示があたかも物体上に投影されたように見えるか、または物体に貼られた一種のステッカーのように見えるような方法で、情報表示を行うことができる。その結果、情報と物体への割り当てとを特に直感的に記録することができる。
周囲領域を記述する3次元環境モデルは、環境データから決定できる。3次元または2次元の情報表示を、情報および環境モデルの関数として生成するとともに、環境モデルに関連した座標系において位置決めおよび/または方向付けし、その後に物体に情報を投影することによって、情報表示が生成される。仮想カメラを投影に使用できる。仮想カメラは、その検出領域がユーザの視点に対応するように、またはユーザの視点から環境モデルを表示するように、環境モデルに配置される。環境モデル自体は、示されないことが好ましい。表示は、対応する視点から見た情報表示のみを示すことが好ましい。情報表示の位置は、上記の投影法によって事前に決定することもできる。
周囲領域が透けて見える部分的に透明な表示デバイスの場合には、またはユーザの目へ情報表示を投影する場合には、ユーザの視野において前述のように決定された情報表示を表示するか、またはデータを投影するだけで十分である。一方、ビデオベースの表示デバイスが使用されている場合には、周囲領域の画像も表示する必要がある。このような画像は、例えば表示デバイスのカメラなどのセンサシステムによって、または自動車の別のセンサシステムによって、検出することができる。
すでに説明したように、情報自体を2次元で表示することが可能である。しかし、この2次元の表示を周囲の3次元表面に適合させることができる。物体またはその表面は、環境モデルにおいて選択することができ、フラットな情報はこの表面に配置される。これは、たとえばピクセルまたはベクトル画像としてフラットな情報を提供し、それを対応する領域にテクスチャとして適用することによって行うことができる。表面は平坦面でも曲面でもかまわない。領域は、特に、対応する情報が提供される物体の領域であってよい。上記した手順を用いて、家の壁や自動車などの物体に、情報を仮想的に投影したり貼り付けたりすることができる。
環境データまたは環境モデルは、情報表示の種類と、情報表示が可視化される位置および/または方向とのうちの少なくともいずれかを特定する、自動車の外部のデバイスに提供することができる。自動車の外部のデバイスへの通信は、好ましくは無線による。デバイスは、出力すべき情報を提供することもできる。つまり、情報源として機能する。例えば、自動車の外部にあるデバイスは、情報が提供される環境データ内の位置や物体を識別でき、適切な情報を選択でき、情報表示のタイプ、位置および/または方向を指定でき、そして対応する情報表示に、位置情報または方向情報または自動車の周囲を表す全体像を提供し、それに情報表示を重ね合わせて自動車に提供することができる。しかしながら、他の多くの代替案も可能である。例えば、自動車の外部の別の装置または自動車の内部の装置、例えば自動車の地図データベースや、自動車の内部センサシステムなどを、情報源として使用することができる。この場合、情報はまた、自動車の外部の装置で処理されるために、この装置に環境データとともに送信されることが可能である。あるいは、自動車の外部の装置は、自動車にパラメータを提供することができる。このパラメータによって、情報表示の形状、および/または情報表示の位置および/または向きが、予め決定される。
自動車の外部にある装置の使用は、自動車および表示装置で必要とされる処理労力を低減するために有利なものとすることができる。無線通信でも短い応答時間を実現できるようになったため、この方法を実行するための技術的支出をさらに削減することができる。
本発明による方法に加えて、本発明は、周囲領域を検出するためのセンサシステムを備え、本発明による方法を実行するように設定された、自動車に関する。自動車は、好ましくは、自動車とは別となるように設計された表示装置および/または自動車外部の装置と通信するための通信装置を備える。この通信装置は、情報を提供し、および/または情報表示の種類、位置、および/または方向を指定する。自動車は、処理装置を含むことができる。この処理装置は、情報表示の種類、位置、および/または方向を、環境データの関数として決定することができる。および/または、情報から情報表示を決定することができる。
本発明による方法の実施形態が本発明による自動車の実施形態によって実行されるところの交通状況を示す図である。 図1に示される交通状況における、情報の表示と周囲領域とを重畳表示した図である。 図1で使用されているディスプレイ装置を示す図である。
本発明のさらなる利点および詳細は、以下に記載される例示的な実施形態および関連する図面から生じる。
図1は、自動車19において表示デバイス1、2の操作方法が使用される交通状況を示す。表示デバイス1は、自動車19とは別体に形成され、ユーザ17の視界を保ってユーザ17の頭部18に固定される。表示デバイス1は拡張現実眼鏡であり、これは図3を参照して後でより詳細に説明される。このような表示デバイスは、特に情報の直感的な表示を可能にする。しかしながら、代替的または追加的に、以下に記載される方法はまた、自動車19に恒久的に配置される表示デバイス2に情報を表示するために使用され得る。
自動車19の運転操作中、ユーザ17の視野内にある周囲領域に関する環境データが記録される。環境データは、自動車のセンサシステム4によって記録される。自動車19の前部領域におけるカメラ5およびレーダセンサ6が、例として示されている。カメラ5のみ、レーダセンサ6のみ、いくつかのカメラ5、いくつかのレーダセンサ6および、または例えばレーザスキャナなどのさらなるセンサを使用して環境データを記録することも可能である。
環境データは、自動車19の周囲の関連位置7および物体8、9を認識するために、自動車の処理装置3によって処理され、その情報がユーザ17に提供される。位置7は、計画されたルートに従って自動車19が曲がるべき交差点の位置である。関連情報は、自動車19のナビゲーションシステムである情報源13によって提供される。物体8は、建物である。例えば、情報として物体8にアドレスを指定できる。代替的または追加的に、ビジネスの場合は販売申出情報または広告情報を提供でき、例えば、観光の場合は歴史についての情報を提供できる。対応する情報は、情報源10、例えば自動車19とは別個に形成されたバックエンドサーバーによって、提供することができる。
物体9は、別の自動車である。この自動車に関する情報、すなわちこの自動車が友人のものである場合は、例えば運転速度または連絡先の詳細は、車間の通信を介して情報源11によって提供することができる。自動車は、車両外部の情報源10、11と通信するための通信装置12を備える。
関連する情報の表示をユーザ17が位置7と物体8、9とに直感的に割り当てることができるように、様々な情報をユーザ17に提示する必要がある。そのような表現27の例が図2に示されている。3次元的な矢印は、位置7での曲がりを表す情報表示14として示されるべきであり、これは、ユーザ17の視野内において道路の少し上に浮いているはずである。一方、情報表示15、16は、物体8、9に接着または投影されているかのように表示される。
このタイプの表現を可能にするために、処理装置3は、最初に環境データを処理して、周囲領域の3次元環境モデルを計算する。この環境モデル内では、位置7と、自分の自動車19および物体8、9の位置と方向とが既知である。したがって、情報表示14は、この環境モデルにおいて、運転者自身の自動車19から、位置7で方向転換されるべきレーン20まで延びるように、3次元の矢印として形作られ、配置され、方向付けられることができる。
情報表示15、16は、最初は2次元の構成として生成される。それぞれの物体8、9に割り当てられている環境モデルから表面部が最終的に抽出され、それぞれの情報表示15、16が構成物としてこれらの表面部に配置される。
以下でより詳細に説明するように、ユーザ17の視線方向、したがって表示装置1の位置および向きが決定される。この位置と向きは、対応する領域または3次元物体を投影して情報表示14、15、16を生成するために、3次元環境モデルにおけるバーチャルカメラの位置および向きとして使用される。
他の例示的な実施形態では、環境データは、情報表示14、15、16のタイプと、それらの情報表示の位置および、または向きとを決定するために、車両外部のデバイス26によって処理することもできる。その結果、自動車における処理力を低減することができる。
図3は、表示デバイス1の詳細図を示す。表示されるべき画像は、自動車19の処理装置3によって決定されることができ、そして、自動車の通信装置12と表示デバイスの通信装置21とを介して、表示デバイスの制御電子機器22に送信されることができる。この場合に、情報表示14、15、16を含み、かつ、さらなる画像領域について、表示デバイス1がこれらの領域において透明であるべきであることを示す画像を送信することができる。したがって、部分的に透明な表示要素23は、対応する領域に情報表示14、15、16を表示し、またそうでない場合は透明のままであるように制御される。これにより、ユーザ17のために、透明な表示デバイスによって直接見られる周囲領域に情報表示14、15、16が重ね合わされる。
あるいは、情報表示14、15、16が、表示デバイス1によってユーザ17の網膜上に直接投影されることが可能である。ビデオベースの表示デバイスを使用することも可能である。情報表示14、15、16が表示されていない画像領域は、表示デバイス1におけるさらなるセンサ24によって検出される背景画像から取得することができる。あるいは、車両のセンサシステム4によって背景画像を取得し、それを表示デバイス1に送信することも可能である。
上述の手順を可能にするために、自動車19に対する、したがってセンサシステム4に対する、表示デバイス1の相対的な位置および向きは既知でなければならない。この位置および、または方向を決定するために、車両内部の特徴的要素および、またはマーキングを、さらなるセンサ24によって検出することができる。対応する画像データは、自動車19に対する表示デバイス1の相対的位置および、または相対的方向を決定することができる基準情報として役立つことができる。したがって、さらなるセンサ24は、表示デバイス1のための位置検出装置25として機能する。位置および向きは、例えば処理装置3によって決定することができる。
本発明は、自動車における表示デバイスの操作装置に関する。さらに、本発明は自動車に関する。

Claims (10)

  1. 自動車(19)の表示デバイス(1、2)を操作する方法であって、
    自動車(19)の周囲の環境に属し、かつユーザ(17)の視野内にある少なくとも1つの周囲領域に関連する環境データを、自動車のセンサシステム(4)によって検出し、
    情報源(10、11、13)によってユーザ(17)に出力される少なくとも1つの情報を提供し、
    情報を反映する情報表示(14、15、16)とユーザ(17)にとっての周囲領域とが少なくとも部分的に重ねられた表現(27)を、表示デバイス(1、2)によって可視化し、そのときに、情報表示の種類および/または情報表示(14、15、16)が可視化される位置および/または方向を、前記環境データに依存させることを特徴とする自動車における表示デバイスの操作方法。
  2. 自動車(19)とは別個に設計され、かつユーザ(17)の視野内となるように頭部(18)に着用されるように設計された表示デバイス(1)を使用することを特徴とする請求項1記載の自動車における表示デバイスの操作方法。
  3. 表示デバイス(1)が位置検出装置(25)を有し、この位置検出装置(25)によって、自動車に固定された基準位置および/または基準方向に対する、または相対的な位置および/または相対的な方向が決められる参照情報に対する、表示デバイス(1)の相対的な位置および/または相対的な方向を記録することを特徴とする請求項2記載の自動車における表示デバイスの操作方法。
  4. ビデオベースの表示デバイス(1、2)を使用して、周囲領域の画像をセンサシステム(4)または別のセンサシステム(24)により取り込んで表示するか、または
    部分的に透明な表示デバイス(1、2)を使用して、この表示デバイス(1、2)によって周囲領域をユーザに対して少なくとも部分的に可視化するか、または
    仮想網膜ディスプレイを表示デバイス(1、2)として使用して、情報表示を網膜に投影することを特徴とする請求項1から3までのいずれか1項記載の自動車における表示デバイスの操作方法。
  5. 環境データを評価することにより、少なくとも1つの物体(8、9)または少なくとも1つの位置(7)を認識し、出力する情報を、認識した物体(8、9)の特性の関数または位置(7)の関数として提供することを特徴とする請求項1から4までのいずれか1項記載の自動車における表示デバイスの操作方法。
  6. 1つまたは2つ以上の物体(8、9)を、環境データを評価することによって認識し、そのときに、その評価を、物体(8、9)の位置および/または方向と、情報表示(14、15、16)の種類と、情報表示(14、15、16)が可視化される位置および/または方向とのうちの少なくともいずれかに応じて行うことを特徴とする請求項1から5までのいずれか1項記載の自動車における表示デバイスの操作方法。
  7. 周囲領域を記述する3次元環境モデルを環境データから決定し、3次元または2次元の情報表示を、前記情報および環境モデルの関数として生成するとともに、前記環境モデルに関連した座標系において位置決めおよび/または方向付けし、その後に物体に情報を投影することによって情報表示(14、15、16)を生成することを特徴とする請求項1から6までのいずれか1項記載の自動車における表示デバイスの操作方法。
  8. 物体(8、9)の表面を環境モデルとして選定し、平らな情報表示を前記表面に配置することを特徴とする請求項7記載の自動車における表示デバイスの操作方法。
  9. 環境データまたは環境モデルを、自動車の外部におけるデバイス(26)に提供し、このデバイス(26)によって、情報表示(14、15、16)の種類と、情報表示(14、15、16)が可視化される位置および/または方向とのうちの少なくともいずれかを特定することを特徴とする請求項1から8までのいずれか1項記載の自動車における表示デバイスの操作方法。
  10. 周囲領域を検出するためのセンサシステム(4)を備えて、請求項1から9までのいずれか1項に記載の方法を実行するように設定されていることを特徴とする自動車。
JP2022048570A 2017-10-09 2022-03-24 自動車における表示デバイスの操作装置 Pending JP2022091878A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017217923.6 2017-10-09
DE102017217923.6A DE102017217923A1 (de) 2017-10-09 2017-10-09 Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
JP2020540672A JP7236442B2 (ja) 2017-10-09 2018-09-12 自動車における表示デバイスの制御方法
PCT/EP2018/074580 WO2019072481A1 (de) 2017-10-09 2018-09-12 Verfahren zum betrieb einer anzeigeeinrichtung in einem kraftfahrzeug

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020540672A Division JP7236442B2 (ja) 2017-10-09 2018-09-12 自動車における表示デバイスの制御方法

Publications (1)

Publication Number Publication Date
JP2022091878A true JP2022091878A (ja) 2022-06-21

Family

ID=63683842

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020540672A Active JP7236442B2 (ja) 2017-10-09 2018-09-12 自動車における表示デバイスの制御方法
JP2022048570A Pending JP2022091878A (ja) 2017-10-09 2022-03-24 自動車における表示デバイスの操作装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020540672A Active JP7236442B2 (ja) 2017-10-09 2018-09-12 自動車における表示デバイスの制御方法

Country Status (7)

Country Link
US (2) US11100718B2 (ja)
EP (2) EP3955046A1 (ja)
JP (2) JP7236442B2 (ja)
KR (1) KR102531888B1 (ja)
CN (1) CN111201473A (ja)
DE (1) DE102017217923A1 (ja)
WO (1) WO2019072481A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
DE102019213740A1 (de) * 2019-09-10 2021-03-11 Audi Ag Verfahren zum Betreiben eines am Kopf tragbaren Anzeigegeräts in einem Kraftfahrzeug, Steuereinrichtung, und am Kopf tragbares Anzeigegerät
KR102543899B1 (ko) * 2020-08-27 2023-06-20 네이버랩스 주식회사 헤드업 디스플레이 및 그 제어방법
CN112109550A (zh) * 2020-09-08 2020-12-22 中国第一汽车股份有限公司 基于ar-hud的预警信息的显示方法、装置、设备及车辆
JPWO2023149255A1 (ja) * 2022-02-02 2023-08-10

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2012512399A (ja) * 2008-12-19 2012-05-31 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションシステムにおけるオブジェクトへのイメージの動的マッピング
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
US20170178498A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051503A1 (en) * 2000-06-12 2001-12-13 Lush Christa S. System and method of planning and designing a broadband wireless network
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP2004219664A (ja) 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US8547298B2 (en) 2009-04-02 2013-10-01 GM Global Technology Operations LLC Continuation of exterior view on interior pillars and surfaces
DE102010001684A1 (de) * 2010-02-09 2011-08-11 Robert Bosch GmbH, 70469 Verfahren zum Betreiben eines Head-Up-Display-Systems, Head-Up-Display-System
DE102010040803A1 (de) * 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visuelles Fahrerinformations- und Warnsystem für einen Fahrer eines Kraftfahrzeugs
US20120201472A1 (en) * 2011-02-08 2012-08-09 Autonomy Corporation Ltd System for the tagging and augmentation of geographically-specific locations using a visual data stream
DE112012001032T5 (de) 2011-02-28 2014-01-30 Osterhout Group, Inc. Lichtsteuerung in am Kopf zu tragenden Displays
WO2013027628A1 (ja) * 2011-08-24 2013-02-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013046423A1 (ja) * 2011-09-30 2013-04-04 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、及び表示装置
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
EP2608153A1 (en) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Method and system for playing an augmented reality game in a motor vehicle
CN103105174B (zh) * 2013-01-29 2016-06-15 四川长虹佳华信息产品有限责任公司 一种基于ar增强现实技术的车载实景安全导航方法
US9393870B2 (en) * 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
JP6107590B2 (ja) * 2013-10-16 2017-04-05 株式会社デンソー ヘッドアップディスプレイ装置
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
DE102014009697B4 (de) * 2014-06-26 2024-10-17 Audi Ag Verfahren zum Betreiben eines mobilen Virtual-Reality-Systems in einem Kraftfahrzeug und mobiles Virtual-Reality-System
DE102014009608A1 (de) * 2014-06-27 2015-12-31 Audi Ag Betrieb einer AR-Brille im Kraftfahrzeug
DE102015207337B4 (de) 2015-04-22 2024-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
US20170285343A1 (en) * 2015-07-13 2017-10-05 Mikhail Belenkii Head worn display with foveal and retinal display
US9967717B2 (en) 2015-09-01 2018-05-08 Ford Global Technologies, Llc Efficient tracking of personal device locations
WO2017047178A1 (ja) * 2015-09-16 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
DE102015012309B4 (de) 2015-09-23 2021-02-25 Audi Ag Betreiben eines Kraftfahrzeugs in einer Verkehrsumgebung
CN108349455B (zh) * 2015-10-26 2021-06-15 主动知识有限责任公司 可移动的内部振动吸收能量消散垫
KR20170064604A (ko) * 2015-12-01 2017-06-12 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치
US20170192091A1 (en) * 2016-01-06 2017-07-06 Ford Global Technologies, Llc System and method for augmented reality reduced visibility navigation
US10043238B2 (en) * 2016-01-21 2018-08-07 International Business Machines Corporation Augmented reality overlays based on an optically zoomed input
KR101767507B1 (ko) * 2016-02-17 2017-08-11 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
US10315566B2 (en) 2016-03-07 2019-06-11 Lg Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
US20170287217A1 (en) 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
US20180349568A1 (en) * 2017-06-01 2018-12-06 Hookline Inc. Augmented reality system and method
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012512399A (ja) * 2008-12-19 2012-05-31 テレ アトラス ベスローテン フエンノートシャップ ナビゲーションシステムにおけるオブジェクトへのイメージの動的マッピング
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
US20170178498A1 (en) * 2015-12-22 2017-06-22 Intel Corporation Vehicle assistance systems and methods utilizing vehicle to vehicle communications

Also Published As

Publication number Publication date
WO2019072481A1 (de) 2019-04-18
US11836864B2 (en) 2023-12-05
JP2020537273A (ja) 2020-12-17
US20200349770A1 (en) 2020-11-05
DE102017217923A1 (de) 2019-04-11
KR20200067866A (ko) 2020-06-12
KR102531888B1 (ko) 2023-05-11
EP3955046A1 (de) 2022-02-16
JP7236442B2 (ja) 2023-03-09
US20210375059A1 (en) 2021-12-02
EP3695266A1 (de) 2020-08-19
CN111201473A (zh) 2020-05-26
US11100718B2 (en) 2021-08-24
EP3695266B1 (de) 2021-09-01

Similar Documents

Publication Publication Date Title
JP6694112B2 (ja) Ar表示装置及びar表示方法
JP7236442B2 (ja) 自動車における表示デバイスの制御方法
US11127373B2 (en) Augmented reality wearable system for vehicle occupants
US10029700B2 (en) Infotainment system with head-up display for symbol projection
JP6775188B2 (ja) ヘッドアップディスプレイ装置および表示制御方法
US10984580B2 (en) Adjusting depth of augmented reality content on a heads up display
JP6062041B2 (ja) 道路を基準にした風景のビデオ画像から仮想表示面を生成する方法
US20160039285A1 (en) Scene awareness system for a vehicle
WO2016067574A1 (ja) 表示制御装置及び表示制御プログラム
US20120224060A1 (en) Reducing Driver Distraction Using a Heads-Up Display
JP7561910B2 (ja) Ar表示装置、ar表示方法、およびプログラム
US20210334870A1 (en) System and method for displaying wheel styles and artwork on vehicles
WO2020008876A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2014097406A1 (ja) 表示システム、サーバ装置、表示装置、表示方法及びプログラム
JP2023066220A (ja) 運転支援装置および運転支援方法
JP2023107348A (ja) 情報処理方法及び情報処理装置
WO2023213416A1 (en) Method and user device for detecting an environment of the user device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231031