JP2016506572A - インフォテイメントシステム - Google Patents

Abstract

ヘッドアップディスプレイと、ヘッドアップディスプレイに接続される中央ユニットと、を有し、ヘッドアップディスプレイは、車両の前部フロントガラスまたは別のコンバインダに画像を投影するように構成され、中央ユニットは、接続されたヘッドアップディスプレイに画像データを表示するよう送信するように構成され、中央ユニットは、ユーザの視点を確認するように構成され、このユーザの視点はユーザの目の位置であり、中央ユニットは、画像データ内にシンボルを出力するように構成され、中央ユニットは、周囲の記録された画像及び／または車両の現在位置に基づいて車両の周囲内の仮想ポイントを確認するように構成され、中央ユニットは、ユーザの視野内で、シンボルの少なくとも１のポイントを仮想ポイントに整列させるように構成され、このアライメントはユーザの視点に基づく、車両用システム。【選択図】 図４

Description

本発明は、車両用インフォテイメントシステムに関する。

ＥＰ１７２０１３１Ｂ１（特許文献１）は、実マーカオブジェクトを認識する拡張現実システムを示す。このシステムは、実環境から画像データを収集するためのビデオカメラを備える。実環境は、家屋の部屋、特定風景の一部、または、任意の他の興味のある光景のような、任意の適宜の領域を示す。実環境は、例えば壁及び家具の形態の複数の実オブジェクトを含むリビングルームを示す。更に、実環境は、自動化された画像処理アルゴリズムで容易に特定できるように任意の適宜の形態を有するマーカオブジェクトと考えられる他の実オブジェクトを含む。マーカオブジェクトは、容易に識別できる顕著な形態を有し、このマーカオブジェクトの形状は、複数の異なる視角から認識できるようにデザインすることができる。マーカオブジェクトは更に、それぞれ認識パターンを形成されている実質的に二次元形態を示す。

このシステムは更に、カメラから提供された画像データに基づいてマーカオブジェクトを認識するための手段を備える。認識手段は、画像データを、マーカオブジェクトを示す所定のテンプレートと比較するための周知のパターン認識アルゴリズムを備えることができる。認識手段は、カメラで取得した画像を、所定の照明閾値（ｉｌｌｕｍｉｎａｔｉｏｎ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅｓ）に基づいて白黒画像に変換するアルゴリズムを装備することができる。このアルゴリズムは、更に、画像を例えば方形の所定のセグメントに分割し、セグメントのそれぞれで事前に教え込まれた（ｐｒｅ−ｔｒａｉｎｅｄ）パターンテンプレートを探すように構成されており、このテンプレートはマーカオブジェクトの顕著な部分を示している。

最初に生のビデオ画像は、明度閾値（ｌｉｇｈｔｉｎｇ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）に基づいて白黒画像に変換される。この画像は、次に方形領域が探索される。ソフトウェアは、二値画像のすべての方形を見出し、その多くはオブジェクトのような追跡マーカではない。各方形について、方形内のパターンは幾つかの予め教え込まれたパターンテンプレートと照合される。合致したものがあれば、ソフトウェアはオブジェクトのような追跡マーカの一つを発見している。ソフトウェアは次に既知の方形サイズ及びパターン配置を使用して、オブジェクトのような物理的マーカに対する実際のビデオカメラの位置を計算する。次に、３ｘ４のマトリックスが、認識したマーカに対するビデオカメラの現実のワールド座標で満たされる。このマトリックスは、次に仮想カメラ座標の位置の設定に使用される。この仮想及び現実のカメラ座標は同じであるため、描画されたコンピュータグラフィックスが特定の位置における現実のマーカオブジェクトに正確に重なる。この後、レンダリングエンジンが、仮想カメラ座標の設定及び仮想画像の描画に使用される。

このシステムは、更に、カメラから取得した画像データをオブジェクトデータジェネレータから得られたオブジェクトデータに合成する手段を備える。この合成手段は、追跡システムと距離測定システムとレンダリングシステムとを備える。一般に、合成システムは、マーカオブジェクトに対応する追加の仮想オブジェクトと共に環境の三次元画像を表す仮想画像データを作成するために、対応して認識されたマーカオブジェクト用ジェネレータから得た画像データを取り込むように構成されている。これにより、合成手段は、実環境内におけるマーカオブジェクトのそれぞれの位置を決定し、更に、環境内の任意の静止オブジェクトに対するマーカオブジェクト及びカメラで限定される視点に対するマーカオブジェクトの間の相対運動を追跡するように構成されている。

このシステムは更に、ジェネレータで生成された仮想オブジェクトを含む仮想画像データを提供するように構成された出力手段を備え、好ましい実施形態では、この出力手段は更に画像データに加え、例えば音響データ、嗅覚データ、触覚データ等の他のタイプのデータも提供できるように構成される。作動に際し、カメラは環境の動的状態に対応する画像データを形成し、この動的状態は、環境に対してカメラを移動するだけ、または、例えばマーカオブジェクト、または、１または複数のオブジェクトが移動可能な環境内で移動可能なオブジェクトを提供することにより表わされる。環境の視点は、環境内でカメラをあちこち移動することにより変更され、これにより、ジェネレータにより種々の視点から生成された仮想オブジェクトの評価が可能となるように、特にマーカオブジェクトを種々の観点から観察することが可能となる。

カメラから提供される画像データは連続的に更新され、認識手段で受信され、この認識手段はマーカオブジェクトを識別し、一旦認識されたのちは、例えばカメラまたはマーカオブジェクトの移動により、視点が連続的に変化することでパターン認識が阻まれた場合でも、マーカオブジェクトの追跡が可能である。画像データ内のマーカオブジェクトに属する所定のパターンを認識した後、認識手段は、合成手段に特定の画像データ領域内のマーカオブジェクトの存在を通知し、そして、この合成手段はこの情報に基づいて、マーカオブジェクトが時間と共に消失しないと仮定し、マーカオブジェクトの認識に用いた画像データで表わされる対応オブジェクトを連続的に追跡する。マーカオブジェクトの認識プロセスは、マーカオブジェクトの存在を確認し、更に、合成手段の追跡精度を確認または向上するために、実質的に連続的に行われ、または、定期的に繰り返される。環境の画像データ及び認識手段から提供された情報に基づいて、合成手段は三次元画像データを生成し、オブジェクトジェネレータから受信した対応する三次元画像データに重ね、この三次元オブジェクトデータは合成手段の追跡作用に基づいて永続的に更新される。

認識手段の情報に基づいて、合成手段はマーカオブジェクトに対するカメラの位置を計算し、この座標情報を使用して仮想カメラの座標を決定し、これにより、マーカオブジェクトの画像データに対するジェネレータで送出されたオブジェクトデータの正確な「重ね合わせ」を可能とする。座標情報は更にカメラに対するマーカオブジェクトの相対的な向きデータも含み、これにより、合成手段が正確に仮想オブジェクトの向きに適合させることを可能とする。最後に、合成された三次元仮想画像データは出力手段により任意の適切な形態で示される。出力手段は、マーカオブジェクトに関連する仮想オブジェクトを含む環境を視覚化するために適宜のディスプレイ手段を備える。このシステムが作動するときに、実質的に信頼性のあるリアルタイム画像処理を可能とするために、少なくとも１のマーカオブジェクトに対する認識基準をプリインストールすることが有益である。更に、それぞれのマーカオブジェクトと１または複数の仮想オブジェクトとの間の相互関係が、システムの作動前に確立でき、または、マーカオブジェクトに対する仮想オブジェクトの割り当ての対話型定義（ｉｎｔｅｒａｃｔｉｖｅ ｄｅｆｉｎｉｔｉｏｎ ｏｆ ａｓｓｉｇｎｍｅｎｔ）を可能とするように設計される。例えば、ユーザの要請で、マーカオブジェクトに最初に割り当てられた仮想オブジェクトがマーカオブジェクトに、またその逆にも、割り当てられる。更に、複数の仮想オブジェクトが、単一のマーカオブジェクトに割り当てられ、複数の仮想オブジェクトのそれぞれの１つが、ソフトウェアアプリケーションにより、ユーザによって選択される。

「車両における拡張現実ヘッドアップディスプレイのデザイン及びテスト」（ドイツ語表題、Ｅｎｔｗｉｃｋｌｕｎｇ ｕｎｄ Ｅｒｐｒｏｂｕｎｇ ｅｉｎｅｓ ｋｏｎｔａｋｔａｎａｌｏｇｅｎ Ｈｅａｄ−ｕｐ−Ｄｉｓｐｌａｙｓ ｉｍ Ｆａｈｒｚｅｕｇ）、Ｍ．Ｓｃｈｎｅｉｄ著、Ｄｉｓｓｅｒｔａｔｉｏｎ ２００９、２．１．２ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ、第６及び７頁（非特許文献１）に、ヘッドアップディスプレイの光ビームがフロントガラスまたは別のコンバイナにより、ドライバの目の中に反射されることが記載されている。光学素子のサイズが光ビームのサイズ及びアイボックス（ｅｙｅｂｏｘ）のサイズを規定し、これは投影画像を認識するためにドライバの目が位置しなければならない、ｙ−ｚ平面内の領域を意味する。最後のミラーの軸受けにより、フロントガラスの反射領域及びアイボックスの位置を調整することが可能である。

米国特許第５，２１４，４１３号（特許文献２）は、視界に重ねて画像が表示される前部フロントガラスに設けられたホログラムコンバイナを備える自動車のインストルメントディスプレイとして使用されるヘッドアップディスプレイ装置を示す。この装置は、ドライバの目を変化に適応可能とするために、環境光のレベルの変化にしたがってディスプレイ画像の輝度を次第に変化させ、または、輝度の増加及び減少を遅らせるディスプレイ光度制御システムを含む。

欧州特許第１７２０１３１号明細書 米国特許第５，２１４，４１３号明細書

Ｅｎｔｗｉｃｋｌｕｎｇ ｕｎｄ Ｅｒｐｒｏｂｕｎｇ ｅｉｎｅｓ ｋｏｎｔａｋｔａｎａｌｏｇｅｎ Ｈｅａｄ−ｕｐ−Ｄｉｓｐｌａｙｓ ｉｍ Ｆａｈｒｚｅｕｇ）、Ｍ．Ｓｃｈｎｅｉｄ著、Ｄｉｓｓｅｒｔａｔｉｏｎ ２００９、２．１．２ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ、第６及び７頁

本発明の目的は自動車用のシステムを改善することである。

この目的は独立請求項１の特徴を有するシステムで達成される。有益な改良が従属請求項の主題であり、詳細な説明に包含されている。

したがって、車両用のシステムが提供される。このシステムは車両のインフォテイメントシステムの一部とすることができる。

システムはヘッドアップディスプレイと、ヘッドアップディスプレイに接続される中央ユニットとを有する。

ヘッドアップディスプレイは車両の前部フロントガラスまたは別のコンバイナに画像を投影するように構成される。

中央ユニットは、接続されたヘッドアップディスプレイに画像データを表示するよう送るように構成される。

中央ユニットは、ユーザの視点を確認するように構成される。ユーザの視点はユーザの目の位置である。

中央ユニットは、画像データ内にシンボルを出力するように構成される。

中央ユニットは、周囲の記録された画像及び／または車両の現在位置に基づいて車両の周囲における仮想ポイントを確認するように構成されている。周囲における仮想ポイントは同時に計算することができる。周囲における仮想ポイントは、画像データ及び／または地図データに基づいて計算することができる。

中央ユニットは、ユーザの視野内で少なくとも１のシンボルのポイントを仮想ポイントに整列させるように形成される。周囲内の仮想ポイントは、例えば表示された画像内のシンボルのドットにより、ユーザの視野内に重ねることができる。このアライメントはユーザの視点に基づく。

本願出願人のテストにより、交点の密度が局部的に高い場合は、簡単なシンボルを使用するルート案内はしばしばドライバを誤って導くことが判明した。拡張現実を使用すると、シンボルは対応する道路を直接指すことができる。ユーザの頭の移動の可能性が考慮され、結果として非常に正確な案内となる。

本発明の他の目的は、前部フロントガラスまたは別のコンバイナ上の表示された画像を制御する方法を改善することである。

この目的は、独立請求項９の特徴を有する方法により達成される。有益な改良が詳細な説明に含まれている。

したがって、車両の前部フロントガラスまたは別のコンバイナ上の表示された画像を制御する方法が提供される。この方法は、
−車両の前部フロントガラスまたはコンバイナ上にヘッドアップディスプレイにより画像を投影すること、
−中央ユニットにより、画像データを接続されたヘッドアップディスプレイに表示するよう送ること、
−中央ユニットにより、ユーザの視点を確認すること、このユーザの視点はユーザの目の位置であり、
−画像データ内に中央ユニットによりシンボルを出力すること、
−周囲の記録された画像及び／または車両の現在位置に基づいて、中央ユニットにより、車両の周囲内における仮想ポイントを確認すること、及び
−中央ユニットにより、ユーザの視野内で、シンボルの少なくとも１のポイントを仮想ポイントに整列させること、このアライメントはユーザの視点に基づく、
のステップを備える。

以下に説明する実施形態は、システム及び方法の双方に向けたものである。

１の実施形態によると、中央ユニットは幾何光学及び／または三角関数に基づいてシンボルの少なくとも１のポイントのアライメントを計算するように構成することができる。

１の実施形態によると、インフォテイメントシステムは、前部フロントガラスまたはコンバイナの平面内の投影画像の位置を調整するための調整手段を有することができる。中央ユニットは、投影画像の調節パラメータに基づいてユーザの視点を確認するように構成することができる。

１の実施形態によると、インフォテイメントシステムはユーザのシートの位置を調整するための調節手段を有することができる。中央ユニットはユーザのシートを調整するパラメータに基づいてユーザの視点を確認するように構成することができる。

１の実施形態によると、インフォテイメントシステムは、ユーザの画像を記録する内部カメラを有することができる。中央ユニットは、ユーザの目またはユーザの頭を認識するように構成することができる。中央ユニットはユーザの目またはユーザの頭の位置をユーザの記録した画像内で確認するように構成することができる。

１の実施形態によると、中央ユニットはユーザの目またはユーザの頭の位置を同時に追跡するように構成することができる。

１の実施形態によると、中央ユニットは、仮想ポイントの少なくとも１の変位と、ユーザの目またはユーザの頭の位置の変位とに基づいて、シンボルの少なくとも１のポイントの位置を仮想ポイントに同時に整列するように構成することができる。

１の実施形態によると、インフォテイメントシステムは、周囲の画像を記録するキャプチャ装置を有することができる。中央ユニットは、周囲の画像データに基づいて周囲の三次元空間を確認するように構成することができる。中央ユニットは、周囲の画像内でオブジェクトを認識するように構成することができる。認識したオブジェクトは、三次元空間内に仮想ポイントを有することができる。中央ユニットは、認識したオブジェクトの仮想ポイントの位置及びユーザの視点に基づいて、シンボルの少なくとも１のポイントを認識したオブジェクトの仮想ポイントに整列させるように構成することができる。

１の実施形態によると、中央ユニットは、周囲の地図データに基づいて、周囲の三次元空間を確認するように構成することができる。中央ユニットは周囲の地図データ内でオブジェクトを認識するように構成することができる。認識したオブジェクトは三次元空間内に仮想ポイントを有することができる。中央ユニットは、認識したオブジェクトの仮想ポイントの位置及びユーザの視点に基づいて、シンボルの少なくとも１のポイントを認識したオブジェクトの仮想ポイントに整列するように構成することができる。

１の実施形態によると、中央ユニットは、ユーザの視点に基づいて、シンボルの形状、及び／または透明度、及び／または色彩を変更するように構成することができる。

先に記載の実施形態は、個別に及び組み合わせの双方において特に有益である。この点について、全ての実施形態は互いに組み合わせることもできる。幾つかの組み合わせの可能性が図に示す例示的な実施形態で説明されている。しかし、ここに記載のこれらの改良された変更例の可能性のある組み合わせは、限定するものではない。

以下に、本発明について、図面を参照する例示的な実施形態により詳細に説明する。

車両内部の概略図。 自動車用システムの概略的なブロック図。 撮像システムにおける見る方向の概略図。 車両のその周囲内の概略図。 撮像システムにおける見る方向の別の概略図。 ディスプレイの概略図。 車両内のユーザの概略図。 拡張現実の概略図。 拡張現実の別の概略図。 拡張現実の別の概略図。 拡張現実の別の概略図。 拡張現実の別の概略図。 拡張現実の別の概略図。 拡張現実の別の概略図。

図１
図１は、車両内部の概略図を示す。図１の１の実施形態によると、車両１００は運転者シート１４０と同乗者シート１５０とを含むことができる。車両１００は更に、運転者シート側のステアリングホイール１３０とシフトレバー１７０と前部フロントガラス１１０とを含むことができる。図１の１の実施形態によると、システムを設けることができ、このシステムは、情報及び娯楽機能を提供するインフォテイメントシステムとも称される。

このシステムは、ユーザインターフェースの形態の中央ユニット５００を有することができる。このシステムは、計器クラスタディスプレイ５２０（ｉｎｓｔｒｕｍｅｎｔ ｃｌｕｓｔｅｒ ｄｉｓｐｌａｙ）を有することができ、または計器クラスタディスプレイと通信することができる。１の実施形態によると、計器クラスタディスプレイ５２０はステアリングホイール１３０の位置と一直線状に配置することができ、これにより、ユーザはステアリングホイール１３０の開口を通して表示された情報内容を見ることができる。計器クラスタディスプレイ５２０はカラースクリーンとすることができる。

システムは、ヘッドアップディスプレイ２００を有することができる。ヘッドアップディスプレイ２００はヘッドユニットディスプレイと称することもできる。ヘッドアップディスプレイ２００は前部フロントガラス１１０に画像２０１を投影するように構成することができる。前部フロントガラス１１０の表面は、ユーザ、図１の実施形態の場合には、車両１００のドライバに向けて投影画像２０１を反射することができる。図１の１の実施形態によると、投影された画像２０１は反射領域２９９のサイズとすることができる。前部フロントガラス１１０の形状は平坦な反射面からは逸脱することができ、電子的修正及び／または光学的修正を使用することができる。

システムは、前部フロントガラス１１０の平面内で投影画像２０１の位置を調整するための調整手段を有することができる。この調整手段は、ヘッドアップディスプレイ２００の光学素子の位置及び／またはヘッドアップディスプレイ２００自体を制御する駆動ドライブを備えることができる。パラメータにより、前部フロントガラス１１０内の反射領域２９９の位置及び／またはサイズを制御することができる。中央ユニット５００は、投影された画像２０１の調整のパラメータに基づいてユーザの目の位置を確認するように構成することができる。

図１の１の実施形態によると、このシステムは入力装置６０１、６０２、６０３、６０４、６０５を有することができる。センサ６０２は、ダッシュボード１２０に配置され、車両１００のステアリングホイール１３０に向けて反応する１つの入力装置６０２とすることができる。センサ６０２は、ステアリングホイール１３０とダッシュボード１２０との間のユーザの手の位置及び／または動きを特定するように配置しかつデザインすることができる。別のセンサ６０１は、中央ユニット５００の領域内で入力を可能とするために中央コンソールに配置することができる。

システムは中央コンソール内に入力装置６０３を有することができる。入力装置６０３はユーザインターフェースの一部とすることができ、１または複数のプッシュボタン、入力ホイール等とすることができる。システムは、１または複数のプッシュボタン、スイッチ等を有するステアリングホイール１３０に一体化された入力装置６０４を有することができる。システムはユーザの画像を記録する内部カメラ５１０を有することができる。

図２
図２は、自動車１００用システムの実施例のブロック図を示す。システムは中央ユニット５００を有することができる。中央ユニット５００は回路５４０を有することができる。回路５４０はプログラムを実行するためのプロセッサを有することができる。回路５４０は他の装置６０１等に接続するための複数のインターフェースを有することができる。中央ユニット５００は、車両１００のダッシュボード１２０または中央コンソールに中央配置することができる中央情報ディスプレイ５３０を有することができる。回路５４０及び中央情報ディスプレイ５３０は、互いに離隔して配置することができる。これに代え、回路５４０と中央情報ディスプレイ５３０とは１つのケースに一体化することもできる。中央情報ディスプレイ５３０は、ユーザ入力用の接触感知面を備えるタッチスクリーンとすることができる。

図２の１の実施形態によると、回路５４０は入力信号を評価する機能ブロック５４１を有することができる。図２の１の実施形態によると、センサ６０１、６０２と、入力装置６０３、６０４と、ユーザの声を録音するマイクロフォン６０５とを接続することができる。中央ユニット５００は音声制御入力用の音声認識プログラムを実行するように構成することができる。システムは、ユーザの顔を取り込む内部カメラ５１０を有することができる。内部カメラ５１０は画像データＳ５１０を評価用に機能ブロック５４１に送信することができる。中央ユニット５００の機能ブロック５４１は、ユーザの目またはユーザの頭を認識するように構成することができる。中央ユニット５００の機能ブロック５４１はユーザの目またはユーザの頭の位置を同時に確認するように構成することができる。機能ブロック５４１はハードウェアにより、またはソフトウェアによるプログラムシーケンスとして実現することが可能である。機能ブロック５４１は、ユーザの目または頭の位置を１または複数次元の、例えばベクトルまたはマトリックスのデータを含む位置信号Ｓ３を出力するように構成することができる。位置信号Ｓ３は並進３度、回転３度で６次元の位置情報を含むことができる。位置信号Ｓ３は、制御機能ブロック５４２に対する入力とすることができる。回路５４０の機能ブロック５４２は、ヘッドアップディスプレイ２００に出力する画像データＳ２００を生成するように構成することができる。回路５４０の機能ブロック５４２は、中央ユニット５００の中央ディスプレイ５３０に出力する画像データＳ５３０及びディスプレイ５２０に出力する画像データＳ５２０を生成するように構成することができる。機能ブロック５４２は、位置信号Ｓ３に基づいて画像データＳ２００、Ｓ５３０、Ｓ５２０を生成するように構成することができる。

ヘッドアップディスプレイ２００、及び／または計器クラスタディスプレイ５２０、及び／または中央ユニット５００の中央情報ディスプレイ５３０、及び／または第１センサ６０１、及び／または第２センサ６０２、及び／または携帯機器７９１への接続用第１近距離無線通信装置６０６、及び／または携帯機器７９２への接続用第２近距離無線通信装置６０７、及び／または入力装置６０３、６０４は、回路５４０と接続または通信することができる。センサ６０１、６０２は非接触タイプとすることができる。センサ６０１、６０２は赤外線センサとすることができる。

１の実施形態によると、車両１００のシステムは撮像システムを含むことができる。システムはヘッドアップディスプレイ２００を有することができる。システムはヘッドアップディスプレイ２００及び中央情報ディスプレイ５３０に接続可能な中央ユニット５００の回路５４０を有することができる。中央ユニット５００は画像データＳ２００を、ヘッドアップディスプレイ２００に表示するよう送信するように構成することができる。ヘッドアップディスプレイ２００は、図１に示すように、画像２０１を前部フロントガラス１１０に投影するように構成することができる。画像２０１は、第１画像データＳ２００に基づくことができる。

中央ユニット５００は、ユーザの視点を確認するように構成することができ、このユーザの視点はユーザの目の位置である。ユーザの目の位置を確認するため、中央ユニット５００は、ユーザの目及び／または頭、及びその位置を取り込んだ画像内で認識して、内部カメラ５１０の画像データＳ５１０を評価するように構成することができる。

画像２０１は領域２９９内に投影することができる。投影された画像２０１は予め規定することができ、ユーザにより調整可能とすることができる。領域２９９はドライバの視野に配置することができる。領域２９９の位置はステアリングホイール１３０に対して調整することができ、したがって画像２０１はドライバが見ることができ、ドライバは更に車両１００の前方の交通を観察することが可能である。画像２０１は、半透明のように少なくとも部分的に透明にできる。領域２９９の少なくとも一部はドライビング中に透けて見ることができ、したがって、ドライバの視野が著しく妨げられることはない。

システムは車両のバス、例えばＣＡＮバスに対するインターフェース６０８を有することができ、例えば現在の速度、車両のレインセンサデータ等の車両のデータを読み出すことができる。システムは、例えばＧＰＳデータまたはＧＬＯＮＡＳＳデータ等の車両の現在位置の位置データＳ６０９を受け取る衛星受信機６０９を有することができる。システムは、例えばＵＭＴＳネットワーク、ＬＴＥネットワーク、またはＷＬＡＮネットワーク等の無線ネットワークと通信する送受信機６１０を有することができる。

システムは、車両１００の周囲４００の画像を記録するように配置された１または複数のカメラ６１１、６１２、６１３、６１４を有することができる。１の実施形態によると、中央ユニット５００は、車両１００の前方の道路及び交通の画像データＳ６１１を取り込む前部カメラ６１１に接続することができる。中央ユニット５００は、車両１００の後方の道路及び交通の画像データＳ６１２を取り込む後部カメラ６１２に接続することができる。中央ユニット５００は、対応する画像を記録する左カメラ６１３及び／または右カメラ６１４に接続することができる。１または複数のカメラ６１１、６１２、６１３、６１４は、車両１００の全周囲を同時に記録するために使用することができる。中央ユニット５００の回路５４０は、記録された画像データＳ６１１、Ｓ６１２内のオブジェクトを認識するためのオブジェクト認識プログラムを実行するように構成することができる。認識されるオブジェクトは、車両のような道路ユーザとすることができる。

システムは、１または複数の距離センサ６１５、６１６、６１７、６１９を有することができる。距離センサ６１５、６１６、６１７、６１９は、超音波センサまたはレーダセンサとすることができ、または、車両１００の周囲のオブジェクトとの距離を測定するための任意の他の装置またはシステムとすることができる。１または複数の距離センサ６１５、６１６、６１７、６１９は、中央ユニット５００に接続可能とすることができる。

図２の１の実施形態によると、システムは、前部フロントガラス１１０の平面内で投影された画像２０１の位置を調整するための調整手段を有することができる。調整手段は、ヘッドアップディスプレイ２００またはその光学素子の位置を変更するための電気機械式ドライブとすることができる。中央ユニット５００は、調整用のパラメータＳ２０１をヘッドアップディスプレイ２００に送信するように構成ことができる。中央ユニット５００は、投影された画像２０１を調整するパラメータＳ２０１に基づいてユーザの視点３０１を確認するように構成することができる。ユーザは、パラメータＳ２０１の基礎とされるドライブ制御を入力することにより、投影画像２０１を調整することができる。

図３
図３は、図１のヘッドアップディスプレイ２００によりシンボルを位置決めするための概略図を示す。１の実施形態によると、車両１００のシステムが提供される。システムはヘッドアップディスプレイ２００を有することができる。システムは、ヘッドアップディスプレイ２００に接続可能な中央ユニット５００を有することができる。中央ユニット５００は、ヘッドアップディスプレイ２００に画像データＳ２００を表示するよう送信するように構成することができる。ヘッドアップディスプレイ２００は、車両１００の前部フロントガラス１１０に画像２０１を投影するように構成することができる。画像２０１は、画像データＳ２０１に基づくことができる。

中央ユニット５００は、ルート案内の動作ポイント（ｍａｎｏｅｕｖｒｅ ｐｏｉｎｔ ｏｆ ｒｏｕｔｅ ｎａｖｉｇａｔｉｏｎ）のシンボル２１０を出力するように構成することができる。シンボル２１０は、始点２１９から終点２１１まで延設することができる。中央ユニット５００は、画像データＳ２００内にシンボル２１０を配置するように構成することができる。シンボル２１０は、始点２１９及び車両１００の周囲４００の道路上の第１仮想ポイント４１９がユーザの視野内で重なるように、配置することができる。始点２１９及び終点２１１は、シンボルの画像ドットと称することができる。道路上の第１仮想ポイント４１９は、車両１００の現在位置に基づくものである。

シンボル２１０は、終点２１１及び道路上の第２仮想ポイント４１１がユーザの視野に重なるように、配置することができる。仮想ポイント４１１、４１９は周囲のポイントであり、三次元空間内のその位置はデータから計算される。仮想ポイント４１１、４１９は、例えば道路部分等の認識したオブジェクトの一部とすることができる。仮想ポイント４１１、４１９は周囲のポイントに関する計算された幾何学的位置である。道路上の第２仮想ポイント４１１は、車両の現在位置４１１に基づく。双方の位置決め機能は組み合わせることができる。中央ユニット５００は、表示されたシンボルのサイズ及び／または形状を変更するように構成することができる。表示されたシンボルのサイズ及び／または形状は、始点２１９と道路上の第１仮想ポイント４１９とが重なり、及び／または、終点２１１と道路上の第２仮想ポイント４１１とが重なる、ように変更することができる。

中央ユニット５００は、画像データＳ２００内にシンボル２１０を出力するように構成することができる。中央ユニット５００は、周囲４００の記録された画像に基づいて車両１００の周囲４００における仮想ポイント４１１を確認するように構成することができる。図２に示すように、１の実施形態によると、中央ユニット５００は、周囲４００の画像を記録するカメラ６１１の画像データＳ６１１を評価するように構成することができる。これに代え、または組合せにより、中央ユニット５００は、車両１００の現在位置に基づいて車両１００の周囲４００における仮想ポイント４１１を確認するように構成することができる。中央ユニット５００は、衛星データＳ６０９及び地図データに基づいて現在位置を確認するように構成することができる。

中央ユニット５００は、ユーザの視野内でシンボル２１０の少なくとも１のポイント２１１を仮想ポイント４１１に整列させるように構成することができる。整列は、ユーザの視点３０１に基づくことができ、このユーザの視点３０１はユーザの目の位置３０１である。

図４
図４は、周囲４００における車両１００の三次元の概略図を示す。車両１００は、車両１００のドライバ位置におけるユーザ７００で運転される。ユーザ７００は透明状態で示してあり、更に、ユーザ７００の前部のダッシュボード及び前部フロントガラス１１０を示す。図４に示す１の実施形態によると、車両１００にシステムが設けられている。システムは、中央ユニット５００及びこの中央ユニット５００に接続可能なヘッドアップディスプレイ２００を有することができる。ヘッドアップディスプレイ２００は、車両１００のフロントガラス１１０に画像２０１を投影するように構成されている。

更に、図４はユーザ７００の視点３０１を示し、この視点３０１はユーザの目の位置である。ユーザは、フロントガラス１１０を通して、例えは道路及び交通である、車両１００の周囲４００を見ることができる。ユーザ７００の視野内には、フロントガラス１１０に投影された画像２０１が現れる。画像２０１は半透明にすることができる。

中央ユニット５００は、複数の方法ステップを有するプログラムを実行するように構成することができる。１の実施形態によると、シンボル２１０の少なくとも１のポイント２１１は、周囲４００内の仮想ポイント４１１に整列させなければならない。ユーザ７００の視野内では、画像２０１内のシンボル２１０は車両のフロントガラス１１０上に投影することができる。シンボル２１０は、中央ユニット５００により画像データＳ２００の一部として出力することができる。

ユーザの視点３０１は、中央ユニット５００により確認することができる。ユーザの視点はユーザの目の位置３０１である。ユーザの視点３０１の確認は、更に図７の１の実施形態で説明する。図４の１の実施形態によると、車両１００の周囲４００における仮想ポイント４１１は、周囲４００の記録された画像及び／または車両１００の現在の位置に基づいて、中央ユニット５００により確認することができる。１の実施形態によると、仮想ポイント４１１は計算されたルートの動作ポイント及び地図データに基づいて計算することができる。車両が動作ポイントに近づいた場合は、仮想ポイント４１１は新規ポイントに設定できる。同時に、シンボル２１０のポイント２１１の位置は、ポイント２１１及び仮想ポイント４１１が重なるように、整列することができる。更に、ドライブ及び仮想ポイント４１１に向く、見る方向の間の角度が変化すると、シンボルのポイント２１１の位置はアライメントのために同時に更新することができる。

更に、ユーザ７００が頭の位置を変えることも可能であり、これはストレス状況においては極めて通常のことであり、これにより、視点３０１を同時に変えることができる。したがって、ユーザ７００の視野では、シンボル２１０の少なくとも１のポイント２１１は中央ユニット５００により仮想ポイント４１１に整列させることができ、このアライメントはユーザの視点３０１に基づくものである。

図５
図５には、フロントガラス１１０及び見る方向を含む概略図を示す。フロントガラス１１０上には、投影された画像２０１に含まれるシンボル２１０を示してある。シンボル２１０は、ユーザがルートに追従して実行すべきドライブ方向の変化を示す湾曲した矢印である。

例えば反射技術（ｍｉｒｒｏｒｉｎｇ ｔｅｃｈｎｉｑｕｅ）である幾何光学を使用すると、焦点を車両１００の外側の領域に調節することができ、したがって、画像４１１のシンボル２５０は、例えば前カバー（ｆｒｏｎｔ ｌｉｄ）の上である車両１００の前部に実際に出現させることができる。図５では、このようなシンボル２５０が点線で概略的に示してある。実施形態を更に説明すると、焦点はフロントガラス１１０の平面内に調節することができる。しかし、全ての実施形態は、焦点を車両１００の外側の領域に調整して、組み合わせることもできる。

図５には、図４に示すような、ユーザの視点３０１とフロントガラス１１０との間の第１距離ｄ１と、フロントガラス１１０と車両の周囲４００内の仮想ポイント４１１との間の第２距離ｄ２を示してある。全ての場合に、第２距離ｄ２は第１距離ｄ１よりも大きい。これは、例えば頭の移動で第１視点３０１が少なくとも一時的に第２視点３０２に移動した場合に、ユーザの視野内に視差を生じさせる。図５には、左への変位Δｘｈを示してある。視差は、２つの視線に沿って見たオブジェクトの見かけの位置の移動または差異であり、これらの２つのライン間の傾斜の角度または半角（ｓｅｍｉ−ａｎｇｌｅ）で測定される。第１視点３０１では、ポイント２１１と仮想ポイント４１１とが重なる。第２視点３０２では、ポイント２１１と仮想ポイント４１１とは重ならない。ユーザの視野では、シンボル２１０のポイント２１１と別の無用のポイント４１２とが重なり、したがって矢印が誤った方向を指す。精度を改善するため、矢印をそれに応じてシフトすることができる。

中央ユニット５００は、例えば三角関数に基づいて、シンボル２１０の少なくとも１のポイント２１１のアライメントを計算するように構成することができる。これに代え、視点３０１の測定した変位Δｘｈに基づいてシンボル２１０のポイント２１１をシフトするためのオフセット値を有するルックアップテーブル（ＬＵＴ）を使用することができる。図５の１の実施形態によると、全シンボル２１０が同じ方向に並進するように変位Δｓｈだけ移動している。ポイント２２１と共に移動したシンボル２２０を図５に概略的に示してあり、ポイント２２１及び仮想ポイント４１１が再度重なる。１の実施形態によると、中央ユニット５００は、シンボル２１０の少なくとも１のポイント２１１の位置を、仮想ポイント４１１の少なくとも１の変位及びユーザの目の位置３０１の変位Δｘｈに基づいて、同時に仮想ポイント４１１に整列するように形成することができる。

図６
図６の１の実施形態によると、計器クラスタディスプレイ５２０にアプリケーションを表示するために顔追跡ソフトウェア（ｆａｃｅ−ｔｒａｃｋｉｎｇ ｓｏｆｔｗａｒｅ）を使用することができる。顔を追跡するために内部カメラ５１０を使用することができる。中央ユニット５００はユーザ７００の顔の動きを追跡するように構成することができる。ユーザ７００の例えば目の動きであるこの顔の情報は、例えばアプリケーションの画像がディスプレイ２００、５２０、５３０に表示された場合に、実行すべきアプリケーションをコントロールする作業負荷管理プログラムで分析することができる。図６の１の実施形態によると、顔の位置は、顔の追跡及びユーザの目及び／またはユーザの頭の現在位置３０１を示す計器クラスタディスプレイ５２０に概略的に表示することができる。

図７
図７は、車両１００内のユーザ７００の概略図を示す。図７は更に、ユーザの頭及びユーザの目７０１及びユーザの目７０１の位置３０１を概略的に示す。システムは、ユーザ７００の画像５１１を記録する内部カメラ５１０を有することができ、特に、この画像５１１はユーザ７００の目７０１の画像データを含む。内部カメラ５１０はユーザの顔の方に向けることができる。中央ユニット５００はユーザの目７０１を認識するように構成することができる。ユーザの目７０１は、人の目の既知の画像データを記録された画像５１１のパターンと比較することで認識することができる。中央ユニット５００は、ユーザ７００の記録された画像５１１内のユーザの目７０１の位置３０１を確認するように構成することができる。１の実施形態によると、ユーザの目７０１の位置３０１は三次元ｘ_Ｅ、ｙ_Ｅ、ｚ_Ｅで推定することができる。１の実施形態によると、中央ユニット５００はユーザの目７０１の位置３０１を同時に追跡するように構成することができる。１の実施形態によると、ユーザの目の位置は、代わりに、ユーザの頭の形状及び位置から計算される。

図８
図８の１の実施形態によると、ドライブ及び／またはナビゲーション情報はヘッドアップディスプレイ２００に表示され、拡張現実を生成することができる。インフォテイメントシステムは自動車１００の撮像システムを提供する。撮像システムは、図２に示すように、画像データＳ６１１の形態で自動車１００の環境４００の画像を記録するように構成された画像キャプチャ装置６１１を有することができる。中央ユニット５００は、演算ユニット５４０を含みまたは通信することができる。演算ユニット５４０は、画像データＳ６１１から仮想スペースを確定するように構成することができる。演算ユニット５４０は、画像データＳ６１１内の実オブジェクトを検出するように構成することができる。演算ユニット５４０は仮想スペースに仮想エレメント２１０を追加するように構成することができる。図８の１の実施形態によると、仮想エレメントは、ナビゲーション目的の矢印２１０とすることができる。

撮像システムは、自動車１００のシステムの一部とすることができる。システムの中央ユニット５００は、例えばケーブルまたは通信バスを介して、画像キャプチャ装置６１１に接続することができる。画像キャプチャ装置６１１は、画像データＳ６１１を記録する光学システムとすることができる。画像キャプチャ装置６１１は、例えばＣＭＯＳまたはＣＣＤカメラである複数のカメラを有することができる。カメラは立体視記録用に配置することができる。演算ユニット５４０は、中央処理（ＣＰＵ）またはデジタル信号処理プロセッサ（ＤＳＰ）の少なくとも１等のプロセッサとすることができる。

仮想スペースは、環境４００の道路の幾何学的形状に基づいて三次元で判定することができる。例えば距離は、道路の幾何学的形状に基づいて把握することができ、検出したオブジェクトは、仮想スペース内の把握した距離に配置することができる。

図８及び図９は、車両のフロントガラス１１０にヘッドアップディスプレイ２００で表示されたルート案内シンボル２１０を有する１の実施例を示す。シンボル２１０の後ろに、車両の周囲４００を概略的に示してある。図８及び図９は、第１仮想ポイント４１９がドライバの視野内に固定されている実施例を示す。したがって、シンボル２１０の始点２１９は反射領域２９９内に固定されている。第２仮想ポイント４１１したがってシンボル２１０の終点２１１は、ルートの動作ポイントに近づくにつれて変化することができる。図３、図５及び図８は、ドライバの視点３０１にしたがってポイント２１１、４１１が重なっていることを示す。更に、シンボル２１０の別のポイント２１９と周囲４００の別の仮想ポイント４１９との重なっていることを示す。

中央ユニット５００は、記録された画像の画像データＳ６１１から多次元領域を推定することにより道路上の仮想ポイント４１１を特定するように構成することができる。画像は前カメラ６１１で記録することができる。仮想ポイント４１１は多次元領域内に特定される。多次元領域は三次元領域とすることができる。

図９
１の実施形態によると、中央ユニット５００は、ユーザの視点３０１に基づいてシンボル２１０の形状、及び／または透明性、及び／または色彩を変更するように構成することができる。１の実施形態によると、シンボル２１０はレンダリングアルゴリズムに基づいて生成される。レンダリング処理中のシンボル２１０’の形状、及び／または透明性、及び／または色彩は、現在のユーザの視点３０１に基づいてレンダリングパラメータを調整することにより変更することができる。これは、偽三次元効果をもたらすことができ、したがって、シンボル２１０’はユーザにとって三次元オブジェクトとして見ることができる。図９には、シンボル２１０’の形状の変化を概略的に示してある。更に、ポイント２１１’、４１９’及び周囲４００における対応する仮想ポイント４１１’、４１９’は、図８に比して移動している。

図１０
図１０の１の実施形態によると、撮像システムを有する車両１００のシステムが提供される。システムはヘッドアップディスプレイ２００を有することができる。インフォテイメントシステムは、例えば道路ユーザ４５１である周囲４００の一部としてオブジェクト４５１を認識するための手段６１１、６１５を有することができる。道路ユーザ４５１は、他の自動車と同様に、自動車（ｍｏｔｏｒｉｚｅｄ）とすることができる。図１０の１の実施形態によると、認識されたオブジェクト４５１はマーク付きとすることができる。システムは、ヘッドアップディスプレイ２００及び認識用の手段６１１、６１５に接続可能な中央ユニット５００を有することができる。中央ユニット５００は、ヘッドアップディスプレイ２００に画像データＳ２００を表示するよう送信するように構成することができる。ヘッドアップディスプレイ２００は、車両１００内のユーザ（例えばドライバ等）が見ることのできる前部フロントガラス１１０上に画像２０１を投影するように構成することができる。画像２０１は画像データＳ２００に基づくことができる。

中央ユニット５００は、車両１００と認識した道路ユーザ４５１との間の距離を出力するように構成することができる。中央ユニット５００は、認識した道路ユーザ４５１の速度２１５を出力するように構成することができる。例えば速度値の形態で、オブジェクト４５１の速度を示す速度シンボル２１５はポイント２１６を有することができる。１の実施形態によると、中央ユニット５００は、速度シンボル２１５のポイント２１６をオブジェクト４５１の仮想ポイント４５６に整列するように構成することができる。中央ユニット５００は、認識した道路ユーザ４５１の（負または正）の加速度を出力するように構成することができる。

中央ユニット５００は、車両１００と認識した道路ユーザ４５１との間の距離を示すシンボル２１０、及び／または認識した道路ユーザ４５１の速度及び／または認識した道路ユーザ４５１の加速度を示すシンボル２１５の情報アイテムを画像データＳ２００内に含むように構成することができる。例えば速度のシンボル２１５である情報アイテムの位置と、認識した道路ユーザ４５１の位置とを車両１００のユーザ７００の視野内に重ねることができる。図１０の１の実施形態によると、中央ユニット５００は、周囲４００の認識した画像に基づいて、車両１００の周囲４００内のオブジェクト４５１の仮想ポイント４５２を確認するように構成することができる。中央ユニット５００はユーザ７００の視野内で、距離シンボル２１０の少なくとも１のポイント２１１がオブジェクト４５１の仮想ポイント４５２に整列するように構成することができ、このアライメントはユーザの視点３０１に基づく。

図１０における１の実施例によると、車両１００と認識した道路ユーザ４５１との間の距離が現在２５メートルであることを示している。認識した道路ユーザ４５１の速度は、現在８７ｋｍ／ｈである。

図１０の１の実施形態によると、システムは、周囲４００の画像を記録するキャプチャ装置６１１を有することができる。中央ユニット５００は、周囲４００の画像データＳ６１１に基づいて周囲４００の三次元空間を確認するように構成することができる。中央ユニット５００は、周囲４００の画像内でオブジェクト４５１を認識するように構成することができる。認識したオブジェクトは三次元空間内で仮想ポイント４５２、４５６を有することができる。

中央ユニット５００は、シンボル２１０の少なくとも１のポイント２１１を、認識したオブジェクト４５１の仮想ポイント４５２の位置及びユーザの視点３０１に基づいて、認識したオブジェクト４１５の仮想ポイント４５２に整列させるように構成することができる。

図１１
図１１の１の実施例によると、車両１００と認識した道路ユーザ４５１との間の距離が表示されている（７メートル）。距離は同時に閾値と比較することができる。閾値は、車両１００の現在の速度にしたがって推測することができる。中央ユニット５００は、推測した距離が閾値よりも低い場合に距離の外観を変更するように構成することができる。図１１の実施形態によると、距離シンボル２１０’の色彩は、例えば赤色等、所定の色彩に変更される。中央ユニット５００は、表示された画像２０１内に含まれる追加の警報シンボルを表示するように構成することができる。中央ユニット５００は、例えば、ビープ音またはテキスト読み上げ等の音響警報信等の追加の知覚警報をほぼ同時に出力するように構成することができる。

図１１の１の実施形態によると、中央ユニット５００は、ユーザの視点３０１及び認識したオブジェクト４５１の仮想ポイント４５２’の位置の変化に基づいて、シンボル２１０’の形状及び色彩を変更するように構成される。図１１に示す実施例によると、車両１００は、図１０に示す実施例に比較して、認識したオブジェクト４５１により近づいている可能性がある。したがって、仮想ポイント４５２’及びシンボル２１０’のポイント２１１’が変更されている。シンボル２１０’は形状及び色彩が変更されている。

図１２
図１２の１の実施形態によると、中央ユニット５００は道路上のマーキング４５８、４５９を認識するように構成することができる。マーキング４５８、４５９はオブジェクトとみなすことができる。中央ユニット５００は、認識したマーキング４５８、４５９との関係で車両１００の現在位置を推測するように構成することができる。図１２では、認識されたマーキング４５８、４５９は、ユーザ７００の認識の成功を示す仮想エレメントを重ねることができる。

図１３
図１３の１の実施形態によると、撮像システムを含む車両１００のシステムが提供される。システムはヘッドアップディスプレイ２００を有することができる。システムは道路の限界を認識する手段６１１、６１５を有することができ、この限界は車両１００内のユーザ７００が視認可能である。限界は、道路または壁またはカーブのマーキング４５９とすることができる。手段はカメラ６１１とすることができる。手段は距離センサ６１５とすることができる。インフォテイメントシステムは、ヘッドアップディスプレイ２００及び認識するための手段６１１、６１５に接続可能な中央ユニット５００を有することができる。

中央ユニット５００は、ヘッドアップディスプレイ２００に画像データＳ２００を表示するよう出力するように構成することができる。ヘッドアップディスプレイ２００は、車両１００内のユーザ７００（例えばドライバ等）が視認可能な前部フロントガラス１１０に画像２０１を投影するように構成することができる。画像２０１は、画像データＳ２００に基づくものとすることができる。

中央ユニット５００は、車両１００と認識した限界４５９との間の推測した距離が閾値より少ないときに、シンボル２１０を出力するように構成することができる。中央ユニット５００は画像データＳ２００内にシンボル２１０を含むように構成することができ、したがって、シンボル２１０の位置及び限界４５９の位置が車両１００のユーザ７００の視野内で重なる。車両１００の周囲４００内の限界４５９の仮想ポイント４１１は記録された画像に基づいて確認することができる。ユーザ７００の視野内では、シンボル２１０の少なくとも１のポイント２１１が中央ユニット５００により仮想ポイント４１１に整列させることができ、このアライメントはユーザの視点３０１に基づく。更に、シンボル２１０の複数のポイントを限界の複数の仮想ポイントに整列させることができ、したがって、シンボル２１０の形状は限界のコースに適合させることができる。

図１３の１の実施形態によると、シンボル２１０は赤い半透明壁であり、ドライバ７００が走行すべき車線を限定する白いマーキング４５９に重なる。更に、画像２０１は、正しい走行方向を示すアニメ化した（点滅）矢印２０５を有する。

図１４
図１４の１の実施形態によると、車両１００のシステムが提供される。システムはヘッドアップディスプレイ２００を有することができる。システムは、道路の２つの車線を分離するマーキング４５８を認識する手段６１１、６１５を有することができ、マーキング４５８は車両１００内のユーザ７００が視認できる。マーキング４５８は中央分離帯と称することができる。システムは、ヘッドアップディスプレイ２００及び認識する手段６１１、６１５に接続可能な中央ユニット５００を有することができる。

中央ユニット５００は、ヘッドアップディスプレイ２００に画像データＳ２００を表示するよう送信するように構成することができる。ヘッドアップディスプレイ２００は、車両１００内のユーザ７００（例えばドライバ等）が視認可能な前部フロントガラス１１０に画像２０１を投影するように構成することができる。画像２０１は、画像データＳ２００に基づくことができる。

中央ユニット５００は、マーキング４５８の他側に道路ユーザを検出したときに、シンボル２１０を出力するように構成される。道路ユーザがそのとき死角にある場合には、道路ユーザを車両１００のユーザが視認することはできない。道路ユーザは、距離センサまたは画像データの信号を評価することにより検出することができる。

中央ユニット５００は、シンボル２１０の位置とマーキング４５８の位置とが車両１００のユーザ７００の視野内で重なるように、画像データＳ２００内にシンボル２１０を含むように構成することができる。車両１００の周囲４００内のマーキング４５８の仮想ポイント４１１は、記録された画像に基づいて確認することができる。ユーザ７００の視野内で、シンボル２１０の少なくとも１のポイント２１１は、中央ユニット５００により仮想ポイント４１１に整列させることができ、このアライメントはユーザの視点３０１に基づく。

図１４の１の実施例では、シンボル２１０は、道路の白いマーキング４５８上に配置された赤色の半透明壁である。

本発明の種々の実施形態について説明してきたが、当業者であれば、本発明の範囲内において更に多くの実施形態及び具体化が可能なことは明らかである。したがって、本発明は上述の実施形態に制限されるものではない。

参照符号のリスト
１００ 車両
１１０ コンバイナ、フロントガラス
１２０ ダッシュボード
１３０ ステアリングホイール
１４０、１５０ シート
１７０ シフトレバー
２００ ヘッドアップディスプレイ
２０１ 画像
２０５ 矢印
２１０、２１５、２２０、２５０、２１０’ シンボル
２１１、２１６、２１９、２２１、２１１’ ポイント
２１９’
２９９ 反射領域
３０１、３０２ 視点
４００ 周囲
４１１、４１９、４１１’、４１９’、４５２、仮想ポイント
４５２’、４５６
４１２ ポイント
４５１、４５８、４５９ オブジェクト
５００ 中央ユニット
５１０ 内部カメラ
５１１ 画像
５２０ ディスプレイ
５３０ 中央ディスプレイ
５４０ 回路、演算ユニット、プロセッサ
５４１、５４２ 機能ブロック
６０１、６０２ センサ
６０３、６０４ 入力装置
６０５ マイクロフォン
６０６、６０７ 近距離無線通信装置（ＮＦＣ）
６０８ インターフェース
６０９ 衛星受信機
６１０ 送受信機
６１１、６１２、６１３、６１４ カメラ
６１５、６１６、６１７、６１９ 距離センサ
７００ ユーザ
７０１ 目
７９１、７９２ 携帯機器
Ｓ３、Ｓ２００、Ｓ２０１、Ｓ５１０、Ｓ５２０、信号
Ｓ５３０、Ｓ６０９、Ｓ６１１、
Ｓ６１２
Δｓｈ、Δｘｈ 変位
ｄ１、ｄ２ 距離

先に記載の実施形態は、個別に及び組み合わせの双方において特に有益である。この点について、全ての実施形態は互いに組み合わせることもできる。幾つかの組み合わせの可能性が図に示す例示的な実施形態で説明されている。しかし、ここに記載のこれらの改良された変更例の可能性のある組み合わせは、限定するものではない。
例えば、本願発明は以下の項目を提供する。
（項目１）
車両（１００）用システムであって、
−ヘッドアップディスプレイ（２００）と、
− 前記ヘッドアップディスプレイ（２００）に接続される中央ユニット（５００）と、を有し、
−前記ヘッドアップディスプレイ（２００）は、前記車両（１００）の前部フロントガラス（１１０）または別のコンバインダに画像（２０１）を投影するように構成され、
−前記中央ユニット（５００）は、前記接続されたヘッドアップディスプレイ（２００）に画像データ（Ｓ２００）を表示するよう送信するように構成され、
−前記中央ユニット（５００）は、ユーザの視点（３０１）を確認するように構成され、前記ユーザの視点はユーザの目（７０１）の位置（３０１）であり、
−前記中央ユニット（５００）は、前記画像データ（２０１）内にシンボル（２１０）を出力するように構成され、
−前記中央ユニット（５００）は、周囲（４００）の記録された画像及び／または前記車両（１００）の現在位置に基づいて前記車両（１００）の前記周囲（４００）内の仮想ポイント（４１１、４５２）を確認するように構成され、
−前記中央ユニット（５００）は、ユーザ（７００）の視野内で、前記シンボル（２１０）の少なくとも１のポイント（２１１）が前記仮想ポイント（４１１、４５２）に整列するように構成され、このアライメントは前記ユーザの視点（３０１）に基づく、
車両（１００）用システム。
（項目２）
−項目１に記載のシステムであって、前記中央ユニット（５００）は、幾何光学及び／または三角関数に基づいて前記シンボル（２１０）の前記少なくとも１のポイント（２１１）のアライメントを計算するように構成される、システム。
（項目３）
項目１または２に記載のシステムであって、
− 前記ユーザ（７００）の画像（５１１）を記録する内部カメラ（５１０）を有し、
前記中央ユニット（５００）は、前記ユーザの目（７０１）または頭を認識するように構成され、
−前記中央ユニット（５００）は、前記ユーザ（７００）の前記記録した画像（５１１）内の前記認識した目（７０１）または頭に基づいて前記ユーザの目（７０１）の位置（３０１）を確認するように構成される、システム。
（項目４）
−項目３に記載のシステムであって、前記中央ユニット（５００）は、前記ユーザの目（７０１）または前記ユーザの頭の位置（３０１）を同時に追跡するように構成される、システム。
（項目５）
−項目１から４のいずれか１に記載のシステムであって、前記中央ユニット（５００）は、前記仮想ポイント（４１１）の少なくとも１の変位、及び、前記ユーザの目（７０１）または前記ユーザの頭の位置（３０１）の変位（Δｘｈ）に基づいて、同時に前記シンボル（２１０）の前記少なくとも１のポイント（２１１）の位置を前記仮想ポイント（４１１）に整列させるように構成される、システム。
（項目６）
項目１から５のいずれか１に記載のシステムであって、
−前記周囲（４００）の画像を記録するキャプチャ装置（６１１）を有し、
−前記中央ユニット（５００）は、前記周囲（４００）の画像データ（Ｓ６１１）に基づいて前記周囲（４００）の三次元空間を確認するように構成され、
−前記中央ユニット（５００）は、前記周囲（４００）の前記画像内にオブジェクト（４５１）を認識するように構成され、前記認識したオブジェクト（４５１）は前記三次元空間内に前記仮想ポイント（４５２）を有し、
−前記中央ユニット（５００）は、前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）の位置及び前記ユーザの視点（３０１）に基づいて、前記シンボル（２１０）の前記少なくとも１のポイント（２１１）を前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）に整列するように構成される、システム。
（項目７）
項目１から６のいずれか１に記載のシステムであって、
−前記中央ユニット（５００）は、前記周囲（４００）の地図データに基づいて、前記周囲（４００）の三次元空間を確認するように構成され、
−前記中央ユニット（５００）は、前記周囲（４００）の前記地図データ内にオブジェクト（４５１）を認識するように構成され、前記認識したオブジェクト（４５１）は前記三次元空間内に前記仮想ポイント（４５２）を有し、
−前記中央ユニット（５００）は、前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）の位置及び前記ユーザの視点（３０１）に基づいて、前記シンボル（２１０）の前記少なくとも１のポイント（２１１）を前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）に整列させるように構成される、システム。
（項目８）
−項目１から７のいずれか１に記載のシステムであって、前記中央ユニット（５００）は、前記ユーザの視点（３０１）に基づいて前記シンボル（２１０）の形状、及び／または透明性、及び／または色彩を変更するように構成される、システム。
（項目９）
項目１から８のいずれか１に記載のシステムであって、
−前記前部フロントガラス（１１０）の平面内に前記投影された画像（２０１）の位置を調整する手段を有し、
−前記中央ユニット（５００）は、前記投影された画像（２０１）の調整のパラメータ（Ｓ２０１）に基づいて前記ユーザの視点（３０１）を確認するように構成される、システム。
（項目１０）
車両（１００）の前部フロントガラス（１１０）または別のコンバイナに表示された画像（２０１）を制御する方法であって、
− ヘッドアップディスプレイ（２００）により、前記車両（１００）の前記前部フロントガラス（１１０）または前記別のコンバイナに画像（２０１）を投影し、
−中央ユニット（５００）により、画像データ（Ｓ２００）を前記接続されたヘッドアップディスプレイ（２００）に表示するよう送信し、
−前記中央ユニット（５００）により、ユーザの視点（３０１）を確認し、前記ユーザの視点はユーザの目（７０１）の位置（３０１）であり、
−前記中央ユニット（５００）により、前記画像データ（２０１）内にシンボル（２１０）を出力し、
−前記中央ユニット（５００）により、周囲（４００）の記録された画像及び／または前記車両（１００）の現在位置に基づいて、前記車両（１００）の前記周囲（４００）内に仮想ポイント（４１１、４５２）を確認し、
−前記中央ユニット（５００）により、ユーザ（７００）の視野内で、前記シンボル（２１０）の少なくとも１のポイント（２１１）を前記仮想ポイント（４１１、４５２）に整列させ、このアライメントは前記ユーザの視点（３０１）に基づく、
ステップを備える、方法。

Claims (10)

1. 車両（１００）用システムであって、
   −ヘッドアップディスプレイ（２００）と、
   − 前記ヘッドアップディスプレイ（２００）に接続される中央ユニット（５００）と、を有し、
   −前記ヘッドアップディスプレイ（２００）は、前記車両（１００）の前部フロントガラス（１１０）または別のコンバインダに画像（２０１）を投影するように構成され、
   −前記中央ユニット（５００）は、前記接続されたヘッドアップディスプレイ（２００）に画像データ（Ｓ２００）を表示するよう送信するように構成され、
   −前記中央ユニット（５００）は、ユーザの視点（３０１）を確認するように構成され、前記ユーザの視点はユーザの目（７０１）の位置（３０１）であり、
   −前記中央ユニット（５００）は、前記画像データ（２０１）内にシンボル（２１０）を出力するように構成され、
   −前記中央ユニット（５００）は、周囲（４００）の記録された画像及び／または前記車両（１００）の現在位置に基づいて前記車両（１００）の前記周囲（４００）内の仮想ポイント（４１１、４５２）を確認するように構成され、
   −前記中央ユニット（５００）は、ユーザ（７００）の視野内で、前記シンボル（２１０）の少なくとも１のポイント（２１１）が前記仮想ポイント（４１１、４５２）に整列するように構成され、このアライメントは前記ユーザの視点（３０１）に基づく、
   車両（１００）用システム。
2. −請求項１に記載のシステムであって、前記中央ユニット（５００）は、幾何光学及び／または三角関数に基づいて前記シンボル（２１０）の前記少なくとも１のポイント（２１１）のアライメントを計算するように構成される、システム。
3. 請求項１または２に記載のシステムであって、
   − 前記ユーザ（７００）の画像（５１１）を記録する内部カメラ（５１０）を有し、
   前記中央ユニット（５００）は、前記ユーザの目（７０１）または頭を認識するように構成され、
   −前記中央ユニット（５００）は、前記ユーザ（７００）の前記記録した画像（５１１）内の前記認識した目（７０１）または頭に基づいて前記ユーザの目（７０１）の位置（３０１）を確認するように構成される、システム。
4. −請求項３に記載のシステムであって、前記中央ユニット（５００）は、前記ユーザの目（７０１）または前記ユーザの頭の位置（３０１）を同時に追跡するように構成される、システム。
5. −請求項１から４のいずれか１に記載のシステムであって、前記中央ユニット（５００）は、前記仮想ポイント（４１１）の少なくとも１の変位、及び、前記ユーザの目（７０１）または前記ユーザの頭の位置（３０１）の変位（Δｘｈ）に基づいて、同時に前記シンボル（２１０）の前記少なくとも１のポイント（２１１）の位置を前記仮想ポイント（４１１）に整列させるように構成される、システム。
6. 請求項１から５のいずれか１に記載のシステムであって、
   −前記周囲（４００）の画像を記録するキャプチャ装置（６１１）を有し、
   −前記中央ユニット（５００）は、前記周囲（４００）の画像データ（Ｓ６１１）に基づいて前記周囲（４００）の三次元空間を確認するように構成され、
   −前記中央ユニット（５００）は、前記周囲（４００）の前記画像内にオブジェクト（４５１）を認識するように構成され、前記認識したオブジェクト（４５１）は前記三次元空間内に前記仮想ポイント（４５２）を有し、
   −前記中央ユニット（５００）は、前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）の位置及び前記ユーザの視点（３０１）に基づいて、前記シンボル（２１０）の前記少なくとも１のポイント（２１１）を前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）に整列するように構成される、システム。
7. 請求項１から６のいずれか１に記載のシステムであって、
   −前記中央ユニット（５００）は、前記周囲（４００）の地図データに基づいて、前記周囲（４００）の三次元空間を確認するように構成され、
   −前記中央ユニット（５００）は、前記周囲（４００）の前記地図データ内にオブジェクト（４５１）を認識するように構成され、前記認識したオブジェクト（４５１）は前記三次元空間内に前記仮想ポイント（４５２）を有し、
   −前記中央ユニット（５００）は、前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）の位置及び前記ユーザの視点（３０１）に基づいて、前記シンボル（２１０）の前記少なくとも１のポイント（２１１）を前記認識したオブジェクト（４５１）の前記仮想ポイント（４５２）に整列させるように構成される、システム。
8. −請求項１から７のいずれか１に記載のシステムであって、前記中央ユニット（５００）は、前記ユーザの視点（３０１）に基づいて前記シンボル（２１０）の形状、及び／または透明性、及び／または色彩を変更するように構成される、システム。
9. 請求項１から８のいずれか１に記載のシステムであって、
   −前記前部フロントガラス（１１０）の平面内に前記投影された画像（２０１）の位置を調整する手段を有し、
   −前記中央ユニット（５００）は、前記投影された画像（２０１）の調整のパラメータ（Ｓ２０１）に基づいて前記ユーザの視点（３０１）を確認するように構成される、システム。
10. 車両（１００）の前部フロントガラス（１１０）または別のコンバイナに表示された画像（２０１）を制御する方法であって、
    − ヘッドアップディスプレイ（２００）により、前記車両（１００）の前記前部フロントガラス（１１０）または前記別のコンバイナに画像（２０１）を投影し、
    −中央ユニット（５００）により、画像データ（Ｓ２００）を前記接続されたヘッドアップディスプレイ（２００）に表示するよう送信し、
    −前記中央ユニット（５００）により、ユーザの視点（３０１）を確認し、前記ユーザの視点はユーザの目（７０１）の位置（３０１）であり、
    −前記中央ユニット（５００）により、前記画像データ（２０１）内にシンボル（２１０）を出力し、
    −前記中央ユニット（５００）により、周囲（４００）の記録された画像及び／または前記車両（１００）の現在位置に基づいて、前記車両（１００）の前記周囲（４００）内に仮想ポイント（４１１、４５２）を確認し、
    −前記中央ユニット（５００）により、ユーザ（７００）の視野内で、前記シンボル（２１０）の少なくとも１のポイント（２１１）を前記仮想ポイント（４１１、４５２）に整列させ、このアライメントは前記ユーザの視点（３０１）に基づく、
    ステップを備える、方法。

Images