JP2022549562A - 車両運転支援方法およびシステム - Google Patents

Abstract

本発明は、車両（５）の運転を支援する方法（９００）に関するものである。方法（９００）は、ＨＭＤ（１０）と、車両（５）に搭載された位置決めモジュール（２０）とを含む相対システム（１）により実施することができる。特に、方法（９００）は、位置決めモジュール（２０）によって車両位置を検出するステップ（９１９）と、車両位置に補償法則を適用することによって、ＨＭＤ（１０）の位置を決定するステップと（９２１）、ＨＭＤ（１０）の位置に基づいて、ＨＭＤ（１０）の視野（ＦＯＶ）内に構成される空間の体積に対応するビューボリューム（ＶＯＬ）を決定するステップ（９２３）と、ビューボリューム（ＶＯＬ）内に構成される位置のセットを、システム（１）のメモリ領域（３１）内に記憶された関心対象（ＷＰ１－３）に関連する少なくとも1つの関心位置（ＰＷ１－３）と比較するステップ（９２５）と、を備え、前記1つ以上の関心位置（ＰＷ１－３）が前記ビューボリューム（ＶＯＬ）内にある場合、関心対象（ＷＰ１－３）に関連する画像（ＡＲ１－３）を表示するＨＭＤ（１０）の可視化位置（ＰＡ１－３）を算出し（９２７）、画像（ＡＲ１－３）を可視化位置（ＰＡ１－３）に表示させる（８３１）。可視化位置（ＰＡ１－３）は、前記ＨＭＤ（１０）を装着したユーザが関心対象（ＷＰ１－３）に対応する画像（ＰＡ１－３）を視認するような位置である。【選択図】図１

Description

本発明は、輸送車両の分野に関するものである。特に、本発明は、車両の運転を支援するための方法およびシステムに関する。

これまで、移動速度、燃料残量、ナビゲーションの案内等の運転情報は、車両のダッシュボードや、車両が備えるインフォテインメント画面などに表示されている。しかし、ダッシュボードも画面も、運転者が少なくとも部分的に道路環境から目を離さなければならない位置に設置されていることが多く、運転の安全性と情報活用の可能性の両方が損なわれている。

自動車や航空機の分野では、この問題の部分的な解決策として、「ヘッドアップディスプレイ」、略して「ＨＵＤ」が提案されている。ＨＵＤは、自動車のフロントガラスに映像を投影するシステムである。特にＨＵＤは、車のフロントガラスに直接情報を投影することができるため、ドライバは常に視線を道路に向け、運転に集中することができる。

しかし、現在のＨＵＤの標準はＨＵＤ１．０と呼ばれ、古典的な車載計器が提供する冗長な情報を表示するためにのみ使用されている。さらに、出願人は、ＨＵＤ技術が拡張現実の要素を効果的に描写できないことに気がついた。実際、ドライバの視野を完全にカバーするためにプロジェクション・システムが必要とする拡張機能は、現在の最先端技術で利用可能な拡張可能よりはるかに優れている。特に、車両のフロントガラスによって実質的に規定される主視野全体と、１つまたは複数のサイドウィンドウなどの副視野を利用できるＨＵＤはない。

ＨＵＤシステムと並んで、より最近では、「ヘッドマウントディスプレイ」、略してＨＭＤとしてより良く知られているウェアラブル・スクリーンに基づくシステムが提案されており、これは、例えば、車両の運転中にＨＭＤを装着したユーザに、運転支援情報を提供するために、画像を再生できる透明または半透明スクリーンで構成されている。

例えば、米国特許出願第２０１６／０８４６６１号には、運転ツールとして機能し、拡張現実デバイスを介して提供されるリアルタイム視覚フィードバックなどのフィードバックを運転者に提供するシステムおよび方法が記載されている。ガイダンスシステムは、車両関連情報およびドライバ情報、例えば、ＨＭＤによって決定されるドライバの視線の方向、を収集し、この入力情報を使用して、仮想ガイドラインおよび他の運転推奨の形態でリアルタイムの視覚的フィードバックを生成する。この運転推奨情報は、ＨＵＤディスプレイなどの拡張現実デバイスを介してドライバに提示され、ドライバから見える実際の路面に重なるように仮想誘導線が車両のフロントガラスに投影され、ドライバに従うべきラインやルートを示すことができる。さらに、ブレーキ操作、加速、ステアリング操作、シフト操作など、他の運転推奨を行うことも可能である。

本出願人は、運転者によって観察される視野を決定し、したがって実画像を効果的に表示するために米国特許出願第２０１６／０８４６６１号で提案された方法は、実装が複雑であることに気が付いた。特に、米国特許出願第２０１６／０８４６６１号に記載されているように運転者の視線を分析することは、運転者によって観察される視野を十分な精度で特定し、ＨＭＤまたはＨＵＤ上の１つまたは複数の拡張現実画像のサイズおよび位置を決定するために、ハードウェアおよびソフトウェアの観点から複雑な実装が必要である。

また、欧州特許第２９３３７０７号は、ＨＭＤによって提示されるものを動的に方向付けるための方法を記載している。記載された方法は、車両の運転者によって装着されたＨＭＤに設置された少なくとも１つのセンサを使用して、ＨＭＤの動きデータを収集することと、車両に取り付けられた少なくとも１つのセンサを使用して、車両の動きデータを収集することとを含む。したがって、この方法は、ＨＭＤの動きデータと車両の動きデータの分析を実行し、それらの間のあらゆる差異を検出することを含む。検出された差異に基づいて、車両に対するＨＭＤ装置の向きが計算され、新たに計算された向きに基づいて、ＨＭＤ装置の画面上に提示される通常のデータとして計算される。

欧州特許第２９３３７０７号で提案された方法は、ＨＭＤの向きを決定することができるが、満足な精度および正確さを得ることができない。さらに、この方法は、車両のフロントガラスを通して運転者に見えるシナリオの画像の比較に基づいて、一貫して提示されたＨＭＤデータからデータを計算し生成するために、高い計算資源を必要とする。

米国特許出願第２０１６／０８４６６１号 欧州特許第２９３３７０７号

本発明の目的は、従来技術の欠点を克服することである。

特に、本発明の目的は、車両を運転している間にユーザを支援する正確で信頼できる表示を提供することができる運転支援のための方法およびシステムを提示することである。

本発明の目的は、車両を使用している間のユーザの運転経験を改善するために適合された拡張現実の要素を再現するための方法およびシステムを提示することである。

本発明のこれらの目的および他の目的は、本明細書の不可欠な部分を形成する添付の請求項の特徴を組み込んだ方法およびシステムによって達成される。

一実施形態においては、本発明の方法は、
車両に搭載された位置決めモジュールによって車両位置を検出するステップと、
前記車両位置に補償法則を適用することによって、ＨＭＤの位置を決定するステップと
前記ＨＭＤの位置に基づいて、前記ＨＭＤの視野内に構成される空間の体積に対応するビューボリュームを決定するステップと、
ビューボリューム内に構成される位置のセットを、システムのメモリ領域に格納された関心対象に関連付けられた少なくとも1つの関心位置と比較するステップと、を備え、
前記ビューボリューム内に1つ以上の関心位置がある場合、前記関心対象に関連付けられた画像を表示する前記ＨＭＤの可視化位置を算出し、前記可視化位置で前記画像を前記ＨＭＤに表示させる。
有利なことに、可視化位置は、スクリーンを装着したユーザが、関心対象に対応する画像を見ることができるような位置である。

この解決策により、位置情報のみに基づいて、ＨＭＤを装着したユーザの視野内に、拡張現実画像を正確に表示することができる。特に、位置決めモジュールとＨＭＤの位置が異なることによる表示誤差を効果的に補正することができる。実際、これら２つの要素の間のわずかな距離でさえ、拡張現実画像の表示に著しい不正確さをもたらし、その結果、拡張現実の画像に関連する情報の有用性が低下し、またはユーザの運転状態が悪化する可能性さえある。

有利なことに、本発明による方法は、グローバルナビゲーションシステムまたはＧＮＳＳ（例えば、ＧＰＳ、Ｇａｌｉｌｅｏ、ＧＬＯＮＡＳＳ、Ｂｅｉｄｏｕなど）によって提供されるような位置情報のみを取得および処理する必要があるが、拡張現実の画像を正しく表示するために車両フロントガラスを通して見えるオブジェクトを認識するために取得した画像を処理することは必要ない。これにより、実質的に低い計算コストおよびハードウェア要件で、拡張現実画像の表示において高い精度および正確さでリアルタイムに動作することができる。
一実施形態では、前記システムは、車両内部に配置された基準要素をさらに備え、かつ、前記位置決めモジュールによって車両位置を検出するステップは、グローバル基準系に関して前記車両位置を検出することを備える。

好ましくは、本発明の方法は、前記基準要素に対する前記ＨＭＤの相対位置を決定することをさらに備え、前記相対位置は、前記基準要素に関連付けられた相対基準系に参照される。
この場合、前記位置決めモジュールによって車両位置を検出する前記ステップは、グローバル基準系に関して前記車両位置を検出することを提供し、
一方、前記車両位置に補償法則を適用することによってＨＭＤ位置を決定するステップは、
前記基準要素のグローバル位置を決定するために、検出された前記車両位置に補償法則を適用するステップと
前記基準要素のグローバル位置に基づいて、前記ＨＭＤの相対位置を、対応するグローバル位置に変換するステップと、を備える。

この解決策により、処理能力の低い電子部品でも効果的に実施できる操作で、ＨＭＤが使用される車両内の相対位置を精度よくリアルタイムで特定し、地球の中心を原点とする３次元基準系を参照したグローバル位置に変換することが可能となる。

一実施形態では、前記基準要素に対する前記ＨＭＤの相対位置を決定する前記ステップは、
前記車両の内部に位置する前記基準要素の少なくとも１つの画像を取得するステップと
前記取得した画像を処理することにより、前記基準要素に対する前記ＨＭＤの前記相対位置を算出するステップと、
を含む。

好ましくは、前記ＨＭＤは、前記ＨＭＤの画面の反対側に配置された少なくとも２つのカメラを備える。
この場合、前記基準要素に対する前記ＨＭＤの相対位置を決定する前記ステップは、
前記ＨＭＤの各カメラを使用して、前記車両の内部に位置する前記基準要素の画像を取得するステップと、
それぞれの取得された前記画像を処理することによって、前記基準要素に対する各カメラの相対位置を計算するステップと、
各カメラの前記相対位置を結合して、前記基準要素に対する前記ＨＭＤの前記相対位置を算出するステップと、
を含む。

これらの解決策により、前記ＨＭＤの位置を簡単な方法で、同時に正確かつ精密に決定することができる。さらに、基準要素の使用により、前記ＨＭＤの外側にあり、ユーザが装着した前記ＨＭＤの位置を評価するためにユーザの動きを識別するように構成されたコンポーネント（ビデオカメラ、フォトカメラ、赤外線センサ、圧力センサなど）の必要性がなくなる。

一実施形態では、本発明のシステムは、複数の基準要素を備え、そのうちの1つの選択された基準要素が主基準要素として作用し、他の基準要素が副基準要素として作用する。 好ましくは、本発明の方法は、各副基準要素について、主基準要素に対する福基準要素の間の回転並進関係に対応する基準関係を計算するステップをさらに備える。
さらに好ましくは、前記基準要素に対する前記ＨＭＤの前記相対位置を決定する前記ステップは、
少なくとも2つの基準要素に対する前記ＨＭＤの前記相対位置を計算するステップと、
各副基準要素に関して計算された前記ＨＭＤの前記相対位置に前記回転並進関係を適用するステップと、
前記少なくとも2つの基準要素に関して計算された前記相対位置を結合することによって、前記主基準要素に対する前記ＨＭＤの結合された相対位置を計算するステップと、
を含む。

この解決策のおかげで、前記ＨＭＤの前記相対位置と前記グローバル位置の両方が、正確かつ堅牢な方法で決定される。

さらに、前記主基準要素に対する前記ＨＭＤの位置と姿勢を迅速かつ確実に決定するために、任意の基準要素を特定するだけで十分であるようにシステムを構成することも可能である。

これは、車両の形状に関係なく、その複雑さを実質的に増大させることなく、システムに大きな汎用性を保証し、同時に、前記ＨＭＤが基準要素を備える車両の様々な領域（例えば、自動車のフロントガラス、およびサイドウィンドウ、またはリアウィンドウのうちの１つ以上）に向けられるときに、拡張現実画像を正しく表示することを可能にする。

一実施形態では、本発明のビューボリュームを決定する前記ステップは、
少なくとも1つの取得された画像を処理することによって、前記基準要素に対する前記ＨＭＤの向きを計算するステップと
前記ＨＭＤの前記グローバル位置と、前記基準要素に対する前記ＨＭＤの向きとに基づいて、前記ＨＭＤの視野を決定するステップと、
を含む。

この解決策により、前記ＨＭＤの位置を変えない頭の動き（回転、傾きなど）でも、前記ＨＭＤを装着したユーザの視野を正確に特定することが可能になる。その結果、前記ビューボリュームもより正確に特定することができる。

一実施形態では、前記基準要素に対する前記ＨＭＤの位置および向きが文脈的に決定される、すなわち、前記基準要素に対する前記ＨＭＤの姿勢が決定される。したがって、２つのカメラによって取得された２つの画像の分析ステップ、および／または前記ＨＭＤの位置に関連して、上述したような複数の基準要素の使用も想定され、前記ＨＭＤの姿勢を決定するためにも、同じ利点を得ることが可能である。

有利なことに、上述の解決策は、車両が移動中であっても、前記ＨＭＤの姿勢を正確に決定することを可能にする。特に、前記ＨＭＤの姿勢は、より信頼性の高い方法で決定され、前記車両が動いているときに、さらに限られた精度で前記ＨＭＤの位置および向きを計算するために、ＩＭＵおよび他のセンサを使用する既知の解決策とは対照的に、複雑なハードウェアおよび／またはソフトウェアコンポーネントを実装する必要がない。

一実施形態において、本発明の方法は、
ボアサイト位置を選択するステップと、
前記ＨＭＤ上の可視化位置にボアサイト画像を表示するステップであって、前記可視化位置は、前記ボアサイト位置および前記車両位置に応じて計算されるステップと、
前記ボアサイト位置と前記可視化位置の間の位置のずれを測定するステップと、
前記不一致に基づいて、前記補償法則を決定するステップと、
を備える。

このようにして、前記補償法則は、前記車両の特定の特徴、および／または前記システムの設置中に選択された実装の選択肢に関係なく、正確かつ即座に決定されることが可能である。

好ましくは、この不一致の測定は、仮想ボアサイト位置と前記ボアサイト位置との間の回転並進関係を定義することを含み、前記仮想ボアサイト位置は、3次元基準系における前記可視化位置の投影に対応する。さらに好ましくは、前記補償法則は、前記回転並進関係に基づいて決定される。

この解決策のおかげで、限られたハードウェア資源を有するシステム、および／または特に低い計算コストで実施することもできる操作によって、前記補償法則を定義することが可能である。

一実施形態によれば、本発明の方法は、ボアサイト対象が前記ボアサイト位置に位置することを提供する。
この場合、回転並進関係を定義することは、好ましくは、
前記ＨＭＤの視野内に前記ボアサイト対象物を含むように前記ＨＭＤを方向付けるステップと、
前記ＨＭＤ上に表示された前記ボアサイト画像を、前記ボアサイト位置における前記ボアサイト対象物との重なりを得るまで並進させるステップと、
２次元基準系における前記ボアサイト画像の並進を、前記３次元基準系における前記仮想ボアサイト位置の並進および回転に変換するステップと、
を含む。

これらの較正ステップにより、極めて簡単な方法で補償法則を決定することができる。特に、これらのシステム較正ステップは、特別なスキルおよび／またはトレーニングなしに、ユーザによって実行することができる。さらに、この解決策は、必要に応じて、例えば、１つの車両から別の車両にシステムを移動させることによって、１つ以上の基準要素の位置が変更された場合、および／または使用中に生じ得る偏差をキャンセルするために、定期的に新しい較正を迅速かつ容易に実施することができるようにするものである。

一実施形態では、本発明の方法は、さらに、
車両移動情報を取得するステップを備え、
前記関心対象に関連付けられた画像を前記ＨＭＤ上に表示する前記ステップは、
前記車両の動きと時間の関数として前記画像を変更するステップ、
を備える。

この解決策により、特に前記車両が移動しているときに、拡張現実画像の表示における精度と正確さをさらに高めることができる。

本発明の別の態様は、車両の運転を支援するためのシステムに関する。

一実施形態では、そのようなシステムは、
ＨＭＤと、
車両位置を検出するように構成された前記車両に搭載された位置決めモジュールと
関心対象に関連付けられた少なくとも１つの関心位置が記憶されるメモリ領域と
前記位置決めモジュール、前記ＨＭＤに接続され、上述した実施形態のいずれか1つによる方法を実施するように構成された処理ユニットと、
を備える。

好ましくは、前記システムは、前記車両の内部に配置することができる少なくとも１つの基準要素をさらに備え、さらに好ましくは、前記ＨＭＤは、少なくとも1つのカメラを備えている。

このシステムは、特にコンパクトであり、限られたハードウェア資源を使用して、正確かつ信頼性の高い方法で、前記車両を運転するユーザに情報を提供することが可能である。

一実施形態では、少なくとも１つの基準要素は、より単純に識別できるようにバックライトで照らされる。

一実施形態では、前記システムは、前記基準要素を互いに区別できるように、それぞれが、それぞれの識別コードを含む複数の基準要素を備える。

一実施形態では、前記位置決めモジュールは、ＧＮＳＳモジュールを備える。さらに、または代替的に、前記位置決めモジュールは、電磁信号の三角測量モジュール、レーダー、ライダー、および／または同様のデバイスから備えていてもよい。

一実施形態では、前記処理ユニットは、対応する関心対象に関連付けられた少なくとも１つの関心位置を取得するために、位置決めデータ・データベースを記憶するか、または、位置決めデータ・データベースに接続可能である。

一実施形態では、前記処理ユニットは、車両通信用バスと、車両情報を取得するための慣性測定ユニットとのうちの少なくとも１つに動作可能に接続されている。

この解決策のおかげで、前記システムは、前記車両の運転を支援するための相当量の有用な情報を取得し、表示することができる。

本発明のさらなる特徴および利点は、添付の図面の説明からより明らかになるであろう。

本発明は、説明的かつ非限定的な目的のために提供され、添付図面に示されるいくつかの例を参照して、以下に説明される。これらの図面は、本発明の異なる態様および実施形態を示し、適切な場合、異なる図における同様の構造、構成要素、材料および／または要素を示す参照番号は、同様の参照番号で示される。

車両に設置された本発明の一実施形態によるシステムの概略図である。 本発明の実施形態によるシステムが設置された走行車両の概略上面図である。 本発明の実施形態による方法のフローチャートである。 図１および図２のシステムに構成されるＨＭＤの姿勢の変形を示す概略図である。 図１および図２のシステムに構成されるＨＭＤの姿勢の変形を示す概略図である。 ＨＭＤを通して見える視野を模式的に示す図である。 ＨＭＤを通して見える視野を模式的に示す図である。 ＨＭＤを通して見える視野を模式的に示す図である。 図１のシステムのマーカの向きおよび位置の識別および決定ステップを示す概略等角図である。 異なる方向および位置を有する図１のシステムの３つのマーカを概略的に示す軸方向図である。 本発明の実施形態によるシステム・ボアサイティング手順の顕著なステップを示す概略図である。 本発明の実施形態によるシステム・ボアサイティング手順の顕著なステップを示す概略図である。 本発明のシステムのＨＭＤにおける対応する関心物に関係付けられた画像の表示を説明するための模式図である。

本発明は、様々な変更および代替構造の影響を受けやすいが、特定の好ましい実施形態が図面に示され、以下に詳細に説明される。いずれの場合も、本発明を図示された特定の実施形態に限定する意図はなく、むしろ逆に、本発明は、特許請求の範囲に定義された本発明の範囲内に入るすべての修正、代替、および同等の構造をカバーすることを意図していることに留意されたい。

「例えば」、「等」、「または」の使用は、特に断らない限り、制限のない非排他的な代替を示す。「含む」の使用は、特に断らない限り、「含むが、これに限定されない」を意味する。

図を参照すると、本発明の実施形態によるシステム１は、より一般的にはヘッドマウントディスプレイ、またはＨＭＤ１０として示されるウェアラブル・スクリーンと、測位モジュール、例えばＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）モジュール２０と、ＧＮＳＳモジュール２０およびＨＭＤ１０に接続するように構成された処理ユニット３０と、考慮される例ではＡｒＵｃｏタイプの1つまたは複数のマーカ４０とを具備する。

ＧＮＳＳモジュール２０は、好ましくは、地球の中心を起源とする３次元基準系（以下、「グローバル基準系」と称するで定義される検出位置に関する表示を定期的におよび／または要求に応じて提供するように構成されている。例えば、ＧＮＳＳモジュール２０は、ＧＰＳナビゲータを備え、ＧＮＳＳモジュール２０によって検出されたグローバル位置、したがって車両５の位置を示す地理的座標のセットを提供するように構成されている。

ＨＭＤ１０は、図５ａおよび図６に模式的に示されるように、ＨＭＤ１０を装着したユーザがスクリーン１１を通して見ることを可能とするため、透明および／または半透明のスクリーン１１を備える。さらに、ＨＭＤ１０は、例えば、適切な回路（図示せず）を備え、ＨＭＤ１０を装着したユーザの視野（ＦＯＶ）（簡潔さのために以下では「ＨＭＤ１０の視野ＦＯＶ」と称する（図２には概略的に図示されている。）。）に存在するものに重ねられる画像を、スクリーン１１上に表示し、したがって拡張現実効果を生じさせるように構成される。この目的のために、ＨＭＤ１０は、処理ユニット３０によって提供されるデータおよび／または命令に基づいて表示される画像を生成するように構成されたローカル処理ユニット１３を備えていてもよい。

好ましくは、ＨＭＤ１０は、（図５ａ～５ｃに模式的に示されるように）異なる視点から空間の同じ領域をフレーミングするように構成された一対のカメラ１５からなる。有利なことに、ＨＭＤ１０のカメラ１５は、ＨＭＤのスクリーン１１の枠の反対側に配置される。カメラ１５の各々は、ＨＭＤ１０のＦＯＶに実質的に対応する１つまたは複数の画像を取得するように構成される。特に、同じ瞬間にカメラ１５によって提供される画像を組み合わせることによって、ＨＭＤ１０の視野ＦＯＶを決定することが可能である。

処理ユニット３０は、マイクロコントローラ、マイクロプロセッサ、汎用プロセッサ（例えば、ＣＰＵ）および／またはグラフィックプロセッサ（例えば、ＧＰＵ）、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ、メモリモジュール、処理ユニット３０の様々なコンポーネントにエネルギーを供給するための電源モジュール、および好ましくは他の機器に接続するため、および／または他のエンティティ（例えば、ＨＭＤ１０、ＧＮＳＳモジュール２０、リモートサーバなど）とデータを交換するための１または複数のインターフェースモジュールを備えている。

特に、処理ユニット３０は、（図２に概略的に示されているように）世界点ＷＰ０～ＷＰ３という用語でも示される関心対象の位置ＰＷ０～ＰＷ３を記憶することが可能なメモリ領域３１を備え、および／または、メモリモジュール（図示せず）に接続される。明らかなように、本明細書では、世界点という用語は、道路またはその一部（例えば、道路の曲線）、建物、道路ブロック、横断歩道、記念碑、ビルボード、文化的名所などの物理オブジェクトを示すために使用され、グローバル基準系で定義された対応する位置または位置のセット（すなわち、エリアまたはボリューム）と関連付けられる。

例えば、メモリ領域３１は、世界点ＷＰ０－ＷＰ３の各々に関連付けられた地理座標と、場合によっては、同じ世界点ＷＰ０－ＷＰ３に関する情報および／またはそれに関連付けられた１つまたは複数の画像に関する１つまたは複数の項目からなるデータベースを格納するように構成することが可能である。

代替的にまたは追加的に、処理ユニット３０は、車両５の、ＨＭＤ１０の、および／または１つ以上の世界点ＷＰ０－ＷＰ３の検出位置に関連する１つ以上の情報のアイテムを取得するために、（例えば、電気通信ネットワーク８への接続を介してソフトウェアプラットフォームにアクセスすることによって）遠隔ナビゲーションシステム7に接続し、および／または局所ナビゲーションシステム（例えば、車両５の衛星ナビゲータ）に接続するよう構成することが可能である。

一実施形態では、処理ユニット３０は、車両５のオンボードセンサ（図示せず）によって提供されるデータ（例えば：速度、加速度、ステアリング角など）にアクセスするため、慣性測定ユニット、すなわちＩＭＵ６、および／または、処理ユニット３０を搭載する車両5のデータバス５５（例えば、ＣＡＮバス）に接続するように構成され、計算能力、ユーザインターフェースを利用し、および／または車両５のオンボードコンピュータ（図示せず）の接続性を利用する。

好ましい実施形態では、各マーカ４０は、フィデューシャリー・パターン、例えば、実質的に白または黒のピクセルからなる二値行列からなり、これにより、周囲の環境から容易に識別することができる。有利なことに、各マーカ４０のフィデューシャリー・パターンは、当該マーカ４０を一意に識別することを可能にする識別コードを含んでいる。

好ましくは、限定的な態様ではないが、マーカ４０は、画像に基づいて、特にＨＭＤ１０のカメラ１５によって取得された画像の処理を通じて、マーカ４０及びそのフィデューシャリー・パターンの識別を単純化するように、マーカ４０のフィデューシャリー・パターンをバックライトで照らすように構成されたバックライト・アセンブリ（図示せず）を備えていてもよい。

説明されたシステム１は、（図１に概略的に示されるように）車両5の乗客室５１内のユーザによって利用され、精密かつ信頼性が高く、同時に特に限られたハードウェアおよびソフトウェア・リソースを必要とする運転支援の方法９００（図３のフローチャートによって示される）を実施することができる。

設置ステップにおいて、マーカ４０が、主基準要素として動作するように車両５の乗客室５１の内部に配置され、好ましくは、可変数の副マーカ４０、図において考慮した例では３つが、２次基準要素として動作するように乗客室内に配置され得る（ブロック９０１）。

考慮された実施例では、マーカ４０は、車両５のフロントガラス５３上、またはフロントガラス５３に配置される。これにより、後述するように、マーカ４０に対するＨＭＤ１０の向きおよび位置、したがってＨＭＤ１０の視野ＦＯＶ、および場合によっては画像を表示するためのスクリーン１１の表示領域Rを特定することができる。

例えば、図示されているように運転位置が左側にある車両５を考慮すると、例示的な配置は、これによりＨＭＤ１０の向きおよび位置を特に信頼できる方法で特定することができるのであるが、フロントガラス５３の一方の左端部に第1のマーカ４０を配置し、運転位置に対して、経路の視界を妨げない、正面位置に第２のマーカ４０を配置し、フロントガラス５３の横方向延長線に対して中央位置に第3のマーカ40を配置することを含んでいる。

続いて、方法９００は、アライメント手順とボアサイト手順とを備えるシステム1を較正するための手順を含む。

アライメント手順では、まず、乗客室５１に配置されたマーカ４０の間で相対位置が特定される。 例えば、アライメント手順の間、ＨＭＤ１０は、所定の運転姿勢を維持するユーザによって装着され、好ましくは、頭部、ひいてはＨＭＤ１０が（例えば、図４ａに示すように）フロントガラス５３を向く状態で装着される。

初めに、カメラ１５を介して一対の画像Ａ＋およびＡ－が実質的に同じ瞬間に取得される（ブロック９０３）。好ましくは、画像Ａ＋およびＡ－の一連の組は、ＨＭＤ１０が同じ位置に保持されるか、また（例えば、ＨＭＤ１０を装着するユーザによって行われる通常の姿勢補正または変更によって）ゆっくりと動かされる時間間隔の間に取得される。カメラ１５間の距離を考慮すると、画像Ａ＋およびＡ－の両方は、ＨＭＤ１０の同じ視野ＦＯＶを実質的に再現するが、異なる観察点ｆ１およびｆ２から観察される（図５ａ～図５ｃで見ることができる）。

カメラ１５の画像Ａ＋、Ａ－は、各マーカ４０を認識するために処理される（ブロック９０５）。考慮された例では、画像Ａ＋およびＡ－は、画像Ａ＋およびＡ－で縁取られた各マーカ４０を定義し、識別するために、立体視を利用するように一緒に結合される。例えば、画像Ａ＋およびＡ－は、マーカ４０に対応する形状を識別し、単一のマーカ４０は、対応するフィデューシャリー・パターンを識別することによって認識される。

各取得画像を分析することにより、ＨＭＤ１０に関連付けられた基準系、すなわち、ＨＭＤ１０を装着した運転者の視点を実質的に中心とする３次元基準系に対する各マーカ４０の並進及び向きが算出される（ブロック９０７、図６に模式的に図示）。好ましくは、各カメラ１５に対するマーカ４０の並進値および回転値が計算され、したがって、２組の測定値が得られ、それらはその後結合される。例えば、それらは、平均化および／または相関演算を実装する適切なアルゴリズムによって、結合され、各マーカ４０に関連する対応する結合回転および向き測定値（orientation measurements）を得る。
任意選択で、使用されるカメラ１５の特定の特徴によってもたらされる変形および／または収差を補償するために、スケール値および／または補正係数を決定することも可能である。代替的にまたは追加的に、ＨＤＭ１０に対する各マーカ４０の位置及び計算された方向は、あらゆるノイズを除去するために経時的にフィルタリングされる。

次に、主マーカ４０が選択され、例えば、取得された画像Ａ＋およびＡ－において、最良の可視性を有するマーカ４０または予め定義された識別コードを有するマーカ４０が選択され、それらは、好ましくは、回転並進、すなわち、各マーカ４０の位置を主マーカ４０の位置と関連付ける回転並進によって算出される（ブロック９０８）。

好ましい実施形態では、各マーカ４０の位置を主マーカ４０に関連付ける回転並進は、時間の連続する瞬間に取得された画像Ａ＋およびＡ－の組を分析することによって決定されたマーカ４０の各位置について計算される。次に、各マーカ４０について計算された回転並進は、主マーカ４０に対する各マーカ４０の単一の回転並進を得るために、時間平均される。

要約すると、アライメント手順は、主マーカ４０と副マーカ４０の各々を関係付けるそれぞれの回転並進関係を特定し、有利なことには記憶することを可能にする（図７において破線の矢印によって概略的に表されるように、マーカ４０を中心とするベクトルのトライアドは各マーカ４０を中心とするそれぞれの基準系を表し、矢印は副マーカ４０を主マーカ４０に関連付ける回転並進オペレーションを表している）。

その他、較正ステップのボアサイト手順は、ＧＮＳＳモジュール２０の位置とＨＭＤ１０の実際の位置との間の、グローバル基準系に関する、補償法則を確立し、したがって、ＧＮＳＳモジュール２０によって提供される測定値に基づいて、ＨＭＤ１０に表示される画像の最適表示を計算することができる。好ましい実施形態では、補償法則は、基準マーカ４０に関連付けられた相対基準系とＧＮＳＳモジュール２０に関連付けられたグローバル基準系との間の回転並進関係を特定することによって定義される。

特に図８ａおよび８ｂを参照すると、当初、車両５、特にＧＮＳＳモジュール２０は、所定の距離ｄで位置決めされ、かつ、アライメントオブジェクト、すなわちボアサイト世界点ＷＰＲ、例えば実際の物理オブジェクトからの既知の方向で位置決めされる（ブロック９０９）。したがって、ボアサイト世界点ＷＰＲに関連するボアサイト位置ＰＷＲは既知である。本出願人は、直線セグメントをボアサイト世界点ＷＰＲとして使用することができ、システム１の正確なボアサイトが可能であることを確認した。しかしながら、本出願人は、多角形図形および／または３次元オブジェクトによって、ユーザがより簡便にボアサイト手順を完了することができることを見出した。

ＧＮＳＳモジュール２０によって測定されたボアサイト位置ＰＷＲ及び車両位置ＰＧは、ＨＭＤ１０のスクリーン１１上に表示されるべき対応する（２次元）ボアサイト画像ＡＲＲを決定するために使用される（ブロック９１１）。

好ましくは、ボアサイト画像ＡＲＲは、ＨＭＤ１０を通して見たボアサイト世界点ＷＰＲに対応するような形状を有する。

ボアサイト画像ＡＲＲのＨＭＤ１０上の可視化位置ＰＡＲは、対応する仮想オブジェクトに関連付けられた仮想ボアサイト位置ＰＶＰ、すなわち仮想ボアサイト点ＶＰＲに対応する。仮想ボアサイト点ＶＰＲは、ボアサイト世界点ＷＰＲの仮想レプリカであり、仮想ボアサイト位置ＰＶＲは、ＨＭＤ１０の相対基準系において、ＧＮＳＳモジュール２０によって提供される車両位置に基づいて計算されたボアサイト位置ＰＷＲのレプリカである。

一般にＧＮＳＳモジュール２０とＨＭＤ１０の位置が異なるため、ボアサイト画像ＡＲＲはボアサイト世界点ＷＰＲに重畳されることはないだろう。したがって、ボアサイト手順は、２次元画像ＡＲＲが、新しい可視化位置ＰＡＲ’において、ボアサイト世界点ＷＰＲと重なるまで、ボアサイト画像ＡＲＲがＨＭＤ１０のスクリーン１１に沿って並進されること、車両５のフロントガラス５３を通して見えること（ブロック９１３）を提供する。例えば、処理ユニット３０は、例えば、処理ユニット３０のユーザインターフェース（図示せず）を介して、または処理ユニットに接続された装置（例えば、ＨＭＤ１０自体、またはパーソナルコンピュータ、スマートフォン、タブレット、車両5のオンボードコンピュータ等）のユーザインターフェースを介して、ユーザがボアサイト画像ＡＲＲを移動できるよう構成されてもよい。

したがって、ボアサイト画像ＡＲＲとボアサイト世界点ＷＰＲとの重ね合わせをもたらすＨＭＤ１０のスクリーン１１上の並進は、ボアサイト画像ＡＲＲとボアサイト世界点ＷＰＲとの間の不一致、またはオフセットを補償することができる補償法則を決定するために処理される（ブロック９１５）。

例えば、補償法則は、仮想ボアサイト位置ＰＶＲ（ボアサイト画像ＡＲＲが対応する仮想ボアサイト点ＶＰＲに関連付けられる）とアライメント位置ＰＷＲ（基準世界点ＷＰＲに関連する）の間の回転並進関係に基づいて補償行列によって定義することが可能である。

実際、ボアサイト手順は、少なくとも1つのマーカ４０、すなわち車両5と一体化した基準要素の検出のおかげで特定可能な、ＧＮＳＳモジュール２０の位置とＨＭＤ１０の位置との間の回転並進関係を、簡単かつ効果的に決定することが可能になる。言い換えれば、回転並進関係は、ＧＮＳＳモジュール２０の位置を、車両の乗客室５１内の静止位置に配置された少なくとも1つのマーカ４０の位置と関連付けるものである。これにより、ＧＮＳＳモジュール２０によって使用されるグローバル座標系におけるＨＭＤ１０の実際の位置を正確かつ精密に定義することができる。

要約すると、補償法則は、ユーザが環境を観察するＨＭＤ１０のグローバル位置と、ＧＮＳＳモジュール２０によって検出されるグローバル位置とが異なることによってもたらされる誤差を補正することを可能にする。補償法則を適用することによって、例えば、ＨＭＤ１０を装着したユーザの頭部の動きによる乗客室５１内のＨＭＤ１０の動きにかかわらず、ＨＭＤ１０上の任意の画像の再生位置が相対世界点ＷＰＲに対応するように補正することが可能である。

較正ステップが完了すると、方法９００の動作ステップにおいて、システム1は、対応する世界点ＷＰ１～３に関連付けられた1つまたは複数の画像ＡＲ１～３をＨＭＤ１０の画面１１上に高精度かつ高精度で位置決めしてＨＭＤ１０にリアルタイムで表示できる（図９に模式的に示すように）。

初めに、マーカ４０に対するＨＭＤ１０の姿勢が決定される（ブロック９１７）。言い換えれば、車両５の内部に搭載され、それと一体であるマーカ４０に対するＨＭＤ１０の相対位置が決定される。

好ましい実施形態では、認識された各マーカ４０に対する各カメラ１５の姿勢の計算が実行される。言い換えれば、カメラ１５とマーカ４０との間の相対位置を特定するために、カメラ１５によって画像A＋およびA-の組が取得される。

例えば、マーカ４０に対する各カメラ１５の姿勢は、以下に記載のものに基づくアルゴリズムによって特定することが可能である。
F. Ababsa, M. Mallem, "Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems" International conference on Virtual Reality continuum and its applications in industry, pp.431-435, 2004
追加的または代替的に、カメラのポーズを特定するように構成されたアルゴリズムは、以下に含まれる教えに基づいて行うことが可能である。
Madjid Maidi, Jean-Yves Didier, Fakhreddine Ababsa, Malik Mallem: "A performance study for camera pose estimation using visual marker-based tracking", published in Machine Vision and Application, Volume 21, Issue 3, pages 265-376, year 2010, and/or in Francisco J. Romero-Ramirez, Rafael Munoz-Salinas, Rafael Medina-Carnicer, 2010: "Speeded Up Detection of Squared Fiducial Markers" published in Image and Vision Computing, Volume 76, year 2018.

その後、回転および並進の測定値は、例えば、平均化および／または相関演算を実装する適切なアルゴリズムによって結合され、識別されたマーカ４０のそれぞれに対するＨＭＤ１０の回転および向きの対応する測定値を得る。

有利なことに、較正ステップで決定された副マーカ４０と主マーカ４０との間の回転並進関係は、主マーカ４０をすべて参照したＨＭＤ１０のポーズのセットを得るように副マーカ４０を参照して計算されたＨＭＤ１０の姿勢に適用され、次に、特に精密である主マーカ４０に対するＨＭＤ１０の結合ポーズを得るために互いに、例えば、平均化および／または相関操作を実行する適切なアルゴリズムによって、組み合わされる。言い換えれば、主マーカ４０に対する、すなわち相対的な基準系に対するＨＭＤ１０の向きおよび位置が、決定される。

さらに、1つまたは複数の識別されたマーカ４０は、例えば、画像が車両5のフロントガラス５３またはその一部に重畳して表示されるように、画像が表示されるスクリーン１１の表示領域Ｒの形状および範囲を定義するために使用することができる（図４ａおよび図４ｂに模式的に示されるように）。

続いて、または並行して、ＧＮＳＳモジュール２０を介して車両位置ＰＧが検出される（ブロック９１９）。

その後、車両位置ＰＧは、グローバル基準系に対するＨＭＤ１０の位置を決定するために、較正ステップ中に定義された補償法則を適用することによって修正される（ブロック９２１および図２）。

好ましい実施形態では、車両位置ＰＧは、ボアサイト手順の間に決定された回転並進関係を通じて修正され、主マーカ４０に関して決定されたＨＭＤ１０の相対位置をグローバル基準系、例えば、地理座標、に参照される位置へ変換することを可能にする。

言い換えれば、補償法則のおかげで、グローバル基準系に対するＨＭＤ１０の位置と向きがリアルタイムで決定される。

ＨＭＤ１０の姿勢によって定義された方位に基づいて、ビューボリュームＶＯＬが、すなわち、ＨＭＤ１０の視野ＦＯＶにおいて構成される空間の体積が決定される（ブロック９２３）。好ましくは、ビューボリュームＶＯＬ（図２に概略的に図示）は、ＨＭＤ１０の現在の位置によって予め定められた距離内、すなわち視野ＦＯＶの深さ内に広がり、場合によっては、ＩＭＵ６によっておよび／または車両５の速度および／または加速度などの車両センサ5によって取得されたパラメータに基づいて修正される。

続いて、メモリ領域３１に格納された世界点ＷＰＯ－３の関心位置ＰＷＯ－３のうちの1つ以上がビューボリュームＶＯＬ内に構成されているか否かが検証される（ブロック９２５）。

ビューボリュームＶＯＬに構成された各関心位置ＰＷ１－３について、画面を装着したユーザがそれぞれの世界点ＷＰ１－３で各画像ＡＲ１－３を見るように、対応する可視化位置ＰＡ１－３が算出される（ブロック９２７）。有利なことに、画像ＡＲ１－３の形状および他の特性は、対応する世界点ＷＰ０－３に関連する情報、例えば、幾何学的情報-に基づくことができ、好ましくは、関心位置ＰＷ０－３に関連するメモリ領域３１に含まれる。

そして、画像ＡＲ１－３は、対応する可視化位置ＰＡ１－３において、ＨＭＤ１０上にそれぞれ再生される。好ましくは、各画像ＡＲ１－３は、車両のフロントガラス５３に重畳されたスクリーン１１の表示領域Ｒに構成されている場合に表示される。

例えば、ソフトウェア製品ＭＡＴＬＡＢ（登録商標）で構成され、Ｔｈｅ ＭａｔｈＷｏｒｋｓ, Ｉｎｃ.の２０１９年３月の「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｏｏｌｂｏｘ（登録商標）Ｒｅｆｅｒｅｎｃｅ」バージョン９．０（リリースＲ２０１９ａ）改訂版に記載されているＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｔｏｏｌｂｏｘ（登録商標）の「ｗｏｒｌｄＴｏＩｍａｇｅ」機能の類似のアルゴリズムを実装することにより、できるだけ多くの関心位置ＰＷ１～３に相当するそれぞれの視覚化位置ＰＡ１～３に表示するように画像ＡＲ１～３を生成することが可能である。

さらに、方法９００は、ＨＭＤ１０の位置とかかる世界点ＷＰ１－３との間の時間および／または距離の関数として、世界点ＷＰ１－３に関連付けられた２次元画像ＡＲを（例えば、スケール、視点などの変動を通して）変更することを提供する（ブロック９２９）。すなわち、各世界点ＷＰ１－３の追跡またはトラッキングは、ビューボリュームＶＯＬ内に構成されている限り、車両5の移動の関数として提供される（例えば、車両5の位置の変動に基づいて推定される）。さらに、画像ＡＲ１－３のそれぞれが対応する世界点ＷＰ１－３と正しく関連付けられるように、ＨＭＤ１０に表示される画像ＡＲ１－３の形状および／または位置を動的に変更することが規定されている。

言い換えれば、操作ステップの間、方法９００は、ＨＭＤ１０を装着しているユーザの視野ＦＯＶにおいて見えるものと正確かつ確実に統合する2次元画像（運転軌跡、速度制限、道路状況に関する情報、大気状況、および／または都市 、建物、モニュメント、商業施設などのＦＯＶにおいて構成される関心点に対するものなど）をＨＭＤ１０上に表示することが可能である。有利なことに、方法９００は、車両5とＨＭＤ１０の両方の位置変動に適応するように、表示される画像ＡＲ１－３の形状および可視化位置をリアルタイムで修正するように構成される。

このように考案された本発明は、いくつかの修正および変形が可能であり、これらはすべて本発明の概念の範囲内に入る。

例えば、一実施形態では、処理ユニット３０は、ＨＭＤ１０上の画像の位置精度を高めるため、および／またはより詳細なおよび／または追加の情報項目を含む画像を提供するために、ＩＭＵおよび／または車両5のセンサによって取得された測定値を利用するように構成される。

最終的に、ボアサイト手順中に、ボアサイト画像ＡＲＲと基準世界点との間の最適な重なりを保証するために、ボアサイト画像ＡＲＲを拡大縮小する可能性も提供され得る。この場合、ボアサイト画像ＡＲＲのスケーリング操作は、ボアサイト画像ＡＲＲと基準世界点ＷＰＲの間の不一致を評価する際にも考慮することができる。

さらに、ボアサイティング手順中のボアサイト画像ＡＲＲとボアサイト世界点ＷＰＲとのオーバーラップステップを自動化することを禁止するものはない。例えば、処理ユニット３０は、ＨＭＤ１０の視野ＦＯＶにフレーミングされたときにボアサイト世界点ＷＰＲを識別し、その後、ボアサイト画像ＡＲＲをボアサイト世界点ＷＰＲに自動的に重ね合わせ、または1以上の適切なアルゴリズムを適用してボアサイト世界点ＷＰＲにおけるボアサイト画像ＡＲＲ間の不一致を自動的に決定するように構成されることが可能である。

一実施形態では、方法９００は、例えばビューボリューム内の地理的関心領域における新しい世界点の存在を確認するために、ＧＮＳＳデータ・データベース７への定期的なアクセスを提供する。

明らかなように、上述のアライメント手順の後、システム1は、任意の数のマーカ４０を使用して動作するように構成することができる。例えば、一対のマーカ４０または単一のマーカ４０を使用して、方法９００の動作ステップ中にＨＭＤ１０の姿勢を決定することができる。これにより、車両5の移動および／または世界点ＷＰ０～３の移動による変動に対するシステム1の全体的な応答性を向上させた状態で、運転支援をリアルタイムで提供するためにシステム1が必要とする計算負荷を調整することができる。さらに、これにより、ＨＭＤ１０の姿勢の特定精度と、処理ユニット３０に要求される演算負荷との関係を調整することができる。

一実施形態では、表示されるべき各世界点ＷＰ１－３について、方法９００は、少なくとも１つの識別されたマーカ４０に関して相対的な仮想点を定義することを提供する。一つ以上の副マーカが特定される場合、主マーカに関してこれらの相対的な仮想点を再定義するために、副マーカに関して計算された相対的な仮想点に回転並進関係が適用される。最終的な仮想点は、主マーカを基準とするすべての相対的な仮想点を組み合わせることによって決定される。好ましくは、例えば平均化および相関演算を含む適切なアルゴリズムによって決定される。次いで、最終的な仮想点は、ＨＭＤ１０のスクリーン１１の表面の2次元基準系で定義される画像における仮想点の位置を補正するために、補償法則を適用することによって、表示されるべき対応する画像に変換される。

図示しない実施形態では、世界点、例えば図2の世界点ＷＰ０がビューボリュームＶＯＬに構成されていない場合、対応する仮想指標、例えば矢印がＨＭＤ１０に表示され、例えば表示領域Ｒの端部に再生され、先端が対応する世界点ＷＰ０の位置に向かっていることを提供することが可能である。なお、矢印以外にも、表示領域Ｒの外側の世界点ＷＰ０に関する他の情報、例えば、世界点ＷＰ０の名称、距離などを表示することも可能である。

代替的な実施形態では、画像ＡＲは、車両5からの距離、相対する世界点に関連する運転上の危険、および／または他の情報を伝えるためのものに基づいて偽色で再現され得る。

２つ以上のステップを並行して、または異なる順序で実行することを禁止するものではないのと同様に、方法９００の１つ以上の任意のステップを実施および／または省略することを禁止するものではない。

さらに、１つ以上の実装の詳細は、他の技術的に等価な要素で置き換えることができる。

例えば、ＡｒＵｃｏマーカ３０に加えて、または代替的に、１つ以上のデータマトリクス、ＱＲコード、および／または他のタイプの参照要素など、他の参照要素３０を使用することが可能である。

当然ながら、異なる（より多いまたはより少ない）数のマーカ４０からなるマーカ４０の代替的な配置も提供することが可能であり、最終的に、上述の方法９００を実施するために単一のマーカ４０を有することを禁止するものはない。

さらに、マーカ４０は、追加的および／または代替的な位置に配置することが可能である。例えば、ユーザが視線をそれらに向けて動かした場合でも正しく配置された拡張現実画像の再生を可能にするために、１つまたは複数のマーカ４０を窓の１つまたは車両5の後部窓上に配置することができる。

好ましくは、限定するものではないが、マーカ４０は、以下に含まれる教示に基づいて作成されたものである。
Image and Vision Computing, volume 76, pages 38-47, year 2018に形成された、Francisco J. Romero-Ramirez, Rafael Munioz-Salinas, Rafael Medina-Carnicer: "Speeded up detection of squared fiducial markers"、
Pattern Recognition volume 51, pages 481-491, year 2016に掲載された、S. Garrido-Jurado, R. Munioz Salinas, F.J. Madrid-Cuevas, R. Medina-Carnicer: "Generation of fiducial marker dictionaries using mixed integer lineＡＲＲrogramming”、および／または、
Pattern Recognition, volume 47, number 6, pages 2280-2292, year 2014に掲載された、Garrido-Jurado, Sergio, et al.: "Automatic generation and detection of highly reliable fiducial markers under occlusion"

さらに、上述の例示的な実施形態では、補償法則がＧＮＳＳモジュール20によって検出された、グローバル位置に適用されることが示されたが、マーカ４０に基づいて決定された車両５内のＨＭＤ１０の相対位置に適用される対応する補償法則を定義することを禁止するものはない。

さらに、上記のような単一の操作ではなく、順番に、および／または並行して実施することができる２つの別々の操作を通じて、ＨＭＤ１０の位置および向きを特定することを禁止するものはない。

本出願人は、マーカ４０の使用が特に有利であることを確認したが、例えば、運転者に向けられたビデオおよび／または写真カメラおよび／またはＨＭＤに取り付けられた1または複数のモーションセンサーの使用を通じて、フロントガラスおよび／または乗客コンパートメントの他の要素に対するＨＭＤの位置及び向きが異なる方法で識別される代替方法の実施を禁止するものはない。

システム１は、車両の乗客コンパートメント内で組み立てられるコンポーネントのキットとして提供され得る。詳細には、キットは、少なくとも、処理ユニット３０と、専用のＧＮＳＳモジュール２０、または、代替的に、車両のＧＮＳＳモジュールへの処理ユニット間の有線および／または無線接続要素と、ＨＭＤ１０、好ましくは、2つのカメラ１０を含み、処理ユニットに接続可能な、ＨＭＤ１０とを備える。代替的に、処理ユニット３０は、1つ以上の市販のＨＭＤ（例えば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ）で動作するように構成され得る。したがって、キットの1つ以上のバージョンは、必ずしもＨＭＤを構成する必要はない。

あるいは、処理ユニット３０を車両5または車両に接続可能なユーザ装置（スマートフォン、タブレット、コンピュータなど）に組み込むこと、または方法９００を実施するように構成されたソフトウェア製品を車両5またはユーザ装置の処理ユニットにインスタンス化することを禁止するものはない。

さらに、システム１の要素間の接続、特に、処理ユニット３０とＨＭＤ１０との間の接続は、有線タイプおよび好ましくは無線タイプの両方とすることができる。同様に、システム1の要素と他の要素との接続は、例えば、処理ユニット３０とＩＭＵ、車両5のＥＣＵ（図示せず）、車両5のインフォテインメントシステム（図示せず）等との接続も可能であるが、有線または無線のいずれでもよい。

実際には、使用される材料、ならびにコンテント形状およびサイズは、この理由のために以下の請求項の保護範囲から逸脱することなく、要件に従って何でもあり得る。

Claims (13)

1. ＨＭＤ（１０）、および車両（５）に搭載された位置決めモジュール（２０）を含むシステム（１）により実施される車両（５）の運転を支援するための方法（９００）であって、前記方法（９００）は、
   前記位置決めモジュール（２０）によって車両位置を検出し（９１９）、
   前記車両位置に補償法則を適用することによって、前記ＨＭＤ（１０）の位置を決定し（９２１）、
   前記ＨＭＤ（１０）の位置に基づいて、前記ＨＭＤ（１０）の視野（ＦＯＶ）に含まれる空間の体積に対応するビューボリューム（ＶＯＬ）を決定し（９２３）、
   前記ビューボリューム（ＶＯＬ）に含まれる位置のセットを、前記システム（１）のメモリ領域（３１）に記憶された関心対象（ＷＰ１－３）と関連付けられた少なくとも１つの関心位置（ＰＷ１－３）と比較し（９２５）、
   前記ビューボリューム（ＶＯＬ）内に１つ以上の関心位置（ＰＷ１－３）が構成されている場合、
   前記関心対象（ＷＰ１－３）に関連付けられた画像（ＡＲ１－３）を表示する前記ＨＭＤ（１０）の可視化位置（ＰＡ１－３）を算出し（９２７）、
   前記可視化位置（ＰＡ１－３）に前記画像（ＡＲ１－３）を表示し（９２７）、
   前記可視化位置（ＰＡ１－３）は、前記ＨＭＤ（１０）を装着したユーザが、前記関心対象（ＷＰ１－３）に対応する前記画像（ＰＡ１－３）を視認するような位置である、
   方法。
2. 請求項１に記載の方法（９００）であって、前記システム（１）は、前記車両（５）の内部に配置された基準要素（４０）をさらに備え、前記方法は、さらに、
   前記基準要素（４０）に対する前記ＨＭＤ（１０）の相対位置を決定するステップ（９１７）を備え、前記相対位置は、前記基準要素（４０）に関連付けられた相対基準系を参照し、および、
   前記位置決めモジュール（２０）により車両位置を検出する前記ステップ（９１９）は、
   グローバル基準系に関して前記車両位置を検出するステップを備え、
   前記車両位置に補償法則を適用して、前記ＨＭＤ（１０）の位置を決定する前記ステップ（９２１）は、
   前記基準要素（４０）のグローバル位置を決定するために検出された前記車両位置に前記補償法則を適用するステップであって、前記グローバル位置は、前記グローバル基準系を参照するステップと、
   前記基準要素（４０）のグローバル位置に基づいて、前記ＨＭＤ（１０）の前記相対位置を、対応するグローバル位置に変換するステップと、
   を備える。
3. 請求項２に記載の方法（９００）であって、
   前記基準要素（４０）に対する前記ＨＭＤ（１０）の相対位置を決定する前記ステップは、
   前記車両（５）の内部に位置する前記基準要素（４０）の少なくとも１つの画像を取得するステップと、
   前記取得した画像を処理することにより、前記基準要素（４０）に対する前記ＨＭＤ（１０）の前記相対位置を算出するステップと、
   を備える。
4. 請求項３に記載の方法（９００）であって、
   前記ＨＭＤ（１０）は、前記ＨＭＤ（１０）のスクリーン（１１）の反対側に配置された少なくとも2つのビデオカメラ（１５）を備え、
   前記基準要素（４０）に対する前記ＨＭＤ（１０）の相対位置を決定する前記ステップ（９１７）は、
   前記車両（５）の内部に位置する前記基準要素（４０）の画像を取得するために、前記ＨＭＤ（１０）の各カメラ（１５）を使用するステップと、
   それぞれの取得された前記画像を処理することによって、前記基準要素（４０）に対する各カメラ（１５）の相対位置を計算するステップと、
   前記カメラ（１５）の相対位置を結合することにより、前記基準要素（４０）を基準とした前記ＨＭＤ（１０）の相対位置を算出するステップと、
   を備える。
5. 請求項２ないし4のいずれか一項に記載の方法であって、
   前記システム（１）が複数の基準要素（４０）を備え、そのうちの１つの選択された基準要素が主基準要素として働き、他の基準要素が副基準要素として働き、
   前記方法は、さらに、
   各副基準要素について、前記副基準要素と前記主基準要素との間の回転並進関係に対応する基準関係を計算するステップ（９０３－９０８）を備え、
   前記基準要素（４０）に対する前記ＨＭＤ（１０）の相対位置を決定する前ステップ（９１７）は、
   少なくとも２つの基準要素（４０）に対する前記ＨＭＤ（１０）の相対位置を計算するステップと
   各副基準要素に関して計算された前記ＨＭＤ（１０）の前記相対位置に前記回転並進関係を適用するステップと、
   前記少なくとも２つの基準要素に関して算出された前記相対位置を組み合わせることによって、前記主基準要素に対する前記ＨＭＤ（１０）の複合相対位置を算出するステップと、
   を備える。
6. 請求項２ないし５のいずか一項に記載の方法（９００）であって、
   ビューボリューム（ＶＯＬ）を決定する前記ステップ（９２３）は、
   前記少なくとも１つの取得された画像を処理することによって、前記基準要素（４０）に対する前記ＨＭＤ（１０）の向きを計算するステップと
   前記ＨＭＤ（１０）のグローバル位置と、前記基準要素（４０）に対する前記ＨＭＤ（１０）の向きとに基づいて、前記ＨＭＤ（１０）の視野（ＦＯＶ）を決定するステップと、
   を備える。
7. 請求項１ないし６のいずれか一項に記載の方法（９００）であって、前記方法は、
   ボアサイト位置（ＰＷＲ）を選択するステップと（９０９）、
   前記ＨＭＤ（１０）上の可視化位置（ＰＡＲ）にボアサイト画像（ＡＲＲ）を表示するステップ（９１１）であって、前記可視化位置（ＰＡＲ）は、前記ボアサイト位置（ＰＷＲ）および前記車両位置に応じて計算されるステップと、
   前記ボアサイト位置（ＰＷＲ）と前記可視化位置（ＰＡＲ）との間の位置の不一致を測定するステップ（９１３）と）、
   前記不一致に基づいて前記補償法則を決定するステップ（９１５）と、
   を備える。
8. 請求項７に記載の方法（９００）であって、
   前記ボアサイト位置（ＰＷＲ）と前記可視化位置（ＰＡＲ）との間の不一致位置を測定することは、
   仮想ボアサイト位置（ＰＶＲ）と前記ボアサイト位置（ＰＷＲ）との間の回転並進関係を定義するステップを備え、
   前記仮想ボアサイト位置（ＰＶＲ）は、３次元基準系における前記可視化位置（ＰＡＲ）の投影に対応し、
   前記補償法則を決定する前記ステップは、
   前記補償法則を決定するために、前記回転並進関係を使用するステップ、
   を備える。
9. 請求項８に記載の方法（９００）であって、
   前記ボアサイト位置（ＰＷ）に、ボアサイト対象が位置し、
   回転並進関係を定義する前記ステップは、
   前記ＨＭＤ（１０）の視野（ＦＯＶ）にボアサイト対象物を含むように、前記ＨＭＤ（１０））を方向付けるステップと、
   前記ＨＭＤ（１０）に表示されたボアサイト画像（ＡＲＲ）を、前記ボアサイト位置（ＰＷＲ）においてボアサイト対象物（ＷＰＲ）との重なりを得るまで並進させるステップと、
   ２次元基準系における前記ボアサイト画像（ＡＲＲ）の並進と、前記3次元基準系における前記仮想ボアサイト位置（ＰＶＲ）の回転を変換するステップと、
   を備える。
10. 請求項１ないし９のいずれか一項に記載の方法（９００）であって、前記方法（９００）は、さらに、
    車両移動情報（５）を取得するステップを備え、
    前記ＨＭＤ（１０）に、関心対象に関連する画像を表示する前記ステップは、
    前記車両（５）の移動および時間の関数として画像を変更するステップ、
    を備える。
11. 車両（５）の運転を支援するためのシステム（１）であって、前記システム（１）は、
    ＨＭＤ（１０）と、
    前記車両に搭載され、前記車両の位置を検出するように構成された位置決めモジュール（２０）と、
    関心対象に関係付けられる少なくとも１つの関心位置が記憶されているメモリ領域（３１）と、
    前記位置決めモジュール（２０）、前記ＨＭＤ（１０）に動作可能に接続され、請求項１ないし１０のいずれか一項に記載の方法（９００）を実施するように構成された処理ユニット（３０）と、
    を備える。
12. 請求項１１に記載のシステム（１）において、前記システム（１）は、さらに、
    前記車両（５）の内部に配置することができる少なくとも１つの基準要素（４０）を備える。
13. 請求項１１または１２に記載のシステム（１）において、
    前記処理ユニット（３０）は、
    車両通信（５）用のバス（５５）と、車両情報（５）を取得するための慣性測定ユニット（６）とのうちの少なくとも１つに、動作可能に接続されている。

Images