JP2022549562A - 車両運転支援方法およびシステム - Google Patents
車両運転支援方法およびシステム Download PDFInfo
- Publication number
- JP2022549562A JP2022549562A JP2022509025A JP2022509025A JP2022549562A JP 2022549562 A JP2022549562 A JP 2022549562A JP 2022509025 A JP2022509025 A JP 2022509025A JP 2022509025 A JP2022509025 A JP 2022509025A JP 2022549562 A JP2022549562 A JP 2022549562A
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- vehicle
- boresight
- reference element
- respect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012800 visualization Methods 0.000 claims abstract description 21
- ICMWWNHDUZJFDW-DHODBPELSA-N oxymetholone Chemical compound C([C@@H]1CC2)C(=O)\C(=C/O)C[C@]1(C)[C@@H]1[C@@H]2[C@@H]2CC[C@](C)(O)[C@@]2(C)CC1 ICMWWNHDUZJFDW-DHODBPELSA-N 0.000 claims abstract 32
- 238000012545 processing Methods 0.000 claims description 36
- 238000013519 translation Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 135
- 239000003550 marker Substances 0.000 description 46
- 230000003190 augmentative effect Effects 0.000 description 15
- 230000014616 translation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Navigation (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
- Automatic Cycles, And Cycles In General (AREA)
Abstract
本発明は、車両(5)の運転を支援する方法(900)に関するものである。方法(900)は、HMD(10)と、車両(5)に搭載された位置決めモジュール(20)とを含む相対システム(1)により実施することができる。特に、方法(900)は、位置決めモジュール(20)によって車両位置を検出するステップ(919)と、車両位置に補償法則を適用することによって、HMD(10)の位置を決定するステップと(921)、HMD(10)の位置に基づいて、HMD(10)の視野(FOV)内に構成される空間の体積に対応するビューボリューム(VOL)を決定するステップ(923)と、ビューボリューム(VOL)内に構成される位置のセットを、システム(1)のメモリ領域(31)内に記憶された関心対象(WP1-3)に関連する少なくとも1つの関心位置(PW1-3)と比較するステップ(925)と、を備え、前記1つ以上の関心位置(PW1-3)が前記ビューボリューム(VOL)内にある場合、関心対象(WP1-3)に関連する画像(AR1-3)を表示するHMD(10)の可視化位置(PA1-3)を算出し(927)、画像(AR1-3)を可視化位置(PA1-3)に表示させる(831)。可視化位置(PA1-3)は、前記HMD(10)を装着したユーザが関心対象(WP1-3)に対応する画像(PA1-3)を視認するような位置である。【選択図】図1
Description
本発明は、輸送車両の分野に関するものである。特に、本発明は、車両の運転を支援するための方法およびシステムに関する。
これまで、移動速度、燃料残量、ナビゲーションの案内等の運転情報は、車両のダッシュボードや、車両が備えるインフォテインメント画面などに表示されている。しかし、ダッシュボードも画面も、運転者が少なくとも部分的に道路環境から目を離さなければならない位置に設置されていることが多く、運転の安全性と情報活用の可能性の両方が損なわれている。
自動車や航空機の分野では、この問題の部分的な解決策として、「ヘッドアップディスプレイ」、略して「HUD」が提案されている。HUDは、自動車のフロントガラスに映像を投影するシステムである。特にHUDは、車のフロントガラスに直接情報を投影することができるため、ドライバは常に視線を道路に向け、運転に集中することができる。
しかし、現在のHUDの標準はHUD1.0と呼ばれ、古典的な車載計器が提供する冗長な情報を表示するためにのみ使用されている。さらに、出願人は、HUD技術が拡張現実の要素を効果的に描写できないことに気がついた。実際、ドライバの視野を完全にカバーするためにプロジェクション・システムが必要とする拡張機能は、現在の最先端技術で利用可能な拡張可能よりはるかに優れている。特に、車両のフロントガラスによって実質的に規定される主視野全体と、1つまたは複数のサイドウィンドウなどの副視野を利用できるHUDはない。
HUDシステムと並んで、より最近では、「ヘッドマウントディスプレイ」、略してHMDとしてより良く知られているウェアラブル・スクリーンに基づくシステムが提案されており、これは、例えば、車両の運転中にHMDを装着したユーザに、運転支援情報を提供するために、画像を再生できる透明または半透明スクリーンで構成されている。
例えば、米国特許出願第2016/084661号には、運転ツールとして機能し、拡張現実デバイスを介して提供されるリアルタイム視覚フィードバックなどのフィードバックを運転者に提供するシステムおよび方法が記載されている。ガイダンスシステムは、車両関連情報およびドライバ情報、例えば、HMDによって決定されるドライバの視線の方向、を収集し、この入力情報を使用して、仮想ガイドラインおよび他の運転推奨の形態でリアルタイムの視覚的フィードバックを生成する。この運転推奨情報は、HUDディスプレイなどの拡張現実デバイスを介してドライバに提示され、ドライバから見える実際の路面に重なるように仮想誘導線が車両のフロントガラスに投影され、ドライバに従うべきラインやルートを示すことができる。さらに、ブレーキ操作、加速、ステアリング操作、シフト操作など、他の運転推奨を行うことも可能である。
本出願人は、運転者によって観察される視野を決定し、したがって実画像を効果的に表示するために米国特許出願第2016/084661号で提案された方法は、実装が複雑であることに気が付いた。特に、米国特許出願第2016/084661号に記載されているように運転者の視線を分析することは、運転者によって観察される視野を十分な精度で特定し、HMDまたはHUD上の1つまたは複数の拡張現実画像のサイズおよび位置を決定するために、ハードウェアおよびソフトウェアの観点から複雑な実装が必要である。
また、欧州特許第2933707号は、HMDによって提示されるものを動的に方向付けるための方法を記載している。記載された方法は、車両の運転者によって装着されたHMDに設置された少なくとも1つのセンサを使用して、HMDの動きデータを収集することと、車両に取り付けられた少なくとも1つのセンサを使用して、車両の動きデータを収集することとを含む。したがって、この方法は、HMDの動きデータと車両の動きデータの分析を実行し、それらの間のあらゆる差異を検出することを含む。検出された差異に基づいて、車両に対するHMD装置の向きが計算され、新たに計算された向きに基づいて、HMD装置の画面上に提示される通常のデータとして計算される。
欧州特許第2933707号で提案された方法は、HMDの向きを決定することができるが、満足な精度および正確さを得ることができない。さらに、この方法は、車両のフロントガラスを通して運転者に見えるシナリオの画像の比較に基づいて、一貫して提示されたHMDデータからデータを計算し生成するために、高い計算資源を必要とする。
本発明の目的は、従来技術の欠点を克服することである。
特に、本発明の目的は、車両を運転している間にユーザを支援する正確で信頼できる表示を提供することができる運転支援のための方法およびシステムを提示することである。
本発明の目的は、車両を使用している間のユーザの運転経験を改善するために適合された拡張現実の要素を再現するための方法およびシステムを提示することである。
本発明のこれらの目的および他の目的は、本明細書の不可欠な部分を形成する添付の請求項の特徴を組み込んだ方法およびシステムによって達成される。
一実施形態においては、本発明の方法は、
車両に搭載された位置決めモジュールによって車両位置を検出するステップと、
前記車両位置に補償法則を適用することによって、HMDの位置を決定するステップと
前記HMDの位置に基づいて、前記HMDの視野内に構成される空間の体積に対応するビューボリュームを決定するステップと、
ビューボリューム内に構成される位置のセットを、システムのメモリ領域に格納された関心対象に関連付けられた少なくとも1つの関心位置と比較するステップと、を備え、
前記ビューボリューム内に1つ以上の関心位置がある場合、前記関心対象に関連付けられた画像を表示する前記HMDの可視化位置を算出し、前記可視化位置で前記画像を前記HMDに表示させる。
有利なことに、可視化位置は、スクリーンを装着したユーザが、関心対象に対応する画像を見ることができるような位置である。
車両に搭載された位置決めモジュールによって車両位置を検出するステップと、
前記車両位置に補償法則を適用することによって、HMDの位置を決定するステップと
前記HMDの位置に基づいて、前記HMDの視野内に構成される空間の体積に対応するビューボリュームを決定するステップと、
ビューボリューム内に構成される位置のセットを、システムのメモリ領域に格納された関心対象に関連付けられた少なくとも1つの関心位置と比較するステップと、を備え、
前記ビューボリューム内に1つ以上の関心位置がある場合、前記関心対象に関連付けられた画像を表示する前記HMDの可視化位置を算出し、前記可視化位置で前記画像を前記HMDに表示させる。
有利なことに、可視化位置は、スクリーンを装着したユーザが、関心対象に対応する画像を見ることができるような位置である。
この解決策により、位置情報のみに基づいて、HMDを装着したユーザの視野内に、拡張現実画像を正確に表示することができる。特に、位置決めモジュールとHMDの位置が異なることによる表示誤差を効果的に補正することができる。実際、これら2つの要素の間のわずかな距離でさえ、拡張現実画像の表示に著しい不正確さをもたらし、その結果、拡張現実の画像に関連する情報の有用性が低下し、またはユーザの運転状態が悪化する可能性さえある。
有利なことに、本発明による方法は、グローバルナビゲーションシステムまたはGNSS(例えば、GPS、Galileo、GLONASS、Beidouなど)によって提供されるような位置情報のみを取得および処理する必要があるが、拡張現実の画像を正しく表示するために車両フロントガラスを通して見えるオブジェクトを認識するために取得した画像を処理することは必要ない。これにより、実質的に低い計算コストおよびハードウェア要件で、拡張現実画像の表示において高い精度および正確さでリアルタイムに動作することができる。
一実施形態では、前記システムは、車両内部に配置された基準要素をさらに備え、かつ、前記位置決めモジュールによって車両位置を検出するステップは、グローバル基準系に関して前記車両位置を検出することを備える。
一実施形態では、前記システムは、車両内部に配置された基準要素をさらに備え、かつ、前記位置決めモジュールによって車両位置を検出するステップは、グローバル基準系に関して前記車両位置を検出することを備える。
好ましくは、本発明の方法は、前記基準要素に対する前記HMDの相対位置を決定することをさらに備え、前記相対位置は、前記基準要素に関連付けられた相対基準系に参照される。
この場合、前記位置決めモジュールによって車両位置を検出する前記ステップは、グローバル基準系に関して前記車両位置を検出することを提供し、
一方、前記車両位置に補償法則を適用することによってHMD位置を決定するステップは、
前記基準要素のグローバル位置を決定するために、検出された前記車両位置に補償法則を適用するステップと
前記基準要素のグローバル位置に基づいて、前記HMDの相対位置を、対応するグローバル位置に変換するステップと、を備える。
この場合、前記位置決めモジュールによって車両位置を検出する前記ステップは、グローバル基準系に関して前記車両位置を検出することを提供し、
一方、前記車両位置に補償法則を適用することによってHMD位置を決定するステップは、
前記基準要素のグローバル位置を決定するために、検出された前記車両位置に補償法則を適用するステップと
前記基準要素のグローバル位置に基づいて、前記HMDの相対位置を、対応するグローバル位置に変換するステップと、を備える。
この解決策により、処理能力の低い電子部品でも効果的に実施できる操作で、HMDが使用される車両内の相対位置を精度よくリアルタイムで特定し、地球の中心を原点とする3次元基準系を参照したグローバル位置に変換することが可能となる。
一実施形態では、前記基準要素に対する前記HMDの相対位置を決定する前記ステップは、
前記車両の内部に位置する前記基準要素の少なくとも1つの画像を取得するステップと
前記取得した画像を処理することにより、前記基準要素に対する前記HMDの前記相対位置を算出するステップと、
を含む。
前記車両の内部に位置する前記基準要素の少なくとも1つの画像を取得するステップと
前記取得した画像を処理することにより、前記基準要素に対する前記HMDの前記相対位置を算出するステップと、
を含む。
好ましくは、前記HMDは、前記HMDの画面の反対側に配置された少なくとも2つのカメラを備える。
この場合、前記基準要素に対する前記HMDの相対位置を決定する前記ステップは、
前記HMDの各カメラを使用して、前記車両の内部に位置する前記基準要素の画像を取得するステップと、
それぞれの取得された前記画像を処理することによって、前記基準要素に対する各カメラの相対位置を計算するステップと、
各カメラの前記相対位置を結合して、前記基準要素に対する前記HMDの前記相対位置を算出するステップと、
を含む。
この場合、前記基準要素に対する前記HMDの相対位置を決定する前記ステップは、
前記HMDの各カメラを使用して、前記車両の内部に位置する前記基準要素の画像を取得するステップと、
それぞれの取得された前記画像を処理することによって、前記基準要素に対する各カメラの相対位置を計算するステップと、
各カメラの前記相対位置を結合して、前記基準要素に対する前記HMDの前記相対位置を算出するステップと、
を含む。
これらの解決策により、前記HMDの位置を簡単な方法で、同時に正確かつ精密に決定することができる。さらに、基準要素の使用により、前記HMDの外側にあり、ユーザが装着した前記HMDの位置を評価するためにユーザの動きを識別するように構成されたコンポーネント(ビデオカメラ、フォトカメラ、赤外線センサ、圧力センサなど)の必要性がなくなる。
一実施形態では、本発明のシステムは、複数の基準要素を備え、そのうちの1つの選択された基準要素が主基準要素として作用し、他の基準要素が副基準要素として作用する。 好ましくは、本発明の方法は、各副基準要素について、主基準要素に対する福基準要素の間の回転並進関係に対応する基準関係を計算するステップをさらに備える。
さらに好ましくは、前記基準要素に対する前記HMDの前記相対位置を決定する前記ステップは、
少なくとも2つの基準要素に対する前記HMDの前記相対位置を計算するステップと、
各副基準要素に関して計算された前記HMDの前記相対位置に前記回転並進関係を適用するステップと、
前記少なくとも2つの基準要素に関して計算された前記相対位置を結合することによって、前記主基準要素に対する前記HMDの結合された相対位置を計算するステップと、
を含む。
さらに好ましくは、前記基準要素に対する前記HMDの前記相対位置を決定する前記ステップは、
少なくとも2つの基準要素に対する前記HMDの前記相対位置を計算するステップと、
各副基準要素に関して計算された前記HMDの前記相対位置に前記回転並進関係を適用するステップと、
前記少なくとも2つの基準要素に関して計算された前記相対位置を結合することによって、前記主基準要素に対する前記HMDの結合された相対位置を計算するステップと、
を含む。
この解決策のおかげで、前記HMDの前記相対位置と前記グローバル位置の両方が、正確かつ堅牢な方法で決定される。
さらに、前記主基準要素に対する前記HMDの位置と姿勢を迅速かつ確実に決定するために、任意の基準要素を特定するだけで十分であるようにシステムを構成することも可能である。
これは、車両の形状に関係なく、その複雑さを実質的に増大させることなく、システムに大きな汎用性を保証し、同時に、前記HMDが基準要素を備える車両の様々な領域(例えば、自動車のフロントガラス、およびサイドウィンドウ、またはリアウィンドウのうちの1つ以上)に向けられるときに、拡張現実画像を正しく表示することを可能にする。
一実施形態では、本発明のビューボリュームを決定する前記ステップは、
少なくとも1つの取得された画像を処理することによって、前記基準要素に対する前記HMDの向きを計算するステップと
前記HMDの前記グローバル位置と、前記基準要素に対する前記HMDの向きとに基づいて、前記HMDの視野を決定するステップと、
を含む。
少なくとも1つの取得された画像を処理することによって、前記基準要素に対する前記HMDの向きを計算するステップと
前記HMDの前記グローバル位置と、前記基準要素に対する前記HMDの向きとに基づいて、前記HMDの視野を決定するステップと、
を含む。
この解決策により、前記HMDの位置を変えない頭の動き(回転、傾きなど)でも、前記HMDを装着したユーザの視野を正確に特定することが可能になる。その結果、前記ビューボリュームもより正確に特定することができる。
一実施形態では、前記基準要素に対する前記HMDの位置および向きが文脈的に決定される、すなわち、前記基準要素に対する前記HMDの姿勢が決定される。したがって、2つのカメラによって取得された2つの画像の分析ステップ、および/または前記HMDの位置に関連して、上述したような複数の基準要素の使用も想定され、前記HMDの姿勢を決定するためにも、同じ利点を得ることが可能である。
有利なことに、上述の解決策は、車両が移動中であっても、前記HMDの姿勢を正確に決定することを可能にする。特に、前記HMDの姿勢は、より信頼性の高い方法で決定され、前記車両が動いているときに、さらに限られた精度で前記HMDの位置および向きを計算するために、IMUおよび他のセンサを使用する既知の解決策とは対照的に、複雑なハードウェアおよび/またはソフトウェアコンポーネントを実装する必要がない。
一実施形態において、本発明の方法は、
ボアサイト位置を選択するステップと、
前記HMD上の可視化位置にボアサイト画像を表示するステップであって、前記可視化位置は、前記ボアサイト位置および前記車両位置に応じて計算されるステップと、
前記ボアサイト位置と前記可視化位置の間の位置のずれを測定するステップと、
前記不一致に基づいて、前記補償法則を決定するステップと、
を備える。
ボアサイト位置を選択するステップと、
前記HMD上の可視化位置にボアサイト画像を表示するステップであって、前記可視化位置は、前記ボアサイト位置および前記車両位置に応じて計算されるステップと、
前記ボアサイト位置と前記可視化位置の間の位置のずれを測定するステップと、
前記不一致に基づいて、前記補償法則を決定するステップと、
を備える。
このようにして、前記補償法則は、前記車両の特定の特徴、および/または前記システムの設置中に選択された実装の選択肢に関係なく、正確かつ即座に決定されることが可能である。
好ましくは、この不一致の測定は、仮想ボアサイト位置と前記ボアサイト位置との間の回転並進関係を定義することを含み、前記仮想ボアサイト位置は、3次元基準系における前記可視化位置の投影に対応する。さらに好ましくは、前記補償法則は、前記回転並進関係に基づいて決定される。
この解決策のおかげで、限られたハードウェア資源を有するシステム、および/または特に低い計算コストで実施することもできる操作によって、前記補償法則を定義することが可能である。
一実施形態によれば、本発明の方法は、ボアサイト対象が前記ボアサイト位置に位置することを提供する。
この場合、回転並進関係を定義することは、好ましくは、
前記HMDの視野内に前記ボアサイト対象物を含むように前記HMDを方向付けるステップと、
前記HMD上に表示された前記ボアサイト画像を、前記ボアサイト位置における前記ボアサイト対象物との重なりを得るまで並進させるステップと、
2次元基準系における前記ボアサイト画像の並進を、前記3次元基準系における前記仮想ボアサイト位置の並進および回転に変換するステップと、
を含む。
この場合、回転並進関係を定義することは、好ましくは、
前記HMDの視野内に前記ボアサイト対象物を含むように前記HMDを方向付けるステップと、
前記HMD上に表示された前記ボアサイト画像を、前記ボアサイト位置における前記ボアサイト対象物との重なりを得るまで並進させるステップと、
2次元基準系における前記ボアサイト画像の並進を、前記3次元基準系における前記仮想ボアサイト位置の並進および回転に変換するステップと、
を含む。
これらの較正ステップにより、極めて簡単な方法で補償法則を決定することができる。特に、これらのシステム較正ステップは、特別なスキルおよび/またはトレーニングなしに、ユーザによって実行することができる。さらに、この解決策は、必要に応じて、例えば、1つの車両から別の車両にシステムを移動させることによって、1つ以上の基準要素の位置が変更された場合、および/または使用中に生じ得る偏差をキャンセルするために、定期的に新しい較正を迅速かつ容易に実施することができるようにするものである。
一実施形態では、本発明の方法は、さらに、
車両移動情報を取得するステップを備え、
前記関心対象に関連付けられた画像を前記HMD上に表示する前記ステップは、
前記車両の動きと時間の関数として前記画像を変更するステップ、
を備える。
車両移動情報を取得するステップを備え、
前記関心対象に関連付けられた画像を前記HMD上に表示する前記ステップは、
前記車両の動きと時間の関数として前記画像を変更するステップ、
を備える。
この解決策により、特に前記車両が移動しているときに、拡張現実画像の表示における精度と正確さをさらに高めることができる。
本発明の別の態様は、車両の運転を支援するためのシステムに関する。
一実施形態では、そのようなシステムは、
HMDと、
車両位置を検出するように構成された前記車両に搭載された位置決めモジュールと
関心対象に関連付けられた少なくとも1つの関心位置が記憶されるメモリ領域と
前記位置決めモジュール、前記HMDに接続され、上述した実施形態のいずれか1つによる方法を実施するように構成された処理ユニットと、
を備える。
HMDと、
車両位置を検出するように構成された前記車両に搭載された位置決めモジュールと
関心対象に関連付けられた少なくとも1つの関心位置が記憶されるメモリ領域と
前記位置決めモジュール、前記HMDに接続され、上述した実施形態のいずれか1つによる方法を実施するように構成された処理ユニットと、
を備える。
好ましくは、前記システムは、前記車両の内部に配置することができる少なくとも1つの基準要素をさらに備え、さらに好ましくは、前記HMDは、少なくとも1つのカメラを備えている。
このシステムは、特にコンパクトであり、限られたハードウェア資源を使用して、正確かつ信頼性の高い方法で、前記車両を運転するユーザに情報を提供することが可能である。
一実施形態では、少なくとも1つの基準要素は、より単純に識別できるようにバックライトで照らされる。
一実施形態では、前記システムは、前記基準要素を互いに区別できるように、それぞれが、それぞれの識別コードを含む複数の基準要素を備える。
一実施形態では、前記位置決めモジュールは、GNSSモジュールを備える。さらに、または代替的に、前記位置決めモジュールは、電磁信号の三角測量モジュール、レーダー、ライダー、および/または同様のデバイスから備えていてもよい。
一実施形態では、前記処理ユニットは、対応する関心対象に関連付けられた少なくとも1つの関心位置を取得するために、位置決めデータ・データベースを記憶するか、または、位置決めデータ・データベースに接続可能である。
一実施形態では、前記処理ユニットは、車両通信用バスと、車両情報を取得するための慣性測定ユニットとのうちの少なくとも1つに動作可能に接続されている。
この解決策のおかげで、前記システムは、前記車両の運転を支援するための相当量の有用な情報を取得し、表示することができる。
本発明のさらなる特徴および利点は、添付の図面の説明からより明らかになるであろう。
本発明は、説明的かつ非限定的な目的のために提供され、添付図面に示されるいくつかの例を参照して、以下に説明される。これらの図面は、本発明の異なる態様および実施形態を示し、適切な場合、異なる図における同様の構造、構成要素、材料および/または要素を示す参照番号は、同様の参照番号で示される。
本発明は、様々な変更および代替構造の影響を受けやすいが、特定の好ましい実施形態が図面に示され、以下に詳細に説明される。いずれの場合も、本発明を図示された特定の実施形態に限定する意図はなく、むしろ逆に、本発明は、特許請求の範囲に定義された本発明の範囲内に入るすべての修正、代替、および同等の構造をカバーすることを意図していることに留意されたい。
「例えば」、「等」、「または」の使用は、特に断らない限り、制限のない非排他的な代替を示す。「含む」の使用は、特に断らない限り、「含むが、これに限定されない」を意味する。
図を参照すると、本発明の実施形態によるシステム1は、より一般的にはヘッドマウントディスプレイ、またはHMD10として示されるウェアラブル・スクリーンと、測位モジュール、例えばGNSS(Global Navigation Satellite System)モジュール20と、GNSSモジュール20およびHMD10に接続するように構成された処理ユニット30と、考慮される例ではArUcoタイプの1つまたは複数のマーカ40とを具備する。
GNSSモジュール20は、好ましくは、地球の中心を起源とする3次元基準系(以下、「グローバル基準系」と称するで定義される検出位置に関する表示を定期的におよび/または要求に応じて提供するように構成されている。例えば、GNSSモジュール20は、GPSナビゲータを備え、GNSSモジュール20によって検出されたグローバル位置、したがって車両5の位置を示す地理的座標のセットを提供するように構成されている。
HMD10は、図5aおよび図6に模式的に示されるように、HMD10を装着したユーザがスクリーン11を通して見ることを可能とするため、透明および/または半透明のスクリーン11を備える。さらに、HMD10は、例えば、適切な回路(図示せず)を備え、HMD10を装着したユーザの視野(FOV)(簡潔さのために以下では「HMD10の視野FOV」と称する(図2には概略的に図示されている。)。)に存在するものに重ねられる画像を、スクリーン11上に表示し、したがって拡張現実効果を生じさせるように構成される。この目的のために、HMD10は、処理ユニット30によって提供されるデータおよび/または命令に基づいて表示される画像を生成するように構成されたローカル処理ユニット13を備えていてもよい。
好ましくは、HMD10は、(図5a~5cに模式的に示されるように)異なる視点から空間の同じ領域をフレーミングするように構成された一対のカメラ15からなる。有利なことに、HMD10のカメラ15は、HMDのスクリーン11の枠の反対側に配置される。カメラ15の各々は、HMD10のFOVに実質的に対応する1つまたは複数の画像を取得するように構成される。特に、同じ瞬間にカメラ15によって提供される画像を組み合わせることによって、HMD10の視野FOVを決定することが可能である。
処理ユニット30は、マイクロコントローラ、マイクロプロセッサ、汎用プロセッサ(例えば、CPU)および/またはグラフィックプロセッサ(例えば、GPU)、DSP、FPGA、ASIC、メモリモジュール、処理ユニット30の様々なコンポーネントにエネルギーを供給するための電源モジュール、および好ましくは他の機器に接続するため、および/または他のエンティティ(例えば、HMD10、GNSSモジュール20、リモートサーバなど)とデータを交換するための1または複数のインターフェースモジュールを備えている。
特に、処理ユニット30は、(図2に概略的に示されているように)世界点WP0~WP3という用語でも示される関心対象の位置PW0~PW3を記憶することが可能なメモリ領域31を備え、および/または、メモリモジュール(図示せず)に接続される。明らかなように、本明細書では、世界点という用語は、道路またはその一部(例えば、道路の曲線)、建物、道路ブロック、横断歩道、記念碑、ビルボード、文化的名所などの物理オブジェクトを示すために使用され、グローバル基準系で定義された対応する位置または位置のセット(すなわち、エリアまたはボリューム)と関連付けられる。
例えば、メモリ領域31は、世界点WP0-WP3の各々に関連付けられた地理座標と、場合によっては、同じ世界点WP0-WP3に関する情報および/またはそれに関連付けられた1つまたは複数の画像に関する1つまたは複数の項目からなるデータベースを格納するように構成することが可能である。
代替的にまたは追加的に、処理ユニット30は、車両5の、HMD10の、および/または1つ以上の世界点WP0-WP3の検出位置に関連する1つ以上の情報のアイテムを取得するために、(例えば、電気通信ネットワーク8への接続を介してソフトウェアプラットフォームにアクセスすることによって)遠隔ナビゲーションシステム7に接続し、および/または局所ナビゲーションシステム(例えば、車両5の衛星ナビゲータ)に接続するよう構成することが可能である。
一実施形態では、処理ユニット30は、車両5のオンボードセンサ(図示せず)によって提供されるデータ(例えば:速度、加速度、ステアリング角など)にアクセスするため、慣性測定ユニット、すなわちIMU6、および/または、処理ユニット30を搭載する車両5のデータバス55(例えば、CANバス)に接続するように構成され、計算能力、ユーザインターフェースを利用し、および/または車両5のオンボードコンピュータ(図示せず)の接続性を利用する。
好ましい実施形態では、各マーカ40は、フィデューシャリー・パターン、例えば、実質的に白または黒のピクセルからなる二値行列からなり、これにより、周囲の環境から容易に識別することができる。有利なことに、各マーカ40のフィデューシャリー・パターンは、当該マーカ40を一意に識別することを可能にする識別コードを含んでいる。
好ましくは、限定的な態様ではないが、マーカ40は、画像に基づいて、特にHMD10のカメラ15によって取得された画像の処理を通じて、マーカ40及びそのフィデューシャリー・パターンの識別を単純化するように、マーカ40のフィデューシャリー・パターンをバックライトで照らすように構成されたバックライト・アセンブリ(図示せず)を備えていてもよい。
説明されたシステム1は、(図1に概略的に示されるように)車両5の乗客室51内のユーザによって利用され、精密かつ信頼性が高く、同時に特に限られたハードウェアおよびソフトウェア・リソースを必要とする運転支援の方法900(図3のフローチャートによって示される)を実施することができる。
設置ステップにおいて、マーカ40が、主基準要素として動作するように車両5の乗客室51の内部に配置され、好ましくは、可変数の副マーカ40、図において考慮した例では3つが、2次基準要素として動作するように乗客室内に配置され得る(ブロック901)。
考慮された実施例では、マーカ40は、車両5のフロントガラス53上、またはフロントガラス53に配置される。これにより、後述するように、マーカ40に対するHMD10の向きおよび位置、したがってHMD10の視野FOV、および場合によっては画像を表示するためのスクリーン11の表示領域Rを特定することができる。
例えば、図示されているように運転位置が左側にある車両5を考慮すると、例示的な配置は、これによりHMD10の向きおよび位置を特に信頼できる方法で特定することができるのであるが、フロントガラス53の一方の左端部に第1のマーカ40を配置し、運転位置に対して、経路の視界を妨げない、正面位置に第2のマーカ40を配置し、フロントガラス53の横方向延長線に対して中央位置に第3のマーカ40を配置することを含んでいる。
続いて、方法900は、アライメント手順とボアサイト手順とを備えるシステム1を較正するための手順を含む。
アライメント手順では、まず、乗客室51に配置されたマーカ40の間で相対位置が特定される。 例えば、アライメント手順の間、HMD10は、所定の運転姿勢を維持するユーザによって装着され、好ましくは、頭部、ひいてはHMD10が(例えば、図4aに示すように)フロントガラス53を向く状態で装着される。
初めに、カメラ15を介して一対の画像A+およびA-が実質的に同じ瞬間に取得される(ブロック903)。好ましくは、画像A+およびA-の一連の組は、HMD10が同じ位置に保持されるか、また(例えば、HMD10を装着するユーザによって行われる通常の姿勢補正または変更によって)ゆっくりと動かされる時間間隔の間に取得される。カメラ15間の距離を考慮すると、画像A+およびA-の両方は、HMD10の同じ視野FOVを実質的に再現するが、異なる観察点f1およびf2から観察される(図5a~図5cで見ることができる)。
カメラ15の画像A+、A-は、各マーカ40を認識するために処理される(ブロック905)。考慮された例では、画像A+およびA-は、画像A+およびA-で縁取られた各マーカ40を定義し、識別するために、立体視を利用するように一緒に結合される。例えば、画像A+およびA-は、マーカ40に対応する形状を識別し、単一のマーカ40は、対応するフィデューシャリー・パターンを識別することによって認識される。
各取得画像を分析することにより、HMD10に関連付けられた基準系、すなわち、HMD10を装着した運転者の視点を実質的に中心とする3次元基準系に対する各マーカ40の並進及び向きが算出される(ブロック907、図6に模式的に図示)。好ましくは、各カメラ15に対するマーカ40の並進値および回転値が計算され、したがって、2組の測定値が得られ、それらはその後結合される。例えば、それらは、平均化および/または相関演算を実装する適切なアルゴリズムによって、結合され、各マーカ40に関連する対応する結合回転および向き測定値(orientation measurements)を得る。
任意選択で、使用されるカメラ15の特定の特徴によってもたらされる変形および/または収差を補償するために、スケール値および/または補正係数を決定することも可能である。代替的にまたは追加的に、HDM10に対する各マーカ40の位置及び計算された方向は、あらゆるノイズを除去するために経時的にフィルタリングされる。
任意選択で、使用されるカメラ15の特定の特徴によってもたらされる変形および/または収差を補償するために、スケール値および/または補正係数を決定することも可能である。代替的にまたは追加的に、HDM10に対する各マーカ40の位置及び計算された方向は、あらゆるノイズを除去するために経時的にフィルタリングされる。
次に、主マーカ40が選択され、例えば、取得された画像A+およびA-において、最良の可視性を有するマーカ40または予め定義された識別コードを有するマーカ40が選択され、それらは、好ましくは、回転並進、すなわち、各マーカ40の位置を主マーカ40の位置と関連付ける回転並進によって算出される(ブロック908)。
好ましい実施形態では、各マーカ40の位置を主マーカ40に関連付ける回転並進は、時間の連続する瞬間に取得された画像A+およびA-の組を分析することによって決定されたマーカ40の各位置について計算される。次に、各マーカ40について計算された回転並進は、主マーカ40に対する各マーカ40の単一の回転並進を得るために、時間平均される。
要約すると、アライメント手順は、主マーカ40と副マーカ40の各々を関係付けるそれぞれの回転並進関係を特定し、有利なことには記憶することを可能にする(図7において破線の矢印によって概略的に表されるように、マーカ40を中心とするベクトルのトライアドは各マーカ40を中心とするそれぞれの基準系を表し、矢印は副マーカ40を主マーカ40に関連付ける回転並進オペレーションを表している)。
その他、較正ステップのボアサイト手順は、GNSSモジュール20の位置とHMD10の実際の位置との間の、グローバル基準系に関する、補償法則を確立し、したがって、GNSSモジュール20によって提供される測定値に基づいて、HMD10に表示される画像の最適表示を計算することができる。好ましい実施形態では、補償法則は、基準マーカ40に関連付けられた相対基準系とGNSSモジュール20に関連付けられたグローバル基準系との間の回転並進関係を特定することによって定義される。
特に図8aおよび8bを参照すると、当初、車両5、特にGNSSモジュール20は、所定の距離dで位置決めされ、かつ、アライメントオブジェクト、すなわちボアサイト世界点WPR、例えば実際の物理オブジェクトからの既知の方向で位置決めされる(ブロック909)。したがって、ボアサイト世界点WPRに関連するボアサイト位置PWRは既知である。本出願人は、直線セグメントをボアサイト世界点WPRとして使用することができ、システム1の正確なボアサイトが可能であることを確認した。しかしながら、本出願人は、多角形図形および/または3次元オブジェクトによって、ユーザがより簡便にボアサイト手順を完了することができることを見出した。
GNSSモジュール20によって測定されたボアサイト位置PWR及び車両位置PGは、HMD10のスクリーン11上に表示されるべき対応する(2次元)ボアサイト画像ARRを決定するために使用される(ブロック911)。
好ましくは、ボアサイト画像ARRは、HMD10を通して見たボアサイト世界点WPRに対応するような形状を有する。
ボアサイト画像ARRのHMD10上の可視化位置PARは、対応する仮想オブジェクトに関連付けられた仮想ボアサイト位置PVP、すなわち仮想ボアサイト点VPRに対応する。仮想ボアサイト点VPRは、ボアサイト世界点WPRの仮想レプリカであり、仮想ボアサイト位置PVRは、HMD10の相対基準系において、GNSSモジュール20によって提供される車両位置に基づいて計算されたボアサイト位置PWRのレプリカである。
一般にGNSSモジュール20とHMD10の位置が異なるため、ボアサイト画像ARRはボアサイト世界点WPRに重畳されることはないだろう。したがって、ボアサイト手順は、2次元画像ARRが、新しい可視化位置PAR’において、ボアサイト世界点WPRと重なるまで、ボアサイト画像ARRがHMD10のスクリーン11に沿って並進されること、車両5のフロントガラス53を通して見えること(ブロック913)を提供する。例えば、処理ユニット30は、例えば、処理ユニット30のユーザインターフェース(図示せず)を介して、または処理ユニットに接続された装置(例えば、HMD10自体、またはパーソナルコンピュータ、スマートフォン、タブレット、車両5のオンボードコンピュータ等)のユーザインターフェースを介して、ユーザがボアサイト画像ARRを移動できるよう構成されてもよい。
したがって、ボアサイト画像ARRとボアサイト世界点WPRとの重ね合わせをもたらすHMD10のスクリーン11上の並進は、ボアサイト画像ARRとボアサイト世界点WPRとの間の不一致、またはオフセットを補償することができる補償法則を決定するために処理される(ブロック915)。
例えば、補償法則は、仮想ボアサイト位置PVR(ボアサイト画像ARRが対応する仮想ボアサイト点VPRに関連付けられる)とアライメント位置PWR(基準世界点WPRに関連する)の間の回転並進関係に基づいて補償行列によって定義することが可能である。
実際、ボアサイト手順は、少なくとも1つのマーカ40、すなわち車両5と一体化した基準要素の検出のおかげで特定可能な、GNSSモジュール20の位置とHMD10の位置との間の回転並進関係を、簡単かつ効果的に決定することが可能になる。言い換えれば、回転並進関係は、GNSSモジュール20の位置を、車両の乗客室51内の静止位置に配置された少なくとも1つのマーカ40の位置と関連付けるものである。これにより、GNSSモジュール20によって使用されるグローバル座標系におけるHMD10の実際の位置を正確かつ精密に定義することができる。
要約すると、補償法則は、ユーザが環境を観察するHMD10のグローバル位置と、GNSSモジュール20によって検出されるグローバル位置とが異なることによってもたらされる誤差を補正することを可能にする。補償法則を適用することによって、例えば、HMD10を装着したユーザの頭部の動きによる乗客室51内のHMD10の動きにかかわらず、HMD10上の任意の画像の再生位置が相対世界点WPRに対応するように補正することが可能である。
較正ステップが完了すると、方法900の動作ステップにおいて、システム1は、対応する世界点WP1~3に関連付けられた1つまたは複数の画像AR1~3をHMD10の画面11上に高精度かつ高精度で位置決めしてHMD10にリアルタイムで表示できる(図9に模式的に示すように)。
初めに、マーカ40に対するHMD10の姿勢が決定される(ブロック917)。言い換えれば、車両5の内部に搭載され、それと一体であるマーカ40に対するHMD10の相対位置が決定される。
好ましい実施形態では、認識された各マーカ40に対する各カメラ15の姿勢の計算が実行される。言い換えれば、カメラ15とマーカ40との間の相対位置を特定するために、カメラ15によって画像A+およびA-の組が取得される。
例えば、マーカ40に対する各カメラ15の姿勢は、以下に記載のものに基づくアルゴリズムによって特定することが可能である。
F. Ababsa, M. Mallem, "Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems" International conference on Virtual Reality continuum and its applications in industry, pp.431-435, 2004
追加的または代替的に、カメラのポーズを特定するように構成されたアルゴリズムは、以下に含まれる教えに基づいて行うことが可能である。
Madjid Maidi, Jean-Yves Didier, Fakhreddine Ababsa, Malik Mallem: "A performance study for camera pose estimation using visual marker-based tracking", published in Machine Vision and Application, Volume 21, Issue 3, pages 265-376, year 2010, and/or in Francisco J. Romero-Ramirez, Rafael Munoz-Salinas, Rafael Medina-Carnicer, 2010: "Speeded Up Detection of Squared Fiducial Markers" published in Image and Vision Computing, Volume 76, year 2018.
F. Ababsa, M. Mallem, "Robust Camera Pose Estimation Using 2D Fiducials Tracking for Real-Time Augmented Reality Systems" International conference on Virtual Reality continuum and its applications in industry, pp.431-435, 2004
追加的または代替的に、カメラのポーズを特定するように構成されたアルゴリズムは、以下に含まれる教えに基づいて行うことが可能である。
Madjid Maidi, Jean-Yves Didier, Fakhreddine Ababsa, Malik Mallem: "A performance study for camera pose estimation using visual marker-based tracking", published in Machine Vision and Application, Volume 21, Issue 3, pages 265-376, year 2010, and/or in Francisco J. Romero-Ramirez, Rafael Munoz-Salinas, Rafael Medina-Carnicer, 2010: "Speeded Up Detection of Squared Fiducial Markers" published in Image and Vision Computing, Volume 76, year 2018.
その後、回転および並進の測定値は、例えば、平均化および/または相関演算を実装する適切なアルゴリズムによって結合され、識別されたマーカ40のそれぞれに対するHMD10の回転および向きの対応する測定値を得る。
有利なことに、較正ステップで決定された副マーカ40と主マーカ40との間の回転並進関係は、主マーカ40をすべて参照したHMD10のポーズのセットを得るように副マーカ40を参照して計算されたHMD10の姿勢に適用され、次に、特に精密である主マーカ40に対するHMD10の結合ポーズを得るために互いに、例えば、平均化および/または相関操作を実行する適切なアルゴリズムによって、組み合わされる。言い換えれば、主マーカ40に対する、すなわち相対的な基準系に対するHMD10の向きおよび位置が、決定される。
さらに、1つまたは複数の識別されたマーカ40は、例えば、画像が車両5のフロントガラス53またはその一部に重畳して表示されるように、画像が表示されるスクリーン11の表示領域Rの形状および範囲を定義するために使用することができる(図4aおよび図4bに模式的に示されるように)。
続いて、または並行して、GNSSモジュール20を介して車両位置PGが検出される(ブロック919)。
その後、車両位置PGは、グローバル基準系に対するHMD10の位置を決定するために、較正ステップ中に定義された補償法則を適用することによって修正される(ブロック921および図2)。
好ましい実施形態では、車両位置PGは、ボアサイト手順の間に決定された回転並進関係を通じて修正され、主マーカ40に関して決定されたHMD10の相対位置をグローバル基準系、例えば、地理座標、に参照される位置へ変換することを可能にする。
言い換えれば、補償法則のおかげで、グローバル基準系に対するHMD10の位置と向きがリアルタイムで決定される。
HMD10の姿勢によって定義された方位に基づいて、ビューボリュームVOLが、すなわち、HMD10の視野FOVにおいて構成される空間の体積が決定される(ブロック923)。好ましくは、ビューボリュームVOL(図2に概略的に図示)は、HMD10の現在の位置によって予め定められた距離内、すなわち視野FOVの深さ内に広がり、場合によっては、IMU6によっておよび/または車両5の速度および/または加速度などの車両センサ5によって取得されたパラメータに基づいて修正される。
続いて、メモリ領域31に格納された世界点WPO-3の関心位置PWO-3のうちの1つ以上がビューボリュームVOL内に構成されているか否かが検証される(ブロック925)。
ビューボリュームVOLに構成された各関心位置PW1-3について、画面を装着したユーザがそれぞれの世界点WP1-3で各画像AR1-3を見るように、対応する可視化位置PA1-3が算出される(ブロック927)。有利なことに、画像AR1-3の形状および他の特性は、対応する世界点WP0-3に関連する情報、例えば、幾何学的情報-に基づくことができ、好ましくは、関心位置PW0-3に関連するメモリ領域31に含まれる。
そして、画像AR1-3は、対応する可視化位置PA1-3において、HMD10上にそれぞれ再生される。好ましくは、各画像AR1-3は、車両のフロントガラス53に重畳されたスクリーン11の表示領域Rに構成されている場合に表示される。
例えば、ソフトウェア製品MATLAB(登録商標)で構成され、The MathWorks, Inc.の2019年3月の「Computer Vision Toolbox(登録商標)Reference」バージョン9.0(リリースR2019a)改訂版に記載されているComputer Vision Toolbox(登録商標)の「worldToImage」機能の類似のアルゴリズムを実装することにより、できるだけ多くの関心位置PW1~3に相当するそれぞれの視覚化位置PA1~3に表示するように画像AR1~3を生成することが可能である。
さらに、方法900は、HMD10の位置とかかる世界点WP1-3との間の時間および/または距離の関数として、世界点WP1-3に関連付けられた2次元画像ARを(例えば、スケール、視点などの変動を通して)変更することを提供する(ブロック929)。すなわち、各世界点WP1-3の追跡またはトラッキングは、ビューボリュームVOL内に構成されている限り、車両5の移動の関数として提供される(例えば、車両5の位置の変動に基づいて推定される)。さらに、画像AR1-3のそれぞれが対応する世界点WP1-3と正しく関連付けられるように、HMD10に表示される画像AR1-3の形状および/または位置を動的に変更することが規定されている。
言い換えれば、操作ステップの間、方法900は、HMD10を装着しているユーザの視野FOVにおいて見えるものと正確かつ確実に統合する2次元画像(運転軌跡、速度制限、道路状況に関する情報、大気状況、および/または都市 、建物、モニュメント、商業施設などのFOVにおいて構成される関心点に対するものなど)をHMD10上に表示することが可能である。有利なことに、方法900は、車両5とHMD10の両方の位置変動に適応するように、表示される画像AR1-3の形状および可視化位置をリアルタイムで修正するように構成される。
このように考案された本発明は、いくつかの修正および変形が可能であり、これらはすべて本発明の概念の範囲内に入る。
例えば、一実施形態では、処理ユニット30は、HMD10上の画像の位置精度を高めるため、および/またはより詳細なおよび/または追加の情報項目を含む画像を提供するために、IMUおよび/または車両5のセンサによって取得された測定値を利用するように構成される。
最終的に、ボアサイト手順中に、ボアサイト画像ARRと基準世界点との間の最適な重なりを保証するために、ボアサイト画像ARRを拡大縮小する可能性も提供され得る。この場合、ボアサイト画像ARRのスケーリング操作は、ボアサイト画像ARRと基準世界点WPRの間の不一致を評価する際にも考慮することができる。
さらに、ボアサイティング手順中のボアサイト画像ARRとボアサイト世界点WPRとのオーバーラップステップを自動化することを禁止するものはない。例えば、処理ユニット30は、HMD10の視野FOVにフレーミングされたときにボアサイト世界点WPRを識別し、その後、ボアサイト画像ARRをボアサイト世界点WPRに自動的に重ね合わせ、または1以上の適切なアルゴリズムを適用してボアサイト世界点WPRにおけるボアサイト画像ARR間の不一致を自動的に決定するように構成されることが可能である。
一実施形態では、方法900は、例えばビューボリューム内の地理的関心領域における新しい世界点の存在を確認するために、GNSSデータ・データベース7への定期的なアクセスを提供する。
明らかなように、上述のアライメント手順の後、システム1は、任意の数のマーカ40を使用して動作するように構成することができる。例えば、一対のマーカ40または単一のマーカ40を使用して、方法900の動作ステップ中にHMD10の姿勢を決定することができる。これにより、車両5の移動および/または世界点WP0~3の移動による変動に対するシステム1の全体的な応答性を向上させた状態で、運転支援をリアルタイムで提供するためにシステム1が必要とする計算負荷を調整することができる。さらに、これにより、HMD10の姿勢の特定精度と、処理ユニット30に要求される演算負荷との関係を調整することができる。
一実施形態では、表示されるべき各世界点WP1-3について、方法900は、少なくとも1つの識別されたマーカ40に関して相対的な仮想点を定義することを提供する。一つ以上の副マーカが特定される場合、主マーカに関してこれらの相対的な仮想点を再定義するために、副マーカに関して計算された相対的な仮想点に回転並進関係が適用される。最終的な仮想点は、主マーカを基準とするすべての相対的な仮想点を組み合わせることによって決定される。好ましくは、例えば平均化および相関演算を含む適切なアルゴリズムによって決定される。次いで、最終的な仮想点は、HMD10のスクリーン11の表面の2次元基準系で定義される画像における仮想点の位置を補正するために、補償法則を適用することによって、表示されるべき対応する画像に変換される。
図示しない実施形態では、世界点、例えば図2の世界点WP0がビューボリュームVOLに構成されていない場合、対応する仮想指標、例えば矢印がHMD10に表示され、例えば表示領域Rの端部に再生され、先端が対応する世界点WP0の位置に向かっていることを提供することが可能である。なお、矢印以外にも、表示領域Rの外側の世界点WP0に関する他の情報、例えば、世界点WP0の名称、距離などを表示することも可能である。
代替的な実施形態では、画像ARは、車両5からの距離、相対する世界点に関連する運転上の危険、および/または他の情報を伝えるためのものに基づいて偽色で再現され得る。
2つ以上のステップを並行して、または異なる順序で実行することを禁止するものではないのと同様に、方法900の1つ以上の任意のステップを実施および/または省略することを禁止するものではない。
さらに、1つ以上の実装の詳細は、他の技術的に等価な要素で置き換えることができる。
例えば、ArUcoマーカ30に加えて、または代替的に、1つ以上のデータマトリクス、QRコード、および/または他のタイプの参照要素など、他の参照要素30を使用することが可能である。
当然ながら、異なる(より多いまたはより少ない)数のマーカ40からなるマーカ40の代替的な配置も提供することが可能であり、最終的に、上述の方法900を実施するために単一のマーカ40を有することを禁止するものはない。
さらに、マーカ40は、追加的および/または代替的な位置に配置することが可能である。例えば、ユーザが視線をそれらに向けて動かした場合でも正しく配置された拡張現実画像の再生を可能にするために、1つまたは複数のマーカ40を窓の1つまたは車両5の後部窓上に配置することができる。
好ましくは、限定するものではないが、マーカ40は、以下に含まれる教示に基づいて作成されたものである。
Image and Vision Computing, volume 76, pages 38-47, year 2018に形成された、Francisco J. Romero-Ramirez, Rafael Munioz-Salinas, Rafael Medina-Carnicer: "Speeded up detection of squared fiducial markers"、
Pattern Recognition volume 51, pages 481-491, year 2016に掲載された、S. Garrido-Jurado, R. Munioz Salinas, F.J. Madrid-Cuevas, R. Medina-Carnicer: "Generation of fiducial marker dictionaries using mixed integer lineARRrogramming”、および/または、
Pattern Recognition, volume 47, number 6, pages 2280-2292, year 2014に掲載された、Garrido-Jurado, Sergio, et al.: "Automatic generation and detection of highly reliable fiducial markers under occlusion"
Image and Vision Computing, volume 76, pages 38-47, year 2018に形成された、Francisco J. Romero-Ramirez, Rafael Munioz-Salinas, Rafael Medina-Carnicer: "Speeded up detection of squared fiducial markers"、
Pattern Recognition volume 51, pages 481-491, year 2016に掲載された、S. Garrido-Jurado, R. Munioz Salinas, F.J. Madrid-Cuevas, R. Medina-Carnicer: "Generation of fiducial marker dictionaries using mixed integer lineARRrogramming”、および/または、
Pattern Recognition, volume 47, number 6, pages 2280-2292, year 2014に掲載された、Garrido-Jurado, Sergio, et al.: "Automatic generation and detection of highly reliable fiducial markers under occlusion"
さらに、上述の例示的な実施形態では、補償法則がGNSSモジュール20によって検出された、グローバル位置に適用されることが示されたが、マーカ40に基づいて決定された車両5内のHMD10の相対位置に適用される対応する補償法則を定義することを禁止するものはない。
さらに、上記のような単一の操作ではなく、順番に、および/または並行して実施することができる2つの別々の操作を通じて、HMD10の位置および向きを特定することを禁止するものはない。
本出願人は、マーカ40の使用が特に有利であることを確認したが、例えば、運転者に向けられたビデオおよび/または写真カメラおよび/またはHMDに取り付けられた1または複数のモーションセンサーの使用を通じて、フロントガラスおよび/または乗客コンパートメントの他の要素に対するHMDの位置及び向きが異なる方法で識別される代替方法の実施を禁止するものはない。
システム1は、車両の乗客コンパートメント内で組み立てられるコンポーネントのキットとして提供され得る。詳細には、キットは、少なくとも、処理ユニット30と、専用のGNSSモジュール20、または、代替的に、車両のGNSSモジュールへの処理ユニット間の有線および/または無線接続要素と、HMD10、好ましくは、2つのカメラ10を含み、処理ユニットに接続可能な、HMD10とを備える。代替的に、処理ユニット30は、1つ以上の市販のHMD(例えば、Microsoft HoloLens)で動作するように構成され得る。したがって、キットの1つ以上のバージョンは、必ずしもHMDを構成する必要はない。
あるいは、処理ユニット30を車両5または車両に接続可能なユーザ装置(スマートフォン、タブレット、コンピュータなど)に組み込むこと、または方法900を実施するように構成されたソフトウェア製品を車両5またはユーザ装置の処理ユニットにインスタンス化することを禁止するものはない。
さらに、システム1の要素間の接続、特に、処理ユニット30とHMD10との間の接続は、有線タイプおよび好ましくは無線タイプの両方とすることができる。同様に、システム1の要素と他の要素との接続は、例えば、処理ユニット30とIMU、車両5のECU(図示せず)、車両5のインフォテインメントシステム(図示せず)等との接続も可能であるが、有線または無線のいずれでもよい。
実際には、使用される材料、ならびにコンテント形状およびサイズは、この理由のために以下の請求項の保護範囲から逸脱することなく、要件に従って何でもあり得る。
Claims (13)
- HMD(10)、および車両(5)に搭載された位置決めモジュール(20)を含むシステム(1)により実施される車両(5)の運転を支援するための方法(900)であって、前記方法(900)は、
前記位置決めモジュール(20)によって車両位置を検出し(919)、
前記車両位置に補償法則を適用することによって、前記HMD(10)の位置を決定し(921)、
前記HMD(10)の位置に基づいて、前記HMD(10)の視野(FOV)に含まれる空間の体積に対応するビューボリューム(VOL)を決定し(923)、
前記ビューボリューム(VOL)に含まれる位置のセットを、前記システム(1)のメモリ領域(31)に記憶された関心対象(WP1-3)と関連付けられた少なくとも1つの関心位置(PW1-3)と比較し(925)、
前記ビューボリューム(VOL)内に1つ以上の関心位置(PW1-3)が構成されている場合、
前記関心対象(WP1-3)に関連付けられた画像(AR1-3)を表示する前記HMD(10)の可視化位置(PA1-3)を算出し(927)、
前記可視化位置(PA1-3)に前記画像(AR1-3)を表示し(927)、
前記可視化位置(PA1-3)は、前記HMD(10)を装着したユーザが、前記関心対象(WP1-3)に対応する前記画像(PA1-3)を視認するような位置である、
方法。 - 請求項1に記載の方法(900)であって、前記システム(1)は、前記車両(5)の内部に配置された基準要素(40)をさらに備え、前記方法は、さらに、
前記基準要素(40)に対する前記HMD(10)の相対位置を決定するステップ(917)を備え、前記相対位置は、前記基準要素(40)に関連付けられた相対基準系を参照し、および、
前記位置決めモジュール(20)により車両位置を検出する前記ステップ(919)は、
グローバル基準系に関して前記車両位置を検出するステップを備え、
前記車両位置に補償法則を適用して、前記HMD(10)の位置を決定する前記ステップ(921)は、
前記基準要素(40)のグローバル位置を決定するために検出された前記車両位置に前記補償法則を適用するステップであって、前記グローバル位置は、前記グローバル基準系を参照するステップと、
前記基準要素(40)のグローバル位置に基づいて、前記HMD(10)の前記相対位置を、対応するグローバル位置に変換するステップと、
を備える。 - 請求項2に記載の方法(900)であって、
前記基準要素(40)に対する前記HMD(10)の相対位置を決定する前記ステップは、
前記車両(5)の内部に位置する前記基準要素(40)の少なくとも1つの画像を取得するステップと、
前記取得した画像を処理することにより、前記基準要素(40)に対する前記HMD(10)の前記相対位置を算出するステップと、
を備える。 - 請求項3に記載の方法(900)であって、
前記HMD(10)は、前記HMD(10)のスクリーン(11)の反対側に配置された少なくとも2つのビデオカメラ(15)を備え、
前記基準要素(40)に対する前記HMD(10)の相対位置を決定する前記ステップ(917)は、
前記車両(5)の内部に位置する前記基準要素(40)の画像を取得するために、前記HMD(10)の各カメラ(15)を使用するステップと、
それぞれの取得された前記画像を処理することによって、前記基準要素(40)に対する各カメラ(15)の相対位置を計算するステップと、
前記カメラ(15)の相対位置を結合することにより、前記基準要素(40)を基準とした前記HMD(10)の相対位置を算出するステップと、
を備える。 - 請求項2ないし4のいずれか一項に記載の方法であって、
前記システム(1)が複数の基準要素(40)を備え、そのうちの1つの選択された基準要素が主基準要素として働き、他の基準要素が副基準要素として働き、
前記方法は、さらに、
各副基準要素について、前記副基準要素と前記主基準要素との間の回転並進関係に対応する基準関係を計算するステップ(903-908)を備え、
前記基準要素(40)に対する前記HMD(10)の相対位置を決定する前ステップ(917)は、
少なくとも2つの基準要素(40)に対する前記HMD(10)の相対位置を計算するステップと
各副基準要素に関して計算された前記HMD(10)の前記相対位置に前記回転並進関係を適用するステップと、
前記少なくとも2つの基準要素に関して算出された前記相対位置を組み合わせることによって、前記主基準要素に対する前記HMD(10)の複合相対位置を算出するステップと、
を備える。 - 請求項2ないし5のいずか一項に記載の方法(900)であって、
ビューボリューム(VOL)を決定する前記ステップ(923)は、
前記少なくとも1つの取得された画像を処理することによって、前記基準要素(40)に対する前記HMD(10)の向きを計算するステップと
前記HMD(10)のグローバル位置と、前記基準要素(40)に対する前記HMD(10)の向きとに基づいて、前記HMD(10)の視野(FOV)を決定するステップと、
を備える。 - 請求項1ないし6のいずれか一項に記載の方法(900)であって、前記方法は、
ボアサイト位置(PWR)を選択するステップと(909)、
前記HMD(10)上の可視化位置(PAR)にボアサイト画像(ARR)を表示するステップ(911)であって、前記可視化位置(PAR)は、前記ボアサイト位置(PWR)および前記車両位置に応じて計算されるステップと、
前記ボアサイト位置(PWR)と前記可視化位置(PAR)との間の位置の不一致を測定するステップ(913)と)、
前記不一致に基づいて前記補償法則を決定するステップ(915)と、
を備える。 - 請求項7に記載の方法(900)であって、
前記ボアサイト位置(PWR)と前記可視化位置(PAR)との間の不一致位置を測定することは、
仮想ボアサイト位置(PVR)と前記ボアサイト位置(PWR)との間の回転並進関係を定義するステップを備え、
前記仮想ボアサイト位置(PVR)は、3次元基準系における前記可視化位置(PAR)の投影に対応し、
前記補償法則を決定する前記ステップは、
前記補償法則を決定するために、前記回転並進関係を使用するステップ、
を備える。 - 請求項8に記載の方法(900)であって、
前記ボアサイト位置(PW)に、ボアサイト対象が位置し、
回転並進関係を定義する前記ステップは、
前記HMD(10)の視野(FOV)にボアサイト対象物を含むように、前記HMD(10))を方向付けるステップと、
前記HMD(10)に表示されたボアサイト画像(ARR)を、前記ボアサイト位置(PWR)においてボアサイト対象物(WPR)との重なりを得るまで並進させるステップと、
2次元基準系における前記ボアサイト画像(ARR)の並進と、前記3次元基準系における前記仮想ボアサイト位置(PVR)の回転を変換するステップと、
を備える。 - 請求項1ないし9のいずれか一項に記載の方法(900)であって、前記方法(900)は、さらに、
車両移動情報(5)を取得するステップを備え、
前記HMD(10)に、関心対象に関連する画像を表示する前記ステップは、
前記車両(5)の移動および時間の関数として画像を変更するステップ、
を備える。 - 車両(5)の運転を支援するためのシステム(1)であって、前記システム(1)は、
HMD(10)と、
前記車両に搭載され、前記車両の位置を検出するように構成された位置決めモジュール(20)と、
関心対象に関係付けられる少なくとも1つの関心位置が記憶されているメモリ領域(31)と、
前記位置決めモジュール(20)、前記HMD(10)に動作可能に接続され、請求項1ないし10のいずれか一項に記載の方法(900)を実施するように構成された処理ユニット(30)と、
を備える。 - 請求項11に記載のシステム(1)において、前記システム(1)は、さらに、
前記車両(5)の内部に配置することができる少なくとも1つの基準要素(40)を備える。 - 請求項11または12に記載のシステム(1)において、
前記処理ユニット(30)は、
車両通信(5)用のバス(55)と、車両情報(5)を取得するための慣性測定ユニット(6)とのうちの少なくとも1つに、動作可能に接続されている。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102019000017429 | 2019-09-27 | ||
IT102019000017429A IT201900017429A1 (it) | 2019-09-27 | 2019-09-27 | Metodo e sistema per l'assistenza alla guida di un veicolo |
PCT/IB2020/058765 WO2021059107A1 (en) | 2019-09-27 | 2020-09-21 | Method and system of vehicle driving assistance |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022549562A true JP2022549562A (ja) | 2022-11-28 |
Family
ID=69469060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022509025A Pending JP2022549562A (ja) | 2019-09-27 | 2020-09-21 | 車両運転支援方法およびシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220326028A1 (ja) |
EP (1) | EP4034841A1 (ja) |
JP (1) | JP2022549562A (ja) |
CN (1) | CN114503008A (ja) |
CA (1) | CA3152294A1 (ja) |
IT (1) | IT201900017429A1 (ja) |
WO (1) | WO2021059107A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT202100007862A1 (it) * | 2021-03-30 | 2022-09-30 | Milano Politecnico | Metodo e sistema di assistenza alla guida di un veicolo |
US11562550B1 (en) * | 2021-10-06 | 2023-01-24 | Qualcomm Incorporated | Vehicle and mobile device interface for vehicle occupant assistance |
US20230222625A1 (en) * | 2022-01-12 | 2023-07-13 | Htc Corporation | Method for adjusting virtual object, host, and computer readable storage medium |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020105484A1 (en) * | 2000-09-25 | 2002-08-08 | Nassir Navab | System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality |
KR101544524B1 (ko) * | 2010-12-16 | 2015-08-17 | 한국전자통신연구원 | 차량용 증강현실 디스플레이 시스템 및 차량용 증강현실 디스플레이 방법 |
US9715764B2 (en) * | 2013-10-03 | 2017-07-25 | Honda Motor Co., Ltd. | System and method for dynamic in-vehicle virtual reality |
WO2015123774A1 (en) * | 2014-02-18 | 2015-08-27 | Sulon Technologies Inc. | System and method for augmented reality and virtual reality applications |
EP2933707B1 (en) * | 2014-04-14 | 2017-12-06 | iOnRoad Technologies Ltd. | Head mounted display presentation adjustment |
US9626802B2 (en) * | 2014-05-01 | 2017-04-18 | Microsoft Technology Licensing, Llc | Determining coordinate frames in a dynamic environment |
US20160084661A1 (en) * | 2014-09-23 | 2016-03-24 | GM Global Technology Operations LLC | Performance driving system and method |
IL235073A (en) * | 2014-10-07 | 2016-02-29 | Elbit Systems Ltd | Head-mounted view of enlarged images that are locked on an object of interest |
CN107757479A (zh) * | 2016-08-22 | 2018-03-06 | 何长伟 | 一种基于增强现实显示技术的驾驶辅助系统及方法 |
US11727646B2 (en) * | 2019-04-10 | 2023-08-15 | Trimble Inc. | Augmented reality image occlusion |
-
2019
- 2019-09-27 IT IT102019000017429A patent/IT201900017429A1/it unknown
-
2020
- 2020-09-21 US US17/639,948 patent/US20220326028A1/en not_active Abandoned
- 2020-09-21 CN CN202080067235.6A patent/CN114503008A/zh active Pending
- 2020-09-21 JP JP2022509025A patent/JP2022549562A/ja active Pending
- 2020-09-21 EP EP20800987.8A patent/EP4034841A1/en active Pending
- 2020-09-21 WO PCT/IB2020/058765 patent/WO2021059107A1/en active Application Filing
- 2020-09-21 CA CA3152294A patent/CA3152294A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CA3152294A1 (en) | 2021-04-01 |
CN114503008A (zh) | 2022-05-13 |
WO2021059107A1 (en) | 2021-04-01 |
IT201900017429A1 (it) | 2021-03-27 |
EP4034841A1 (en) | 2022-08-03 |
US20220326028A1 (en) | 2022-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6956503B2 (en) | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method | |
EP2936240B1 (en) | Infotainment system | |
JP2022549562A (ja) | 車両運転支援方法およびシステム | |
JP6138566B2 (ja) | 部品取付作業支援システムおよび部品取付方法 | |
CN104204847B (zh) | 用于可视化车辆的周围环境的方法和装置 | |
US20100287500A1 (en) | Method and system for displaying conformal symbology on a see-through display | |
CN107554425A (zh) | 一种增强现实车载平视显示器ar‑hud | |
CN105676452A (zh) | 用于车辆的增强现实hud显示方法和装置 | |
CN103502876A (zh) | 用于校正车辆的投影装置的方法和设备 | |
WO2021020145A1 (ja) | 表示制御装置 | |
CN111094898B (zh) | 控制机动车辆增强现实抬头显示设备的显示的方法和设备 | |
CN109788243B (zh) | 识别和可视化地呈现显示增强图像内容时的系统不可靠性 | |
EP3642694B1 (en) | Augmented reality system and method of displaying an augmented reality image | |
KR20170060652A (ko) | 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법 | |
CN102235869A (zh) | 用于标记汽车目的地的方法和信息系统 | |
WO2021020385A1 (ja) | 表示制御装置 | |
CN111655528B (zh) | 控制用于机动车的增强现实平视显示器设备的显示的方法、设备和具有指令的计算机可读的存储介质 | |
WO2004048895A1 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
CN112129313A (zh) | 基于惯性测量单元的ar导航补偿系统 | |
Foxlin et al. | Improved registration for vehicular AR using auto-harmonization | |
JP4250391B2 (ja) | 指標検出装置、指標検出方法 | |
CN108322698B (zh) | 基于多摄像机和惯性测量单元融合的系统和方法 | |
WO2019119358A1 (en) | Method, device and system for displaying augmented reality poi information | |
US20190094538A1 (en) | Display System, Related Display Method and Computer Program | |
JP2024518254A (ja) | 運転支援方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230706 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240827 |