JP2023081930A - アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 - Google Patents
アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 Download PDFInfo
- Publication number
- JP2023081930A JP2023081930A JP2023031303A JP2023031303A JP2023081930A JP 2023081930 A JP2023081930 A JP 2023081930A JP 2023031303 A JP2023031303 A JP 2023031303A JP 2023031303 A JP2023031303 A JP 2023031303A JP 2023081930 A JP2023081930 A JP 2023081930A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- alignment
- augmented reality
- image
- reality display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 110
- 238000000034 method Methods 0.000 title claims abstract description 98
- 238000012937 correction Methods 0.000 claims abstract description 42
- 230000008569 process Effects 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 26
- 238000005070 sampling Methods 0.000 claims description 10
- 239000003550 marker Substances 0.000 claims 1
- 238000013459 approach Methods 0.000 abstract description 14
- 230000003287 optical effect Effects 0.000 description 17
- 230000009466 transformation Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000008844 regulatory mechanism Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003164 Diplopia Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 208000029444 double vision Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
- G02B2027/0154—Head-up displays characterised by mechanical features with movable elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0149—Head-up displays characterised by mechanical features
- G02B2027/0161—Head-up displays characterised by mechanical features characterised by the relative positioning of the constitutive elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
【課題】両眼拡張現実ディスプレイデバイスおよび対応する方法が、エンドユーザによってアライメントキャリブレーションが実行されることを可能にする。【解決手段】1つのアプローチに従うと、カメラ80は、左眼用ディスプレイからの投影画像の一部および右眼用ディスプレイからの投影画像の一部を同時に含む視野を有するように配置される。各ディスプレイを介して較正画像の少なくとも一部を投影すること、およびカメラでサンプリングされた画像内で右視野および左視野のアライメント特性を識別することにより、アライメント補正を導き出すことができる。代替的なアプローチは、右眼および左眼それぞれのディスプレイユニットに厳密に関連付けられた前向きカメラによってサンプリングされた画像の相関を利用するか、または、横方向にスワップされたカメラ画像を現実世界の視野にアラインするための手動調整を入力するようにユーザに要求する。【選択図】図10A
Description
本発明は、拡張現実ディスプレイに関し、特に、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、ならびに対応するアライメント方法に関する。
拡張画像の効果的な両眼観察体験を提供するために、拡張現実の眼鏡は正確にアラインされなければならず、比較的小さなアライメントのずれでも眼精疲労や頭痛を引き起こすリスクがあり得る。従来のアプローチは、典型的には、予備的なアライメントおよびディスプレイの固定相対位置を達成するために、左眼用ディスプレイおよび右眼用ディスプレイを、図1Aに図示される機械的に堅固な共通支持構造上に取り付けることを伴う。図1Bに概略的に示されるように、画像の電子シフトによって最終的な微細なアライメントが達成され、この図は、ディスプレイ間の正しいアライメントを実現するための、画像生成マトリックス30(すなわち、ディスプレイ視野の物理的末端)、および、通常、各ディスプレイに関連するファームウェアにプログラムされた較正マトリックスに従って変換された投影画像32を示す。30と32との間のマージンは、事前に規定された制限内でアライメントの誤りを補正するために要求されるいかなる変換にも対応するように、システムに設計されている。
このアプローチに従う例示的なアライメントプロセスは、本明細書において図1A-2を参照して例証される。電子アライメントパラメータは、眼鏡を2台の同時アラインされたカメラの前に配置し、2台のプロジェクタによって生成された拡張画像の配向を比較することによって生成される。導き出された較正データは、画像プロジェクタの変換ファームウェアに導入される。あるいは、光学システムの機械的アライメントは、要求される光学的精度の範囲内で正確にすることができる。上記のアライメントプロセスには専用の光学アライメントベンチが要求され、生産施設における実装のためにのみ適している。
この技術を消費者市場のためにより適したものにするために、軽量かつコンパクトなフォームファクターで拡張現実眼鏡を実装する必要がある。しかし、軽量の実装では、時間の経過とともに2つのディスプレイの不変のアライメントを保証するために十分な機械的な堅固さが不足することが多く、その代わりに熱変動およびその他の機械的または環境的影響に起因する変動を受ける。
さらに、瞳孔間距離(IPD、眼の間の距離)は、様々な人について15ミリメートルまで異なる可能性がある。結果として、2台のプロジェクタがしっかりと接続されている場合、各アイボックス(すなわち、図1Aの領域10として示される、瞳孔があると予想される各プロジェクタの照射領域)は、規定されたマージン内にIPDを有する可能性のあるすべてのユーザに対応するために、各眼について15/2=7.5mmだけ、より広くなければならない。大きなアイボックスは、よりかさ高くかつ高価な光学部品を決定付ける。IPD調整用のメカニズムが提供されている場合、通常、これが2つのディスプレイ間のアライメントにさらなる不確実性を導入し、いかなる事前に較正されたアライメント補正も信頼できなくする。
本発明は、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、および対応するアライメント方法である。
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を導き出すための方法が提供され、上記方法は、以下の工程、(a)カメラの視野が左眼用ディスプレイからの投影画像の一部と右眼用ディスプレイからの投影画像の一部を同時に含むように、視野を有するカメラを配置する工程、(b)右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも1つの右視野アライメント特性および少なくとも1つの左視野アライメント特性を含む較正画像の少なくとも一部を投影する工程、(c)カメラを利用して画像をサンプリングする工程、(d)上記画像内で上記右視野アライメント特性および上記左視野アライメント特性を識別する工程、ならびに(e)上記右視野アライメント特性および上記左視野アライメント特性の画像内の位置から、拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を導き出す工程を包含する。
本発明の実施形態のさらなる特徴によれば、画像が、右眼用ディスプレイを介して見られる右視野アライメント特性、および左眼用ディスプレイを介して見られる左視野アライメント特性を含むように、カメラが拡張現実ディスプレイデバイスの表示側に配置される。
本発明の実施形態のさらなる特徴によれば、投影された較正画像は見かけの焦点距離を用いて表示され、カメラは見かけの焦点距離において焦点が合わされる。
本発明の実施形態のさらなる特徴によれば、カメラは、右眼用ディスプレイおよび左眼用ディスプレイのそれぞれからの画像照射の外向きに反射された部分を捕捉し、画像が右眼用ディスプレイを介して見られる左視野アライメント特性、および左眼用ディスプレイを介して見られる右視野アライメント特性を含むように、上記カメラが、拡張現実ディスプレイデバイスの表示側から反対側に配置される。
本発明の実施形態のさらなる特徴によれば、カメラはハンドヘルドカメラであり、上記方法は、カメラの正しい位置決めを支援するために、少なくとも1つの指示を、右眼用ディスプレイおよび/または左眼用ディスプレイを介してユーザに表示することをさらに包含する。
本発明の実施形態のさらなる特徴によれば、(a)少なくとも3つの基準点を規定するために十分な両眼拡張現実ディスプレイデバイスに関連付けられた特徴が画像内で識別され、および(b)カメラの位置は上記少なくとも3つの基準点に対して決定される。
本発明の実施形態のさらなる特徴によれば、位置決めは、反射視野が左眼用ディスプレイからの投影画像の一部と右眼用ディスプレイからの投影画像の一部を同時に含むように、カメラを鏡に向けることを含む。
本発明の実施形態のさらなる特徴によれば、カメラは、スクリーンと一体化されたモバイルデバイスのカメラであり、上記方法は、カメラの正しい位置決めを支援するために少なくとも1つの指示を上記スクリーンを介してユーザに表示することをさらに含む。
本発明の実施形態のさらなる特徴によれば、上記拡張現実ディスプレイデバイスに対するアライメント補正は、導き出されたアライメント補正に基づいて実施される。
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法もまた提供され、上記方法は、以下の工程、(a)拡張現実デバイスを供給する工程であって、(i)前向きの第1のカメラと厳密に統合された第1の拡張現実ディスプレイを備えた右眼用ディスプレイユニット、(ii)前向きの第2カメラと厳密に統合された第2の拡張現実ディスプレイを備えた左眼用ディスプレイユニット、および(iii)上記右眼用ディスプレイユニットと上記左眼用ディスプレイユニットとの間を相互接続する支持構造を備えた、拡張現実デバイスを供給する工程、(b)上記第1のカメラと上記第1の拡張現実ディスプレイとの間の第1のアライメントマッピング、および上記第2のカメラと上記第2の拡張現実ディスプレイとの間の第2のアライメントマッピングを供給する工程、(c)上記第1のカメラから少なくとも1つの画像をサンプリングする工程、(d)上記第2のカメラから少なくとも1つの画像をサンプリングする工程、(e)上記第1のカメラおよび第2のカメラからの上記画像を同時処理して、上記第1のカメラと上記第2のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出す工程、(f)上記カメラ間マッピングを上記第1のアライメントマッピングおよび上記第2のアライメントマッピングと組み合わせて、上記第1の拡張現実ディスプレイおよび上記第2の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出す工程、ならびに(g)上記ディスプレイ間アライメントマッピングに基づいて上記拡張現実ディスプレイデバイスにアライメント補正を実装する工程を包含する。
本発明の実施形態のさらなる特徴によれば、上記第1のカメラおよび上記第2のカメラからの上記少なくとも1つの画像は、遠景に対してサンプリングされる。
本発明の実施形態のさらなる特徴によれば、上記第1のカメラおよび上記第2のカメラからの上記少なくとも1つの画像が複数の画像であり、上記同時処理が、上記複数の画像に含まれるシーンの少なくとも一部の3次元モデルを導き出すことを含む。
本発明の実施形態の教示によれば、両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法もまた提供され、上記方法は、以下の工程、(a)右眼用拡張現実ディスプレイ、左眼用拡張現実ディスプレイ、上記右眼用拡張現実ディスプレイに空間的に関連付けられた右カメラ、および上記左眼用拡張現実デバイスに空間的に関連付けられた左カメラを備えた拡張現実ディスプレイを供給する工程、(b)第1の相互登録プロセスを実行する工程であって、(i)上記右カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、(ii)上記左眼用拡張現実ディスプレイを介して、上記右カメラによってサンプリングされた上記少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、(iii)少なくとも1つのアライメント特性と、上記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および(iv)少なくとも1つのアライメント特性が上記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント特性の表示の位置を補正することを含む、第1の相互登録プロセスを実行する工程、(c)第2の相互登録プロセスを実行する工程であって、(i)上記左カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、(ii)上記左眼用拡張現実ディスプレイを介して、上記左カメラによってサンプリングされた上記少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、(iii)少なくとも1つのアライメント特性と、上記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および(iv)少なくとも1つのアライメント特性が上記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント特性の表示の位置を補正することを含む、第2の相互登録プロセスを実行する工程、ならびに(d)上記ユーザ入力に基づいて、拡張現実ディスプレイデバイスにアライメント補正を実装する工程を包含する方法。
本発明の実施形態のさらなる特徴によれば、上記相互登録プロセスのそれぞれの上記少なくとも1つのアライメント特性は、サンプリングされた画像の少なくとも一部である。
本発明の実施形態のさらなる特徴によれば、上記相互登録プロセスのそれぞれの上記少なくとも1つのアライメント特性は、サンプリングされた画像で検出された特徴に対応する位置マーカーである。
本発明の実施形態のさらなる特徴によれば、サンプリングされた画像中の物体までの推定距離が取得され、上記推定距離は、上記アライメント補正を実装するために利用される。
本発明の実施形態のさらなる特徴によれば、上記右カメラは、上記右眼用拡張現実ディスプレイに対して厳密に取り付けられ、上記左カメラは、上記左眼用ディスプレイに対して厳密に取り付けられ、上記アライメント補正は、上記右眼用拡張現実ディスプレイに対する上記右カメラの相対アライメントデータ、および上記左眼用拡張現実ディスプレイに対する上記左カメラの相対アライメントデータを使用して実装される。
本発明の実施形態のさらなる特徴によれば、上記右カメラおよび上記左カメラの対応する位置に対する、上記右眼用拡張現実ディスプレイおよび上記左眼用拡張現実ディスプレイの少なくとも一方のアライメントを補正するためのユーザ入力を受信するために、少なくとも1つの追加登録プロセスが実施される。
本発明は、単なる例示目的で、添付の図面を参照して、本明細書において説明される。
上記の通り、従来技術による両眼拡張現実ディスプレイの上面図である。
拡張現実ディスプレイの電子アライメント補正の原理を説明する概略図である。
従来技術による拡張現実ディスプレイを較正するための工場調整プロセスを図示する流れ図である。
本発明の実施形態に従って構築され動作する、IPDを調整するための配置を備えた両眼拡張現実ディスプレイの概略正面図である。
使用時の図3のディスプレイの概略側面図である。
第1の実装オプションに従う工場の部分較正手順の間の図4のデバイスの概略側面図である。
第2の実装オプションに従う工場の部分較正手順の間の図4のデバイスの概略側面図である。
異なる方向からの物体またはシーンの複数の画像のサンプリングを含む較正プロセスの概略図である。
本発明の一態様による図3および図4の拡張現実ディスプレイのアライメント較正の方法を図示する流れ図である。
アライメント較正のための代替技術を利用した拡張現実ディスプレイデバイスの側面概略図である。
アライメント較正のための代替技術を利用した拡張現実ディスプレイデバイスの正面概略図である。
本発明のこの態様による、ユーザによって実行されるアライメント調整の概略図である。
本発明のさらなる態様によるアライメント較正の実装の間の拡張現実ディスプレイデバイスの概略側面図である。
拡張現実画像をユーザの眼まで送達するための導光光学要素の2つの可能な形状を示す拡大概略側面図である。
図10Aの配置の概略上面図である。
図10Aの配置の変形実装の概略上面図である。
図10Aのアライメント較正のためのカメラとして利用されるモバイル通信デバイスの概略図である。
本発明のこの態様によるアライメント較正の実行の間の拡張現実ディスプレイを介する表示のための較正画像の略図である。
本発明のこの態様によるアライメント較正の実行の間のカメラによってサンプリングされた画像の概略図である。
図10Aの配置のさらなる変形実装の概略上面図である。
図10A、図11A、図11B、および図11Fの配置によるアライメント較正のための方法を図示する流れ図である。
本発明は、両眼拡張現実ディスプレイの左眼用ディスプレイおよび右眼用ディスプレイのアライメントを調整するための配置を備えた両眼拡張現実ディスプレイ、および対応するアライメント方法である。
本発明によるデバイスおよび方法の原理および動作は、図面および付随する説明を参照してより良好に理解することができる。
導入の目的で、本発明は、両眼拡張現実ディスプレイの右眼ディスプレイと左眼ディスプレイとの間の事前較正されたアライメントが存在しないか、信頼できると見なすことができないかのいずれかの一定の範囲の状況に対処する。これは、長期間および/もしくは変動する環境条件にわたる、構成要素の不変の厳密なアライメントを保証できない軽量構造構成要素の使用に起因する可能性があるか、または、ディスプレイの不正確な最終アライメントが生じる可能性がある、調整メカニズム、特にIPD調整メカニズムの存在に起因する可能性がある。IPD調整メカニズムの存在が特に好ましく、それによって、プロジェクタのアイボックスサイズおよび結果として生じるプロジェクタのかさ高さ、複雑さ、およびコストの要求を軽減しながら、様々な瞳孔間距離を有するユーザに、拡張現実ディスプレイデバイスを適応させることを可能にする。しかし、IPD調整メカニズムは、通常、2台のディスプレイプロジェクタのアライメントに変動性を導入する。
これらの問題に対処するために、本発明は、エンドユーザの通常の作業環境において、かついかなる特殊な機器の必要性も伴うことなく、両眼拡張現実ディスプレイデバイスの右眼用および左眼用のディスプレイのアライメントの較正または再較正を可能にする3つのグループのソリューションを提供する。具体的には、アライメント補正技術の第1のサブセットは、それぞれの左眼用および右眼用のディスプレイに関連付けられた両側カメラによってサンプリングされた画像の相関に基づいて、自動または半自動のアライメントプロセスとして実装される。デバイスに取り付けられたカメラもまた利用する、アライメント補正技術の第2のサブセットは、表示された特性を、対応する現実世界の特徴とアラインさせるためのユーザ入力を要求する。最後に、アライメント補正技術の第3のサブセットは、デバイスに取り付けられたカメラに依存せずに適用でき、その代わりに外部カメラに依存する。これらの技術のサブセットのそれぞれはまた、好ましくは、対応する技術を実装するように構成された制御コンポーネントを備えた両眼拡張現実デバイスの別個の実装に対応する。ここで、各アプローチについて詳しく説明する。
ここで、図面を参照すると、図3~8は、両眼拡張現実ディスプレイデバイス、初期部分アライメントプロセス、および両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための対応する方法の様々な態様を図示しており、すべてが本発明の態様の第1のアプローチに従っている。このアプローチによれば、2つのディスプレイ(「プロジェクタ」)のそれぞれは、前向きカメラに堅固に取り付けられている。アイプロジェクタ間を橋渡しする支持構造は比較的堅固ではなく、および/またはユーザによって彼もしくは彼女の個人のIPDに応じて修正およびロックできる。カメラによって受信されたシーンの画像が比較され、プロジェクタ用の変換マトリックスが導き出される。
したがって、一般的な用語で言えば、前向きの第1のカメラと堅固に一体化された第1の拡張現実ディスプレイを有する右眼ディスプレイユニット、および前向きの第2のカメラと堅固に一体化された第2の拡張現実ディスプレイを有する左眼ディスプレイユニットを備える拡張現実デバイスが提供される。拡張現実デバイスはまた、右眼ディスプレイユニットと左眼ディスプレイユニットとの間を相互接続する支持構造も備える。このアプローチの好ましい態様によれば、各ディスプレイユニットは堅固であり、その結果、各カメラは対応する拡張現実ディスプレイと固定されたアライメントにあり、システムは、各カメラと対応する拡張現実ディスプレイとの間のアライメントマッピングとともに提供されるか、またはそれを導き出し、これは、通常、カメラアライメントをディスプレイにマッピングする変換マトリックスの形式であり、すなわち、拡張現実ディスプレイを通して見られた遠景についての現実世界に正確にアラインされたカメラ画像の表示を可能にする。一方、支持構造は、一定期間にわたって左眼表示ユニットと右眼表示ユニットの間の不変のアライメントを提供するために必ずしも十分に堅固であるとは想定されておらず、特定の特に好ましい実装においては、調整機構を備え、さまざまなユーザのIPDの調整を可能にし、通常、調整の間に角度アライメントに多少のばらつきを生じる。
次いで、アライメント補正は、好ましくは、拡張現実ディスプレイデバイスに関連する処理システムによって実行され、これは、オンボード処理システムでも、短距離または長距離通信接続を介したデバイスに関連する処理システムでもよい。本願のこの箇所または他の箇所において、説明されている処理は、標準の処理コンポーネントによって実行されてもよく、これは、本明細書に記載の機能に最も適したものに従って当業者によって容易に選択されるような、適切なソフトウェア、またはASICまたは他の専用もしくは半専用ハードウェアによって構成される汎用ハードウェアであり得る。さらに、処理は、拡張現実ディスプレイデバイスの一部を形成するオンボードプロセッサ、ARディスプレイデバイスとの有線または無線接続のモバイル通信デバイス、遠隔地に配置され、WANを介してARディスプレイデバイスに接続されたサーバー、および動的に割り当てられたコンピューティングリソースで作られたクラウドコンピューティングバーチャルマシンの1つ以上を含むがこれらに限定されない、任意の位置または位置の組み合わせにおいて実行され得る。処理システムの実装の詳細は、本発明の実装のためには必要ではなく、本明細書ではさらに詳細には説明しない。
本発明の一態様によるアライメント補正プロセスは、好ましくは以下を含む。
i.第1のカメラから少なくとも1つの画像をサンプリングすること、
ii.第2のカメラから少なくとも1つの画像をサンプリングすること、
iii.第1のカメラと第2のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、第1のカメラおよび第2のカメラからの画像を同時処理すること、
iv.第1の拡張現実ディスプレイおよび第2の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、カメラ間マッピングを第1のアライメントマッピングおよび第2のアライメントマッピングと組み合わせること、ならびに
v.ディスプレイ間アライメントマッピングに基づいて拡張現実ディスプレイデバイスにアライメント補正を実装すること。
i.第1のカメラから少なくとも1つの画像をサンプリングすること、
ii.第2のカメラから少なくとも1つの画像をサンプリングすること、
iii.第1のカメラと第2のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、第1のカメラおよび第2のカメラからの画像を同時処理すること、
iv.第1の拡張現実ディスプレイおよび第2の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、カメラ間マッピングを第1のアライメントマッピングおよび第2のアライメントマッピングと組み合わせること、ならびに
v.ディスプレイ間アライメントマッピングに基づいて拡張現実ディスプレイデバイスにアライメント補正を実装すること。
このプロセスは、以下でより詳細に議論される。
図3は、本発明によるシステムの正面図を概略的に示す。光学アセンブリ40Rおよび40Lは、対応するシースルー光学要素42Rおよび42Lに画像を投影し、好ましくは、それぞれ、観察者の右眼および左眼にバーチャル画像をカップルアウトするための部分反射器または回折光学要素のいずれかを備えた透明導光光学要素として実装される。前向きカメラ44Rおよび44Lは、それらの隣接するプロジェクタに堅固に取り付けられ、一方、好ましくは調整可能な機械的配置として実装される支持構造46が2つのプロジェクタを接続する。この機械的配置は、好ましくは、プロジェクタ間の距離を変化させるためにロック解除し、使用前に再びロックすることができる。このことは、IPD調整を可能にし、プロジェクタのサイズおよび複雑さを軽減する。配置46のロック解除およびロックの後に、通常、正確な平行性および配向が維持できないことが理解される。
図4は、左側のプロジェクタおよびカメラの概略側面図を示す。光学系40Lからの光は、導波路42Lを通過し、眼に向かって偏向する(偏向の方法は図示されていないが、通常、Lumus Ltd.から市販されているような内部斜め部分反射ファセットを備えた基板、または回折光学素子の配置に基づいている)。物体50または風景は、カメラ44Lによって画像化される。同じ物体が右カメラ44Rによって画像化される。
本発明のこの態様によるアライメント補正プロセスは、各カメラと、右眼ディスプレイユニットおよび左眼ディスプレイユニットのそれぞれについての対応する拡張現実ディスプレイとの間のアライメントマッピングの決定を要求する。カメラ軸とプロジェクタ軸との間の変換パラメータは、好ましくは、カメラ-プロジェクタの統合後に、好ましくは製造プロセスの一部として測定される。アライメントマッピングを決定するために、さまざまな技術が使用され得る。ここで、2つの選択肢が、図5および図6を参照して説明される。
図5において、外部ジグ52は、プロジェクタ54およびカメラ56をしっかりと同時アラインさせて保持する。プロジェクタおよびカメラは、好ましくは、光軸が互いに平行にアラインされており、最も好ましくは、2つの間で変換パラメータが不要であるように十分な精度でアラインされる。プロジェクタ54は、カメラ44Lによって受け取られる「参照画像」を投影する。処理システムは、同様の中心画像をプロジェクタ40Lに投入し、これは、カメラ56によって光学素子42Lを介して受信される投影画像を生成する。処理システムは、44Lと56からの画像を比較して、40Lと44Lの間の変換パラメータを規定する。必要に応じて、視差計算のために44Lと42Lの間の距離(具体的には、この導波路のアイボックスの中心)もまた、記録することが好ましい。
図6において、2つのプロジェクタ54Uおよび54Dが堅固に取り付けられ(または、代替的には、十分に大きな開口を有する単一のプロジェクタとして実装されてもよい)、通常無限にコリメートされる較正画像を投影する。54Uからの画像はカメラ44Lによって受信され、プロジェクタ40Lに「投入」される。この場合、カメラ56は、光学素子42Lを通して、54Dによって投影された直視画像およびプロジェクタ40Lによって投影された画像との重ね合わせを同時に受信する。2つの画像間の差は、プロジェクタ40Lとカメラ44Lとの間の変換データに対応する。適切なグラフィックユーザーインターフェース(図示せず)を使用する手動制御調整プロセスもまた可能であるが、最も好ましくは、自動アライメントプロセスは、鮮明な(正確にオーバーレイされた)画像がカメラ56によって受信されるまで、プロジェクタ40Lによって生成された画像のアライメントを調整することができる。最終アライメントは両眼アライメントにも依存するので、この調整はこの段階でデバイスファームウェアに実際に実装される必要はない。手動または自動のアライメントを容易にするために、アライメント画像はX十字線などであってもよく、アライメントプロセスの間の区別を明確にするために、40Lからの画像の色を変化させてもよく、または画像を点滅させるように作ってもよい。次に、視覚的に区別される2つのX十字線をアライメントに至らせる必要がある。
プロジェクタ42L上の光学系が有限距離でバーチャル画像を生成する場合、較正画像ならびに54Uおよび54Dの変換もまたこの距離に設定されることが好ましく、そしてカメラ44Lとプロジェクタ42Lの間の視差に従って42Lに挿入される場合に、距離パラメータが既知であるため、プロジェクタ40Lから投影される画像がシフトされることが好ましい。
左眼表示ユニットについて図示された上記のアライメントプロセスは、右眼表示ユニットのために明確に繰り返される(または同時に実行される)。結果は、カメラアライメントを各ディスプレイユニットのディスプレイにマッピングする、明確に規定された変換マトリックスである。
製造中または製造後に上記のアライメント技術のうちの1つかを使用した後で、各プロジェクタとその対応するカメラ間のアライメント変換を導き出すために、次いで、エンドユーザによって実行されるキャリブレーションプロセスにおいてカメラが使用されて、いつでも要求されるときに、例えば、IPDの調整後、または断続的に実行される自動自己較正プロセスとして、または特定の好ましい応用において、デバイスの電源がオンであるときはいつでも、2つのプロジェクタ間の誤ったアライメントを測定および修正できる。
カメラが遠景の画像をサンプリングしている場合、2つのサンプリングされた画像間の視差は無視できるため、カメラ44Lと44Rの相対的な配向の解決(図3で説明したIPD調整後)は特に容易である。この文脈での「遠い」とは、理想的には約100メートルを超える任意の距離であり、このことは、眼/カメラ間の収束による角度変動が人間の視覚の角度分解能よりも小さいことを保証する。しかし、実際には、ここでの「距離」には30メートルを超える任意の距離が含まれてもよく、場合によっては、10メートルまたは20メートルの距離もまた、この単純化された較正プロセスの使用を、許容できる結果を伴って可能にする。したがって、ユーザが操作する較正の場合、ユーザは、較正プロセスを開始する前に、デバイスを遠くのシーンに向けるように指示することができる。同様に、デバイスが屋外環境で使用される場合、カメラが遠くのシーンを見ているとき、デバイスは測距センサーを介して、または画像処理によってのいずれかで、検出するように構成されてもよい。次に、各カメラ44Lおよび44Rからの遠景から画像をサンプリングすること、および2つの画像間の画像比較/登録を実行してカメラ間の変換を決定することにより、較正が形成できる。
シーンに「深さ」がほとんどなく、両方のカメラが本質的に同じ画像をサンプリングする限り、シーンが短い範囲にある場合でも、簡単な画像登録がアライメント補正のために時々使用され得る。そのような1つの例は、壁上のポスターまたはその他の写真あるいはテクスチャなどの平らな表面を画像化することによる較正である。この場合、輻輳角に対して補正するために、カメラから表面までの距離に関する情報が必要である。
「遠くの風景」が利用され得ない状況の範囲における較正を可能にするため、またはユーザの協力なしに自動的に実行されるのに適したより強固な較正プロセスのために、較正は、カメラ間の視差が重要な近くのオブジェクトを使用して実行され得る。この場合、相対的なカメラ位置を「解決」するために、3D再構成が必要である。カメラの移動が、図7に模式的に示すように、正確なソリューションのための複数の画像を生成するために、必要であり得る。この計算のためのアルゴリズムは、例えば、文献およびSLAM(同時ロケーションおよびマッピング)処理に関連するオープンソースのコードライブラリにおいて、よく知られている。これらのアルゴリズムを使用することにより、シーンの少なくとも一部の3D再構成(または「モデル」)が、各カメラに対して生成される。カメラ間の再構成のオフセットは、プロジェクタ間のオフセット(空間および向き)を決定するために使用される。
SLAM処理がモデルを導き出すために使用される場合、スケーリング係数は、モデルを完全に解決するために必要である。このスケーリング係数は、IPD調整のないデバイスの場合の2つのカメラ間の既知の距離;エンコーダがIPD調整メカニズム上に含まれる2つのカメラ間の測定された距離;デバイスと統合された慣性モーションセンサー配列から派生したカメラモーション;例えば、デバイスに統合された距離計によって導き出された画像の1つ内のピクセル位置までの距離;画像の視野内に含まれる既知の寸法のオブジェクトの識別;および例えば、直線の縁などを有することが知られているオブジェクトのような付加的なパラメータ制約の導入を含むが、これらに限定されない多くのソースのいずれかから導き出され得る。
IPD調整およびその後の再調整の場合の全体的なプロセス全体の例示的な概要を図8に示す。第1に、ここでのプロセスは、IPD調整などによるプロジェクタ間の距離の調整後に開始されると想定され(工程110)、ユーザにより開始されるか、自動的に引き起こされ得る。プロセスは、自動または半自動プロセスとして実行され得、デバイスの起動時に実行されるか、手動またはソフトウェアトリガー信号によってトリガーされ、必要に応じて、表示されたシーンに関連して移動するようにユーザを促すためのプロンプトが生成される。
トリガーされると、デバイスは左カメラ(工程112)および右カメラ(工程114)に対するシーンの画像を取得し、処理システム(ローカルまたはリモートのデバイスに搭載)は、2つのカメラの相対的な方向を導き出すために画像を比較する(工程116)。画像間の視差変動により単純な登録プロセスが失敗する場合、システムは、好ましくは付加的なの画像をサンプリングし、必要に応じて動きを待って(工程118)、視野の一部の少なくとも部分的な3Dモデルを導き出し、それによって、相対的なカメラの向きの導き出すことを可能にする。工程120で、この相対的なカメラ方位データは、以前に導き出された左カメラから左プロジェクタへの変換データ(122)および右カメラから右プロジェクタへの変換データ(124)と一緒に使用され、対応するファームウェア中に導入される各プロジェクタのための全体的なアライメント補正を決定し、それによって、左バーチャル画像がプロジェクタ40Lからの投影用の左変換バーチャル画像に変換されること、および右バーチャル画像がプロジェクタ40Rからの投影用の右変換バーチャル画像に変換されることを可能にし、正しくアラインされた見られる画像を生成する。
次に、両眼拡張現実ディスプレイデバイスの右眼および左眼ディスプレイのためのアライメント補正の方法の第2のサブセットに目を向けると、図9Aおよび図9Bは、ユーザが、アライメント補正の少なくとも一部を定義するために入力を提供する構成を概略的に示す。したがって、図9Aには、図3および図4の光学装置と同様の光学装置が示されているが、必要に応じて、モバイル電子デバイス上で実行するAPPとして実装される、ジョイスティック、タッチスクリーン、または任意の他の適切なユーザ入力装置であり得るユーザ入力装置130が追加されている。前述のように、このアプローチは、左眼拡張現実ディスプレイに空間的に関連付けられた左カメラ44L(プロジェクタ40Lおよびアウトカップリング光学素子42L)、およびデバイスの右眼側用(図示せず)の対応する要素(右眼拡張現実ディスプレイに空間的に関連付けられた右カメラ)の存在を想定する。
アライメント補正方法が、
i.右カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
ii.左眼拡張現実ディスプレイを介して、右カメラによってサンプリングされた少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、
iii.少なくとも1つのアライメント特性と、シーンの対応する直接表示される特性との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
iv.少なくとも1つのアライメント特性がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント機能の表示の位置を補正すること、
を含む、第1の相互登録プロセスを含むことが、本発明のこの態様に係る特定の特に好ましい実施の特定の特徴である。これは、図9Bにおける矢印78によって概略的に表される変換を定義する。
i.右カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
ii.左眼拡張現実ディスプレイを介して、右カメラによってサンプリングされた少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、
iii.少なくとも1つのアライメント特性と、シーンの対応する直接表示される特性との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
iv.少なくとも1つのアライメント特性がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント機能の表示の位置を補正すること、
を含む、第1の相互登録プロセスを含むことが、本発明のこの態様に係る特定の特に好ましい実施の特定の特徴である。これは、図9Bにおける矢印78によって概略的に表される変換を定義する。
最も好ましくは、アライメントプロセスは逆相互登録プロセス、すなわち:
i.左カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
ii.右眼拡張現実ディスプレイを介して、左カメラによってサンプリングされた少なくとも1つの画像から導き出された少なくとも1つのアライメント機能を表示すること
iii.少なくとも1つのアライメント機能と、シーンの対応する直接表示される機能との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
iv.少なくとも1つのアライメント機能がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント機能の表示の位置を補正すること、も含む。これは、図9Bにおける矢印76によって概略的に表される変換を定義する。
i.左カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
ii.右眼拡張現実ディスプレイを介して、左カメラによってサンプリングされた少なくとも1つの画像から導き出された少なくとも1つのアライメント機能を表示すること
iii.少なくとも1つのアライメント機能と、シーンの対応する直接表示される機能との間のアライメントオフセットを示す入力を、ユーザから受け取ること、および
iv.少なくとも1つのアライメント機能がシーンの対応する直接表示される機能とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント機能の表示の位置を補正すること、も含む。これは、図9Bにおける矢印76によって概略的に表される変換を定義する。
次に、ユーザ入力は、拡張現実ディスプレイデバイスに対するアライメント補正を実行するために使用される。上述の例のように、各カメラが対応する拡張現実ディスプレイに対して堅固に取り付けられる場合、アライメント補正は、右眼拡張現実ディスプレイ(矢印74)に対する右カメラ用の相対アライメントデータおよび左眼拡張現実ディスプレイ(矢印72)に対する左カメラ用の相対アライメントデータを使用して、実行される。そのようなデータは、図5および図6を参照して上記で説明したように、工場のアライメントプロセスを通じて利用可能にされ得る。
より一般的な場合、変換72および74が不明であるか、カメラに対する左/右ディスプレイの固定されない(例えば、調整可能な)取り付けのために変化し得る場合、変換72および74は、右カメラおよび左カメラの対応するものに対する右眼拡張現実ディスプレイおよび左眼拡張現実ディスプレイの少なくとも一方のアライメントを修正するためのユーザ入力を受信するための少なくとも一つの付加的な登録プロセスによって取得され得る。これらの登録プロセスは、本明細書に記載される相互登録プロセスと本質的に同じ方法で実行され得る。
すべての4つの変換72、74、76および78が決定される場合、これらの変換のいずれか3つが、原則として2つのディスプレイ間の全体的な較正マトリックスを決定するのに十分であるため、情報の冗長性がある。実際には、そのような冗長性は、アライメント補正の精度を向上させるための利点に使用される。
調整プロセスの間、各プロジェクタは個別に作動される。このアプローチによる典型的な一連の操作は、次のように進む:
1)ユーザは、バーチャルイメージと同じ公称距離(見かけの距離)に位置される風景オブジェクトを見るように指示される。以下で説明するように、視差の問題も修正され得るが、そのプロセスは、視差補正の問題を回避するために「離れた」オブジェクトを使用して最も簡単に実装される。
2)処理システムは、片目のカメラからの画像を隣接するプロジェクタに注入し、その結果、観察者は、同じ拡張されたおよび「現実の世界」が重なっているのを見る。シーンが「離れた」シーンではない場合、視差補正が、シーンまでの推定された距離に応じて、投影された画像に導入される。カメラおよびプロジェクタの軸(視差補償後)が正確でない場合、シフトの不一致(オフセット)57(図9C)が存在する。
3)観察者は、バーチャル画像の位置および回転を手動で制御し、「現実の世界」画像57(マッピング72)に重ねるために、拡張された現実画像を移動させる。
4)本プロセスは、マッピング74を生成するために第2の眼に対して繰り返される。これまでのところ、達成される較正は、各カメラとその隣接するプロジェクタとの間である。
5)処理システムは、反対側のプロジェクタ(40R)上に片目のカメラ(44L)からの画像を注入し、マッピング76を決定するために、ユーザが画像をアライメントできるようにする。同じことが、マッピング78を生成するために、反対側のカメラおよびプロジェクタに対して繰り返される。これで、2つのプロジェクタおよび両方のカメラの向きが較正される。
1)ユーザは、バーチャルイメージと同じ公称距離(見かけの距離)に位置される風景オブジェクトを見るように指示される。以下で説明するように、視差の問題も修正され得るが、そのプロセスは、視差補正の問題を回避するために「離れた」オブジェクトを使用して最も簡単に実装される。
2)処理システムは、片目のカメラからの画像を隣接するプロジェクタに注入し、その結果、観察者は、同じ拡張されたおよび「現実の世界」が重なっているのを見る。シーンが「離れた」シーンではない場合、視差補正が、シーンまでの推定された距離に応じて、投影された画像に導入される。カメラおよびプロジェクタの軸(視差補償後)が正確でない場合、シフトの不一致(オフセット)57(図9C)が存在する。
3)観察者は、バーチャル画像の位置および回転を手動で制御し、「現実の世界」画像57(マッピング72)に重ねるために、拡張された現実画像を移動させる。
4)本プロセスは、マッピング74を生成するために第2の眼に対して繰り返される。これまでのところ、達成される較正は、各カメラとその隣接するプロジェクタとの間である。
5)処理システムは、反対側のプロジェクタ(40R)上に片目のカメラ(44L)からの画像を注入し、マッピング76を決定するために、ユーザが画像をアライメントできるようにする。同じことが、マッピング78を生成するために、反対側のカメラおよびプロジェクタに対して繰り返される。これで、2つのプロジェクタおよび両方のカメラの向きが較正される。
このアライメントプロセスのために投影される画像(アライメント機能)は、サンプリングされた画像の少なくとも一部であり得る。この場合、ユーザは、完全に適合しない重畳された画像の「ダブルビジョン」効果を取得し、それらが適切に重畳されるまで、アライメントを調整する。
あるいは、投影されたアライメント特徴画像は、画像処理によってサンプリングされた画像から導き出され、サンプリングされた画像において検出された特徴に対応する1つ以上の位置マーカーを含み得る。これは、オブジェクトの輪郭、または画像内の「コーナー」の特徴を示す多数のマーカーであり得る。この場合、ユーザは、これらの位置マーカーを実際のビューにおける対応する特徴に合わせる。
上記プロセスが離れたシーンではないシーンを使用して実行される場合、シーンまでの距離の推定値は、各カメラと対応するEMBセンターとの間の既知の距離に基づいて、視差補正を実行するために必要である。この距離は、当技術分野で知られているように、アプリケーションの詳細に応じて、ユーザによって入力され得るか、利用可能なセンサーおよび/または画像処理の任意の組み合わせからシステムによって導き出され得る。距離がどのように導き出されるかについての非限定的な例として、距離計センサーを使用すること、3Dモデルを導き出すために画像上でSLAM処理を実行すること(上記で詳細に説明)、および既知の寸法を有するオブジェクトを含む画像をサンプリングすること、が挙げられる。
多くのプロジェクタは、バーチャル画像を有限距離に投影する光学部品を含む。この場合、較正は、バーチャル画像の見かけの距離に一致する距離でシーンを見ながら実行されることが好ましい。例えば、バーチャル画像が2メートルに焦点を合わされている場合、較正は、約2メートルの距離に位置されるシーンまたはオブジェクトでも実行することが望ましい。カメラからプロジェクタに注入された画像は、指定された距離およびフィールドの中心で、(相対距離が既知である)カメラとプロジェクタとの間の視差に応じてシフトされる。
本明細書で説明されるアラインメント手順は、2つのプロジェクタ/カメラのペアが、製造工程中に厳密に組み合わされる場合、すなわち、IPDのための調整可能な間隔がない場合にも、適用可能であることに注意することが重要である。この場合、変換72および74は通常、上述のように事前に較正され、変換76および78のみが、ユーザ入力を通して達成される。
「立体視アライメント補正」に言及する本明細書のすべての場合、これは通常、現実の世界に各目を関連付ける較正マトリックスを生成するか、両目間の関係を定義することにより実行される。
両眼拡張現実のプロジェクタのクロスアライメントを実行する別のアプローチは、(製品内に存在する場合と存在しない場合がある)外向きのカメラに依存することなく、達成され得る。代わりに、アラインメント補正技術のこの3番目のサブセットは、右眼ディスプレイ及び左眼ディスプレイの両方から同時に画像をサンプリングし、画像からアラインメント補正を導き出すために、拡張現実ディスプレイデバイスとは別のカメラを使用する。この代替アプローチの例示的な実装を以下に示す。
一般的に、本発明のこの態様に係る両眼拡張現実ディスプレイデバイスの右眼ディスプレイと左眼ディスプレイとの間のアライメント補正を導き出す方法は、以下の工程を含む:
a)カメラの視野が、左眼ディスプレイからの投影された画像の一部および右眼ディスプレイからの投影された画像の一部を同時に含むような視野を有するカメラを配置する工程、
b)右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも1つの右視野アライメント機能および少なくとも1つの左視野アライメント機能を含む較正画像の少なくとも一部を投影する工程、
c)画像をサンプリングするためにカメラを使用する工程、
d)画像内で右視野のアライメント機能および左視野のアライメントを識別する工程、および
e)拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を、右視野アライメント機能および左視野アライメント機能の画像内の位置から導き出す工程。
a)カメラの視野が、左眼ディスプレイからの投影された画像の一部および右眼ディスプレイからの投影された画像の一部を同時に含むような視野を有するカメラを配置する工程、
b)右眼用ディスプレイおよび左眼用ディスプレイのそれぞれを介して、少なくとも1つの右視野アライメント機能および少なくとも1つの左視野アライメント機能を含む較正画像の少なくとも一部を投影する工程、
c)画像をサンプリングするためにカメラを使用する工程、
d)画像内で右視野のアライメント機能および左視野のアライメントを識別する工程、および
e)拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間のアライメント補正を、右視野アライメント機能および左視野アライメント機能の画像内の位置から導き出す工程。
このアプローチの1つの実装を図10Aに概略的に示す。観察者の眼に向けて導波管42によって投射される光の一部は、例えば、眼に最も近い導波管の外表面によって前方に(すなわち、ユーザから外側に)反射されることに留意されたい。本明細書に示される実装では、拡張現実ディスプレイデバイス40L、42Lの表示側とは反対側に位置決めされたカメラ80によって検出されるのは、この外向きに反射される光であり、カメラは、右眼用ディスプレイおよび左眼用ディスプレイのそれぞれから、画像照明の外向きに反射される部分をキャプチャする。
システム制御装置は、実線の矢印によって示されるように、導波路42を通して目を照らすプロジェクタ40に画像を注入する。光の一部は、一点鎖線の矢印によって示されるように、反対方向に反射される。
ポータブルデバイス80上のカメラは、前方に反射される画像の少なくとも一部を受信し、処理のためにシステム制御装置に画像を送信する。(カメラはここでは概略的にのみ示されており、プロジェクタに向かって明確に向けられ、前方に反射される画像照明の一部をキャプチャするように位置決めされる。)処理は、ポータブルデバイス自体において随意に実行され得る。
フィールドの一部のみがカメラ80によって受信されるが、画像は、図11Dを参照して以下でさらに説明されるように、画像のどの部分が受信されるかを導き出すことができるように設計される。その部分から、プロセッサは前方に投影される画像に対するカメラの方向を導き出す。
図10Bは、2つのプロジェクタ99Lおよび99Rを概略的に示しており、それぞれは、対応するデバイスの両眼に対するプロジェクタの向きを示す。99Lにおいて、光線100は、導波路99Lの面に垂直に観察者に向かって投射され、したがって、反射102は、光軸に沿って反対方向に反射される。対照的に、導波路99Rにおいて、出力光線104によって示される投影された画像の光軸が、導波路99Rの表面に垂直ではなく、したがって反射された光線106が104と反対ではない、別のジオメトリが示されている。したがって、較正マトリックスは、104に対する106のオフセットのために導き出されるべきである。この較正マトリックスは、プロジェクタの製造中または以下で説明するように、前方画像(100および104)と反射された画像(102および106)を比較することにより導き出されるべきである。
このアプローチによる画像取得は、図11Aの平面図に模式的に示すように、両方のプロジェクタに対して同時に実行される。一点鎖線の矢印は、前方に反射された画像を表す。カメラ80は、2つのプロジェクタからの反射された画像の異なるセクションを受信し、両方の視野の方向を導き出す。これらの方向を比較することにより、上記のように、プロジェクタ間の相対的な方向を導き出し、電子的にアライメントを修正することができる。
較正の改善された精度は、カメラ80がプロジェクタ42からさらに離されると達成される。デバイスから遠く離れて便利に保持され得ないハンドヘルドカメラの場合、より大きな有効距離からのイメージングは、図11Bに示すように、ミラー57を通してプロジェクタを観察することにより、達成され得る。このミラーベースのジオメトリにより、特に単一の中央前方監視カメラを備えたデバイスにおいて、拡張現実ディスプレイデバイス自体の組み込みの前方監視カメラを使用して、この較正技術が実行可能となる。
カメラ80の向きは、較正中にカメラを正しく位置決めするための視覚的ガイダンスキューを、ユーザに提供することにより最適化され得る。例えば、カメラ80が、携帯電話などのスクリーンと一体化されたモバイル機器のカメラである場合、ユーザへの少なくとも1つの指示が、図11Cに示されるように、カメラの正しい位置決めを支援するために、画面を介して表示され得る。さらに、またはあるいは、ハンドヘルドカメラの場合、少なくとも1つの表示は、カメラの正しい配置を支援するために、拡張現実ディスプレイの一方または両方を介して表示され得る。
図11Dは、較正プロセスのために2つのディスプレイにより投影され得る画像の例を示す。他の任意の画像が使用され得るが、この一つが非限定的な例としてここに提示される。画像は、それぞれ左視野のアライメント機能および右視野のアライメント機能として機能する、クリアマーキング90aおよび90bを有する。右視野および左視野のアライメント機能は、隣接する幾何学的パターンの一部であっても、孤立された特徴であってもよく、好ましくは互いから区別可能である。それらは、位置および方向を導き出すために画像処理技術によって容易に識別および処理される特徴を含むことが好ましい。画像は、プロジェクタ自体によって導入される任意の幾何学的歪みに対する補正後に投影される。画像の一部のみが、各別個のプロジェクタからカメラ80によってキャプチャされることに留意されたい。カメラは、プロジェクタの「外側」にあるカメラの場合、サンプリングされた画像が、右眼ディスプレイを介して見られた左視野アライメント機能および左眼ディスプレイを介して見られた右視野アライメント機能を含むように位置決めされる。
図11Eは、カメラ80によって受け取られた画像100を概略的に示す。カメラ80から眼鏡までの距離は、眼鏡上のパラメータ、例えば画像内の眼鏡サイズ82から導き出され得る。導波路42Rおよび42Lでは、投影された画像の反射は、84Rおよび84Lとして明らかである。両方の反射における画像は、マーキング90aおよび90bを含む。マーキング86間の画像内の角距離を測定し、眼鏡までの既知の距離によって生じる視差を考慮することにより、プロジェクタ42Rと42Lとの間の実際のミスアラインメントを知ることが可能である。角度ミスアラインメントは、88で示されるスキュー角によって示されるようにも導き出され得る。このアーキテクチャは、目の位置60Rおよび60Lの検出も可能にする。これにより、プロジェクタのアイボックス内の目の位置によって生じる歪みを考慮することにより、投影のアライメントがさらに改善される。
実装の代替のセットでは、カメラ80は、拡張現実ディスプレイデバイスの表示側、すなわち、ユーザがディスプレイを通して見る側に位置決めされる。この場合、サンプリングされた画像には、右眼ディスプレイを介して表示される右視野アライメント機能および左眼ディスプレイを介して表示される左視野アライメント機能が含まれる。この実装の例を図11Fに示す。
カメラ80が投影された画像に焦点を合わせることが重要である。レンズがプロジェクタ42の前に配置される場合、バーチャル画像51は有限の見かけの距離(見かけの焦点距離)で生成される。これは、84Rおよび84Lに導入された視差を導き出すときに考慮されるべきである。
図11Fの例では、プロジェクタはレンズを含むため、画像51は見かけの焦点距離61で(42Lからの)バーチャル画像62Lおよび(42Rからの)バーチャル画像62Rとして投影される。これら2つの画像は、最適なアライメントのために、正確に重なり合わされるべきである。カメラ80によって取得された画像は、84Lおよび84R(図11Eで説明)に相当し、62Lと62Rとの間のオフセットを導き出すことは、(レンズによって事前設定された)バーチャル画像61までの距離および(例えば、画像内のデバイス82の寸法を特定することにより再び導き出される)カメラ63までの距離を考慮する。
上述のように、ディスプレイデバイスからのカメラ80の距離は、画像内の幅寸法82などのディスプレイデバイスに関連する特徴を識別することにより決定され得る。理想的には、表示デバイスに対するカメラの距離と向きの両方を決定するために、処理システムは、少なくとも3つ、および最も好ましくは、4つの非共線(および4つの非共面)基準点を定義するのに十分な両眼拡張現実ディスプレイデバイスに関連する特徴を、画像内で識別することが好ましい。特徴は、デバイスの形状に関連する任意の特徴、またはデバイスの表面に形成された任意の参照パターンであり得る。投影された較正画像が特定の焦点深度でレンダリングされる場合、いくつかの場合、投影されたバーチャル画像の特徴も基準点として使用され得る。次に、基準点は、基準点、したがってプロジェクタに対するカメラの位置を決定するために処理される。
このプロセスの例示的な非限定的な実装を図12に記載する。上記の図8のように、較正が、IPD調整によって導入されるミスアライメントによって必要になり得る(工程140)が、このような場合に限定されない。工程142で、較正画像または「フィールド画像」は、右眼用プロジェクタおよび左眼用プロジェクタの両方を介して表示するために「注入」され、カメラ80は、各プロジェクタからの較正画像に対応する照明の一部を含む画像をサンプリングするために使用され、好ましくはプロジェクタまたは表示装置自体の他の特徴も画像化する(工程144)。
工程146では、ディスプレイデバイスの特徴が処理されて、各プロジェクタに対するカメラの向きが決定される。これにより、各ディスプレイを介して取得された較正画像の部分からプロジェクタの相対的なアラインメントを導き出すのに十分な情報が得られる(工程148)。カメラ80が、外向きに反射された照明とともにディスプレイの外側で使用され、画像投影軸が導波管の表面に対して垂直でない場合、事前測定された反射オフセットパラメータも、アライメント計算に使用される(150)。次に、アライメント計算を使用して、各プロジェクタのファームウェアを更新するための較正マトリックスを生成する(工程152)。
ポータブルデバイス80上のカメラはまた、機械的なIPD調整自体の間に(記載された較正を実行する前に)ユーザを支援するために使用され得る。このオプションによれば、ユーザがプロジェクタ間の距離を変更し、カメラがファセット画像をプロセッサに連続的に送信する。プロセッサは、目の位置を光学プロジェクタ位置(オプションでプロジェクタ位置の検出を容易にするためにマーキングを有し得る)と比較し、相対位置をさらに調整する方法を示すか、またはユーザにとって最適な位置に到達したときにユーザに通知するため、ユーザへの出力(通常は音声信号や視覚ディスプレイ)を生成する。次に、本明細書で説明するように、較正プロセスを実行することが好ましい。
上記の説明は例としてのみ機能することを意図しており、他の実施形態が、添付の特許請求の範囲で定義される本発明の範囲内で多くの可能であることが理解されよう。
Claims (9)
- 両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法であって、前記方法は、以下の工程、
(a)拡張現実デバイスを供給する工程であって、
(i)前向きの第1のカメラと堅固に一体化された第1の拡張現実ディスプレイを備えた右眼用ディスプレイユニット、
(ii)前向きの第2のカメラと堅固に一体化された第2の拡張現実ディスプレイを備えた左眼用ディスプレイユニット、および
(iii)前記右眼用ディスプレイユニットと前記左側用ディスプレイユニットとの間を相互接続する支持構造
を備えた、拡張現実デバイスを供給する工程、
(b)前記第1のカメラと前記第1の拡張現実ディスプレイとの間の第1のアライメントマッピング、および前記第2のカメラと前記第2の拡張現実ディスプレイとの間の第2のアライメントマッピングを供給する工程、
(c)前記第1のカメラから少なくとも1つの画像をサンプリングする工程、
(d)前記第2のカメラから少なくとも1つの画像をサンプリングする工程、
(e)前記第1のカメラと前記第2のカメラとの間の相対的な配向を示すカメラ間マッピングを導き出すために、前記第1のカメラおよび前記第2のカメラからの前記画像を同時処理する工程、
(f)前記第1の拡張現実ディスプレイおよび前記第2の拡張現実ディスプレイの相対的な配向を示すディスプレイ間アライメントマッピングを導き出すために、前記カメラ間マッピングを前記第1のアライメントマッピングおよび前記第2のアライメントマッピングと合わせる工程、ならびに
(g)前記ディスプレイ間アライメントマッピングに基づいて前記拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。 - 前記第1のカメラおよび前記第2のカメラからの前記少なくとも1つの画像は、遠景に対してサンプリングされる、請求項1に記載の方法。
- 前記第1のカメラおよび前記第2のカメラからの前記少なくとも1つの画像が複数の画像であり、前記同時処理する工程が、前記複数の画像に含まれるシーンの少なくとも一部の3次元モデルを導き出すことを含む、請求項1に記載の方法。
- 両眼拡張現実ディスプレイデバイスの右眼用ディスプレイと左眼用ディスプレイとの間の立体視アライメント補正のための方法であって、前記方法は、以下の工程、
(a)右眼用拡張現実ディスプレイ、左眼用拡張現実ディスプレイ、前記右眼用拡張現実ディスプレイに空間的に関連付けられた右カメラ、および前記左眼用拡張現実ディスプレイに空間的に関連付けられた左カメラを備えた拡張現実ディスプレイを供給する工程、
(b)第1の相互登録プロセスを実行する工程であって、
(i)前記右カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
(ii)前記左眼用拡張現実ディスプレイを介して、前記右カメラによってサンプリングされた前記少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、
(iii)少なくとも1つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
(iv)少なくとも1つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント特性の表示の位置を修正すること
を含む、第1の相互登録プロセスを実行する工程、
(c)第2の相互登録プロセスを実行する工程であって、
(i)前記左カメラによってサンプリングされたシーンの少なくとも1つの画像を取得すること、
(ii)前記右眼用拡張現実ディスプレイを介して、前記左カメラによってサンプリングされた前記少なくとも1つの画像から導き出された少なくとも1つのアライメント特性を表示すること、
(iii)少なくとも1つのアライメント特性と、前記シーンの対応する直接見られる特性との間のアライメントオフセットを示すユーザからの入力を受信すること、および
(iv)少なくとも1つのアライメント特性が前記シーンの対応する直接見られる特性とアラインされるまで、ユーザ入力に従って少なくとも1つのアライメント特性の表示の位置を修正すること
を含む、第2の相互登録プロセスを実行する工程、ならびに
(d)前記ユーザ入力に基づいて、拡張現実ディスプレイデバイスにアライメント補正を実施する工程
を包含する、方法。 - 前記相互登録プロセスのそれぞれの前記少なくとも1つのアライメント特性は、サンプリングされた画像の少なくとも一部である、請求項4に記載の方法。
- 前記相互登録プロセスのそれぞれの前記少なくとも1つのアライメント特性は、サンプリングされた画像で検出された特徴に対応する位置マーカーである、請求項4に記載の方法。
- サンプリングされた画像内の物体までの推定距離を取得する工程をさらに包含する、前記推定距離は、前記アライメント補正を実施するために利用される、請求項4に記載の方法。
- 前記右カメラは、前記右眼用拡張現実ディスプレイに対して堅固に取り付けられ、前記左カメラは、前記左眼用ディスプレイに対して堅固に取り付けられ、前記アライメント補正は、前記右眼用拡張現実ディスプレイに対する前記右カメラの相対アライメントデータ、および前記左眼用拡張現実ディスプレイに対する前記左カメラの相対アライメントデータを使用して実施される、請求項4に記載の方法。
- 前記右カメラおよび前記左カメラの一方に対応する、前記右眼用拡張現実ディスプレイおよび前記左眼用拡張現実ディスプレイの少なくとも一方のアライメントを補正するためのユーザ入力を受信するための、少なくとも1つの追加登録プロセスを実行する工程をさらに包含する、請求項4に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862612740P | 2018-01-02 | 2018-01-02 | |
US62/612,740 | 2018-01-02 | ||
JP2019571700A JP2021509482A (ja) | 2018-01-02 | 2019-01-02 | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
PCT/IB2019/050014 WO2019135169A1 (en) | 2018-01-02 | 2019-01-02 | Augmented reality displays with active alignment and corresponding methods |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571700A Division JP2021509482A (ja) | 2018-01-02 | 2019-01-02 | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023081930A true JP2023081930A (ja) | 2023-06-13 |
Family
ID=67143650
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571700A Pending JP2021509482A (ja) | 2018-01-02 | 2019-01-02 | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
JP2023031303A Pending JP2023081930A (ja) | 2018-01-02 | 2023-03-01 | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571700A Pending JP2021509482A (ja) | 2018-01-02 | 2019-01-02 | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 |
Country Status (13)
Country | Link |
---|---|
US (1) | US11223820B2 (ja) |
EP (1) | EP3735775A4 (ja) |
JP (2) | JP2021509482A (ja) |
KR (1) | KR20200102408A (ja) |
CN (2) | CN113777783B (ja) |
AU (1) | AU2019205611A1 (ja) |
BR (1) | BR112020001912A2 (ja) |
CA (1) | CA3068659A1 (ja) |
IL (1) | IL275615B (ja) |
MX (1) | MX2020002402A (ja) |
RU (1) | RU2020100251A (ja) |
TW (1) | TWI791728B (ja) |
WO (1) | WO2019135169A1 (ja) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10261321B2 (en) | 2005-11-08 | 2019-04-16 | Lumus Ltd. | Polarizing optical system |
IL232197B (en) | 2014-04-23 | 2018-04-30 | Lumus Ltd | Compact head-up display system |
IL237337B (en) | 2015-02-19 | 2020-03-31 | Amitai Yaakov | A compact head-up display system with a uniform image |
WO2018138714A1 (en) | 2017-01-28 | 2018-08-02 | Lumus Ltd. | Augmented reality imaging system |
WO2019064301A1 (en) | 2017-09-29 | 2019-04-04 | Lumus Ltd. | DISPLAY WITH INCREASED REALITY |
CN111133362B (zh) | 2017-10-22 | 2021-12-28 | 鲁姆斯有限公司 | 采用光具座的头戴式增强现实设备 |
IL274894B2 (en) | 2017-12-03 | 2024-04-01 | Lumus Ltd | Optical instrument alignment methods |
WO2019135169A1 (en) | 2018-01-02 | 2019-07-11 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
US10551544B2 (en) | 2018-01-21 | 2020-02-04 | Lumus Ltd. | Light-guide optical element with multiple-axis internal aperture expansion |
JP7389491B2 (ja) | 2018-04-08 | 2023-11-30 | ルムス エルティーディー. | 光学サンプルの特性評価 |
US10830938B2 (en) | 2018-05-14 | 2020-11-10 | Lumus Ltd. | Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems |
US11442273B2 (en) | 2018-05-17 | 2022-09-13 | Lumus Ltd. | Near-eye display having overlapping projector assemblies |
IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
KR20210013173A (ko) | 2018-05-23 | 2021-02-03 | 루머스 리미티드 | 부분 반사 내부면이 있는 도광 광학 요소를 포함한 광학 시스템 |
CN112313499A (zh) | 2018-06-21 | 2021-02-02 | 鲁姆斯有限公司 | 光导光学元件(loe)的板之间折射率不均匀性的测量技术 |
JP7411255B2 (ja) | 2018-07-16 | 2024-01-11 | ルムス エルティーディー. | 偏光された内部反射体を採用する導光光学素子 |
BR112021004307A2 (pt) | 2018-09-09 | 2021-05-25 | Lumus Ltd. | sistema óptico |
TWM642752U (zh) | 2018-11-08 | 2023-06-21 | 以色列商魯姆斯有限公司 | 用於將圖像顯示到觀察者的眼睛中的顯示器 |
KR20210090622A (ko) | 2018-11-08 | 2021-07-20 | 루머스 리미티드 | 이색성 빔스플리터 색상 조합기를 갖는 광학 디바이스 및 시스템 |
TWM598414U (zh) | 2018-11-11 | 2020-07-11 | 以色列商魯姆斯有限公司 | 具有中間視窗的近眼顯示器 |
EP3899642A1 (en) | 2018-12-20 | 2021-10-27 | Snap Inc. | Flexible eyewear device with dual cameras for generating stereoscopic images |
JP7424635B2 (ja) | 2019-01-24 | 2024-01-30 | ルムス エルティーディー. | 二次元の拡大を伴う導光光学素子を含む光学システム |
KR102651647B1 (ko) | 2019-03-12 | 2024-03-26 | 루머스 리미티드 | 이미지 프로젝터 |
DE112020002727T5 (de) * | 2019-06-07 | 2022-03-10 | Sony Group Corporation | Videoverteilsystem, videoverteilverfahren und display-terminal |
WO2020261279A1 (en) | 2019-06-27 | 2020-12-30 | Lumus Ltd. | Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element |
US11667004B2 (en) | 2019-11-25 | 2023-06-06 | Lumus Ltd. | Method of polishing a surface of a waveguide |
IL270991B (en) | 2019-11-27 | 2020-07-30 | Lumus Ltd | A light guide with an optical element to perform polarization mixing |
BR112022009872A2 (pt) | 2019-12-05 | 2022-08-09 | Lumus Ltd | Dispositivo óptico e método para fabricar um dispositivo óptico |
US10965931B1 (en) * | 2019-12-06 | 2021-03-30 | Snap Inc. | Sensor misalignment compensation |
WO2021117033A1 (en) | 2019-12-08 | 2021-06-17 | Lumus Ltd. | Optical systems with compact image projector |
DE202021104723U1 (de) | 2020-09-11 | 2021-10-18 | Lumus Ltd. | An ein optisches Lichtleiterelement gekoppelter Bildprojektor |
US11379957B1 (en) * | 2021-02-23 | 2022-07-05 | Qualcomm Incorporated | Head wearable display device calibrated for distortion correction using inter-pupillary distance |
EP4237903A4 (en) | 2021-03-01 | 2024-04-24 | Lumus Ltd | COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE |
CN113259649B (zh) * | 2021-05-06 | 2022-08-09 | 青岛小鸟看看科技有限公司 | 基于场景摄像头重定位的虚拟现实方法、系统 |
US11789264B2 (en) | 2021-07-04 | 2023-10-17 | Lumus Ltd. | Display with stacked light-guide elements providing different parts of field of view |
US11863730B2 (en) * | 2021-12-07 | 2024-01-02 | Snap Inc. | Optical waveguide combiner systems and methods |
US20230209032A1 (en) * | 2021-12-23 | 2023-06-29 | Meta Platforms Technologies, Llc | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port |
CN114441142A (zh) * | 2021-12-30 | 2022-05-06 | 歌尔光学科技有限公司 | Ar成像系统的校正参数获取方法及装置 |
US11961258B2 (en) | 2022-01-26 | 2024-04-16 | Industrial Technology Research Institute | Calibration method for optical see-through display and calibration system |
CN114465910B (zh) * | 2022-02-10 | 2022-09-13 | 北京为准智能科技有限公司 | 一种基于增强现实技术的机械加工设备校准方法 |
Family Cites Families (108)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4720189A (en) | 1986-01-07 | 1988-01-19 | Northern Telecom Limited | Eye-position sensor |
FR2647556B1 (fr) | 1989-05-23 | 1993-10-29 | Thomson Csf | Dispositif optique pour l'introduction d'une image collimatee dans le champ visuel d'un observateur et casque comportant au moins un tel dispositif |
US5270748A (en) | 1992-01-30 | 1993-12-14 | Mak Technologies, Inc. | High-speed eye tracking device and method |
JPH08313843A (ja) | 1995-05-16 | 1996-11-29 | Agency Of Ind Science & Technol | 視線追従方式による広視野高解像度映像提示装置 |
US6404550B1 (en) | 1996-07-25 | 2002-06-11 | Seiko Epson Corporation | Optical element suitable for projection display apparatus |
US6154321A (en) | 1998-01-20 | 2000-11-28 | University Of Washington | Virtual retinal display with eye tracking |
CA2386856A1 (en) | 1999-10-14 | 2001-04-19 | Stratos Product Development Llc | Virtual imaging system |
US6264328B1 (en) | 1999-10-21 | 2001-07-24 | University Of Rochester | Wavefront sensor with off-axis illumination |
US6753828B2 (en) * | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
US6542307B2 (en) | 2000-10-20 | 2003-04-01 | Three-Five Systems, Inc. | Compact near-eye illumination system |
US20030107643A1 (en) * | 2001-08-17 | 2003-06-12 | Byoungyi Yoon | Method and system for controlling the motion of stereoscopic cameras based on a viewer's eye motion |
IL148804A (en) | 2002-03-21 | 2007-02-11 | Yaacov Amitai | Optical device |
US20070165192A1 (en) | 2006-01-13 | 2007-07-19 | Silicon Optix Inc. | Reduced field angle projection display system |
US7640306B2 (en) | 2002-11-18 | 2009-12-29 | Aol Llc | Reconfiguring an electronic message to effect an enhanced notification |
US6879443B2 (en) | 2003-04-25 | 2005-04-12 | The Microoptical Corporation | Binocular viewing system |
IL157837A (en) | 2003-09-10 | 2012-12-31 | Yaakov Amitai | Substrate-guided optical device particularly for three-dimensional displays |
IL157838A (en) | 2003-09-10 | 2013-05-30 | Yaakov Amitai | High-brightness optical device |
IL162573A (en) | 2004-06-17 | 2013-05-30 | Lumus Ltd | Optical component in a large key conductive substrate |
US10073264B2 (en) | 2007-08-03 | 2018-09-11 | Lumus Ltd. | Substrate-guide optical device |
IL166799A (en) | 2005-02-10 | 2014-09-30 | Lumus Ltd | Aluminum shale surfaces for use in a conductive substrate |
WO2006085309A1 (en) | 2005-02-10 | 2006-08-17 | Lumus Ltd. | Substrate-guided optical device utilizing thin transparent layer |
US7751122B2 (en) | 2005-02-10 | 2010-07-06 | Lumus Ltd. | Substrate-guided optical device particularly for vision enhanced optical systems |
EP1848966A1 (en) | 2005-02-17 | 2007-10-31 | Lumus Ltd | Personal navigation system |
US10261321B2 (en) | 2005-11-08 | 2019-04-16 | Lumus Ltd. | Polarizing optical system |
IL171820A (en) | 2005-11-08 | 2014-04-30 | Lumus Ltd | A polarizing optical component for light coupling within a conductive substrate |
IL173715A0 (en) | 2006-02-14 | 2007-03-08 | Lumus Ltd | Substrate-guided imaging lens |
IL174170A (en) | 2006-03-08 | 2015-02-26 | Abraham Aharoni | Device and method for two-eyed tuning |
US7538876B2 (en) * | 2006-06-12 | 2009-05-26 | The Boeing Company | Efficient and accurate alignment of stereoscopic displays |
IL177618A (en) | 2006-08-22 | 2015-02-26 | Lumus Ltd | Optical component in conductive substrate |
US8643948B2 (en) | 2007-04-22 | 2014-02-04 | Lumus Ltd. | Collimating optical device and system |
IL183637A (en) | 2007-06-04 | 2013-06-27 | Zvi Lapidot | Head display system |
US8493662B2 (en) | 2008-09-16 | 2013-07-23 | Bae Systems Plc | Waveguides |
US8717392B2 (en) * | 2009-06-02 | 2014-05-06 | Nokia Corporation | Apparatus for enabling users to view images, methods and computer readable storage mediums |
US20110010988A1 (en) | 2009-07-16 | 2011-01-20 | Michael Lanoha | Universal Underground Receptacle for a Cemetery Flower Vase Cylinder |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
KR101232036B1 (ko) | 2010-10-13 | 2013-02-12 | 한국과학기술원 | 비접촉 전력전달 장치 및 자기유도 방식의 급전장치 |
US9406166B2 (en) * | 2010-11-08 | 2016-08-02 | Seereal Technologies S.A. | Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles |
CN103562530A (zh) | 2011-03-31 | 2014-02-05 | 丰田自动车株式会社 | 内燃机的控制装置以及搭载该控制装置的车辆 |
US9170425B1 (en) | 2011-08-17 | 2015-10-27 | Lockheed Martin Corporation | Multi-focal augmented reality lenses |
GB201117029D0 (en) | 2011-10-04 | 2011-11-16 | Bae Systems Plc | Optical waveguide and display device |
US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
US9297996B2 (en) | 2012-02-15 | 2016-03-29 | Microsoft Technology Licensing, Llc | Laser illumination scanning |
US20150028976A1 (en) | 2012-03-26 | 2015-01-29 | Hitachi, Ltd. | Rare-Earth Magnet |
JP5960799B2 (ja) * | 2012-03-28 | 2016-08-02 | パイオニア株式会社 | ヘッドマウントディスプレイ及び表示方法 |
IL219907A (en) | 2012-05-21 | 2017-08-31 | Lumus Ltd | Integrated head display system with eye tracking |
US8909985B2 (en) | 2012-07-12 | 2014-12-09 | International Business Machines Corporation | Multiple hyperswap replication sessions |
CN202864800U (zh) | 2012-07-26 | 2013-04-10 | 诠钧实业有限公司 | 绞车的刹车机构 |
US20140160157A1 (en) * | 2012-12-11 | 2014-06-12 | Adam G. Poulos | People-triggered holographic reminders |
US20140191927A1 (en) * | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US9638920B2 (en) | 2013-04-15 | 2017-05-02 | Microsoft Technology Licensing, Llc | Torsional support for binocular display |
WO2015020648A1 (en) | 2013-08-07 | 2015-02-12 | Hitachi, Ltd. | Method and apparatus for dynamic monitoring condition control |
US9264702B2 (en) * | 2013-08-19 | 2016-02-16 | Qualcomm Incorporated | Automatic calibration of scene camera for optical see-through head mounted display |
US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
JP6451222B2 (ja) * | 2014-11-04 | 2019-01-16 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
IL232197B (en) | 2014-04-23 | 2018-04-30 | Lumus Ltd | Compact head-up display system |
US10198865B2 (en) * | 2014-07-10 | 2019-02-05 | Seiko Epson Corporation | HMD calibration with direct geometric modeling |
US10070120B2 (en) * | 2014-09-17 | 2018-09-04 | Qualcomm Incorporated | Optical see-through display calibration |
IL235642B (en) | 2014-11-11 | 2021-08-31 | Lumus Ltd | A compact head-up display system is protected by an element with a super-thin structure |
US10764563B2 (en) * | 2014-11-13 | 2020-09-01 | Intel Corporation | 3D enhanced image correction |
KR102383425B1 (ko) * | 2014-12-01 | 2022-04-07 | 현대자동차주식회사 | 전자 장치, 전자 장치의 제어 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
IL236491B (en) | 2014-12-25 | 2020-11-30 | Lumus Ltd | A method for manufacturing an optical component in a conductive substrate |
IL236490B (en) | 2014-12-25 | 2021-10-31 | Lumus Ltd | Optical component on a conductive substrate |
IL237337B (en) | 2015-02-19 | 2020-03-31 | Amitai Yaakov | A compact head-up display system with a uniform image |
CA3109670A1 (en) | 2015-04-22 | 2016-10-27 | Esight Corp. | Methods and devices for optical aberration correction |
US9910276B2 (en) | 2015-06-30 | 2018-03-06 | Microsoft Technology Licensing, Llc | Diffractive optical elements with graded edges |
JP2017108370A (ja) * | 2015-07-06 | 2017-06-15 | セイコーエプソン株式会社 | 頭部装着型表示装置およびコンピュータープログラム |
US10192361B2 (en) * | 2015-07-06 | 2019-01-29 | Seiko Epson Corporation | Head-mounted display device and computer program |
KR102574490B1 (ko) * | 2015-10-12 | 2023-09-04 | 삼성전자주식회사 | 머리 장착형 전자 장치 |
WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
US9759923B2 (en) | 2015-11-19 | 2017-09-12 | Microsoft Technology Licensing, Llc | Low-stress waveguide mounting for head-mounted display device |
US10445860B2 (en) * | 2015-12-08 | 2019-10-15 | Facebook Technologies, Llc | Autofocus virtual reality headset |
US10178378B2 (en) * | 2016-04-12 | 2019-01-08 | Microsoft Technology Licensing, Llc | Binocular image alignment for near-eye display |
AU2017257549B2 (en) * | 2016-04-26 | 2021-09-09 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
US10739598B2 (en) | 2016-05-18 | 2020-08-11 | Lumus Ltd. | Head-mounted imaging device |
US20170353714A1 (en) * | 2016-06-06 | 2017-12-07 | Navid Poulad | Self-calibrating display system |
CN106019602B (zh) | 2016-08-03 | 2018-03-30 | 深圳酷酷科技有限公司 | 头戴式显示设备 |
EP3540484B1 (en) | 2016-10-09 | 2020-11-04 | Lumus Ltd. | Aperture multiplier using a rectangular waveguide |
KR20230084335A (ko) | 2016-11-08 | 2023-06-12 | 루머스 리미티드 | 광학 컷오프 에지를 구비한 도광 장치 및 그 제조 방법 |
EP3371642A4 (en) | 2016-12-02 | 2018-11-07 | Lumus Ltd. | Optical system with compact collimating image projector |
WO2018122859A1 (en) | 2016-12-31 | 2018-07-05 | Lumus Ltd. | Eye tracker based on retinal imaging via light-guide optical element |
WO2018127913A1 (en) | 2017-01-04 | 2018-07-12 | Lumus Ltd. | Optical system for near-eye displays |
IL292456B (en) | 2017-02-22 | 2022-08-01 | Lumus Ltd | Optical assembly of a light guide |
WO2018175343A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
WO2018173035A1 (en) | 2017-03-22 | 2018-09-27 | Lumus Ltd. | Overlapping facets |
IL251645B (en) | 2017-04-06 | 2018-08-30 | Lumus Ltd | Waveguide and method of production |
WO2019016813A1 (en) | 2017-07-19 | 2019-01-24 | Lumus Ltd. | LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT |
WO2019064301A1 (en) | 2017-09-29 | 2019-04-04 | Lumus Ltd. | DISPLAY WITH INCREASED REALITY |
CN111133362B (zh) | 2017-10-22 | 2021-12-28 | 鲁姆斯有限公司 | 采用光具座的头戴式增强现实设备 |
BR112020010057A2 (pt) | 2017-11-21 | 2020-11-03 | Lumus Ltd. | dispositivo óptico |
US20190170327A1 (en) | 2017-12-03 | 2019-06-06 | Lumus Ltd. | Optical illuminator device |
IL274894B2 (en) | 2017-12-03 | 2024-04-01 | Lumus Ltd | Optical instrument alignment methods |
IL275013B (en) | 2017-12-03 | 2022-08-01 | Lumus Ltd | Method and device for testing an optics device |
US11561406B2 (en) | 2017-12-10 | 2023-01-24 | Lumus Ltd. | Image projector |
US10506220B2 (en) | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
WO2019135169A1 (en) | 2018-01-02 | 2019-07-11 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
US10551544B2 (en) | 2018-01-21 | 2020-02-04 | Lumus Ltd. | Light-guide optical element with multiple-axis internal aperture expansion |
JP7389491B2 (ja) | 2018-04-08 | 2023-11-30 | ルムス エルティーディー. | 光学サンプルの特性評価 |
US10830938B2 (en) | 2018-05-14 | 2020-11-10 | Lumus Ltd. | Projector configuration with subdivided optical aperture for near-eye displays, and corresponding optical systems |
US11442273B2 (en) | 2018-05-17 | 2022-09-13 | Lumus Ltd. | Near-eye display having overlapping projector assemblies |
IL259518B2 (en) | 2018-05-22 | 2023-04-01 | Lumus Ltd | Optical system and method for improving light field uniformity |
KR20210013173A (ko) | 2018-05-23 | 2021-02-03 | 루머스 리미티드 | 부분 반사 내부면이 있는 도광 광학 요소를 포함한 광학 시스템 |
CN210323582U (zh) | 2018-05-27 | 2020-04-14 | 鲁姆斯有限公司 | 具有场曲率影响减轻的基于基板引导的光学系统 |
US11415812B2 (en) | 2018-06-26 | 2022-08-16 | Lumus Ltd. | Compact collimating optical device and system |
JP7411255B2 (ja) | 2018-07-16 | 2024-01-11 | ルムス エルティーディー. | 偏光された内部反射体を採用する導光光学素子 |
BR112021004307A2 (pt) | 2018-09-09 | 2021-05-25 | Lumus Ltd. | sistema óptico |
TWM598414U (zh) | 2018-11-11 | 2020-07-11 | 以色列商魯姆斯有限公司 | 具有中間視窗的近眼顯示器 |
JP7424635B2 (ja) | 2019-01-24 | 2024-01-30 | ルムス エルティーディー. | 二次元の拡大を伴う導光光学素子を含む光学システム |
-
2019
- 2019-01-02 WO PCT/IB2019/050014 patent/WO2019135169A1/en unknown
- 2019-01-02 TW TW108100116A patent/TWI791728B/zh active
- 2019-01-02 AU AU2019205611A patent/AU2019205611A1/en not_active Abandoned
- 2019-01-02 CN CN202110937851.9A patent/CN113777783B/zh active Active
- 2019-01-02 MX MX2020002402A patent/MX2020002402A/es unknown
- 2019-01-02 KR KR1020207002078A patent/KR20200102408A/ko unknown
- 2019-01-02 CA CA3068659A patent/CA3068659A1/en not_active Abandoned
- 2019-01-02 RU RU2020100251A patent/RU2020100251A/ru unknown
- 2019-01-02 IL IL275615A patent/IL275615B/en unknown
- 2019-01-02 BR BR112020001912-7A patent/BR112020001912A2/pt not_active IP Right Cessation
- 2019-01-02 JP JP2019571700A patent/JP2021509482A/ja active Pending
- 2019-01-02 CN CN201980003472.3A patent/CN110915210B/zh active Active
- 2019-01-02 EP EP19736247.8A patent/EP3735775A4/en not_active Withdrawn
-
2020
- 2020-12-15 US US17/121,803 patent/US11223820B2/en active Active
-
2023
- 2023-03-01 JP JP2023031303A patent/JP2023081930A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20200102408A (ko) | 2020-08-31 |
TW201932914A (zh) | 2019-08-16 |
MX2020002402A (es) | 2020-07-22 |
IL275615B (en) | 2022-08-01 |
TWI791728B (zh) | 2023-02-11 |
AU2019205611A1 (en) | 2020-01-30 |
EP3735775A4 (en) | 2022-01-19 |
RU2020100251A (ru) | 2022-02-03 |
EP3735775A1 (en) | 2020-11-11 |
US11223820B2 (en) | 2022-01-11 |
CA3068659A1 (en) | 2019-07-11 |
IL275615A (en) | 2020-08-31 |
CN113777783B (zh) | 2024-04-12 |
US20210099691A1 (en) | 2021-04-01 |
BR112020001912A2 (pt) | 2020-07-28 |
CN110915210B (zh) | 2021-10-15 |
JP2021509482A (ja) | 2021-03-25 |
CN110915210A (zh) | 2020-03-24 |
WO2019135169A1 (en) | 2019-07-11 |
CN113777783A (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023081930A (ja) | アクティブアライメントを備えた拡張現実ディスプレイおよび対応する方法 | |
US10869024B2 (en) | Augmented reality displays with active alignment and corresponding methods | |
JP3929384B2 (ja) | ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法 | |
JP5014979B2 (ja) | 個人用電子機器の3次元情報取得及び表示システム | |
JP5507797B2 (ja) | 頭部装着型撮像表示装置及び画像生成装置 | |
US7110103B2 (en) | Apparatus for and method of aligning a structure | |
JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
JP4432462B2 (ja) | 撮像装置及び方法、撮像システム | |
US20190236847A1 (en) | Method and system for aligning digital display of images on augmented reality glasses with physical surrounds | |
KR100747733B1 (ko) | 평행축 입체 카메라 및 입체영상 생성방법 | |
US20240073392A1 (en) | Optical waveguide combiner systems and methods | |
WO2016067729A1 (ja) | 画像生成装置、画像生成方法および較正方法 | |
WO2004088245A1 (en) | Method of solving the correspondence problem in convergent stereophotogrammetry | |
CN114926548A (zh) | 一种基于光学模组的双目相机校准系统及方法 | |
JPH10115878A (ja) | 指向性スクリーンを用いる3次元画像投写システム | |
JP2023504252A (ja) | 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法 | |
JP5767720B2 (ja) | 頭部装着型表示装置、仮想画像生成装置およびそれらを有するシステム、並びに制御方法 | |
CN109644259A (zh) | 三维影像预处理方法、装置及头戴显示设备 | |
US20220400247A1 (en) | Augmented reality display device and method | |
CN115509007A (zh) | 增强现实显示设备与方法 | |
KR20160042694A (ko) | 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법 | |
KR20150120126A (ko) | 스테레오 모바일 3d 카메라 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240304 |