JP2019087241A - 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール - Google Patents

拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール Download PDF

Info

Publication number
JP2019087241A
JP2019087241A JP2018200968A JP2018200968A JP2019087241A JP 2019087241 A JP2019087241 A JP 2019087241A JP 2018200968 A JP2018200968 A JP 2018200968A JP 2018200968 A JP2018200968 A JP 2018200968A JP 2019087241 A JP2019087241 A JP 2019087241A
Authority
JP
Japan
Prior art keywords
physical
virtual
imaging device
work space
alignment tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018200968A
Other languages
English (en)
Other versions
JP7336184B2 (ja
Inventor
ロバート デイヴィス ポール
Robert Davies Paul
ロバート デイヴィス ポール
リー デイヴィッド
Lee David
リー デイヴィッド
ジョセフ エヴァンズ ガブリエル
Joseph Evans Gabriel
ジョセフ エヴァンズ ガブリエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2019087241A publication Critical patent/JP2019087241A/ja
Application granted granted Critical
Publication of JP7336184B2 publication Critical patent/JP7336184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Architecture (AREA)
  • Manufacturing & Machinery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想コンテンツを物理的と実世界環境とのアライメントを正確にする。【解決手段】アライメントツール１０６と、拡張現実イメージングデバイス１０４とを含む。アライメントツールは、ポインタ及び基準マーカを有し、物理的な作業空間１０２内で作業者が携行する。ＡＲイメージングデバイスは、１つ以上のセンサを使用して物理作業空間内で基準マーカ１１２をトラッキングし、基準マーカの位置及び配向に基づいて、物理作業空間内の複数の物理参照位置におけるポインタの位置座標を特定する。複数の物理参照位置は、仮想モデル内の異なる仮想参照点と関連付けられている。ＡＲイメージングデバイスは、仮想参照点の位置座標を、関連付けられた物理参照位置の位置座標に当てはめるための伝達関数を生成し、仮想コンテンツが物理作業空間と空間的に位置合わせされるように、当該伝達関数に従って仮想コンテンツをディスプレイに表示する。【選択図】図１

Description

本開示の実施形態は、概して、拡張現実プラットフォーム（augmented reality platform）に関し、より具体的には、拡張現実プラットフォームにおいて、仮想コンテンツを、物理環境、又は、航空機や他のビークルの内部空間などの作業空間とアライメントすることに関する。
拡張現実プラットフォームは、物理的な実世界環境のライブビューをユーザに表示するディスプレイに対して、仮想コンテンツを重ね合わせることにより、仮想コンテンツ及び物理環境の複合ビューを提供するコンピュータベースのシステムである。ライブビューは、ユーザがディスプレイを通じて物理環境を見ることができるように、ディスプレイ上の配信画像として、或いは、半透明のシースルーディスプレイやレンズを用いて、提供することができる。拡張現実は、ゲーム、教育、及び、軍事などの多くの異なる用途で有用である。拡張現実の具体的且つ有用な用途には、誘導タスク（instructional tasks）を提供するためのものがある。例えば、重ねられた仮想コンテンツは、ビークル、コンピュータ、若しくは他の機械の組み立て、ビークル、コンピュータ、若しくは他の機械の修理、医療処理、家具の組み立てなどの特定の作業を行う際に、作業者を視覚的に誘導することができる。複合ビューにおける仮想コンテンツは、作業者が物理環境内を移動する場合であっても、誘導タスクの支援ガイダンスを提供するために、典型的には、物理環境と正確にアライメントされていなければならない。例えば、仮想コンテンツが物理環境と正確にアライメントされていない場合、誘導タスクの実行時に仮想コンテンツによって提供されるガイダンスは、ユーザに混乱及び誤解を招き、結果として、重大なミスが生じる可能性がある。
拡張現実プラットフォームにおいて、仮想コンテンツを物理的な実世界環境とアライメントするための既知の方法には、作業者の技術力を要するものがある。例えば、ユーザは、仮想オブジェクトが、物理環境における物理的な内装設備とアライメントされるまで、キーボード、タッチパッド、コントローラデバイス、マウス、ハンドジェスチャなどを用いて、仮想オブジェクトを手作業で並進させたり、角度配向（angularly orient）したりしなければならない場合がある。さらに、このような手作業によるアライメントは、面倒で時間がかかる。また、このような作業は、作業者の技術に依存しており、人為的ミスが起こりやすいため、不正確で精度が低い。
本開示の実施形態においては、上記及び他の要因が考慮されている。本開示のいくつかの実施形態においては、拡張現実プラットフォームにおいて、仮想コンテンツを物理的な作業空間又は環境とアライメントするためのシステムが提供される。前記システムは、アライメントツールと、拡張現実（ＡＲ）イメージングデバイスとを含む。前記アライメントツールは、ポインタ及び基準マーカを有する。前記アライメントツールは、物理作業空間内で作業者により携行可能に構成されている。前記ＡＲイメージングデバイスは、１つ以上のセンサ及び１つ以上のプロセッサを含む。前記１つ以上のプロセッサは、前記１つ以上のセンサを使用して前記物理作業空間内で前記基準マーカをトラッキングするとともに、トラッキングされた前記基準マーカの位置及び配向に基づいて、前記物理作業空間内の複数の物理参照位置における前記ポインタの位置座標を特定するように構成されいる。前記複数の物理参照位置は、仮想モデル内の異なる仮想参照点と関連付けられている。前記１つ以上のプロセッサは、前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成するように、さらに構成されている。前記１つ以上のプロセッサは、仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示する。
本開示のいくつかの実施形態においては、拡張現実プラットフォームにおいて仮想コンテンツをアライメントするための方法が提供される。前記方法は、拡張現実（ＡＲ）イメージングデバイスを用いて、物理作業空間内で作業者が携行するアライメントツールの基準マーカをトラッキングすることを含む。前記方法は、前記物理作業空間内の複数の物理参照位置において、前記アライメントツールのポインタ先端部の位置座標を特定することを含む。前記位置座標は、前記ＡＲイメージングデバイスによりトラッキングされる前記基準マーカの位置及び配向に基づいて特定される。前記物理作業空間内の前記物理参照位置は、仮想モデル内の異なる仮想参照点と関連付けられている。前記方法は、前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成することを、さらに含む。前記方法は、さらに、仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示することを、さらに含む。
本開示のいくつかの実施形態においては、拡張現実（ＡＲ）イメージングデバイスを用いて、ディスプレイ上で、仮想コンテンツを物理作業空間と空間的に位置合わせするためのアライメントツールが提供される。前記アライメントツールは、作業者による把持が可能なように構成されたハンドルと、前記ハンドルに取り付けられたフレームと、ポインタとを含む。前記フレームは、前面、及び、前記前面とは反対側の後面を有する。前記フレームは、前記前面に沿って配置されるとともに前記ＡＲイメージングデバイスにより認識可能に構成された基準マーカを有する。前記ポインタは、前記フレームの前記後面から後方に設けられるとともに、前記フレームから前記ポインタの遠位端における前記ポインタの先端部まで延在している。前記先端部は、前記基準マーカに対して固定された所定位置に配置されており、前記ＡＲイメージングデバイスは、前記基準マーカの位置及び配向をトラッキングすることにより、前記物理作業空間における前記先端部の位置を特定する。
本開示のこれら及び他の特徴、態様、及び利点は、添付の図面とともに以下の詳細な説明を読むことによって明らかになるであろう。なお、図面全体に亘って、同様の符号は同様の構成要素を示している。
本開示の一実施形態に従って、作業者が、物理作業空間における仮想コンテンツアライメントシステムを使用している様子を示す図である。 本開示の一実施形態による、仮想コンテンツアライメントシステムのアライメントツールを示す斜視図である。 本開示の一実施形態による、アライメントツールを示す側面図である。 本開示の一実施形態による、仮想コンテンツアライメントシステムを示すブロック図である。 本開示の一実施形態に従って、拡張現実プラットフォームにおいて、仮想コンテンツを物理作業空間とアライメントする方法を示すフローチャートである。 本開示の一実施形態による、表示スクリーンに仮想モデルを表示する表示デバイスを示す図である。 本開示の一実施形態に従って、作業者が、物理作業空間内でアライメントツールを携行している様子を示す図である。 図７に示す物理作業空間における作業者により装着される仮想コンテンツアライメントシステムのＡＲイメージングデバイスの視界を示す図である。 本開示の一実施形態による、航空機を示す前方斜視図である。 本開示の一実施形態による、図９に示す航空機の内部キャビンを示す上面図である。
上記の発明の概要及び下記のいくつかの実施形態の詳細な説明は、添付の図面を参照することによって、より明確に理解されよう。本明細書において、「a」又は「an」との単語に続けて単数形で記載する要素又はステップは、複数の要素又はステップを必ずしも排除するものではない。また、「一実施形態」に言及することは、その実施形態に記載した特徴を取り入れた別の実施形態の存在を排除することを意図するものではない。さらに、特に明記されていない限り、特定の性質を有する１つの要素或いは複数の要素を「含む」或いは「有する」実施形態は、その性質を有さない別の要素を追加的に含みうる。
拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と正確且つ効率的にアライメントするとともに、アライメントの精度に影響を及ぼすことなく、いかなるサイズの仮想コンテンツにも使用可能なシステムおよび方法が必要とされている。また、拡張現実プラットフォームにおいて、第１仮想オブジェクトを物理環境と正確にアライメントするとともに、アライメント処理や再調整を繰り返さずに追加の仮想オブジェクトを物理環境と自動的且つ効率的にアライメントするために使用可能なシステム及び方法が必要とされている。
これらの必要性を念頭におき、本開示のいくつかの実施形態は、拡張現実プラットフォームにおいて、仮想コンテンツを物理的な作業空間又は環境と正確にアライメントするための仮想コンテンツアライメントシステムを提供する。本開示において広義に用いられている「物理的な作業空間」なる用語は、作業員が携行又は装着する拡張現実（ＡＲ）イメージングデバイスにおけるインサイドアウト方式の感知システム（inside-out sensing system）を介してトラッキング又はマッピングすることが可能な、任意の物理環境を指す。例えば、物理作業空間は、壁、フロア、及び／又は、天井で一部又は全体が囲われたビークル又は建物内の閉所空間であってもよい。物理作業空間は、屋外空間をさらに含みうる。
本明細書における１つ以上の実施形態で説明しているように、仮想コンテンツアライメントシステムは、作業者が、当該作業者の携行する特製の手持ち式アライメントツールを用いて物理作業空間における特定の位置（例えば、参照位置）をタッチしている間、当該アライメントツールを視覚的にトラッキングするように構成されている。アライメントツールによりタッチされる参照位置は、特別に選択されるものであり、演算装置におけるソフトウェアプログラムを用いて生成された物理位置の仮想モデルなどの、仮想モデルにおける関連する参照点に対応している。仮想コンテンツアライメントシステムは、物理作業空間をマッピングする物理的又は空間的な座標系の範囲内で、アライメントツールによってタッチされる物理位置の位置座標を特定するように構成されている。空間座標系内の物理的参照位置の位置座標を、仮想座標系内の関連する仮想参照点の位置座標と比較することによって、仮想座標系を空間座標系に適合または整合させる伝達関数（transfer function）が生成される。この伝達関数は、仮想コンテンツと物理作業空間とを空間的に位置合わせ（例えば、アライメント）した状態で、当該仮想コンテンツと物理作業空間のライブビューとを同時にディスプレイに表示するために使用することができる。ライブビューは、配信画像（video feed）、又は、半透明のディスプレイを用いて提供することができ、ユーザは、当該ディスプレイを介して物理作業空間を見ることができる。
本明細書で説明する実施形態の技術的効果には、仮想環境におけるライブオブジェクトの共位置合わせ（co-registration）の改善が含まれる。本明細書で説明する実施形態の技術的効果には、ディスプレイ上で仮想コンテンツをアライメントするのに必要な時間の削減が含まれる。本明細書で説明する実施形態の技術的効果には、仮想コンテンツを物理環境とアライメントするための作業者の技量への依存度の低減が含まれる。本明細書で説明する実施形態の技術的効果には、拡張現実プラットフォームにおいて、仮想コンテンツと物理環境との正確且つ効率的なアライメントが含まれており、この技術的効果は、アライメントの精度に影響を及ぼすことなく、いかなるサイズの仮想コンテンツにも利用することができる。本明細書で説明する実施形態の技術的効果には、拡張現実プラットフォームにおいて、第１仮想オブジェクトと物理環境との正確なアライメントが含まれており、この技術的効果は、アライメント処理や再調整を繰り返さずに追加の仮想オブジェクトを物理環境と自動的且つ効率的にアライメントするために利用することができる。
図１は、実施形態にしたがって、作業者が、物理的な作業空間１０２において仮想コンテンツアライメントシステム１００を使用している様子を示す。仮想コンテンツアライメントシステム１００（本明細書において、アライメントシステム１００とも呼ばれる）は、拡張現実イメージングデバイス１０４（本明細書において、ＡＲイメージングデバイス１０４とも呼ばれる）と、アライメントツール１０６とを含む。例示的な実施形態においては、作業者は、ＡＲイメージングデバイス１０４及びアライメントツール１０６の両方を携行している。例えば、ＡＲイメージングデバイス１０４は、作業者の頭部に装着された頭部装着型装置であり、アライメントツール１０６は、作業者が手で持つことができるツールである。アライメントツール１０６は、当該ツール１０６を作業空間１０２内で持ち歩くために作業者が把持するハンドル１３２を有する。例示的な実施形態においては、ＡＲイメージングデバイス１０４は、作業者の頭部の周囲に固定されて延びるバンド又はストラップ１０８を含む。しかしながら、他の実施形態においては、ＡＲイメージングデバイス１０４は、バンド１０８に代えて、ヘルメット、帽子、個々のイヤーピースを有するサイドアーム部材（例えば、眼鏡のアームなど）、又は、これに類似するものを含みうる。例示的な実施形態におけるＡＲイメージングデバイス１０４はまた、光学シースルー装置（optical see-through device）でもあり、当該ＡＲイメージングデバイス１０４は、作業者の目を覆う透明又は半透明のバイザー１１０を含む。ＡＲイメージングデバイス１０４は、頭部装着型装置に限定されず、他の装着型、携帯型、及び／又は、移動型の装置を含みうる。そのような装置としては、例えば、拡張現実プラットフォームのためのインサイドアウト方式のトラッキングシステムを用いるように構成されたコンピュータタブレット、スマートフォン、スマートウォッチなどが挙げられる。代替の実施形態においては、第１作業者が、物理的な作業空間１０２においてアライメントツール１０６を携行し、第２作業者が、物理的な作業空間１０２においてＡＲイメージングデバイス１０４を装着又は携行してもよい。
ＡＲイメージングデバイス１０４は、インサイドアウト方式の位置トラッキングを行うように構成されている。例えば、ＡＲイメージングデバイス１０４は、１つ以上の画像／動画カメラ、レンジファインダ（例えば、近接センサ）、赤外線（ＩＲ）センサなどの、１つ以上のセンサ４０６（図４に示す）を含む。物理的な作業空間１０２において作業者がＡＲイメージングデバイス１０４を装着又は携行すると、センサ４０６は、作業空間１０２のセンサデータ（例えば、画像データ及び／又は近接データ）を収集する。ＡＲイメージングデバイス１０４は、１つ以上のプロセッサ４１０（図４に示す）を含み、当該プロセッサは、センサデータを解析して、作業空間１０２に対するＡＲイメージングデバイス１０４（及び作業者）の位置及び配向を推測する。物理的な作業空間１０２は、航空機において、一連の湾曲フレーム部材１２２により形成された円筒形状の胴体１２０の内部であってもよい。例示的な実施形態における胴体１２０は、フロア１２４と、窓１２６と、出入口１３０を画定するは後壁１２８とをさらに含む。ＡＲイメージングデバイス１０４は、作業者が胴体１２０内を移動すると、例えば、出入口１３０及び／又は窓１２６などの、胴体１２０の特異部に対するＡＲイメージングデバイス１０４の近接度及び角度の変化をトラッキングするように構成されている。ＡＲイメージングデバイス１０４は、当該ＡＲイメージングデバイス１０４を取り囲む胴体１２０において感知された変化に基づいて、作業者の動き（例えば、並進及び／又は回転）を計算し、胴体１２０の内部における作業者の現在の位置及び配向を特定する。ＡＲイメージングデバイス１０４は、センサ４０６が、作業者の位置から（例えば、内側から）周囲の作業空間１０２に向かって外側に「見る」と、インサイドアウト方式にて位置トラッキングを実行することができる。
ＡＲイメージングデバイス１０４は、さらに、物理的な作業空間又は環境のライブビューを表示するディスプレイに仮想コンテンツを重ね合わせることによって、作業者に仮想コンテンツを表示するように構成されている。仮想コンテンツは、画像、記号、グリフ（glyphs）、三次元オブジェクトなどを含みうる。ＡＲイメージングデバイス１０４は、Microsoft（登録商標）社のHololens（登録商標）、DAQRI（登録商標）社のSmart Helmet（登録商標）、Meta（登録商標）社のMeta II（登録商標）などの、市場における様々な既知の拡張現実用のデバイスのうちの１つであってもよい。これに代えて、上述したように、ＡＲイメージングデバイス１０４は、拡張現実プラットフォームのためのインサイドアウト式の位置トラッキングを実行するためのセンサ及び処理能力を有する、タブレットコンピュータやスマートフォンなどであってもよい。一実施形態においては、眼鏡レンズと同様に機能する透明又は半透明のディスプレイに仮想コンテンツを重ね合わせることによりライブビューを提供してもよく、これにより、作業者は、ディスプレイを介して現実世界を見ることができる。他の実施形態においては、周囲環境のライブ配信画像をディスプレイ装置に表示することによりライブビューを提供してもよい。
拡張現実の用途は数多く存在するが、これらの用途のうちの１つ以上は、作業中に作業者をガイドする誘導を目的としている。上記作業は、製造、建築、保守、検査、訓練、修理などに関するものである。例えば、拡張現実は、作業中に作業者をガイドする仮想指示情報を選択的に表示することにより、複雑及び／又は困難な労働作業のガイドを行うために使用することができる。拡張現実を使用して複雑及び／又は困難な作業のガイドを行って、エラーの数や作業時間を減らすことにより、作業成果（work output）を高めるとともにコストを削減することができる。しかしながら、仮想コンテンツが物理的環境と適切にアライメントされていない場合、拡張されたシーンにより作業がさらに複雑化する可能性がある。例えば、指示用仮想コンテンツが物理的環境とアライメントされていない場合、作業者は、誤解したり、或いは、少なくとも混乱したりする可能性がある。本明細書で説明するアライメントシステム１００は、拡張現実プラットフォームにおいて、仮想コンテンツと物理的な作業空間とを効率的且つ正確にアライメントするように構成されており、これにより、作業者に表示されるライブビューにおいて、指示用仮想情報と物理的な作業空間との空間的な位置合わせ（spatially-registered）を適切に行うことができる。
ＡＲイメージングデバイス１０４は、物理的な作業空間１０２においてアライメントツール１０６をトラッキングするように構成されている。アライメントツール１０６は、当該アライメントツール１０６をトラッキングするためにＡＲイメージングデバイス１０４が使用する基準マーカ１１２を含む。基準マーカ１１２は、色、記号、画像、テキスト、形状、バーコードなどのグラフィック表示である。例示的な実施形態においては、基準マーカ１１２は、番号記号（＃）である。ＡＲイメージングデバイス１０４は、１つ以上のセンサ４０６により取得された画像データにおける基準マーカ１１２を認識及び検出するように構成されている（例えば、プログラミング又は設定されている）。また、ＡＲイメージングデバイス１０４は、画像解析を用いて、当該ＡＲイメージングデバイス１０４に対する基準マーカ１１２の距離及び角度配向（angular orientation）を特定するようにも構成されている。例えば、ＡＲイメージングデバイス１０４は、前回の画像データにおける基準マーカ１１２のサイズに対して基準マーカ１１２のサイズが縮小したことを検出し、この検出されたサイズに応答して、アライメントツール１０６がＡＲイメージングデバイス１０４から離れる方向に移動したことを検出する。１つ以上の実施形態においては、ＡＲイメージングデバイス１０４は、作業空間１０２におけるＡＲイメージングデバイス１０４の位置及び配向を特定するために、作業空間１０２における特定の物体をトラッキングしてもよいし、ＡＲイメージングデバイス１０４に対するアライメントツール１０６の位置及び配向を特定するために基準マーカ１１２をトラッキングしてもよい。この情報に基づいて、ＡＲイメージングデバイス１０４は、作業空間１０２に対する基準マーカ１１２の位置及び配向を計算することができる。
図２は、一実施形態によるアライメントツール１０６を、基準マーカ１１２（図１）を省いた状態で示す斜視図である。本明細書において詳述するように、アライメントツール１０６は、物理的な作業空間１０２（図１）において参照位置を収集するために使用される。アライメントツール１０６は、ハンドル１３２と、フレーム２０２と、ポインタ２０４とを含む。フレーム２０２は、前面２０６と、当該前面２０６とは反対側の後面２０８とを有する。基準マーカ１１２は、フレーム２０２の前面２０６に沿って取り付けられるように構成されている。例えば、基準マーカ１１２は、接着剤、クリップ、又は、他の留め具により、フレーム２０２の前面２０６に取り付けられる紙上、又は、他の基材上の画像であってもよい。代替の実施形態においては、基準マーカ１１２は、フレーム２０２の前面２０６に一体的に形成してもよく、例えば、前面２０６に塗装してもよいし、前面２０６に沿って成形してもよいし、基準マーカ１１２を囲むフレーム２０２の一部を切除することにより形成してもよい。
フレーム２０２は、第１端２１０と、当該第１端２１０とは反対側の第２端２１２とを有する。ハンドル１３２は、フレーム２０２の第２端２１２に取り付けられており、フレーム２０２からハンドル１３２の遠位端２１４まで延在する。例示的な実施形態においては、第１端２１０は、フレーム２０２の上端であり、第２端２１２は、下端である。本明細書において、「上」、「下」、「前」、「後」、「上方」、及び、「下方」などの相対的或いは空間的な用語は、言及する要素を区別するためにのみ使用されており、重力に対して、或いは、アライメントツール１０６の周囲環境に対して、特定の位置又は配向を必ずしも必要とするものではない。例示的な実施形態においては、ハンドル１３２は、フレーム２０２の第２端２１２（例えば、下端）から遠位端２１４へと直線的に延びる円筒状のシャフトである。任意ではあるが、ハンドル１３２の外周部は、人間工学的に作業者の手に適合するように輪郭形成されている。代替の実施形態においては、ハンドル１３２は、湾曲形状、及び／又は、異なる形状を有しうる。
ポインタ２０４は、フレーム２０２の後面２０８から後方に設けられるとともに、フレーム２０２からポインタ２０４の遠位端２１６まで延在している。ポインタ２０４は、遠位端２１６において、一点に向かって細くなる先端部２１８を含む。ポインタ２０４は、図３に詳細に示されている。
図３は、一実施形態によるアライメントツール１０６の側面図である。例示的な実施形態におけるポインタ２０４は、フレーム２０２の後面２０８から遠位端２１６へと直線的に延びている。一実施形態においては、ポインタ２０４は、ハンドル１３２の配向に対して略垂直に延びている。例えば、ポインタ２０４の軸とハンドル１３２の軸との間の角度が、９０度からプラス又はマイナス５度又は１０度の範囲内（例えば、８０°と１００°との間）にある場合において、ポインタ２０４は、ハンドル１３２に対して「略垂直」であるものとする。ポインタ２０４の先端部２１８は、フレーム２０２に対して適所に固定されるとともに、フレーム２０２に対して所定位置に配置されている。例えば、ポインタ２０４は、フレーム２０２の前面２０６における平面に対して、例えば９０度などの所定角度で、フレーム２０２から所定距離だけ延びていてもよい。基準マーカ１１２がフレーム２０２に取り付けられている場合、ポインタ２０４の先端部２１８は、基準マーカ１１２に対して所定位置に配置されている。基準マーカ１１２に対するポインタ２０４の位置及び配向が分かっているため、ＡＲイメージングデバイス１０４は、基準マーカ１１２の位置及び配向をトラッキングすることにより、作業空間１０２におけるポインタ２０４の先端部２１８の位置を特定するように構成されている。代替の実施形態においては、ポインタ２０４は、フレーム２０２からではなく、ハンドル１３２から直接後方に延びていてもよい。
一実施形態においては、アライメントツール１０６の材料組成は、１つ以上のプラスチック材料又は他のポリマー材料を含む。他の実施形態においては、アライメントツール１０６は、１つ以上の金属又は他の材料で構成されていてもよい。ハンドル１３２、ポインタ２０４、及び、フレーム２０２は、共通の成形処理において互いに一体成形してもよいし、別々に成形した後に組み立てられてもよく、これにより、アライメントツール１０６が形成されてもよい。
再度図２を参照すると、例示的な実施形態におけるアライメントツール１０６は、ハンドル１３２に選択ボタン２２０を含む。選択ボタン２２０は、ハンドル１３２を握っている際の作業者の親指又は他の指により作動させるように構成されている。作業者は、円筒状のハンドル１３２の内部に向かって径方向内方にボタン２２０を押下することにより、当該ボタン２２０を作動させることができる。選択ボタン２２０は、任意であって、アライメントツール１０６の１つ以上の代替の実施形態においては、当該ボタン２２０を設けなくてもよい。
図４は、一実施形態による仮想コンテンツアライメントシステム１００を示すブロック図である。図４に示すブロック図は、アライメントシステム１００内のサブコンポーネントの非限定的且つ例示的な実施形態を示す。他の実施形態におけるアライメントシステム１００は、より少ないコンポーネント、追加のコンポーネント、及び／又は、図４に示す以外のコンポーネントを含みうる。
アライメントツール１０６は、選択ボタン２２０及び関連する回路と、プロセッサ４０２と、無線通信回路４０４とを含む。プロセッサ４０２及び無線通信回路４０４は、アライメントツール１０６のハンドル１３２（図３に示す）の内部に設けてもよい。プロセッサ４０２は、無線通信回路４０４の動作を制御するように構成されている。無線通信回路４０４は、無線周波数信号を生成して、当該信号をＡＲイメージングデバイス１０４及び／又は他の演算装置に伝達（例えば、送信及び／又はブロードキャスティング）するために、アンテナと、関連する回路とを含みうる。例えば、無線通信回路４０４は、送受信機や送信機などを含みうる。１つ又は複数の実施形態においては、作業者が選択ボタン２２０を作動させると（例えば、押下、トグル、回転などを行うと）、プロセッサ４０２は、これに応答して、無線通信回路４０４を制御することによりデータ取得命令信号を生成して、当該信号をＡＲイメージングデバイス１０４に無線で伝達する。無線通信回路４０４は、Bluetooth（登録商標）技術規格などの無線通信プロトコルに従って、データ取得命令信号を伝達することができる。一実施形態においては、データ取得命令信号は、選択ボタン２２０が作動する度に無線通信回路４０４により伝達される。データ取得命令信号は、選択ボタン２２０が作動したことをＡＲイメージングデバイス１０４に知らせるデータ又は情報を含む電磁信号であってもよい。
ＡＲイメージングデバイス１０４は、１つ以上のセンサ４０６と、１つ以上のプロセッサ４１０及びメモリ４１２を有する制御ユニット４０８と、表示デバイス４１４と、無線通信回路４１６とを含む。センサ４０６は、１つ以上の画像／動画カメラ、レンジファインダ（例えば、近接センサ）、赤外線（ＩＲ）センサなどを含みうる。センサ４０６は、ＡＲイメージングデバイス１０４の周囲環境を監視するために用いられ、当該環境におけるＡＲイメージングデバイス１０４の位置のトラッキング、及び、アライメントツール１０６の基準マーカ１１２（図１）のトラッキングを行うことが可能である。
制御ユニット４０８の１つ以上のプロセッサ４１０は、ＡＲイメージングデバイス１０４における様々なコンポーネントのうちの少なくともいくつかの動作を制御することができる。１つ以上のプロセッサ４１０の各々は、マイクロプロセッサ、コントローラ、又は、同等の制御回路を含みうる。メモリ４１２は、プロセッサ４１０による使用のため、或いは、遠隔通信のための一時的又は永久的なデータを記憶する物理的な非一時的コンピュータ可読記憶装置を含みうる。例えば、１つ以上のプロセッサ４１０は、メモリ４１２又は他の非一時的なコンピュータ可読記憶媒体に記憶されているプログラム化された命令（例えば、ソフトウェア）に基づいて動作することができる。メモリ４１２は、ランダムアクセスメモリ（ＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、別のタイプのＲＡＭ、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリなどの１つ以上の揮発性及び／又は不揮発性のメモリデバイスを含みうる。メモリ４１２は、センサ４０６により収集されたデータを少なくとも一時的に保存するように構成されている。例えば、メモリ４１２は、ＡＲイメージングデバイス１０４における１つ以上のカメラによって撮像された画像データを保存することができる。メモリ４１２はまた、周囲環境（例えば、図１に示す物理的な作業空間１０２）の空間座標に基づくマップを示すマッピングデータを保存するためにも用いることができる。さらに、メモリ４１２は、環境の空間マップにおける１つ以上の特定位置の座標を示す位置データを保存することができる。制御ユニット４０８は、センサ４０６、表示デバイス４１４、及び、無線通信回路４１６に（例えば、有線又は無線の通信路を介して）機能接続している。
無線通信回路４１６は、例えば、アライメントツール１０６からデータ取得命令信号を受信するために、アライメントツール１０６と遠隔無線通信（例えば、送信及び／又はブロードキャスティング）するように構成されている。無線通信回路４１６は、さらに、遠隔演算装置などの他の装置と通信するように構成することもできる。無線通信回路４１６は、アンテナ、及び、受信機や送受信機などの関連する回路を含みうる。
表示デバイス４１４は、光学シースルー型ＡＲイメージングデバイス１０４の透明又は半透明のバイザー１１０と一体化されていてもよい。ＡＲイメージングデバイス１０４がタブレットコンピュータやスマートフォンなどである代替の実施形態においては、表示デバイス４１４は、ＡＲイメージングデバイス１０４のモニタ又はタッチスクリーンディスプレイであってもよい。一実施形態においては、１つ以上のプロセッサ４１０は、拡張現実コンテンツを表示デバイス４１４に表示するように構成されてもよく、そのようなコンテンツの例としては、作業者を取り囲む物理的な作業空間１０２（図１）を示すライブ配信画像と重ね合わされた仮想オブジェクトが挙げられる。仮想オブジェクトは、３次元で表示されてもよい。
なお、図４に示すセンサ４０６、表示デバイス４１４、及び、通信回路４１６は、ＡＲイメージングデバイス１０４の例示的なコンポーネントにすぎず、他の実施形態においては、制御ユニット４０８は、追加のコンポーネント、より少ないコンポーネント、及び／又は、他の異なるコンポーネントに機能接続していてもよい。
図５は、一実施形態による、拡張現実プラットフォームにおいて仮想コンテンツと物理作業空間とをアライメントする方法５００を示すフローチャートである。方法５００は、図１〜４に示すアライメントシステム１００、又は、そのコンポーネントにより実行することができる。例えば、方法５００は、その全体又は一部が、ＡＲイメージングデバイス１０４における１つ以上のプロセッサ４１０により実行されてもよい。５０２において、仮想モデル内の選択された仮想参照点を受信する。仮想参照点は、仮想モデルの個々の離間した点である。一実施形態においては、少なくとも３つの仮想参照点が選択される。これらの参照点のうちの少なくともいくつかは、単一の共通線上に位置していない。仮想モデルは、コンピュータ支援設計（ＣＡＤ）モデルであってもよい。仮想モデルは、航空機、建物、工業施設などの物理作業空間を表すことができる。仮想参照点の各々は、仮想座標系又は参照フレーム内の固有の位置座標を有する。一実施例においては、位置座標は、仮想座標系内の互いに直交する３つの軸に沿って定義される３次元の位置座標である。一実施形態においては、仮想参照点は、作業者が、ＡＲイメージングデバイス１０４とは別個であって、且つ、当該イメージデバイスとは離れて配置されている演算装置を用いて選択する。仮想参照点は、ＡＲイメージングデバイス１０４における無線通信回路４１６（図４）が、遠隔演算装置から受信してもよい。これに代えて、仮想モデルにおける仮想参照点は、作業者が、ＡＲイメージングデバイス１０４と一体化された表示デバイス４１４を用いて選択してもよい。他の代替の実施形態においては、仮想参照点は、ＡＲイメージングデバイス１０４又は遠隔演算装置を介して自動的に選択されてもよい。
図６は、一実施形態による、表示スクリーン６０６に仮想モデル６０４を表示する表示デバイス６０２を示す。一実施形態においては、表示デバイス６０２は、ＡＲイメージングデバイス１０４から離れた位置にあり、作業者が、仮想モデル６０４における３つ以上の仮想参照点を選択するために用いられる。例えば、表示デバイス６０２は、タブレットコンピュータであってもよく、表示スクリーン６０６は、タッチスクリーンであってもよい。表示デバイス６０２は、アライメントシステム１００とは別個のデバイスであってもよく、方法５００の５０２において選択された仮想参照点を受信するのに必要ではない場合もある。他の実施形態において、表示デバイス６０２は、ＡＲイメージングデバイス１０４の表示デバイス４１４（図４）であってもよく、ＡＲイメージングデバイス１０４に仮想モデル６０４が表示されてもよい。
例示的な実施形態においては、仮想モデル６０４は、航空機の内部空間を示しており、壁６０８、天井６１０、並びに、これらの壁６０８及び天井６１０に取り付けられた様々なコンポーネントを含む。これらのコンポーネントには、電気装置６１２及びワイヤハーネス６１４が含まれる。ワイヤハーネス６１４は、電気装置６１２を電気接続するために用いられる複数の電気ケーブル６１６を含む。表示スクリーン６０６において、３つの仮想参照点６１８、６２０、６２２が、仮想モデル６０４の異なる位置で強調表示されている。例えば、第１仮想参照点６１８は、天井６１０に取り付けられた電気装置６１２の角に位置している。第２仮想参照点６２０は、壁６０８に取り付けられた留め具６２４の端に位置しており、この留め具は、電気ケーブル６１６のうちの１つを所定位置に固定するものである。第３仮想参照点は、壁６０８に取り付けられた電気装置６１２の角に位置している。表示デバイス６０２は、仮想参照点６１８、６２０、６２２の各々の位置座標を、点６１８、６２０、６２２に隣接した位置に示す。仮想座標系における３つの軸は、「Ａ」、「Ｂ」、及び、「Ｃ」として特定されている。３つの軸は、垂直軸、水平軸又は横軸、及び、縦軸又は奥行軸を表していてもよい。これに代えて、上記軸は、バットライン（butt line）、ウォーターライン（water line）、及び、ステーションライン（station line）、などの航空機の軸を表していてもよい。第１参照点６１８は、位置座標（Ａ1，Ｂ1，Ｃ1）を有し、第２参照点６２０は、位置座標（Ａ2，Ｂ2，Ｃ2）を有し、第３参照点６２２は、位置座標（Ａ3，Ｂ3，Ｃ3）を有する。一実施形態においては、仮想参照点は、少なくとも１メートルの距離を隔てて互いに離間していてもよいし、オプションとして、少なくとも２メートル以上の距離を隔てて互いに離間していてもよい。
再度図５に示す方法５００を参照すると、５０４においては、物理作業空間をマッピングすることにより物理座標系を生成する。例えば、ＡＲイメージングデバイス１０４は、センサ４０６から受信したセンサデータに基づいて、当該ＡＲイメージングデバイス１０４が位置する物理作業空間を空間的にマッピングするように構成されている。例えば、ＡＲイメージングデバイス１０４を有する作業者が物理作業空間を移動すると、ＡＲイメージングデバイス１０４は、周囲のマッピングを行って、物理作業空間を表す物理座標系又は参照フレームを生成するように構成されている。物理座標系は、ＡＲイメージングデバイス１０４の位置に基づいていてもよい。例えば、マッピングは、物理作業空間をマッピングしたときに特定の実在オブジェクト（real-life objects）に対して物理座標系内の特定の位置座標が割り当てられるように、周囲環境におけるＡＲイメージングデバイス１０４の位置とこれらの実在オブジェクトの位置との間の関係を確立するものである。任意ではあるが、ＡＲイメージングデバイス１０４を装着している作業者は、５０２において、仮想モデル内の仮想参照点を選択する作業者と同じであってもよい。
５０６において、マッピングされた物理作業空間内で、作業者が携行するアライメントツールの基準マーカをトラッキングする。例えば、図７は、一実施形態に従って、作業者が、物理作業空間７０２においてアライメントツール１０６を携行している様子を示す。例示的な実施形態における物理作業空間７０２は、航空機の内部空間である。航空機は、未完成の状態であってもよく、例えば、内部空間が構築中であってもよい。物理作業空間７０２は、図６に示す仮想モデル６０４に対応している。例えば、仮想モデル６０４は、完成した状態における物理作業空間を仮想表現したものであってもよい。物理作業空間７０２は、壁７０４と天井７０６とを含む。壁７０４及び天井７０６には複数の電気装置７０８及び留め具７１０が取り付けられているが、中間段階においては、ワイヤハーネスはまだ取り付けられていない。
図７に示すように、作業者は、ＡＲイメージングデバイス１０４を装着し、且つ、アライメントツール１０６を把持している。ＡＲイメージングデバイス１０４のセンサ４０６（図４）は、物理作業空間７０２におけるアライメントツール１０６の基準マーカ１１２をトラッキングするように構成されている。一実施形態においては、作業者は、アライメントツール１０６を移動させて、ポインタ２０４の先端部２１８が、物理作業空間７０２において、図６に示す仮想モデル６０４における仮想参照点６１８、６２０、６２２に関連付けられた複数の参照位置の各々に配置されるようにする。例えば、図７において、作業者は、壁７０４に取り付けられた留め具７１０の端部における参照位置７１４に先端部２１８が配置されるようにアライメントツール１０６を位置決めする。参照位置７１４は、仮想モデル６０４（図６に示されている）の壁６０８に取り付けられた留め具６２４における第２仮想参照点６２０と関連付けられた第２参照位置である。
再度図５を参照すると、５０８において、作業者選択を受信したか否かを判断する。作業者選択は、ＡＲイメージングデバイス１０４に伝達される電気信号、可聴コマンド、ジェスチャなどであってもよい。作業者選択は、ＡＲイメージングデバイス１０４に対して、ポインタ２０４の先端部２１８の現在位置についての位置座標を収集及び記録することを指示するものである。例えば、作業者選択は、作業者による選択ボタン２２０の押下に応答して、アライメントツール１０６の通信回路４０４（図４）から伝達されるデータ取得命令信号であってもよい。これに代えて、作業者選択は、ＡＲイメージングデバイス１０４のマイクロフォン（図示略）などにより受信される作業者の特定の音声コマンドであってもよい。作業者選択を受信していない場合、方法５００のフローは、５０６に戻り、基準マーカ１１２のトラッキングが継続される。
一方、作業者選択を受信した場合、方法５００のフローは、５１０に進む。５１０において、参照位置におけるアライメントツール１０６のポインタ２０４の位置座標を収集する。例えば、図７を参照すると、ＡＲイメージングデバイス１０４は、作業者によるアライメントツール１０６の選択ボタン２２０の押下に応答して、ポインタ２０４の先端部２１８の現在位置に対応する位置座標を収集及び記録するように構成されている。ＡＲイメージングデバイス１０４は、当該ＡＲイメージングデバイス１０４に対する基準マーカ１１２の距離及び配向を特定する画像解析に基づいて、物理作業空間７０２における先端部２１８の位置を特定することができる。基準マーカ１１２に対する先端部２１８の位置は、予め決定されており、分かっているため、ＡＲイメージングデバイス１０４は、ＡＲイメージングデバイス１０４に対する先端部２１８の相対位置を特定することができる。ＡＲイメージングデバイス１０４は、インサイドアウト方式の位置トラッキングを用いて、物理作業空間７０２におけるＡＲイメージングデバイス１０４の現在位置及び角度配向を特定し、さらに、先端部２１８の現在位置を特定する。
先端部２１８の位置は、ＡＲイメージングデバイス１０４によってマッピングされた物理座標系内の位置座標で特定される。例示的な実施形態においては、物理座標系は、３次元の座標系であって、「Ｘ」、「Ｙ」、及び、「Ｚ」で表される３つの互いに直交する軸を含む。軸Ｘ、Ｙ、及びＺは、バットライン、ウォーターライン、及び、ステーションラインなどの航空機の座標軸を表すことができる。図７に示す留め具７１０を指し示す第２参照位置７１４の位置座標は、（Ｘ2，Ｙ2，Ｚ2）で特定される。ＡＲイメージングデバイス１０４は、第２参照位置７１４の位置座標を、メモリ４１２（図４）又は他の記憶装置に記録する。
参照位置の位置座標を収集した後、方法５００は、５１２に進み、他の参照位置について処理を繰り返すか否かを判定する。この収集処理は、５０２で受信した仮想モデル内で選択された仮想参照点の各々と関連する参照位置の位置座標を収集するために、繰り返し行うことができる。例えば、収集処理は、物理作業空間７０２において、図６に示す仮想参照点６１８、６２０、６２２に関連する参照位置の各々の位置座標を収集するために、繰り返し行われる。例えば、収集処理は、物理作業空間７０２において３つ以上の参照位置の位置座標が収集されるまで繰り返される。
図７を参照すると、作業者は、第２参照位置７１４において位置座標を収集した後、物理作業空間７０２におけるアライメントツール１０６を、仮想モデル６０４における第３仮想参照点６２２と関連する他の参照位置７１６に向かって移動させてもよい。作業者は、ポインタ２０４の先端部２１８が、壁７０４に取り付けられた電気装置７０８の角に配置されるように、アライメントツール１０６を移動させる。この電気装置は、図６に示す仮想モデル６０４の壁６０８に取り付けられた電気装置６１２に対応している。ＡＲイメージングデバイス１０４は、基準マーカ１１２のトラッキングを継続し（５０６）、作業者選択の受信に応答して（５０８）、物理座標系において、参照位置７１６の位置座標を特定する。例えば、第３参照位置７１６の位置座標は、（Ｘ3，Ｙ3，Ｚ3）で示される。収集処理は、仮想モデル６０４における第１仮想参照点６１８と関連する第１参照位置７１８の位置座標を収集するために、再度繰り返される。第１参照位置７１８における座標は、（Ｘ1，Ｙ1，Ｚ1）で示される。物理的な参照位置７１４、７１６、７１８の位置座標は、（これら物理的な参照位置７１４、７１６、７１８の各々が、仮想参照点６２０、６２２、６１８のうち対応するものと関連付けられる限り）いかなる順序で収集されてもよい。
図５に示す方法５００を参照すると、仮想参照点６１８、６２０、６２２に対応する参照位置７１４、７１６、７１８の各々の位置座標が特定されると、方法５００は、５１４に進み、物理的な参照位置の位置座標が、対応する仮想参照点の位置座標とグループ化される。例えば、ＡＲイメージングデバイス１０４の１つ以上のプロセッサ４１０は、仮想モデル６０４における第１仮想参照点６１８の位置座標（Ａ1，Ｂ1，Ｃ1）を、物理作業空間７０２における第１参照位置７１８の位置座標（Ｘ1，Ｙ1，Ｚ1）とグループ化する。１つ以上のプロセッサ４１０は、さらに、位置座標（Ａ2，Ｂ2，Ｃ2）を座標（Ｘ2，Ｙ2，Ｚ2）と、位置座標（Ａ3，Ｂ3，Ｃ3）を座標（Ｘ3，Ｙ3，Ｚ3）と、それぞれグループ化する。なお、仮想参照点６１８、６２０、６２２の位置座標は、仮想座標系で定義されており、当該仮想座標系は、物理参照位置７１４、７１６、７１８の位置座標が定義されている物理座標系とは異なるものである。
５１６において、仮想参照点の位置座標を物理参照位置の位置座標に当てはめる（fit）ための伝達関数が生成される。例えば、ＡＲイメージングデバイス１０４の１つ以上のプロセッサ４１０は、点対（point pairs）に対して、最小二乗適合アルゴリズム（least squares fit algorithm）などのアルゴリズムを利用することができる。１つ以上のプロセッサ４１０は、個々の点対間の誤差を低減するために、仮想座標系の回転及び平行移動を含む変換関数（transformation function）又は伝達関数を特定することにより、仮想座標系を物理座標系にアライメント又は空間的に位置合わせすることができる。
５１８において、図６に示す仮想モデル６０４及び／又は他の仮想コンテンツが、ディスプレイ上で物理作業空間とアライメントされるように、伝達関数に従って当該仮想モデル及び／又は他の仮想コンテンツが表示される。例えば、仮想モデル６０４の少なくとも一部が、物理作業空間のライブビューに重ね合わされる。伝達関数を生成するのに仮想モデル６０４を用いたが、伝達関数は、仮想モデル６０４を表示する代わりに、或いは、これに加えて、仮想モデル６０４とは異なる仮想コンテンツを表示するために用いることもできる。仮想モデル６０４及び／又は他の仮想コンテンツは、３次元の画像又はオブジェクトとして表示することができる。ディスプレイは、ＡＲイメージングデバイス１０４のバイザー１１０と一体化されるとともに、ＡＲイメージングデバイス１０４を装着する作業者により目視可能な表示デバイス４１４であってもよい。これに代えて、仮想モデル６０４及び／又は他の仮想コンテンツは、一体化された表示デバイス４１４に表示する代わりに、或いは、これに加えて、別個の異なる表示デバイスに表示されてもよい。
例えば、図８は、図７に示す物理作業空間７０２における作業者により装着されるＡＲイメージングデバイス１０４の視界８０２を示す図である。視界８０２は、作業者が、ＡＲイメージングデバイス１０４の一体化された表示デバイス４１４（図４）で何を見るかが示されている。視界８０２は、図７に示すような中間状態における物理作業空間７０２に、図６に示す仮想モデル６０４のワイヤハーネス６１４を加えたものを示している。例えば、視界８０２における物理作業空間７０２は、ライブ配信画像であってもよく、ワイヤハーネス６１４は、ライブ配信画像に重ね合わされた３次元の仮想画像又は仮想オブジェクトであってもよい。図８には、仮想ワイヤハーネス６１４が仮想線で示されている。仮想ワイヤハーネス６１４は、当該ワイヤハーネス６１４を仮想座標系から物理座標系にアライメント及び空間的に位置合わせするための伝達関数を適用することによって、重ね合わされる。図８に示すように、仮想ワイヤハーネス６１４は、物理作業空間７０２における電気装置７０８及び留め具７１０と正確にアライメントされている。ただし、このワイヤハーネス６１４は、バーチャルである（例えば、物理作業空間７０２に物理的に配置されていない）。ＡＲイメージングデバイス１０４は、物理作業空間７０２の内部空間の構築中、物理作業空間７０２にワイヤハーネス６１４を表示することにより、物理作業空間７０２においてワイヤハーネスの電気ケーブルを実際にどのように設置するのかを作業者に指示することができる。
なお、方法５００の５１６で生成された伝達関数は、仮想モデル６０４以外の追加の仮想コンテンツを表示するために用いることもできる。例えば、伝達関数を生成するために用いられる仮想参照点は、仮想モデルから選択されるが、この伝達関数は、仮想座標系を用いる任意の仮想コンテンツを物理作業空間の物理座標系とアライメントするのにも用いることができる。伝達関数により、仮想座標系から物理座標系への較正が行われる。較正の内容が分かれば、例えば、航空機の異なる部分を表す他の仮想モデルに伝達関数を適用して、これらの他の仮想モデルの仮想コンテンツを物理作業空間と空間的に位置合わせすることができる。
再度図５を参照すると、５２０において、作業者が物理作業空間内で動いたか否かが判定される。例えば、ＡＲイメージングデバイス１０４のセンサ４０６（図４）は、インサイドアウト式の位置トラッキングを用いて、物理作業空間におけるＡＲイメージングデバイス１０４の位置を継続的に監視する。ＡＲイメージングデバイス１０４は、位置トラッキングに基づいて、作業者が、例えば、曲がったり（例えば、回転）、歩いたり（例えば、並進）することによって、物理作業空間に対していつ移動したのかを特定することができる。作業者が移動したと特定されると、フローは５２２に進み、表示されている仮想コンテンツの位置及び／又は配向が修正される。例えば、図８を参照すると、ＡＲイメージングデバイス１０４は、当該ＡＲイメージングデバイス１０４の認識された回転及び／又は並進に基づいて、物理作業空間７０２に対する仮想ワイヤハーネス６１４の表示される位置及び配向を修正するように構成されており、これにより、視界８０２において、仮想ワイヤハーネス６１４が、作業者には本物のように見える。例えば、ＡＲイメージングデバイス１０４は、物理座標系における当該ＡＲイメージングデバイス１０４の更新後の位置及び角度配向を特定することができ、また、仮想コンテンツ（例えば、ワイヤハーネス６１４）は、既に物理座標系において空間的に位置合わせされているため、当該仮想コンテンツの位置及び配向に対しても同様の変更を加えることができる。
なお、仮想コンテンツがどのように表示されるかについての変更は、物理作業空間に対するＡＲイメージングデバイス１０４の位置トラッキングのみに基づいている。拡張現実プラットフォームにおいて仮想コンテンツをアライメントするためのいくつかの既知の方法とは異なり、本明細書で説明するアライメントシステム１００は、仮想コンテンツをどのように物理作業空間にアライメントするかを決定する際、作業空間における物理マーカの位置及び配向のトラッキングに依存しない。例えば、物理環境において指定されたマーカを視覚的にトラッキングするＡＲシステムは、当該マーカの位置及び回転の両方のトラッキングに依存している。しかしながら、自動ＡＲシステムは、トラッキング誤差が生じやすく、特にマーカの回転に対して誤差が生じる傾向がある。このようなトラッキング誤差が生じると、仮想ＡＲコンテンツが物理環境に対して正確にアライメントされない。仮想コンテンツのアライメント誤差は、マーカ起点から遠く離れた距離（例えば、少なくとも３メートル）にある仮想コンテンツについては一層顕著となるが、これは、レバーアーム効果（lever-arm effects）（例えば、小さなトラッキング誤差が、マーカからの距離に比例して大きくなる）がより強く現れるからである。本明細書で説明するアライメントシステム１００は、物理マーカの位置及び回転のトラッキングに依存しない。したがって、アライメントシステム１００において、マーカのトラッキング誤差による仮想コンテンツのミスアライメントが生じることはない。
図９は、本開示の一実施形態による、航空機１０を示す前方斜視図である。航空機１０は、図７及び８を参照して先に説明した航空機の実施態様であってもよい。航空機１０は、例えば、２つのターボファンエンジン１４を含む推進システム１２を含む。任意ではあるが、推進システム１２は、図示例よりも多い数のエンジン１４を含んでもよい。エンジン１４は、航空機１０の翼１６に搭載される。他の実施形態においては、エンジン１４は、胴体１８及び／又は尾部２０に搭載されてもよい。尾部２０は、水平安定板２２及び垂直安定板２４を支持することもできる。航空機１０の胴体１８は、内部キャビンを画定している。
図１０は、本開示の一実施形態による、（図９に示す）航空機１０の内部キャビン３０を示す上面図である。内部キャビン３０は、胴体１８内部に設けられている。例えば、内部キャビン３０は、１つ以上の胴体壁部材６２により画定されている。内部キャビン３０は、複数のセクション又はゾーンを含み、これらには、前方セクション３３と、ファーストクラスセクション３４と、ビジネスクラスセクション３６と、前方ギャレーステーション３８と、ビジネスセクション４０（例えば、拡張エコノミー／コーチセクション）と、スタンダードエコノミー／コーチセクション４２と、複数の化粧室及びギャレーセクションを含みうる後方セクション４４と、が含まれる。なお、内部キャビン３０は、図示例より多いか、或いは少ない数のセクションを含みうる。例えば、内部キャビン３０は、ファーストクラスセクションを含まず、図示例よりも多いか、或いは少ない数のギャレーステーションを含んでいてもよい。各セクションは、キャビン移行エリア４６によって隔てられていてもよく、当該エリアは、クラス仕切りアセンブリを含みうる。頭上荷物棚アセンブリは、内部キャビン３０全体に配置されてもよい。
図１０に示すように、内部キャビン３０は、後方セクション４４に続く２つの通路５０及び５２を含む。任意ではあるが、内部キャビン３０は、図示例よりも少ないか、或いは多い数の通路を有していてもよい。例えば、内部キャビン３０は、当該内部キャビン３０の中心を貫通するとともに、後方セクション４４に続く１つの通路を含んでいてもよい。内部キャビン３０は、当該内部キャビン３０を跨ぐとともに、通路５０及び５２をほぼ横切って延在する座席５４の横列（row）５３を含む。座席セクションの縦列（columns）５５、５７、及び５９は、横列５３に対して垂直に延びている。各座席セクションは、１つ以上の座席５４を含みうる。縦列５５、５７、及び５９は、通路５０及び５２と略平行に延びている。特定のセクション又はゾーンは、座席セクションの縦列５５、５７、及び５９のうち任意の数の縦列を含みうる。図１０に示すように、少なくとも１つのゾーンは、座席セクションの３つの縦列５５、５７、及び５９を含む。しかしながら、各ゾーンは、３つよりも多いか、或いは少ない数の縦列を含んでいてもよい。
内部キャビン３０は、本明細書で説明する、拡張現実プラットフォームにおいて仮想コンテンツをアライメントするアライメントシステム１００及び方法５００の１つ以上の実施形態を用いて構築することができる。例えば、胴体１０及び／又は内部キャビン３０の構築中、作業者は、胴体１０内でＡＲイメージングデバイス１０４を装着してアライメントツール１０６を携行してもよい。図７に示す物理作業空間７０２の壁７０４及び天井７０６は、図１０に示す胴体壁部材６２であってもよい。
また、アライメントシステム１００の実施形態は、航空機の代わりに、工業施設や住宅などにおける様々な他のビークル（例えば、自動車、バス、機関車や列車、船舶、宇宙船など）で利用してもよい。
図１〜１０を参照すると、本開示の実施形態においては、仮想コンテンツアライメントシステム及び方法、並びに、当該方法の実行中に当該システムにより用いられるアライメントツールが提供される。上記システム及び方法の実施形態は、拡張現実プラットフォームにおいて、仮想コンテンツを現実環境と正確にアライメントするように構成されている。アライメントシステムは、アライメントの精度に影響を及ぼすことなく、いかなるサイズの仮想コンテンツにも使用することができる。例えば、上記システム及び方法は、物理環境の物理座標系を用いて仮想座標系に対して較正を行うための伝達関数を生成し、これにより、仮想オブジェクトのサイズ及び物理座標系の原点からの距離が、アライメントの精度に影響を及ぼさないようにしている。その後、伝達関数を追加の仮想コンテンツに適用して、アライメントの方法を再度実行することなく、仮想コンテンツを物理環境に正確にアライメントすることができる。例えば、作業者は、伝達関数を生成した後、追加の物理参照位置の位置座標を収集するためにアライメントツールを用いる必要がないが、これは、生成した伝達関数は、同じ仮想座標系内の任意の仮想コンテンツを物理環境にアライメントするために用いることができるからである。
本開示の実施形態を説明するのに、上部、底部、下、中央、側面、水平、垂直、前などの、様々な空間及び方向に関する用語を用いたが、これらの用語は図面に示した配向について用いたに過ぎない。これらの配向は、逆に向けたり、回転させたり、或いは、他の態様で変更したりしてもよい。その場合には、上側部分が下側部分となることも、その逆もありうる。また、水平方向が垂直方向となることもありうる。
本開示において、ある処理や動作を実行するように「構成された」構造、限定事項、又は要素は、当該処理や動作に対応する態様で、特に構造的に形成、構成、又は適合されたものである。明瞭化のため、また疑義を避けるために付言すると、単に当該処理や操作を実行するように改変されうるにすぎないものは、本明細書に記載されるような処理や操作を実行するように「構成された」ものには該当しない。
様々な実施形態は、添付図面と共にこれらの実施形態を読むことにより、より理解することができるであろう。図面が様々な実施形態の機能ブロックを示している場合、これらの機能ブロックは、必ずしもハードウェア回路間の区切りを示しているとは限らない。したがって、例えば、機能ブロック（例えば、プロセッサ、コントローラ、又は、メモリ）のうちの１つ又は複数は、１個のハードウェア（例えば、汎用の信号プロセッサ、ランダムアクセスメモリ、ハードディスクなど）として実現されてもよいし、複数個のハードウェアとして実現されてもよい。同様に、全てのプログラムは、スタンドアローンプログラムであってもよいし、オペレーティングシステムにおけるサブルーチンとして組み入れられてもよいし、インストールされたソフトウェアパッケージにおける機能であってもよい。なお、様々な実施形態は、図面に示される構造及び手段に限定されない。
上述した説明は、例示的なものであり、何ら限定を意図するものではない。例えば、上述した実施形態（及び／又は、その態様）は、互いに組み合わせて用いることができる。さらに、本開示の様々な実施形態の範囲を逸脱することなく、これらの教示に特定の状況や材料を適合させるために多くの変更が可能である。本明細書で説明している材料の寸法及び種類は、様々な実施形態のパラメータを規定するためのものであり、これら実施形態は、決して限定を課すものではなく、例示的な実施形態に過ぎない。上記説明を検討すれば、当業者には他の多くの実施形態が明らかであろう。したがって、本開示の様々な実施形態の範囲は、添付の請求の範囲を、これら請求の範囲に認められる均等物の全範囲と併せて参照して決定されるべきである。添付の請求の範囲において用いられる「含む」及び「であって」との用語は、それぞれ、「備える」及び「において」等と意味を同じくする平易な英語表現として用いられている。さらに、「第１」、「第２」、「第３」などは、単に標識として用いられており、これらが指す物体に対して数的な要件を課すことを意図するものではない。さらに、以下の請求の範囲における限定事項は、ミーンズプラスファンクション形式で記載されておらず、米国特許法第１１２条第（ｆ）項に基づいて解釈されることを意図するものではない。ただし、これらの請求項の限定事項において、「means for」との表現が明記され、これに続いて、機能が記載されるとともに、更なる構造が定義されていない場合を除く。
本明細書の記載は、例を用いてベストモードを含む様々な実施形態を開示するものであり、また、任意の装置又はシステムの作製及び使用、並びに、組み入れられた方法の実行を含む様々な実施形態を当業者が実施できるようにしたものである。本開示の様々な実施形態において特許を求める範囲は、特許請求の範囲によって規定されるものであり、当業者が思い付く他の実施例を含みうる。そのような他の実施例は、特許請求の範囲の文言と相違しない構成要素を有する場合、又は、特許請求の範囲の文言と実質的に相違しない均等の構成要素を含む場合において、特許請求の範囲に含まれることを意図している。
さらに、本開示は、以下の付記による実施形態を含む。
付記１．ポインタ及び基準マーカを有するとともに、物理作業空間内で作業者により携行可能に構成されたアライメントツールと、
１つ以上のセンサ及び１つ以上のプロセッサを含む拡張現実（ＡＲ）イメージングデバイスと、を含み、前記１つ以上のプロセッサは、前記１つ以上のセンサを使用して前記物理作業空間内で前記基準マーカをトラッキングするとともに、トラッキングされた前記基準マーカの位置及び配向に基づいて、前記物理作業空間内の複数の物理参照位置における前記ポインタの位置座標を特定するように構成されており、前記複数の物理参照位置は、仮想モデル内の異なる仮想参照点と関連付けられており、
前記１つ以上のプロセッサは、さらに、前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成するとともに、仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示するように、構成されている、システム。
付記２．前記物理参照位置の位置座標は、空間座標系における３つの互いに直交する軸に沿って規定される、付記１に記載のシステム。
付記３．前記１つ以上のプロセッサは、前記１つ以上のセンサによって取得されたセンサデータに基づいて、前記物理作業空間をマッピングする空間座標系を生成するように構成されており、前記物理参照位置における前記ポインタの位置座標は、前記空間座標系において定義される、付記１に記載のシステム。
付記４．前記ＡＲイメージングデバイスは、前記物理作業空間内で前記アライメントツールを携行する前記作業者によって装着可能に構成された光学シースルー頭部装着型装置であり、前記ディスプレイは、前記ＡＲイメージングデバイスと一体化されるとともに、前記ＡＲイメージングデバイスを装着する前記作業者に視認可能である、付記１に記載のシステム。
付記５．前記物理作業空間は、航空機の内部空間であり、前記ディスプレイに表示される前記仮想コンテンツは、前記航空機の１つ又は複数の部品の仮想表現である、付記１に記載のシステム。
付記６．前記アライメントツールは、選択ボタンと無線通信回路とを含み、前記作業者による前記選択ボタンの押下に応答して、データ取得命令信号を無線で伝達するように構成されている、付記１に記載のシステム。
付記７．前記ＡＲイメージング装置の１つ以上のプロセッサは、前記アライメントツールからの前記データ取得命令信号の受信に応答して、前記物理参照位置の各々において、前記ポインタの位置座標を特定するように構成されている、付記６に記載のシステム。
付記８．前記物理参照位置は、前記物理作業空間における少なくとも３つの位置を含み、これらの位置は、互いに少なくとも２メートル離間している、付記１に記載のシステム。
付記９．前記アライメントツールは、フレームと、前記フレームに取り付けられるとともに前記フレームから延びるハンドルとをさらに含み、前記ハンドルは、前記アライメントツールを携行する前記作業者による把持が可能なように構成されており、前記フレームは、前面と、前記前面とは反対側の後面とを含み、前記基準マーカは、前記フレームの前記前面に取り付けられており、前記アライメントツールの前記ポインタは、前記フレームの前記後面から後方に設けられるとともに、前記フレームから前記ポインタの遠位端における前記ポインタの先端部まで延在しており、前記先端部は、前記基準マーカに対して固定された所定位置に配置されており、前記ＡＲイメージングデバイスは、前記基準マーカの位置及び配向に基づいて、前記物理作業空間における前記先端部の位置を特定する、付記１に記載のシステム。
付記１０．拡張現実（ＡＲ）イメージングデバイスを用いて、物理作業空間内で作業者が携行するアライメントツールの基準マーカをトラッキングし、
前記物理作業空間内の複数の物理参照位置において、前記アライメントツールのポインタ先端部の位置座標を特定し、その際、前記位置座標は、前記ＡＲイメージングデバイスによりトラッキングされる前記基準マーカの位置及び配向に基づいて特定され、前記物理作業空間内の前記複数の物理参照位置は、仮想モデル内の異なる仮想参照点に関連付けられており、
前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成し、
仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示する、方法。
付記１１．前記ディスプレイは、前記ＡＲイメージングデバイスと一体化されている、付記１０に記載の方法。
付記１２．前記ディスプレイに表示される前記仮想コンテンツは、前記仮想モデルとは異なる、付記１０に記載の方法。
付記１３．前記アライメントツールにおける前記基準マーカをトラッキングする前に、空間座標系を生成するために前記ＡＲイメージングデバイスを用いて前記物理作業空間をマッピングすることをさらに含み、前記物理参照位置の位置座標は、前記空間座標系において定義される、付記１０に記載の方法。
付記１４．前記物理参照位置における前記ポインタ先端部の位置座標の各々は、前記作業者による選択の受信に応答して収集される、付記１０に記載のシステム。
付記１５．前記物理参照位置は、前記物理作業空間における少なくとも３つの位置を含む、付記１０に記載の方法。
付記１６．前記ＡＲイメージングデバイスは、１つ以上のプロセッサを有する光学シースルー頭部装着型装置であって、前記１つ以上のプロセッサは、前記複数の物理参照位置における前記ポインタ先端部の位置座標を特定するとともに、前記伝達関数を生成する、付記１０に記載の方法。
付記１７．拡張現実（ＡＲ）イメージングデバイスを用いて、ディスプレイ上で、仮想コンテンツを物理作業空間と空間的に位置合わせするためのアライメントツールであって、
作業者による把持が可能なように構成されたハンドルと、
前記ハンドルに取り付けられたフレームであって、前面、及び、前記前面とは反対側の後面を有し、且つ、前記前面に沿って配置されるとともに前記ＡＲイメージングデバイスにより認識可能に構成された基準マーカを有するフレームと、
前記フレームの前記後面から後方に設けられたポインタであって、前記フレームから前記ポインタの遠位端における前記ポインタの先端部まで延在するポインタと、を含み、前記先端部は、前記基準マーカに対して固定された所定位置に配置されており、前記ＡＲイメージングデバイスは、前記基準マーカの位置及び配向をトラッキングすることにより、前記物理作業空間における前記先端部の位置を特定する、アライメントツール。
付記１８．前記ポインタは、直線的に延びており、前記先端部は、先細りしている、付記１７に記載のアライメントツール。
付記１９．前記ハンドルにおける選択ボタンと、前記選択ボタンに機能接続された無線通信回路とをさらに含み、前記無線通信回路は、前記選択ボタンの作動に応答して、前記ＡＲイメージングデバイスに対してデータ取得命令信号を無線で伝達するように構成されている、付記１７に記載のアライメントツール。
付記２０．前記ハンドルは、直線状であり、前記ポインタに対して略垂直に延びている、付記１７に記載のアライメントツール。

Claims (15)

  1. ポインタ及び基準マーカを有するとともに、物理作業空間内で作業者により携行可能に構成されたアライメントツールと、
    １つ以上のセンサ及び１つ以上のプロセッサを含む拡張現実（ＡＲ）イメージングデバイスと、を含み、前記１つ以上のプロセッサは、前記１つ以上のセンサを使用して前記物理作業空間内で前記基準マーカをトラッキングするとともに、トラッキングされた前記基準マーカの位置及び配向に基づいて、前記物理作業空間内の複数の物理参照位置における前記ポインタの位置座標を特定するように構成されており、前記複数の物理参照位置は、仮想モデル内の異なる仮想参照点と関連付けられており、
    前記１つ以上のプロセッサは、さらに、前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成するとともに、仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示するように、構成されているシステム。
  2. 前記物理参照位置の位置座標は、空間座標系における３つの互いに直交する軸に沿って規定される、請求項１に記載のシステム。
  3. 前記１つ以上のプロセッサは、前記１つ以上のセンサによって取得されたセンサデータに基づいて、前記物理作業空間をマッピングする空間座標系を生成するように構成されており、前記物理参照位置における前記ポインタの位置座標は、前記空間座標系において定義される、請求項１又は２に記載のシステム。
  4. 前記ＡＲイメージングデバイスは、前記物理作業空間内で前記アライメントツールを携行する前記作業者によって装着可能に構成された光学シースルー頭部装着型装置であり、前記ディスプレイは、前記ＡＲイメージングデバイスと一体化されるとともに、前記ＡＲイメージングデバイスを装着する前記作業者に視認可能である、請求項１〜３のいずれかに記載のシステム。
  5. 前記物理作業空間は、航空機の内部空間であり、前記ディスプレイに表示される前記仮想コンテンツは、前記航空機の１つ又は複数の部品の仮想表現である、請求項１〜４のいずれかに記載のシステム。
  6. 前記アライメントツールは、選択ボタンと無線通信回路とを含み、前記作業者による前記選択ボタンの押下に応答して、データ取得命令信号を無線で伝達するように構成されている、請求項１〜５のいずれかに記載のシステム。
  7. 前記ＡＲイメージング装置の１つ以上のプロセッサは、前記アライメントツールからの前記データ取得命令信号の受信に応答して、前記物理参照位置の各々において、前記ポインタの位置座標を特定するように構成されている、請求項６に記載のシステム。
  8. 前記物理参照位置は、前記物理作業空間における少なくとも３つの位置を含み、これらの位置は、互いに少なくとも２メートル離間している、請求項１〜７のいずれかに記載のシステム。
  9. 前記アライメントツールは、フレームと、前記フレームに取り付けられるとともに前記フレームから延びるハンドルとをさらに含み、前記ハンドルは、前記アライメントツールを携行する前記作業者による把持が可能なように構成されており、前記フレームは、前面と、前記前面とは反対側の後面とを含み、前記基準マーカは、前記フレームの前記前面に取り付けられており、前記アライメントツールの前記ポインタは、前記フレームの前記後面から後方に設けられるとともに、前記フレームから前記ポインタの遠位端における前記ポインタの先端部まで延在しており、前記先端部は、前記基準マーカに対して固定された所定位置に配置されており、前記ＡＲイメージングデバイスは、前記基準マーカの位置及び配向に基づいて、前記物理作業空間における前記先端部の位置を特定する、請求項１〜８のいずれかに記載のシステム。
  10. 拡張現実（ＡＲ）イメージングデバイスを用いて、物理作業空間内で作業者が携行するアライメントツールの基準マーカをトラッキングし、
    前記物理作業空間内の複数の物理参照位置において、前記アライメントツールのポインタ先端部の位置座標を特定し、その際、前記位置座標は、前記ＡＲイメージングデバイスによりトラッキングされる前記基準マーカの位置及び配向に基づいて特定され、前記物理作業空間内の前記複数の物理参照位置は、仮想モデル内の異なる仮想参照点に関連付けられており、
    前記仮想参照点の位置座標を、関連付けられた前記物理参照位置の位置座標に当てはめるための伝達関数を生成し、
    仮想コンテンツが前記物理作業空間と空間的に位置合わせされるように、前記伝達関数に従って前記仮想コンテンツをディスプレイに表示する、方法。
  11. 前記ディスプレイは、前記ＡＲイメージングデバイスと一体化されている、請求項１０に記載の方法。
  12. 前記ディスプレイに表示される前記仮想コンテンツは、前記仮想モデルとは異なる、請求項１０又は１１に記載の方法。
  13. 前記アライメントツールにおける前記基準マーカをトラッキングする前に、空間座標系を生成するために前記ＡＲイメージングデバイスを用いて前記物理作業空間をマッピングすることをさらに含み、前記物理参照位置の位置座標は、前記空間座標系において定義される、請求項１０〜１２のいずれかに記載の方法。
  14. 前記物理参照位置における前記ポインタ先端部の位置座標の各々は、前記作業者による選択の受信に応答して収集される、請求項１０〜１３のいずれかに記載のシステム。
  15. 前記物理参照位置は、前記物理作業空間における少なくとも３つの位置を含む、請求項１０〜１４のいずれかに記載の方法。
JP2018200968A 2017-11-09 2018-10-25 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール Active JP7336184B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/808,074 2017-11-09
US15/808,074 US10573089B2 (en) 2017-11-09 2017-11-09 Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms

Publications (2)

Publication Number Publication Date
JP2019087241A true JP2019087241A (ja) 2019-06-06
JP7336184B2 JP7336184B2 (ja) 2023-08-31

Family

ID=64316278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200968A Active JP7336184B2 (ja) 2017-11-09 2018-10-25 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール

Country Status (7)

Country Link
US (1) US10573089B2 (ja)
EP (1) EP3483703A1 (ja)
JP (1) JP7336184B2 (ja)
KR (1) KR102521978B1 (ja)
CN (1) CN109765992B (ja)
BR (1) BR102018072910A2 (ja)
CA (1) CA3023417C (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL245339A (en) * 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11562598B2 (en) * 2019-03-25 2023-01-24 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
KR102208708B1 (ko) 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN110667880B (zh) * 2019-10-17 2023-02-03 辽宁中航信诺科技有限公司 智能化飞机保障维修系统
JP2023501952A (ja) * 2019-10-31 2023-01-20 マジック リープ， インコーポレイテッド 持続座標フレームについての品質情報を伴うクロスリアリティシステム
CN111338474B (zh) * 2020-02-19 2022-11-08 Oppo广东移动通信有限公司 虚拟对象位姿校准方法及装置、存储介质和电子设备
US11308700B2 (en) * 2020-04-06 2022-04-19 Saudi Arabian Oil Company Augmented reality visualization of underground pipelines using geospatial databases and KM markers
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
US11043039B1 (en) * 2020-04-22 2021-06-22 The Boeing Company 3D point cluster correlation for content alignment on augmented reality platforms
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
CN112318653B (zh) * 2020-09-28 2021-12-21 同济大学 一种无模具曲木构件加工系统及加工方法
KR20230124077A (ko) * 2020-12-30 2023-08-24 스냅 인코포레이티드 증강 현실 정밀 추적 및 디스플레이
US20220245898A1 (en) * 2021-02-02 2022-08-04 Unisys Corporation Augmented reality based on diagrams and videos
US11776420B2 (en) 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
FR3123984A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de localisation d’au moins un point d’une pièce réelle sur une maquette numérique
FR3124007A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de visualisation d’au moins un critère d’acceptation en fonction d’un point d’une pièce ciblé
CN113934294A (zh) * 2021-09-16 2022-01-14 珠海虎江科技有限公司 虚拟现实显示设备及其对话窗口显示方法、计算机可读存储介质
CN115496798B (zh) * 2022-11-08 2023-03-24 中国电子科技集团公司第三十八研究所 用于系留气球装备模拟训练的协同定位方法和系统
DE102022133569B4 (de) 2022-12-16 2024-05-29 Audi Aktiengesellschaft Verfahren zum Erzeugen von Datengruppen zur Nutzung in einem Training mit Augmented Reality oder mit Mixed Reality

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137822A (ja) * 1998-04-08 2000-05-16 Trisen Systems Inc 現実強調システム
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
JP2014167786A (ja) * 2012-10-31 2014-09-11 Boeing Co 拡張現実のための自動基準フレーム較正

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) * 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8525830B2 (en) * 2010-09-17 2013-09-03 The Boeing Company Point cloud generation system
US9641569B2 (en) * 2013-01-22 2017-05-02 General Electric Company Systems and methods for collaborating in a non-destructive testing system using location information
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US10055892B2 (en) * 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US10350839B2 (en) * 2015-05-21 2019-07-16 The Boeing Company Remote advanced repair guidance
CA2976516C (en) 2015-07-27 2022-11-22 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000137822A (ja) * 1998-04-08 2000-05-16 Trisen Systems Inc 現実強調システム
JP2007293453A (ja) * 2006-04-21 2007-11-08 Canon Inc 画像からの色情報の取得方法
JP2014167786A (ja) * 2012-10-31 2014-09-11 Boeing Co 拡張現実のための自動基準フレーム較正

Also Published As

Publication number Publication date
US10573089B2 (en) 2020-02-25
BR102018072910A2 (pt) 2019-06-18
EP3483703A1 (en) 2019-05-15
KR102521978B1 (ko) 2023-04-13
KR20190053119A (ko) 2019-05-17
CN109765992A (zh) 2019-05-17
CA3023417A1 (en) 2019-05-09
CA3023417C (en) 2023-02-14
CN109765992B (zh) 2024-02-23
JP7336184B2 (ja) 2023-08-31
US20190139320A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
JP7336184B2 (ja) 拡張現実プラットフォームにおいて、仮想コンテンツを物理環境と空間的に位置合わせするためのシステム、方法、及びツール
Fraga-Lamas et al. A review on industrial augmented reality systems for the industry 4.0 shipyard
Eswaran et al. Challenges and opportunities on AR/VR technologies for manufacturing systems in the context of industry 4.0: A state of the art review
JP6223122B2 (ja) 拡張現実のための自動基準フレーム較正
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
US8849636B2 (en) Assembly and method for verifying a real model using a virtual model and use in aircraft construction
EP2669763B1 (en) Sensor-enhanced localization in virtual and physical environments
EP2876624B1 (en) Maintenance assistant system
CN104897091A (zh) 关节臂坐标测量机
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
KR102051309B1 (ko) 지능형 인지기술기반 증강현실시스템
GB2506239A (en) Projecting maintenance history using optical reference points
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
CN103246350A (zh) 基于感兴趣区实现辅助信息提示的人机接口设备及方法
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
KR20200025960A (ko) 지능형 인지기술기반 제조현장의 증강현실시스템
US11395102B2 (en) Field cooperation system and management device
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
JP2009258884A (ja) ユーザインタフェイス
US20140292642A1 (en) Method and device for determining and reproducing virtual, location-based information for a region of space
CN112561952A (zh) 用于为目标设置可呈现的虚拟对象的方法和系统
WO2017007492A1 (en) Machine display and machine control systems
CN110716637A (zh) 具有主动便携式锚的增强现实系统
US20230214004A1 (en) Information processing apparatus, information processing method, and information processing program
CN203276167U (zh) 一套基于感兴趣区实现辅助信息提示的人机接口设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230426

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R150 Certificate of patent or registration of utility model

Ref document number: 7336184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150