JP2020038627A - アクティブポータブルアンカーを有する拡張現実システム - Google Patents

アクティブポータブルアンカーを有する拡張現実システム Download PDF

Info

Publication number
JP2020038627A
JP2020038627A JP2019128382A JP2019128382A JP2020038627A JP 2020038627 A JP2020038627 A JP 2020038627A JP 2019128382 A JP2019128382 A JP 2019128382A JP 2019128382 A JP2019128382 A JP 2019128382A JP 2020038627 A JP2020038627 A JP 2020038627A
Authority
JP
Japan
Prior art keywords
anchor
augmented reality
active portable
model
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019128382A
Other languages
English (en)
Other versions
JP7438680B2 (ja
Inventor
マシュー アルバート コッフマン,
Albert Coffman Mathew
マシュー アルバート コッフマン,
ネイサン クリスティアン リー,
Christian Lee Nathan
ネイサン クリスティアン リー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of JP2020038627A publication Critical patent/JP2020038627A/ja
Application granted granted Critical
Publication of JP7438680B2 publication Critical patent/JP7438680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64FGROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60Testing or inspecting aircraft components or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2205/00Indexing scheme relating to group G07C5/00
    • G07C2205/02Indexing scheme relating to group G07C5/00 using a vehicle scan tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Transportation (AREA)
  • Manufacturing & Machinery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ネットワークとネットワーク内の通信ポートを備える方法、装置及び拡張現実システムを提供する。【解決手段】データ処理システム100において通信ポート103は、アクティブポータブルアンカー130と通信し、対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置をアクティブポータブルアンカー130に送信するように構成され、対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置は、アクティブポータブルアンカー130の物理的なアンカー位置及び対象物の物理的な対象物位置を使用して決定される。【選択図】図1

Description

本開示は概して、改良された拡張現実システムに関し、具体的には、アクティブアンカーを有する拡張現実システムのための改良された方法、装置、及びシステムに関する。
拡張現実は、コンピュータシステムからの情報によって拡張された実世界環境(real−world environment)を有するインタラクティブ体験を含む。情報は、拡張現実デバイスを通して見た、実世界環境のライブ画像の上に表示される。情報は、ライブ画像内の対象物に関する説明または指標をユーザーに提供するように、ライブ画像の上に表示される。この情報はまた、拡張現実情報とも称される。他の事例では、実世界環境の一部として認識された情報が拡張現実デバイスを通して見られるように、拡張現実情報が現実世界環境のライブ画像の上に表示される。
拡張現実デバイスは、実世界環境の多くのアプリケーションで使用される。例えば、拡張現実デバイスは、航空機などの対象物の製造または保守の実施で使用することができる。拡張現実デバイスは、部品を組立てる、部品を製造する、組立品を検査するための作業、或いはその他の作業を実行する作業員によって使用される。航空機のライブ画像を拡張するために使用される情報には、例えば、概略図、不整合を特定するグラフィカルインジケータ、配線図、外板の下に隠れている構成要素の表示、或いはその他の種類の情報が含まれる。
アンカーは、実世界環境内の対象物の位置を記述するために使用される。アンカーはまた、空間アンカーとも称され、実世界環境内での対象物に関する位置に印をつける。アンカーは、対象物のモデルの対応する位置に関連付けられうる。
対象物のライブ画像上でのグラフィックスやホログラムなどの拡張現実情報の表示は、アンカーの座標系を使用してより正確なものになりうる。これらのアンカーは、拡張現実デバイスを配向するため、拡張現実デバイス自体で使用可能である。言い換えるならば、アンカーは、対象物のライブ画像の上に拡張現実情報を表示するために使用される拡張現実デバイスの位置を特定するため、拡張現実デバイスによって使用可能である。
現時点では、アンカーは実世界環境内で不変である。言い換えるならば、拡張現実情報の表示に使用するため、アンカーは固定されている。例えば、アンカープレートは、一種の物理的なアンカーで、部屋または室内のパイプなどの対象物の上に形成されるか取り付けられる。これらのアンカープレートの位置は、対象物のライブ画像の上に所望の精度で拡張現実情報を表示するため、拡張現実デバイスにそれ自体の基準を提供するように、対象物のモデルの各位置に相互に関連付けられている。
これらのアンカーの使用に伴う欠点の1つは、拡張現実デバイスを配置できるアンカーからの距離が精度の点で限定されることである。拡張現実デバイスのアンカーからの距離が増大するにつれ、拡張現実デバイスが対象物のライブ画像上に拡張現実情報を表示する際の精度は低下する。
例えば、5メートルを超える距離では、拡張現実デバイスが拡張現実情報を対象物の位置、或いは対象物の近傍に表示する精度が、望ましくないレベルになることがありうる。その結果、望ましい精度に求められるアンカーの数は、対象物によっては、可能な数または適切な数を超えることがありうる。しかも、拡張現実システム用のモデルへのアンカーのプログラミングは時間を要する。
したがって、上記の問題点のうちの少なくとも幾つかと、起こりうる他の問題点を考慮した、方法及び装置を手に入れることが望ましいであろう。例えば、実世界環境内の対象物に拡張現実デバイスを配向する際の技術的な問題を克服する方法及び装置を得ることが望ましいであろう。
1つの例示的な実施形態では、拡張現実システムは、アクティブポータブルアンカー、プロセッサシステム、及び拡張現実デバイスを備える。アクティブポータブルアンカーは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を出力するように構成されている。プロセッサシステムは、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を決定するように構成されている。拡張現実デバイスは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を、アクティブポータブルアンカーから受信するように構成されている。拡張現実デバイスはまた、現在の物理的なアンカー位置を使用して、対象物のモデルでアクティブポータブルアンカーの現在のモデルアンカー位置を決定し、さらに、アクティブポータブルアンカーの現在のモデルアンカー位置と対象物のモデルとを使用して、対象物のライブ画像に関連する拡張現実情報を拡張現実デバイスに表示するように構成されている。対象物のモデルでのアクティブポータブルアンカーの現在のモデルアンカー位置は、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を反映するように更新される。
別の例示的な実施形態では、拡張現実システムはアクティブポータブルアンカーと外部追跡システムを備える。アクティブポータブルアンカーは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を出力するように構成されている。外部追跡システムは、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置を決定するように構成されている。アクティブポータブルアンカーによって出力される、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置は、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して決定される。
さらに別の例示的な実施形態では、拡張現実システムはネットワークとネットワークの通信ポートとを備える。通信ポートは、アクティブポータブルアンカーと通信を行い、対象物に対するアクティブポータブルアンカー及びの現在の物理的なアンカー位置をアクティブポータブルアンカーに送信するように構成されており、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置は、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して決定される。
特徴及び機能は、本開示の様々な実施形態で独立に実現することが可能であるか、以下の説明及び図面を参照してさらなる詳細が理解されうる、さらに別の実施形態で組み合わせることが可能である。
例示的な実施形態の特徴と考えられる新規の特徴は、付随する特許請求の範囲に明記される。しかし、例示的な実施形態並びに好ましい使用モード、さらなる目的及びそれらの特徴は、添付図面を参照しながら、本開示の例示的な実施形態についての以下の詳細な説明を読むことにより、最もよく理解されるだろう。
例示的な実施形態が実装されうるデータ処理システムのネットワークの図解である。 例示的な実施形態による拡張現実環境のブロック図である。 例示的な実施形態によるアクティブポータブルアンカーのブロック図を示す。 例示的な実施形態により、対象物のライブ画像の上に拡張現実情報を表示するためのデータフロー図である。 例示的な実施形態による拡張現実環境の図である。 例示的な実施形態によるアクティブポータブルアンカーの図である。 例示的な実施形態により、ライブ画像の上に拡張現実情報を表示するためのプロセスのフロー図である。 例示的な実施形態により、拡張現実デバイスを配向するため、現在の物理的なアンカー位置を出力するプロセスのフロー図である。 例示的な実施形態により、拡張現実情報を表示するためのプロセスのフロー図である。 例示的な実施形態により、拡張現実デバイスを配向するためのプロセスのフロー図である。 例示的な実施形態により、現在の物理的なアンカー位置を受信するためのプロセスのフロー図である。 例示的な実施形態によるデータ処理システムのブロック図である。 例示的な実施形態による航空機の製造及び保守方法のブロック図である。 例示的な実施形態が実装されうる航空機のブロック図である。 例示的な実施形態による製品管理システムのブロック図である。
例示的な実施形態は、一または複数の種々の検討事項を認識し考慮する。例示的な実施形態は、航空機のライブ画像の上に表示される拡張現実情報の位置決め精度が航空機の運航の実施に重要であることを認識し、考慮している。例えば、航空機での穿孔、不整合の修正、密封剤の塗布、またはファスナの取付などの作業を実施するため、拡張現実情報はライブ画像の上に表示可能である。1つの例示的な実施例では、拡張現実情報は視覚情報タグを使用して不整合を示すことができる。これらのタグは、不整合の配置をマークし、不整合に関する情報を提供することができる。
例示的な実施形態は、動的な環境では、永続的なアンカーの使用は現在実行不可能であることを認識し、考慮している。さらに、例示的な実施形態は、拡張現実デバイスによって使用されるモデルにアンカーをプログラミングする技術は時間を要することを認識し、考慮している。例示的な実施形態は、現在使用されているアンカーの設定時間量が所望よりもかなり大きいことを認識し、考慮している。
例示的な実施形態は、拡張現実デバイスの較正または配向に関して現在利用可能な技術が、対象物または拡張現実デバイスを有する作業員の少なくとも一方が移動する動的な環境では十分に機能しないことを認識し、考慮している。例えば、例示的な実施形態は、固定点または動的写真測量法の利用は、拡張現実システムの資源利用で負担を要求し、対象物上のアンカープレートなどの機能を対象物のモデルへプログラムするため多くの労力を要することを認識し、考慮している。
さらに、例示的な実施形態は、航空機に関して、この種の処理で利用可能な機能の数はごくわずかで、実行不可能であることを認識し、考慮している。加えて、例示的な実施形態は、コンピュータ支援設計データが、求められる以上に大きくなり、望ましい解像度を有さなくなることを認識し、考慮している。例示的な実施形態は、航空機の容積または空間と比較して、より小さな容積または空間に適していることを認識し、考慮している。
例示的な実施形態はまた、現在使用されているアンカープレートは、既知の場所に配置される必要があるため、あまり有用でないことを認識し、考慮している。このような限界があるため、航空機に対して作業員が移動しうる環境では、アンカープレートは使用できない。
例示的な実施形態は、アクティブポータブルアンカーによって、拡張現実デバイスを環境内の対象物に対して迅速に配向できることを認識し、考慮している。例示的な実施形態は、アクティブポータブルアンカーが現在のアンカーと同様な較正プレートとして使用可能で、アンカーが実世界環境あることを拡張現実デバイスに認識させることが可能であることを認識し、考慮している。例示的な実施形態はまた、対象物に対するアクティブポータブルアンカーの現在の位置を拡張現実デバイスに提供するように、アクティブポータブルアンカーが構成されうることを認識し、考慮している。
例示的な実施形態は、第2の配置システムを外部追跡システムの形態で利用することによって、この種の解決策が実装可能であることを認識し、考慮している。例示的な実施形態は、外部追跡システムがアクティブポータブルアンカーの位置を特定し、これらのアクティブポータブルアンカーを介して情報をリレーし、次にその情報を拡張現実デバイスに提供することを認識し、考慮している。
したがって、例示的な実施形態は、携帯可能なアクティブアンカーを使用して、拡張現実デバイスを環境内に位置付ける能力を拡張現実デバイス自体に提供する方法、装置、及びシステムを提供する。1つの例示的な実施例では、拡張現実システムはアクティブポータブルアンカー、プロセッサシステム、及び拡張現実デバイスを備える。アクティブポータブルアンカーは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を出力するように構成されている。プロセッサシステムは、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を決定するように構成されている。
拡張現実デバイスは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を、アクティブポータブルアンカーから受信するように構成されている。拡張現実デバイスはまた、現在の物理的なアンカー位置を使用して、対象物のモデルで、アクティブポータブルアンカーの現在のモデル位置を決定し、アクティブポータブルアンカーの現在のモデルアンカー位置と対象物のモデルとを使用して、対象物のライブ画像に関連する拡張現実情報を拡張現実デバイスに表示するように構成されている。対象物のモデルにおけるアクティブポータブルアンカーのモデルアンカー位置は、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を反映するため、動的に更新される。
対象物の位置は、3次元で記述された対象物の配置を含む。例えば、配置は直交座標系で記述できる。さらに、対象物の位置はまた、対象物の配向を含む。配向は、例示的な実施例では、2つ以上のベクトルを使用して記述可能である。
ここで図面、具体的には図1を参照すると、例示的な実施形態が実装されうるデータ処理システムのネットワークの図解が示される。ネットワークデータ処理システム100は、例示的な実施形態が実装されうるコンピュータのネットワークである。ネットワークデータ処理システム100はネットワーク102を含み、これは、ネットワークデータ処理システム100内で接続された様々なデバイスとコンピュータとの間に通信リンクを提供するように構成された媒体である。ネットワーク102は、有線、無線通信リンク、または光ファイバケーブルなどの接続を含みうる。
図示した実施例では、サーバコンピュータ104とサーバコンピュータ106は、記憶ユニット108と共にネットワーク102に接続されている。加えて、クライアントデバイス110はネットワーク102に接続されている。図示したように、クライアントデバイス110は、クライアントコンピュータ112、クライアントコンピュータ114、及びクライアントコンピュータ116を含む。クライアントデバイス110は、例えば、コンピュータ、ワークステーション、またはネットワークコンピュータであってよい。図示した実施例では、サーバコンピュータ104は、ブートファイル、オペレーティングシステム画像、及びアプリケーションなどの情報を、クライアントデバイス110に提供する。さらに、クライアントデバイス110はまた、携帯電話118、タブレットコンピュータ120、及びスマートグラス122などの他の種類のクライアントデバイスを含みうる。この例示的な実施例では、クライアントデバイス110の一部またはすべては、これらの物理的なデバイスが接続されてデータ交換を行うことができるモノのインターネット(IOT)を形成しうる。
この実施例では、クライアントデバイス110はサーバコンピュータ104に対するクライアントである。ネットワークデータ処理システム100は、追加のサーバコンピュータ、クライアントコンピュータ、及び図示していない他のデバイスを含みうる。クライアントデバイス110は、有線、光ファイバ、または無線接続を利用して、ネットワーク102につながる。
ネットワークデータ処理システム100に配置されたプログラムコードは、コンピュータで記録可能な記憶媒体に保存されてよく、使用時にデータ処理システムまたは他のデバイスにダウンロードされうる。例えば、プログラムコードは、サーバコンピュータ104のコンピュータで記録可能な記憶媒体上に保存されてよく、クライアントデバイス110で使用するため、ネットワーク102上のクライアントデバイス110にダウンロードされうる。
図示した実施例では、ネットワークデータ処理システム100は、インターネットを含み、ネットワーク102は相互通信のための一式のプロトコルであるTCP/IP(Transmission Control Protocol/Internet Protocol)を使用するネットワーク及びゲートウェイの世界規模の集合体を表わしている。インターネットの心臓部には、データとメッセージを転送する数千台の商用、政府機関、教育機関のコンピュータシステムからなる、主要なノードまたはホストコンピュータ間の高速データ通信ラインのバックボーンがある。言うまでもなく、ネットワークデータ処理システム100はまた、複数の異なる種類のネットワークを使用して実装されてもよい。例えば、ネットワーク102は、インターネット、イントラネット、ローカルエリアネットワーク(LAN)、都市規模ネットワーク(MAN)、またはワイドエリアネットワーク(WAN)のうちの少なくとも1つからなりうる。図1は実施例として意図されたもので、異なる例示的な実施形態の構造的な限界を意図しているわけではない。
本書で使用されている、アイテムに関連して使用される際の「任意の数の」は、一または複数のアイテムを意味する。例えば、「幾つかの異なる種類のネットワーク」とは、一または複数の異なる種類のネットワークである。
さらに、列挙されたアイテムと共に使用される「〜のうちの少なくとも1つ(at least one of)」という表現は、列挙されたアイテムのうちの一または複数の種々の組み合わせが使用されうること、及び、列挙された各アイテムのうちの1つだけが必要とされうることを、意味している。言い換えるならば、「〜のうちの少なくとも1つ」とは、アイテムの任意の組み合わせ、及び任意の数のアイテムが、列挙された中から使用されうることを意味するが、列挙されたアイテムのすべてが必要となるわけではないことを意味する。アイテムとは、特定の対象物、物品、またはカテゴリでありうる。
例えば、限定するものではないが、「アイテムA、アイテムB、及びアイテムCのうちの少なくとも1つ」は、「アイテムA」、「アイテムAとアイテムB」、または「アイテムC」を含んでいてよい。この例はまた、「アイテムAとアイテムBとアイテムC」、または「アイテムBとアイテムC」も含むことができる。これらのアイテムのいずれかの組み合わせも、もちろん存在してよい。ある例示的な実施例では、「〜のうちの少なくとも1つ」は、限定しないが例として、「2個のアイテムAと1個のアイテムBと10個のアイテムC」、「4個のアイテムBと7個のアイテムC」、または他の適切な組み合わせであってよい。
1つの例示的な実施例では、作業員124は、航空機126の製造または保守作業のうちの少なくとも1つを実施するため、スマートグラス122などの拡張現実デバイスを操作する。図示したように、サーバコンピュータ106は、作業員124のために航空機126のライブ画像を拡張するため、拡張現実情報の表示に使用するスマートグラス122に航空機126のモデル128を送信する。
図示したこの実施例では、アクティブポータブルアンカー130及び外部追跡システム132は、航空機126に対するスマートグラス122の位置を特定するために利用される情報を提供する。外部追跡システム132は、航空機126の物理的な位置とアクティブポータブルアンカー130を特定する。アクティブポータブルアンカー130、外部追跡システム132、クライアントデバイス110、サーバコンピュータ104、またはサーバコンピュータ106のうちの少なくとも1つに配置されたプロセッサシステムは、航空機126に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置を特定する。アクティブポータブルアンカー130は、この現在の物理的なアンカー位置をスマートグラス122に送信する。
前述のように、スマートグラス122は、アクティブポータブルアンカー130の現在の物理的な位置をアクティブポータブルアンカー130から受信する。アクティブポータブルアンカー130のこの現在の物理的なアンカー位置は、スマートグラス122によって、多数の異なる方法で受信可能である。例えば、現在の物理的なアンカー位置は、アクティブポータブルアンカー130上の現在の物理的なアンカー位置の表示、または、アクティブポータブルアンカー130からの現在の物理的な位置の無線送信のうちの少なくとも1つから受信可能である。
アクティブポータブルアンカー130の現在の物理的なアンカー位置は、航空機126のライブ画像上に拡張現実情報を表示する位置を決定するため、スマートグラス122によって使用される。例えば、拡張現実情報は、航空機126の表面下に配置された航空機126の配線になりうる。現在の物理的な位置によって、航空機126の配線の実際の配置に配線を示すために、スマートグラス122は航空機126のライブ画像でグラフィックスを表示する場所を決定する。
スマートグラス122は、アクティブポータブルアンカー130に対する位置を決定する。アクティブポータブルアンカー130に対して較正を行うと、スマートグラス122は、ユーザー入力なしで、また、より大きなモデルの写真測量法データを使用することなく、拡張現実情報を表示するため、航空機126のモデル128の処理を行うことができる。
精度に関しては、航空機126のライブ画像上の位置に拡張現実情報を表示する際に所望の精度が維持されるように、アクティブポータブルアンカー130は、作業員124が動くにつれて移動し、スマートグラス122とアクティブポータブルアンカー130との間の距離を維持する。アクティブポータブルアンカー130が動かされると、アクティブポータブルアンカー130の新しい物理的な位置が動的に決定されて、スマートグラス122に提供されうる。
拡張現実システムの構成要素内のネットワークデータ処理システム100の表示は、ネットワークデータ処理システム100が拡張現実システムを実装する方法を制限することを意図していない。他の例示的な実施例では、表示されているものに加えて、一または複数のインテリジェントグローバルポジショニングロケータが存在しうる。さらに、作業員124に加えて、拡張現実デバイスを有する一または複数のユーザーが航空機126での作業の実行に参加していてもよい。
1つの例示的な実施例では、ネットワーク102は通信ポート103を含む。通信ポート103は、アクティブポータブルアンカー130などの他のデータ処理システムまたはデバイスとの通信を提供するように構成されたネットワーク102のハードウェアポートである。通信は、通信の送受信を促進する一または複数の他のデバイスと直接的であっても間接的であってもよい。これらの例示的な実施例では、通信ポート103は、ネットワークインタ―フェースカード、スイッチ、ルーター、または他の何らかのデバイス内に配置される。
前述のように、通信ポート103は、アクティブポータブルアンカー130と通信して、航空機126などの対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置を、アクティブポータブルアンカー130に送信するように構成され、対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置は、アクティブポータブルアンカー130の物理的なアンカー位置と対象物の物理的な対象物位置とを使用して決定される。アクティブポータブルアンカー130は、航空機126などの対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置を出力するように構成されている。
さらに、スマートグラス122などの拡張現実デバイスは、対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置をアクティブポータブルアンカー130から受信するように構成されている。スマートグラス122は、現在の物理的なアンカー位置を使用して、対象物のモデル128におけるアクティブポータブルアンカー130の現在のモデルアンカー位置を決定し、アクティブポータブルアンカー130の現在のモデルアンカー位置と対象物のモデル128とを使用して、拡張現実デバイス内の対象物のライブ画像の上に拡張現実情報を表示するように構成されている。対象物のモデル128におけるアクティブポータブルアンカー130の現在のモデルアンカー位置は、対象物に対するアクティブポータブルアンカー130の現在の物理的なアンカー位置を反映するため、動的に更新される。
したがって、実世界環境内の対象物に拡張現実デバイスを配向する際の技術的な問題は、ネットワークデータ処理システム100内で克服することができる。一または複数の技術的解決策は、スマートグラス122などの拡張現実デバイスが、アクティブポータブルアンカー130などのアンカーによって、拡張現実デバイス自体を配向することを可能にする技術的な効果をもたらしうる。一または複数の技術的解決策では、アクティブポータブルアンカー130は航空機126などの対象物に対して異なる場所に移動することが可能で、スマートグラス122とアクティブポータブルアンカー130との間を所望の距離に維持し、結果として、スマートグラス122内のライブ画像の上に拡張現実情報を表示する精度を所望のレベルに維持することができる。その結果、アクティブポータブルアンカー130を使用した一または複数の技術的解決策により、作業員124は、スマートグラス122内のライブ画像の上の拡張現実情報の表示を頼りに、所望の精度レベルで航空機126での作業を行うことができる。例えば、作業が穿孔などの製造作業である場合には、孔の位置は、穿孔のための所望の精度レベルで、航空機126のライブ画像の上の拡張現実情報で示すことができる。
次に図2を参照すると、拡張現実環境のブロック図が、例示的な一実施形態で示されている。この例示的な実施例では、拡張現実環境200にブロックの形態で示されている種々の構成要素は、図1のネットワークデータ処理システム100に示した構成要素を使用して実装可能である。
拡張現実環境200は、拡張現実システム202が、拡張現実デバイス212を使用して作業員210が見た拡張現実情報208によって、対象物206のライブ画像204を拡張するように構成されている環境である。対象物206は、複数の異なる形態を取りうる。例えば、対象物206は図1の航空機126になりうる。さらに、対象物206はまた、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、モニュメント、及びその他の適切な対象物から選択されうる。
この例示的な実施例では、拡張現実デバイス212は物理的なハードウェアデバイスで、作業員210によって移動、持ち運び、装着が可能なヘッドマウントディスプレイ、光学シースルーヘッドマウントディスプレイ、携帯電話、タブレットコンピュータ、スマートグラス、ウェアラブルコンピュータグラス、またはその他の適切なハードウェアシステムの1つから選択される。
図示したように、ユーザーが拡張現実デバイス212の表示を通して物理的な実世界環境を見ることができるように、ライブ画像204は、拡張現実デバイス212によってディスプレイに読み込まれたビデオとして提供されてよく、或いは、透明なシースルーディスプレイまたはレンズを使用することによって提供されてよい。
例えば、ライブ画像204は、ヘッドマウントディスプレイ、スマートグラス、またはタブレットコンピュータの形態の拡張現実デバイス212のディスプレイ上で見ることができる。拡張現実情報208は、この種の拡張現実デバイス212の表示の上に重ねることができる。他の例示的な実施例では、ライブ画像204は、他の情報がライブ画像204の上に表示されるディスプレイに間接的に提供されうる。ライブ画像204は、拡張現実デバイス212のディスプレイデバイス上に画像または動画を表示するカメラシステムを使用して、提供されうる。
別の例示的な実施例では、ユーザーが見るライブ画像204の上に拡張現実情報208が表示される拡張現実デバイス212によって、作業者210はライブ画像204を直接見ることができる。ユーザーがライブ画像204を直接見るときには、ライブ画像204の検出は、拡張現実デバイス212用のカメラシステムなどのセンサシステムを使用して実行されうる。
図示したように、拡張現実情報208はライブ画像204を拡張し、多数の異なる形態を取得することができる。例えば、拡張現実情報208は、模式図、ユーザー入力ウィンドウ、命令、隠れた構造のグラフィック、または対象物206のライブ画像204では見えない対象物206の表面下の構成要素のホログラムのうちの少なくとも1つから選択される。構成要素は、例えば、配線、パイプ、複合材層、不整合、ジョイント、ライン交換ユニット、または対象物206内にありうる他の構成要素のうちの少なくとも1つから選択されうる。
別の例示的な実施例では、拡張現実情報208は、対象物206の一部に注意を引きつけるグラフィカルインジケータを含みうる。例えば、グラフィカルインジケータは、剥離、亀裂、塗装の摩耗、寸法の誤りなどの不整合、或いは他の種類の不整合に注意を引きつけることができる。
別の実施例として、グラフィカルインジケータは、作業を実行すべき箇所に注意を引きつけることができる。この作業は、例えば、穿孔作業、ファスナ取付作業、検査作業、或いは、対象物206の製造または保守に用いられうる他の適切な種類の作業になりうる。
さらに、拡張現実情報208はまた、作業員210に対して、対象物206の不整合を解消するため、行われるべき変更を検証するためのユーザー入力を提供するように促す。さらに別の例示的な実施例では、拡張現実情報208は、作業員210によって行われるユーザー入力の視覚化を提供することができる。例えば、拡張現実情報208は、作業員210または別の作業員が対象物206の不整合に「印をつけた」箇所を示す、グラフィカルインジケータを含みうる。
図示したように、拡張現実システム202は、幾つかの異なる構成要素を含む。この実施例では、拡張現実システム202は、アクティブポータブルアンカー214、外部追跡システム216、プロセッサシステム218、及び拡張現実デバイス212を含む。
アクティブポータブルアンカー214は、対象物206の物理的な対象物位置224に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置220を出力するように構成されている。
図示したように、プロセッサシステム218は、一または複数のプロセッサユニットを含む物理的なハードウェアシステムである。2つ以上のプロセッサユニットが存在する場合、これらのプロセッサユニットは、通信媒体を使用して互いに通信しうる。プロセッサユニットが同一のデータ処理システムに配置されているとき、通信媒体はデータ処理システムのバスになりうる。プロセッサユニットが異なるデータ処理システムに配置されているとき、通信媒体はバス及びネットワークになりうる。プロセッサシステムは、中央処理装置(CPU)、グラフィックス処理装置(GPU)、マルチコアプロセッサ、物理処理装置(PPU)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、または他の適切な種類のプロセッサのうちの少なくとも1つから選択されうる。
この例示的な実施例では、プロセッサシステム218は、一または複数の異なる場所に配置されうる。例えば、プロセッサシステム218は、拡張現実環境200内のアクティブポータブルアンカー214、外部追跡システム216、または他の何らかのデータ処理システムのうちの少なくとも1つに配置されうる。
図示したように、プロセッサシステム218は、アクティブポータブルアンカー214の物理的なアンカー位置222と対象物206の物理的な対象物位置224とを使用して、対象物206に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置220を決定するように構成されている。
この例示的な実施例では、外部追跡システム216は物理的なハードウェアシステムである。外部追跡システム216は、レーザートラッカ、レーザースキャナ、カメラ、変位センサ、測定センサ、プローブ、または他の何らかの外部追跡システムのうちの少なくとも1つを含む。
外部追跡システム216は、アクティブポータブルアンカー214の物理的なアンカー位置222及び対象物206の物理的な対象物位置224を決定するように構成されている。物理的なアンカー位置222及び物理的な対象物位置224は、外部追跡システム216の追跡座標系226を使用して記述される。
図示したこの実施例では、物理的な対象物位置224は、対象物206用の対象物座標系228に配置されうる。対象物206の一部は、基準点または原点として指定されうる。
例えば、対象物206が航空機の場合、原点は航空機の機首先端になりうる。物理的なアンカー位置222は、対象物座標系228に変換されるか、関連付けられる。対象物座標系228は、対象物206のモデル234で使用される座標系である。
追跡座標系226の物理的なアンカー位置222が対象物座標系228の現在の物理的なアンカー位置220に変換される関連付けが行われ、ここでは、アクティブポータブルアンカー214の現在の物理的なアンカー位置220は対象物206に関連している。言い換えるならば、現在の物理的なアンカー位置220は、対象物座標系228の対象物206の原点などの基準点に関連している。
言い換えるならば、追跡座標系226での物理的なアンカー位置222と物理的な対象物位置224は、対象物206のモデル234で対象物座標系228を使用するように変換または変形することによって関連付けられている。この変換または変形は、対象物206の原点に対して同一の基準点が使用されるときに行うことができる。例えば、対象物206が航空機の場合、この原点は、例えば、3つ以上の基準点を使用することによって決定されうる。原点は、例えば、機首先端、翼端、窓、または航空機内の他の何らかの特徴になりうる。
図示したように、拡張現実デバイス212は、対象物206に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置220をアクティブポータブルアンカー214から受信するように構成されている。拡張現実デバイス212は、対象物206のモデル234での現在の物理的なアンカー位置220を使用して、アクティブポータブルアンカー214の現在のモデルアンカー位置232を決定するように構成されている。例えば、拡張現実デバイス212は、アクティブポータブルアンカー214から受信した対象物206に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置220に相関する、対象物206のモデル234でのアクティブポータブルアンカー214の現在のモデルアンカー位置232を決定する。
この例示的な実施例では、対象物206のモデル234は幾つかの異なる形態をとりうる。例えば、モデル234は、対象物206の一部を含む、或いは対象物206のすべてを含むことができる対象物206の部分モデルであってよい。例えば、対象物206が航空機の場合、モデル234は航空機の翼または航空機全体になりうる。1つの例示的な実施例では、対象物206の部分モデルは、拡張現実デバイス212の視野内の対象物206の一部、または拡張現実デバイス212から選択された距離の範囲内にある対象物206の一部のうちの少なくとも1つから選択される。
さらに別の例示的な実施例では、対象物206のモデル234は、様々な基準に基づく領域への対象物206の分割に基づく、複数の部分モデルのうちの1つから選択されうる。基準は、例えば、対象物206で実行されるある種の作業、部分モデルのサイズ制限、部分モデル用の拡張現実デバイス212で利用可能な記憶空間、及び他の適切な種類の基準のうちの少なくとも1つである。
拡張現実デバイス212は、アクティブポータブルアンカー214の現在のモデルアンカー位置232及び対象物206のモデル234を使用して、対象物206のライブ画像204に関連する拡張現実情報208を拡張現実デバイス212に表示するように構成されている。その結果、対象物206のモデル234でのアクティブポータブルアンカー214の現在のモデルアンカー位置232は、対象物206に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置220を反映するため、動的に更新される。
この例示的な実施例では、コンピュータシステム236は拡張現実デバイス212と通信を行っている。この例示的な実施例では、コンピュータシステム236は対象物206のモデル234を拡張現実デバイス212へ送信する。コンピュータシステム236は、物理的なハードウェアシステムであり、一または複数のデータ処理システムを含む。2つ以上のデータ処理システムが存在する場合、これらのデータ処理システムは、通信媒体を使用して互いに通信している。通信媒体はネットワークであってよい。データ処理システムは、コンピュータ、サーバコンピュータ、タブレット、または他の何らかの適切なデータ処理システムのうちの少なくとも1つから選択されうる。
1つの例示的な実施例では、実世界環境の対象物に拡張現実デバイスを配向することによって技術的な問題を克服する、一または複数の技術的な解決策が存在する。その結果、一または複数の技術的解決策は、拡張現実デバイスがそれ自体をアンカーと共に配向することを可能にする技術的効果をもたらしうる。一または複数の技術的解決策は、アンカーを異なる場所に移動して、拡張現実デバイス212とアクティブポータブルアンカー214との間を所望の距離に保つことを可能にするアクティブポータブルアンカーを提供し、結果的に、ライブ画像204上に拡張現実情報208を表示する所望の精度レベルを実現する。
その結果、拡張現実システム202は、拡張現実システム202のアクティブポータブルアンカー214により、拡張現実デバイス212が対象物206のライブ画像204上に拡張現実情報208を高い精度で表示することを可能にする、特別な目的のコンピュータシステムとして動作する。例えば、アクティブポータブルアンカー214は、拡張現実システム202を、アクティブポータブルアンカー214を有していない現在利用可能な一般的なコンピュータシステムと比較して、特別な目的のコンピュータシステムに変える物理的な構成要素である。
次に図3を参照すると、例示的な一実施形態によるアクティブポータブルアンカーのブロック図が示されている。例示的な実施例では、複数の図中で同一の参照番号が使用されうる。異なる図中で参照番号が繰り返し使用される場合には、異なる図中の同一の要素を表している。
この図は、アクティブポータブルアンカー214を実装することができる1つの方法を示している。この実施例では、アクティブポータブルアンカー214は、ポータブルフレーム300、通信ユニット302、出力システム304、及びプロセッサユニット306を備える。この実施例では、これらの構成要素のおかげで、アクティブポータブルアンカー214は、対象物のライブ画像上に拡張現実情報を表示する拡張現実デバイスによって、使用可能となる。これらの構成要素のおかげで、アクティブポータブルアンカー214は、対象物に対するアクティブポータブルアンカー214の現在の物理的なアンカー位置を出力することができる。
図示したように、ポータブルフレーム300は、アクティブポータブルアンカー214に対して構成要素を支持し、取り囲み、或いは保持するように動作する構造体である。ポータブルフレーム300の寸法または重量のうちの少なくとも1つは、作業員がポータブルフレーム300を動かすことができるように選択される。場合によっては、寸法または重量は、2人の作業員がポータブルフレーム300を動かすことができるように選択されうる。
ポータブルフレーム300は、幾つかの異なる形態を取りうる。例えば、ポータブルフレーム300は、ハウジング、筐体、プラットフォーム、または他の何らかの適切な構造体になりうる。この実施例では、通信ユニット302、出力システム304、及びプロセッサユニット306は、ポータブルフレーム300に物理的に接続可能である。
本書で使用されている、第2の構成要素に「物理的に接続された」第1の構成要素とは、第1の構成要素が第2の構成要素に、直接的または間接的に接続されうることを意味する。言い換えるならば、追加の構成要素が、第1の構成要素と第2の構成要素との間に存在しうる。これら2つの構成要素の間に一または複数の追加の構成要素が存在する場合には、第1の構成要素は第2の構成要素に間接的に接続されていると見なされる。第1の構成要素が第2の構成要素に直接的に接続されている場合には、これら2つの構成要素の間に追加の構成要素は存在しない。
図示したように、通信ユニット302は、Wi−Fi、ブルートゥース、または高周波を使用する他の何らかの無線送信技術、或いは他の種類の無線通信媒体を使用して実装可能である。例えば、「Wi−Fi」はワイファイアライアンスの商標であり、「ブルートゥース」はBluetooth SIG,Inc.の登録商標である。
この例示的な実施例では、通信ユニット302は、アクティブポータブルアンカー214の物理的なアンカー位置222及び対象物206の物理的な対象物位置224を、外部追跡システム216によって決定されたように受信するように構成されている。この位置情報は、通信ユニット302によって確立された無線通信リンクを使用して受信されうる。
出力システム304は、ポータブルフレーム300に物理的に接続される。出力システム304及びアクティブポータブルアンカー214からの出力は、無線送信機またはディスプレイデバイスのうちの少なくとも1つを使用して行われうる。
この実施例では、プロセッサユニット306はポータブルフレーム300に物理的に接続され、通信ユニット302及び出力システム304と通信する。プロセッサユニット306は、物理的なアンカー位置と物理的な対象物位置とを使用して、対象物の物理的な対象物位置に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を決定し、また、出力システムを使用して、対象物の物理的な対象物位置に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を出力するように構成されている。
図2及び図3の拡張現実環境200及び種々の構成要素の図解は、例示的な実施例が実装されうる方法に対する、物理的制限または構造的制限を示唆することを意図していない。図示した構成要素に加えてまたは代えて、他の構成要素を使用できる。一部の構成要素は不必要になることもありうる。また、一部の機能的な構成要素を図示するためにブロックが提示されている。例示的な実施形態で実装される場合、これらのブロックのうちの一または複数は、異なるブロックになるよう、結合されても、分割されても、または結合されかつ分割されてもよい。
次に図4を参照すると、例示的な実施形態による対象物のライブ画像の上に拡張現実情報を表示するデータフロー図が描かれている。図示したように、対象物400のライブ画像の上に拡張現実情報を表示するためのデータフローが、例示的な実施形態に従って描かれている。この例示的な実施例では、スマートグラス402は、図2の拡張現実デバイス212に対する実装の一例である。スマートグラス402は、対象物400のモデル404をコンピュータ405から受信する。モデル404は、対象物400のライブ画像の上に拡張現実情報を表示するため、スマートグラス402によって使用される。図示したように、モデル404のグラフィックス、情報、及びその他のデータは、拡張現実情報を生成するため、或いは拡張現実情報として表示されるために使用される。
対象物400のライブ画像上での拡張現実情報418の位置決めでは、スマートグラス402はそれ自体をアクティブポータブルアンカー406に対して配向する。この実施例では、配向は、アクティブポータブルアンカー406を、スマートグラス402の位置を特定する際に使用される基準として認識し、対象物400のモデル404を対象物400のライブ画像に関連付けることによって実行される。この認識は、アクティブポータブルアンカー406がスマートグラス402の視野内にあるときに行うことができる。
スマートグラス402は、アクティブポータブルアンカー406を特定するため、写真測量法のセンサ及び処理を使用する。この特定は、アクティブポータブルアンカー406の形状、寸法、または他の視覚的特徴のうちの少なくとも1つに基づきうる。この例示的な実施例では、アクティブポータブルアンカー406はまた、その位置をスマートグラス402に提供する。アクティブポータブルアンカー406の位置は、現在の位置データ414のアクティブポータブルアンカー406から受信され、アクティブポータブルアンカー406のライブ画像の上に拡張現実情報418を表示するために使用される。
この例示的な実施例では、アクティブポータブルアンカー406は、スマートグラス402の動作中に移動可能である。アクティブポータブルアンカー406の現在の位置は、外部追跡システム408を使用して、動的に決定されうる。
この例示的な実施例では、外部追跡システム408は、ポジショナ410と対象物ポジショナプローブ411とを含む。対象物ポジショナプローブ411は、対象物400の異なる点に触れるため、使用者またはロボットのうちの1つによって操作されうる。ポジショナ410は、対象物400に触れる対象物ポジショナプローブ411に基づいて、測定値を記録する。対象物ポジショナプローブ411はまた、アクティブポータブルアンカー406の測定を行うためにも使用可能である。これらの測定値は、位置情報412を形成するアクティブポータブルアンカー406の物理的なアンカー位置と対象物400の物理的な対象物位置とを特定するために使用されうる。
位置情報412はアクティブポータブルアンカー406に送信される。アクティブポータブルアンカー406は、位置情報412を使用して、現在の位置データ414を生成する。現在の位置データ414は、対象物400に対するアクティブポータブルアンカー406の現在の物理的なアンカー位置を含む。アクティブポータブルアンカー406は、現在の位置データ414をスマートグラス402へ送信する。
図示したように、スマートグラス402は、現在の位置データ414で、対象物400に対するアクティブポータブルアンカー406の現在の物理的なアンカー位置を特定する。モデル404でのアクティブポータブルアンカー406の位置は、アクティブポータブルアンカー406の現在のモデルアンカー位置が、対象物400に対するアクティブポータブルアンカー406の現在の物理的なアンカー位置に対応するように、更新される。
スマートグラス402は、アクティブポータブルアンカー406を使用して、スマートグラス自体を対象物400に対して配向する。この配向により、スマートグラス402は、アクティブポータブルアンカー406に対するスマートグラス402の位置を特定する。
スマートグラス402は、対象物400のライブ画像の上に拡張現実情報418を表示する。ライブ画像の上での拡張現実情報418の位置決めは、アクティブポータブルアンカー406がスマートグラス402から所望の距離の範囲内にあるときには、高い精度で実行可能である。スマートグラス402が移動する場合には、アクティブポータブルアンカー406も動かされうる。
アクティブポータブルアンカー406が動かされた場合には、アクティブポータブルアンカー406の位置を特定して、更新された位置情報をアクティブポータブルアンカー406へ送信するため、モデル404の位置に対する更新は、外部追跡システム408を使用して動的に実行されうる。
図5を参照すると、例示的な実施形態による、拡張現実環境の図解が示されている。拡張現実環境501は、図2のブロックの形態で示された拡張現実環境200の実装の一例である。
この例示的な実施例では、航空機500は、図2の対象物206の一実施例である。さらに、アクティブポータブルアンカー502は、航空機500に対して配置される。図示したように、外部追跡システム504は、航空機500の位置とアクティブポータブルアンカー502とを特定する。外部追跡システム504は、インテリジェント全地球測位システム(iGPS)ロケータ506、インテリジェント全地球測位システム(iGPS)ロケータ508、及びインテリジェント全地球測位システム(iGPS)ロケータ510を備える。
これらのインテリジェント全地球測位システムロケータは、航空機500を取り囲む空間とアクティブポータブルアンカー502との容積を様々な場所からスキャンするレーザー送信機を含み、これら2つの対象物の位置を特定する。この位置は、外部追跡システム504の座標系に基づく配置と配向を含む。
図示したこの実施例では、航空機500の機首先端512は、航空機500の基準点として選択される。図示したように、機首先端512は、XベクトルX1(0.7,0.7,0.14)及びZベクトルZ1(−0.19,0.28,0.98)として記述される配置L1(100,200,50)及び配向を含む。アクティブポータブルアンカー502の上部514は、アクティブポータブルアンカー502の基準点として選択され、XベクトルX2(0.44,−0.88,0.15)及びZベクトルZ2(0.1,−0.1,0.99)として記述される配置L2(60,80,10)及び配向を含む。
航空機500に対するアクティブポータブルアンカー502の配置は、上部514の位置から機首先端512の位置を差し引くことによって特定されうる。相対的な配置は、L2−L1=相対配置RL(40,120,40)として特定される。相対的な配向RL(X’Z’)は、X’=X2−X2=(0.26,1.58,−0.01)及びZ’=Z2−Z1=(−0.29,0.38,−0.01)となる。
これらの位置を差し引くことによって、3次元での相対的な配置と、航空機500に対するアクティブポータブルアンカー502の相対的な配向とがもたらされる。アクティブポータブルアンカー502のこの位置は、航空機500のモデルでアクティブポータブルアンカー502のモデルアンカー位置を更新するために使用されうる。
図示したこの実施例では、機首先端512に対応するモデルでの機首先端は、XM=Xベクトル(1,0,0)及びZM=Zベクトル(0,0,1)の配向となる配置LM(0,0,0)を有する航空機のモデルの原点である。この実施例では、このモデルの現在のモデルアンカー位置は、実世界環境でのアクティブポータブルアンカーの位置を反映するように更新されうる。例えば、モデルのアンカー配置(AL)は、LM(0,0,0)+RL(40,120,40)=AL(40,120,40)で、アンカー配向(AO)はAO(X’,Z’)となる。ここで、XA=(1,0,0)+(0.26,1.58,−0.01)=(1.26,1.58,−0.01)、及びZA=(0,0,1)+(−0.29,0.38,−0.01)=(−0.29,0.38,0.99)である。
次に図6を参照すると、例示的な一実施形態による、アクティブポータブルアンカーが図解されている。この例示的な実施例では、アクティブポータブルアンカー600は、図2及び図3のブロック図に示したアクティブポータブルアンカー214の実装の一例である。
図示したように、アクティブポータブルアンカー600はポータブルフレーム606を有する。フラットプレート608は、ポータブルフレーム606に物理的に接続されている。フラットプレート608は、拡張現実デバイスがそれ自体を配向するときに使用するアンカーとして認識する形状を有する。
ディスプレイデバイス604は、フラットプレート608に物理的に接続され、アクティブポータブルアンカー600の位置を表示する能力を提供する。ディスプレイデバイス604は、例えば、バーコード、マトリクスバーコード、或いは、アクティブポータブルアンカー600の位置を視覚的に伝える他の何らかの適切な種類のフォーマットで表示することができる。アンテナ610は、外部追跡システムから位置情報を受信するように構成されている。
図7〜図9のフロー図の種々の処理は、ハードウェア、ソフトウェア、またはその両方で実装可能である。ソフトウェアで実装されると、処理は、一または複数のコンピュータシステム内の一または複数のハードウェアデバイスに配置された一または複数のプロセッサユニットによって実行されるプログラムコードを形態となりうる。
図7を参照すると、例示的な実施形態による、拡張現実環境を表示するための処理のフロー図が示されている。図示したこの実施例では、図7の処理は、図2の拡張現実システム202の一または複数の構成要素に実装可能である。例えば、図2の拡張現実システム202の種々のハードウェア構成要素と拡張現実デバイス212に配置されうるプロセッサを含む、プロセッサシステム218によって種々の作業が実装可能である。
アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを決定する外部追跡システムによって、処理は始まる(作業700)。この例示的な実施例では、作業700は、図2の外部追跡システム216の一または複数のプロセッサユニットによって実行可能である。これらの2つの位置、物理的なアンカー位置及び物理的な対象物位置は、外部追跡システムの追跡座標系内にある。
プロセッサシステムは、現在の位置データを生成する(作業702)。現在の位置データは、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を含む。現在の物理的なアンカー位置は、物理的なアンカー位置から物理的な対象物位置を差し引くことによって特定可能である。作業702は、外部追跡システム及びアクティブポータブルアンカーのうちの少なくとも1つに配置されたプロセッサシステム内の、一または複数のプロセッサユニットによって実行可能である。
アクティブポータブルアンカーは、現在の位置データを出力する(作業704)。例示的な実施例では、出力は、現在の位置データの無線送信または視覚的表示のうちの少なくとも1つから選択される形態を取りうる。
プロセッサシステムは、現在の位置データによって対象物のモデルを更新する(作業706)。作業704では、モデルでの対象物に対するアクティブポータブルアンカーの現在のモデルアンカー位置を反映するため、処理はモデルを更新する。
この実施例では、プロセッサシステムの一または複数のプロセッサユニットはこの作業を実行し、拡張現実デバイス、或いは対象物のモデルを拡張現実デバイスに保存または送信するコンピュータ、或いは他の何らかのデータ処理及び拡張現実システム、のうちの少なくとも1つに配置されうる。
作業706では、対象物のモデル内のアクティブな物理的なアンカーの位置は、実世界環境のアクティブポータブルアンカーの現在の位置を反映するため更新される。
拡張現実デバイスは、実世界環境のアクティブポータブルアンカーによって、拡張現実デバイス自体を配向する(作業708)。処理はその後、終了する。この例示的な実施例では、拡張現実デバイスは、実世界環境内の対象物のライブ画像の上の対象物のモデルに対応するアクティブポータブルアンカーによって出力された、現在の物理的なアンカー位置を受信し、使用する。拡張現実デバイスは、現在使用されているものと比較して高い精度で、拡張現実情報を表示する。
図8を参照すると、拡張現実デバイスを配向するため、現在の物理的なアンカー位置を出力するための処理のフロー図が、例示的な実施形態に従って描かれている。このフロー図に描かれた処理は、図2のアクティブポータブルアンカー214で実装されうる。
アクティブポータブルアンカーの現在の物理的なアンカー位置を特定することによって、処理は始まる(作業800)。アクティブポータブルアンカーは、対象物のライブ画像の上に拡張現実情報を表示するため、拡張現実デバイスによって使用される。
1つの例示的な実施例では、作業800で実行される特定は、アクティブなポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して、アクティブポータブルアンカーによって対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を決定することを含む。別の実施例では、特定するステップは、アクティブポータブルアンカーから受信した対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置に相関する対象物のモデルで、アクティブポータブルアンカーの現在のモデルアンカー位置をアクティブポータブルアンカーによって決定することを含む。さらに別の例示的な実施例では、特定するステップは、アクティブポータブルアンカーの物理的なアンカー位置と対象物の物理的な対象物位置とを使用して、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置をアクティブポータブルアンカーによって決定することを含む。
処理は、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を出力する(作業802)。処理はその後、終了する。この現在の物理的なアンカー位置は、拡張現実デバイスから所望の距離を維持するため、アクティブポータブルアンカーが動かされると、動的に更新されうる。
次に図9を参照すると、拡張現実情報を表示するための処理のフロー図が例示的な実施形態に従って示されている。図9の処理は、図2の拡張現実デバイス212において実装されうる。
対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を、アクティブポータブルアンカーから受信することによって、処理は始まる(作業900)。処理は、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を使用して、対象物のモデルにおけるアクティブポータブルアンカーの現在のモデル位置を決定する(作業902)。処理は、アクティブポータブルアンカーの現在のモデル位置によってモデルを更新する(作業904)。
処理は、アクティブポータブルアンカーの現在のモデル位置と対象物のモデルとを使用して、拡張現実デバイスで対象物のライブ画像の上に拡張現実情報を表示する(作業906)。処理はその後、終了する。
対象物のライブ画像上での拡張現実情報の位置決め精度は、対象物のモデルでのアクティブポータブルアンカーの現在の位置の動的な更新によって高められ、対象物の物理的な対象物位置に対するアクティブポータブルアンカーの現在の物理的なアンカー位置を反映する。
次に図10を参照すると、例示的な実施形態により、拡張現実デバイスを配向するための処理のフロー図が描かれている。図10の処理は、拡張現実システム202の一または複数の構成要素に実装されうる。例えば、図2の拡張現実デバイス212で一または複数のプロセッサユニットによって、種々の作業が実装されうる。
アクティブポータブルアンカーの現在の物理的なアンカー位置を、アクティブポータブルアンカーから取得することによって、処理は始まる(作業1000)。作業1000では、現在の物理的なアンカー位置は、アクティブポータブルアンカーのディスプレイデバイス上に表示されうる。現在の物理的なアンカー位置は、ディスプレイデバイスから拡張現実デバイスによって取得されうる。別の例示的な実施例では、現在の物理的なアンカー位置は、アクティブポータブルアンカーから拡張現実デバイスによって受信された無線送信から、拡張現実デバイスによって取得されうる。
処理は、アクティブポータブルアンカーの現在の物理的なアンカー位置に基づいて、拡張現実デバイスに対して局所座標系を設定する(作業1002)。この位置は、3次元空間内での配置及び配向を含む。
処理は、対象物のモデル内で、アクティブポータブルアンカーの現在のモデルアンカー位置を特定する(操作1004)。現在のモデルアンカー位置は、モデルによって使用される座標系内にある。局所座標系に適合する表示を行うため、処理は、表示用のモデル内に幾何形状を読み込み、再配置する(作業1006)。処理はその後、終了する。作業1006では、ライブ画像上の所望の位置で、対象物のライブ画像上に表示するため、拡張現実デバイスはモデルから拡張現実情報を読み込む。
次に図11を参照すると、例示的な実施形態により、現在の物理的なアンカー位置を受信するための処理のフロー図が示されている。図11の処理は、図2の拡張現実デバイス212において実装されうる。
対象物に対するアクティブポータブルアンカーの群の中で2つ以上のアクティブポータブルアンカーを特定することによって、処理は開始される(作業1100)。この実施例では、アクティブポータブルアンカーの群は、対象物に対する複数のアクティブポータブルアンカーである。処理は、アクティブポータブルアンカーの群から幾つかのアクティブポータブルアンカーを選択する(作業1102).本書で使用されている、アイテムに関して用いられる「幾つかの」は、一または複数のアイテムを意味する。例えば、幾つかのアクティブポータブルアンカーは、一または複数のアクティブポータブルアンカーである。
作業1102での選択は、幾つかの異なる方法で実行されうる。例えば、最も近いアクティブポータブルアンカーの選択は、拡張現実デバイスの視野内で最も近いものに基づきうる。別の実施例では、較正には2つ以上のアクティブポータブルアンカーが使用され、配向は2つ以上のアンカー原点を使用して相互参照される。より近いアンカーには、バイアスまたはより大きな重み付けが与えられうる。
処理は、複数のアクティブポータブルアンカーの中で選択された数のアクティブポータブルアンカーから、選択された数の現在の物理的なアンカー位置を受信する(作業1104)。処理はその後、終了する。例えば、拡張現実デバイスは、最も近いアクティブポータブルアンカーの1つの現在のアンカー位置を受信する。さらに別の例示的な実施例では、拡張現実デバイスは、複数の現在のアクティブポータブルアンカーから、選択された複数の現在の物理的なアンカー位置を受信する。
図示した種々の実施形態におけるフロー図及びブロック図は、例示的な実施形態における、装置及び方法の幾つかの可能な実装の構造、機能、及び作業を示している。これに関して、フロー図またはブロック図内の各ブロックは、モジュール、セグメント、機能または、作業もしくはステップの一部のうちの、少なくとも1つを表わしていてよい。例えば、一または複数のブロックは、プログラムコード、ハードウェアまたはプログラムコードとハードウェアの組合せとして実装されてよい。ハードウェアに実装された場合、ハードウェアは、例えば、フロー図またはブロック図の一または複数の作業を実施するように製造または構成された集積回路の形態をとりうる。プログラムコードとハードウェアの組み合わせとして実装された場合、この実装は、ファームウェアの形態をとりうる。フロー図またはブロック図の各ブロックは、専用ハードウェアと、専用ハードウェアによって実行されるプログラムコードの種々の作業またはその組み合わせを実施する、専用ハードウェアシステムを使用して実装されうる。
例示的実施形態の幾つかの代替的な実装では、ブロックに記載された一または複数の機能が、図中に記載の順序を逸脱して起こることがある。例えば、場合によっては、連続して示される2つのブロックがほぼ同時に実施されること、または含まれる機能に応じて、ブロックが逆順に実施されることもありうる。また、フロー図またはブロック図に示されているブロックに加えて、他のブロックが追加されることもある。
ここで図12を参照すると、例示的な実施形態によるデータ処理システムのブロック図が示されている。データ処理システム1200は、サーバコンピュータ104、サーバコンピュータ106、クライアントデバイス110、拡張現実デバイス212、アクティブポータブルアンカー214、外部追跡システム216、コンピュータシステム236、スマートグラス402、コンピュータ405、アクティブポータブルアンカー406、並びに、種々の例示的な実施例に作業を実施するために使用される他の任意のデータ処理システムを実装するように使用されうる。図示したように、データ処理システム1200は通信フレームワーク1202を含み、これによりプロセッサユニット1204、メモリ1206、固定記憶装置1208、通信ユニット1210、入出力(I/O)ユニット1212、及びディスプレイ1214間の通信が行われる。この例では、通信フレームワーク1202はバスシステムの形態をとりうる。
プロセッサユニット1204は、メモリ1206に読み込まれてよいソフトウェアに対する命令を、実行する役割を果たす。プロセッサユニット1204は、具体的な実装に応じて、任意の数のプロセッサであるか、マルチプロセッサコアであるか、または他の何らかの種類のプロセッサであってよい。
メモリ1206及び固定記憶装置1208は、記憶デバイス1216の一例である。記憶デバイスは、例えば、限定するものではないが、データ、機能的な形態のプログラムコードなどの情報、または他の適切な情報のうちの少なくとも1つを一時的に及び/または永続的に記憶できる、任意のハードウェアである。記憶デバイス1216は、これらの例示的な実施例では、コンピュータ可読記憶デバイスと呼ばれてもよい。これらの実施例で、メモリ1206は、例えばランダムアクセスメモリ、または任意の他の適切な揮発性或いは不揮発性の記憶デバイスであってもよい。固定記憶域1208は、特定の実施態様に応じて様々な形態をとりうる。
例えば、固定記憶域1208は、一または複数の構成要素またはデバイスを含んでいてよい。例えば、固定記憶域1208は、ハードドライブ、ソリッドステートドライブ(SSD)、フラッシュメモリ、書換え型光学ディスク、書換え可能磁気テープ、または上述の何らかの組み合わせであってもよい。固定記憶域1208によって使用される媒体は、着脱式のものであってもよい。例えば、固定記憶域1208には、着脱式ハードドライブを使用してもよい。
これらの例示的な実施例では、通信ユニット1210が、他のデータ処理システムまたはデバイスとの通信を提供する。これらの例示的な実施例では、通信ユニット1210はネットワークインタフェースカードである。
入出力ユニット1212は、データ処理システム1200に接続されうる他のデバイスとの間のデータの入出力を可能にする。例えば、入出力ユニット1212は、キーボード、マウス、または他の何らかの適切な入力デバイスのうちの少なくとも1つを通じて、ユーザー入力のための接続を提供しうる。さらに、入出力ユニット1212は、プリンタに出力を送信しうる。ディスプレイ1214は、ユーザーに情報を表示する機構を提供する。
オペレーティングシステム、アプリケーション、またはプログラムのうちの少なくとも1つに対する指示は、通信フレームワーク1202を介してプロセッサユニット1204と通信する記憶デバイス1216内に位置していてもよい。種々の実施形態のプロセスは、メモリ1206などのメモリの中に含まれうるコンピュータによって実行される指示を使用して、プロセッサユニット1204によって実行されうる。
これらの命令は、プロセッサユニット1204内のプロセッサによって読み取られ実行されうる、プログラムコード、コンピュータ使用可能プログラムコード、またはコンピュータ可読プログラムコードと呼ばれる。種々の実施形態のプログラムコードは、メモリ1206または固定記憶域1208などの種々の物理的なまたはコンピュータ可読の記憶媒体上に具現化されうる。
プログラムコード1218は、選択的に着脱可能であるコンピュータ可読媒体1220に機能的形態で置かれ、プロセッサユニット1204によって実行するためにデータ処理システム1200に読み込ませたり、転送したりしてもよい。プログラムコード1218とコンピュータ可読媒体1220は、これらの実施例では、コンピュータプログラム製品1222を形成する。例示的な実施例では、コンピュータ可読媒体1220はコンピュータ可読記憶媒体1224である。
これらの例示的な実施例では、コンピュータ可読記憶媒体1224は、プログラムコード1218を伝搬または伝送する媒体というよりは、むしろプログラムコード1218を記憶するために使用される、物理的記憶装置または有形記憶装置である。
別の態様では、プログラムコード1218は、コンピュータ可読信号媒体を使用して、データ処理システム1200に転送されうる。コンピュータ可読信号媒体は、例えば、プログラムコード1218を含む伝播データ信号でありうる。例えば、コンピュータ可読信号媒体は、電磁信号、光信号、または他の任意の適切な種類の信号のうちの少なくとも1つであってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、電線、または他の任意の好適な種類の通信リンクといった少なくとも1つの通信リンクを介して伝送されうる。
データ処理システム1200に関して図示されている種々の構成要素は、種々の実施形態が実装されうる態様に対して構造的制限を設けることを意図していない。種々の例示的な実施形態は、データ処理システム1200に対して図解されている構成要素に対して追加的または代替的な構成要素を含むデータ処理システム内で実装されうる。図12に示した他の構成要素は、例示的な実施例と異なることがある。種々の実施形態は、プログラムコード1218を実行可能な任意のハードウェアデバイスまたはシステムを使用して実行されうる。
本開示の例示的な実施形態は、図13に示した航空機の製造及び保守方法1300と、図14に示した航空機1400に関連して記載されうる。まず図13を参照すると、例示的な実施形態による航空機の製造及び保守方法のブロック図が示されている。製造前の段階では、航空機の製造及び保守方法1300は、図14の航空機1400の仕様及び設計1302、並びに材料の調達1304を含む。
製造段階では、図14の航空機1400のコンポーネント及びサブアセンブリの製造1306とシステムインテグレーション1308とが行われる。その後、図14の航空機1400は、認可及び納品1310を経て、運航1312に供される。顧客による運航1312中、図14の航空機1400は、定期的な整備及び保守1314(改造、再構成、改修、及びその他の整備または保守を含みうる)が予定される。例えば、定期的な整備及び保守1314中の航空機検査は、安全な飛行または図14の航空機1400の利用可能性を維持または高めるための作業を含みうる。
航空機の製造及び保守方法1300の各プロセスは、システムインテグレータ、第三者、事業者、または幾つかの組み合わせによって、実施または実行されうる。これらの実施例では、事業者は顧客であってもよい。この明細書において、システムインテグレータは、任意の数の航空機製造業者及び主要システム下請業者を含みうるが、それらに限定される訳ではなく、第三者は、任意の数のベンダー、下請業者、及び供給業者を含みうるが、それらに限定される訳ではなく、事業者は、航空会社、リース会社、軍事団体、サービス機関等でありうる。
ここで図14を参照すると、例示的な実施形態が実装されうる航空機の図が示されている。この例では、航空機1400は、図13の航空機の製造及び保守方法1300によって製造され、複数のシステム1404及び内装1406を有する機体1402を含んでもよい。システム1404の例には、推進システム1408、電気システム1410、油圧システム1412、及び環境システム1414のうちの一または複数が含まれる。任意の数の他のシステムが含まれてもよい。航空宇宙産業の例が示されているが、種々の例示的な実施形態が、自動車産業といった他の産業に適用されてもよい。
本書で具現化される装置及び方法は、図13の航空機の製造及び保守方法1300のうちの少なくとも1つの段階で採用されうる。
例示的な一実施例では、図13の構成要素及びサブアセンブリの製造1306で製造される構成要素またはサブアセンブリは、図13で航空機1400の運航1312中に製造される構成要素またはサブアセンブリと同様の方法で、作製または製造されうる。さらに別の例では、一または複数の装置の実施形態、方法の実施形態、またはこれらの組み合わせを、図13のコンポーネント及びサブアセンブリの製造1306並びにシステムインテグレーション1308などの製造段階で、利用することができる。一または複数の装置の実施形態、方法の実施形態、またはこれらの組み合わせを、航空機1400が図13における運航1312、整備及び保守1314の間、またはその両方の間に利用することができる。例えば、限定するものではないが、図2の拡張現実システム202は、構成要素及びサブアセンブリの製造1306、システムインテグレーション1308、認可及び納品1310、運航1312、または製造及び保守1314のうちの少なくとも1つで使用可能である。アクティブポータブルアンカー214の使用により、ライブ画像上の拡張現実情報の作業員への表示は、現在利用可能な技術と比較して、作業員がより自由に動いて、拡張現実情報の表示を所望の精度レベルに維持できるような方法で実施されうる。いくつかの異なる例示的な実施形態は、航空機1400の組み立てを大幅に効率化すること、航空機1400のコストを削減すること、或いは航空機1400の組み立てを効率化することと、航空機1400のコストを削減することの両方を可能にしうる。
ここで図15を参照すると、例示的な実施形態による製品管理システムのブロック図を示されている。製品管理システム1500は、物理的なハードウェアシステムである。この例示的な実施例では、製品管理システム1500は、製造システム1502または保守システム1504のうちの少なくとも1つを含みうる。
製造システム1502は、図14の航空機1400などの製品を製造するように構成される。図示したように、製造システム1502は製造機器1506を含む。製造機器1506は、製作機器1508または組立機器1510のうちの少なくとも1つを含む。
製作機器1508は、図14の航空機1400の形成に使用される部品用の構成要素を加工するために使用されうる機器である。例えば、製作機器1508は機械及びツールを含みうる。これらの機械及びツールは、ドリル、油圧プレス、加熱炉、金型、複合材テープ載置機、真空システム、旋盤、または他の適切な種類の機器のうちの少なくとも1つであってよい。製作機器1508を使用して、金属部品、複合材部品、半導体、回路、ファスナ、リブ、外板、スパー、アンテナ、または他の適切な種類の部品のうちの少なくとも1つが加工されうる。
組立機器1510は、図14の航空機1400を形成する部品を組み立てるために使用される機器である。具体的には、航空機1400を形成する構成要素及び部品の組み立てに組立機器1510が使用されうる。組立機器1510は、機械及びツールもまた含みうる。このような機械及びツールは、ロボットアーム、クローラ、ファスナ設置システム、レールベースのドリルシステム、またはロボットのうちの少なくとも1つであってよい。組立機器1510は、例えば、航空機1400の座席、水平安定板、翼、エンジン、エンジンハウジング、着陸装置システム等の部品、及び他の部品等の部品が組み立てに使用されうる。
この例示的な実施例では、保守システム1504は保守機器1512を含みうる。保守機器1512は、図14の航空機1400の整備を実施するのに必要なあらゆる機器を含みうる。保守機器1512は、航空機1400の部品に種々の作業を実施するためのツールを含みうる。これらの作業は、部品の分解、部品の改修、部品の検査、部品の再加工、交換部品の製造、または航空機1400の整備を実施するための他の作業のうちの、少なくとも1つを含みうる。これらの作業は、定期的整備、検査、アップグレード、改修、または他の種類の保守作業であってよい。
例示的な実施例では、保守機器1512は、超音波検査デバイス、X線撮像システム、視覚システム、ドリル、クローラ、及び他の適切なデバイスを含んでいてよい。ある場合には、保守機器1512は、保守に必要となりうる部品を生産し組み立てるための、製作機器1508、組立機器1510、またはこれらの両方を含みうる。
製品管理システム1500は、制御システム1514もまた含む。制御システム1514はハードウェアシステムであり、ソフトウェア、または他の種類の構成要素も含みうる。制御システム1514は、製造システム1502または保守システム1504のうちの少なくとも1つの作業を制御するように構成される。具体的には、制御システム1514は、製作機器1508、組立機器1510、または保守機器1512のうちの少なくとも1つの作業を制御しうる。
制御システム1514のハードウェアには、コンピュータ、回路、ネットワーク、及び他の種類の機器が含まれうる。制御は、製造機器1506の直接制御の形態をとりうる。例えば、ロボット、コンピュータ制御機械、及び他の機器は、制御システム1514によって制御されうる。他の例示的な実施例では、制御システム1514は、航空機1400の製造または保守において、作業員1516によって実施される作業を管理しうる。例えば、制御システム1514は、任務を割り当てる、指示を与える、モデルを表示する、または作業員1516によって実施される作業を管理するための他の作業を実施しうる。このような例示的な実施例では、図2の拡張現実システム202は制御システム1514に実装され、図14の航空機1400の製造または保守のうちの少なくとも1つを管理する。
例えば、図2の拡張現実システム202は、図14の航空機1400などの製品の製造または保守のうちの少なくとも1つを実施する作業員に拡張現実情報を表示するように動作する。拡張現実情報は、製造作業または保守作業のうちの少なくとも1つを実施するための指示を提供しうる。別の実施例として、拡張現実情報は、航空機1400の種々の場所で実施される作業命令またはタスクを特定しうる。さらに、表示された拡張現実情報は、航空機1400上で作業を実施すべき位置に作業員を誘導しうる。
さらに、図2の拡張現実システム202はまた、作業員からの入力を受け取るためにも使用されうる。例えば、作業員は、拡張現実システム202を使用して、目視検査で特定される不整合を記録することができる。
種々の例示的な実施例において、作業員1516は、製造機器1506、保守機器1512、または制御システム1514のうちの少なくとも1つを操作する、または少なくとも1つとやり取りを行うことができる。図14の航空機1400を製造するために、このやり取りが実施されうる。
当然ながら、製品管理システム1500は、図14の航空機1400以外の他の製品を管理するようにも構成されていてよい。製品管理システム1500は、航空宇宙産業における製造に関連して記載されているが、製品管理システム1500は、他の産業の製品を管理するようにも構成されうる。例えば、製品管理システム1500は、自動車産業、及び任意の他の適切な産業の製品を製造するように構成されてよい。
したがって、一または複数の例示的な実施例は、対象物の上または近傍に配置されるアクティブポータブルアンカーを利用する。これらのアクティブポータブルアンカーにより、拡張現実デバイスは実世界環境の対象物に拡張現実デバイス自体を迅速に配向することができる。さらに、アクティブポータブルアンカーは、現在のアンカーと同様な較正プレートとして使用することができる。言い換えるならば、拡張現実デバイスは、アンカーが実世界環境に存在し、拡張現実情報を表示するため、拡張現実デバイス自体を配向する際にこのアンカーを使用しうることを認識できる。アクティブポータブルアンカーはまた、拡張現実デバイスに、対象物に対するアクティブポータブルアンカーの現在のアンカー位置を提供する。
このように、一または複数の解決策では、拡張現実デバイスは、アクティブポータブルアンカーを使用することによって、より効率的に拡張デバイス自体を配置し、対象物の位置でより正確に拡張現実情報を表示することができる。例えば、対象物に形成される孔が表示される配置を示すグラフィカルインジケータは、現在利用可能なシステムよりも正確な方法で、対象物のライブ画像上に拡張現実情報として表示可能である。アクティブポータブルアンカーは別の位置に移動可能で、この新しい位置を拡張現実デバイスに送信するようにアクティブポータブルアンカーは更新される。
その結果、例示的な実施例の拡張現実システムは、特別な目的のコンピュータシステムとして動作し、拡張現実システムのアクティブポータブルアンカーにより、拡張現実デバイスは拡張現実情報を対象物のライブ画像の上に高い精度で表示することができる。特に、アクティブポータブルアンカーは、アクティブポータブルアンカーを有していない現在利用可能な汎用コンピュータシステムと比較して、拡張現実システムを特別な目的のコンピュータシステムに変換する物理的な構成要素である。
例示的な実施形態は、第2の配置システムを外部追跡システムの形態で利用することによって、この種の解決策が実装可能であることを認識し、考慮している。例示的な実施形態は、外部追跡システムがアクティブポータブルアンカーの配置を特定し、これらのアクティブポータブルアンカーを介してその情報をリレーし、次にその情報を拡張現実デバイスに提供するように動作することを認識し、考慮している。さらに、対象物のライブ画像上での拡張現実情報の位置決め精度は、対象物のモデルでのアクティブポータブルアンカーの現在のモデルアンカー位置の更新によって高められ、アクティブポータブルアンカーの動きから、対象物に対するアクティブポータブルアンカーの現在の物理的なアンカー位置の変化を反映する。
種々の例示的な実施形態の説明は、例示及び説明を目的として提示されており、網羅的であること、または開示された形態の実施形態に限定することは意図されていない。動作または作業を実施する構成要素は、種々の例示的な実施例によって説明される。例示的な実施例では、構成要素は、記載された動作や作業を実施するように構成されうる。例えば、この構成要素は、例示的な実施例において構成要素によって実施されると説明されている動作または作業を実施する能力をこの構成要素に提供する構造体の構成または設計を有しうる。
さらに、本開示は、以下の条項による実施形態を含む。
条項1. 拡張現実システム(202)であって、
対象物(206)に対するアクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を出力するように構成されている前記アクティブポータブルアンカー(214)と、
前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)とを使用して、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を決定するように構成されているプロセッサシステム(218)と、
前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を、前記アクティブポータブルアンカー(214)から受信し、前記現在の物理的なアンカー位置(220)を使用して、前記対象物(206)のモデル(234)で前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(234)とを使用して、拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に関連する拡張現実情報(208)を表示するように構成されている、前記拡張現実デバイス(212)とを備え、
前記対象物(206)の前記モデル(234)での前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)は、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を反映するように動的に更新される、拡張現実システム(202)。
条項2. 前記プロセッサシステム(218)は前記アクティブポータブルアンカー(214)に配置される、条項1に記載の拡張現実システム(202)。
条項3. 前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)とを座標系で決定するように構成されている外部追跡システム(216)をさらに備え、前記プロセッサシステム(218)は前記外部追跡システム(216)に配置されている、条項1または2に記載の拡張現実システム(202)。
条項4. 前記対象物(206)のためのアクティブポータブルアンカーの群をさらに備え、前記アクティブポータブルアンカー(214)及び前記アクティブポータブルアンカーの群は、前記対象物(206)のための複数のアクティブポータブルアンカーであって、前記拡張現実デバイス(212)は、前記複数のアクティブポータブルアンカーのうちの選択された数の現在のアクティブポータブルアンカーから、選択された数の現在の物理的なアンカー位置を受信する、条項1から3のいずれか一項に記載の拡張現実システム(202)。
条項5. 前記拡張現実デバイス(212)は、前記アクティブポータブルアンカー(214)から受信した前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)に相関する前記対象物(206)の前記モデル(234)における、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)を決定する、条項1から4のいずれか一項に記載の拡張現実システム(202)。
条項6. 前記対象物(206)の前記モデル(234)は、前記対象物(206)の一部を含む前記対象物(206)の部分モデルである、条項1から5のいずれか一項に記載の拡張現実システム(202)。
条項7. 前記対象物(206)の前記部分モデルは、前記拡張現実デバイス(212)の視野内の前記対象物(206)の前記一部、または前記拡張現実デバイス(212)から選択された距離の範囲内にある前記対象物(206)の前記一部のうちの少なくとも1つから選択される、条項6に記載の拡張現実システム(202)。
条項8. 前記拡張現実デバイス(212)と通信しているコンピュータシステム(236)をさらに備え、前記コンピュータシステム(236)は前記対象物(206)の前記モデル(234)を前記拡張現実デバイス(212)へ送信する、条項1から7のいずれか一項に記載の拡張現実システム(202)。
条項9. 前記アクティブポータブルアンカー(214)からの出力は、無線送信機またはディスプレイデバイスのうちの少なくとも1つを使用して行われる、条項1から8のいずれか一項に記載の拡張現実システム(202)。
条項10. 前記出力は、ディスプレイデバイス上の前記現在の物理的なアンカー位置(220)の表示、または前記無線送信機を使用した前記現在の物理的なアンカー位置(220)の無線送信のうちの少なくとも1つから選択される、条項9に記載の拡張現実システム(202)。
条項11. 前記外部追跡システム(216)は、レーザートラッカ、レーザースキャナ、カメラ、変位センサ、測定センサ、またはプローブのうちの少なくとも1つを含む、条項3から10のいずれか一項に記載の拡張現実システム(202)。
条項12. 前記拡張現実情報(208)は、模式図、ユーザー入力ウィンドウ、命令、隠れた構造のグラフィック、またはホログラムのうちの少なくとも1つから選択される、条項1から11のいずれか一項に記載の拡張現実システム(202)。
条項13. 前記対象物(206)は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、及びモニュメントからなる群から選択される、条項1から12のいずれか一項に記載の拡張現実システム(202)。
条項14. 対象物(206)に対する前記アクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を出力するように構成されたアクティブポータブルアンカー(214)と、
前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)とを決定するように構成された外部追跡システム(216)とを備え、前記アクティブポータブルアンカー(214)によって出力される、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)は、前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)及び前記対象物(206)の前記物理的な対象物位置(224)を使用して決定される、拡張現実システム(202)。
条項15. 前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(214)から受信し、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を使用して前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)と前記対象物(206)のモデル(234)とを使用して、前記拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に関連する拡張現実情報(208)を表示するように構成された拡張現実デバイス(212)をさらに備え、前記対象物(206)の前記モデル(234)での前記アクティブポータブルアンカー(214)のモデルアンカー位置は、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を反映するため動的に更新され、前記対象物(206)の前記ライブ画像(204)上での前記拡張現実情報(208)の表示の精度を高めることができる、条項14に記載の拡張現実システム(202)。
条項16. 前記対象物(200)は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、及びモニュメントからなる群から選択される、条項14または条項15に記載の拡張現実システム(202)。
条項17. 前記対象物(206)の前記モデル(234)は、前記対象物(206)の一部を含む前記対象物(206)の部分モデルである、条項15に記載の拡張現実システム(202)。
条項18. 前記対象物(206)の前記部分モデルは、前記拡張現実デバイス(212)の視野内の前記対象物(206)の前記一部、または前記拡張現実デバイス(212)から選択された距離の範囲内にある前記対象物(206)の前記一部のうちの少なくとも1つから選択される、条項17に記載の拡張現実システム(202)。
条項19. ネットワーク(102)と、
前記ネットワーク内の通信ポート(103)とを備える拡張現実システム(202)であって、前記通信ポート(103)は、アクティブポータブルアンカー(130)と通信し、対象物(206)に対する前記アクティブポータブルアンカー(130)の現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(130)に送信するように構成され、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)は、前記アクティブポータブルアンカー(130)の物理的なアンカー位置(222)及び前記対象物(206)の物理的な対象物位置(224)とを使用して決定される、拡張現実システム(202)。
条項20. 拡張現実デバイス(212)は、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(130)から受信し、前記現在の物理的なアンカー位置(220)を使用して前記対象物(206)のモデル(128)で前記アクティブポータブルアンカー(130)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(130)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(128)とを使用して、前記拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に関連する拡張現実情報(208)を表示するように構成されており、前記対象物(206)の前記モデル(128)での前記アクティブポータブルアンカー(130)の現在のモデルアンカー位置(232)は、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)を反映するため動的に更新される、条項19に記載の拡張現実システム(202)。
条項21. 対象物(206)のライブ画像(204)上に拡張現実情報(208)を表示するため、拡張現実デバイス(212)によって使用されるアクティブポータブルアンカー(214)を備える装置であって、前記アクティブポータブルアンカー(214)は、前記対象物(206)に対して前記アクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を出力するように構成される、装置。
条項22. 前記アクティブポータブルアンカー(214)は、外部追跡システム(216)によって決定されるように、前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)とを受信し、前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)とを使用して、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を決定するように構成される、条項21に記載の装置。
条項23. 前記アクティブポータブルアンカー(214)は、
ポータブルフレーム(300)と、
前記ポータブルフレーム(300)に物理的に接続された通信ユニット(302)であって、前記外部追跡システム(216)によって決定されるように、前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)とを受信するように構成された通信ユニット(302)と、
前記ポータブルフレーム(300)に物理的に接続された出力システム(304)と、
前記ポータブルフレーム(300)に物理的に接続され、前記通信ユニット(302)及び前記出力システム(304)と通信するプロセッサユニット(306)であって、前記物理的なアンカー位置(222)と前記物理的な対象物位置(224)とを使用して、前記対象物(206)の前記物理的な対象物位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を決定し、前記出力システム(304)を使用して前記対象物(206)の前記物理的な対象物位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を出力するように構成されたプロセッサユニット(306)と、
を備える、条項22に記載の装置。
条項24. 前記出力システム(304)は、無線送信機またはディスプレイデバイスのうちの少なくとも1つを備える、条項23に記載の装置。
条項25. 前記アクティブポータブルアンカー(214)によって出力された前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を受信し、前記対象物(206)の前記ライブ画像(204)上に前記拡張現実情報(208)を配置するため、前記現在の物理的なアンカー位置(220)を使用して、前記対象物(206)の前記ライブ画像(204)上に前記拡張現実情報(208)を表示するように構成された前記拡張現実デバイス(212)をさらに備える、条項21から24のいずれか一項に記載の装置。
条項26. 前記アクティブポータブルアンカー(214)は、前記拡張現実デバイス(212)によって、前記ライブ画像(204)上に前記拡張現実情報(208)を表示するためのアンカーとして認識される形状を有する、条項25に記載の装置。
条項27. 前記対象物(206)のためのアクティブポータブルアンカーの群をさらに備え、前記アクティブポータブルアンカー(214)及び前記アクティブポータブルアンカーの群は、前記対象物(206)のための複数のアクティブポータブルアンカーであって、前記拡張現実デバイス(212)は、前記複数のアクティブポータブルアンカーのうちの選択された数の現在のアクティブポータブルアンカーから選択された数の現在の物理的なアンカー位置を受信する、条項25に記載の装置。
条項28. 前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)を決定するように構成されている外部追跡システム(216)をさらに備える、条項22に記載の装置。
条項29. 前記外部追跡システム(216)は、レーザートラッカ―、レーザースキャナ、カメラ、変位センサ、測定センサ、またはプローブのうちの少なくとも1つから選択される、条項28に記載の装置。
条項30. 前記対象物(206)は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、及びモニュメントからなる群から選択される、条項21から29のいずれか一項に記載の装置。
条項31. 対象物(206)に対するアクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(214)から受信し、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を使用して前記対象物(206)のモデル(234)で前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(234)とを使用して、前記拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に拡張現実情報(208)を表示するように構成されている拡張現実デバイス(212)を備える拡張現実システム(202)であって、前記対象物(206)の前記ライブ画像(204)上での前記拡張現実情報(208)の位置決め精度は、前記対象物(206)の前記モデル(234)での前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)の更新によって高められ、前記アクティブポータブルアンカー(214)の動きから、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)の変化を反映する、拡張現実システム(202)。
条項32. 前記対象物(206)の前記モデル(234)は、前記対象物(206)の一部を含む前記対象物(206)の部分モデルである、条項31に記載の拡張現実システム(202)。
条項33. 前記対象物(206)の前記部分モデルは、前記拡張現実デバイス(212)の視野内の前記対象物(206)の前記一部、及び前記拡張現実デバイス(212)から選択された距離の範囲内にある前記対象物(206)の前記一部から選択される、条項32に記載の拡張現実システム(202)。
条項34. 拡張現実情報(208)を拡張現実デバイス(212)の上に表示するための方法であって、前記方法は、
前記拡張現実デバイス(212)によって、対象物(206)に対するアクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(214)から受信することと、
前記拡張現実デバイス(212)によって、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を使用して、前記対象物(206)のモデル(234)で前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を、決定することと、
前記拡張現実デバイス(212)によって、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(234)を使用して、前記拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に拡張現実情報(208)を表示することと、を含み、前記対象物(206)の前記ライブ画像(204)上での前記拡張現実情報(208)の位置決め精度は、前記対象物(206)の前記モデル(234)での前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)の動的な更新によって高められ、前記対象物(206)の物理的な位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を反映する、方法。
条項35. 前記対象物(206)の前記モデル(234)は、前記対象物(206)の一部を含む前記対象物(206)の部分モデルである、条項34に記載の方法。
条項36. 前記対象物(206)の前記部分モデルは、前記拡張現実デバイス(212)の視野内の前記対象物(206)の前記一部、及び前記拡張現実デバイス(212)から選択された距離の範囲内にある前記対象物(206)の前記一部から選択される、条項35に記載の方法。
条項37. 前記アクティブポータブルアンカー(214)によって、前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)及び前記対象物(206)物理的な対象物位置(224)を外部追跡システム(216)によって決定されたように受信することと、
前記アクティブポータブルアンカー(214)によって、前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)とを使用して、前記対象物(206)の前記物理的な対象物位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を決定することと、
前記アクティブポータブルアンカー(214)によって、前記対象物(206)の前記物理的な対象物位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を前記拡張現実デバイス(212)へ出力することと、
をさらに含む、条項34から36のいずれか一項に記載の方法。
条項38. 前記アクティブポータブルアンカー(214)によって、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を受信することをさらに含む、条項34から37のいずれか一項に記載の方法。
条項39. 前記対象物(206)の前記物理的な対象物位置(224)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)は、無線送信機又はディスプレイデバイスのうちの少なくとも1つから選択された出力システム(304)によって前記拡張現実デバイス(212)へ出力される、条項34から38のいずれか一項に記載の方法。
条項40. 前記対象物(206)は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、及びモニュメントからなる群から選択される、条項34から39のいずれか一項に記載の方法。
条項41. 拡張現実デバイス(212)を配向するための方法であって、
対象物(206)のライブ画像(204)の上に拡張現実情報(208)を表示するために、前記拡張現実デバイス(212)によって使用される、アクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を特定することと、
前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を出力することと、を含む方法。
条項42. 前記特定するステップは、
前記アクティブポータブルアンカー(214)によって、前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)を使用して、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を、決定することを含む、条項41に記載の方法。
条項43. 前記特定するステップは、
前記アクティブポータブルアンカー(214)によって、前記アクティブポータブルアンカー(214)から受信した前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)に相関する前記対象物(206)のモデル(234)での前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を、決定することを含む、条項41または42に記載の方法。
条項44. 前記特定するステップは、
外部トラッカによって、前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)とを使用して、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を、決定することを含む、条項41から43のいずれか一項に記載の方法。
当業者には、多くの修正例及び変形例が自明であろう。さらに、種々の例示的な実施形態によって、他の好ましい実施形態と比較して異なる特徴が提供されうる。選択された一または複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するために、及び他の当業者に対して、様々な実施形態の開示内容と考慮される特定の用途に適した様々な修正の理解を促すために選択及び記載されている。

Claims (15)

  1. 拡張現実システム(202)であって、
    対象物(206)に対するアクティブポータブルアンカー(214)の現在の物理的なアンカー位置(220)を出力するように構成されている前記アクティブポータブルアンカー(214)と、
    前記アクティブポータブルアンカー(214)の物理的なアンカー位置(222)と前記対象物(206)の物理的な対象物位置(224)とを使用して、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を決定するように構成されているプロセッサシステム(218)と、
    前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を、前記アクティブポータブルアンカー(214)から受信し、前記現在の物理的なアンカー位置(220)を使用して、前記対象物(206)のモデル(234)で前記アクティブポータブルアンカー(214)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(234)とを使用して、拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に関連する拡張現実情報(208)を表示するように構成されている、前記拡張現実デバイス(212)とを備え、
    前記対象物(206)の前記モデル(234)での前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)は、前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)を反映するように動的に更新される、拡張現実システム(202)。
  2. 前記プロセッサシステム(218)は前記アクティブポータブルアンカー(214)に配置される、請求項1に記載の拡張現実システム(202)。
  3. 前記アクティブポータブルアンカー(214)の前記物理的なアンカー位置(222)と前記対象物(206)の前記物理的な対象物位置(224)とを座標系で決定するように構成されている外部追跡システム(216)をさらに備え、前記プロセッサシステム(218)は前記外部追跡システム(216)に配置されている、請求項1または2に記載の拡張現実システム(202)。
  4. 前記対象物(206)のためのアクティブポータブルアンカーの群をさらに備え、前記アクティブポータブルアンカー(214)及び前記アクティブポータブルアンカーの群は、前記対象物(206)のための複数のアクティブポータブルアンカーであって、前記拡張現実デバイス(212)は、前記複数のアクティブポータブルアンカーのうちの選択された数の現在のアクティブポータブルアンカーから、選択された数の現在の物理的なアンカー位置を受信する、請求項1から3のいずれか一項に記載の拡張現実システム(202)。
  5. 前記拡張現実デバイス(212)は、前記アクティブポータブルアンカー(214)から受信した前記対象物(206)に対する前記アクティブポータブルアンカー(214)の前記現在の物理的なアンカー位置(220)に相関する前記対象物(206)の前記モデル(234)における、前記アクティブポータブルアンカー(214)の前記現在のモデルアンカー位置(232)を決定する、請求項1から4のいずれか一項に記載の拡張現実システム(202)。
  6. 前記対象物(206)の前記モデル(234)は、前記対象物(206)の一部を含む前記対象物(206)の部分モデルである、請求項1から5のいずれか一項に記載の拡張現実システム(202)。
  7. 前記対象物(206)の前記部分モデルは、前記拡張現実デバイス(212)の視野内の前記対象物(206)の前記一部、または前記拡張現実デバイス(212)から選択された距離の範囲内にある前記対象物(206)の前記一部のうちの少なくとも1つから選択される、請求項6に記載の拡張現実システム(202)。
  8. 前記拡張現実デバイス(212)と通信しているコンピュータシステム(236)をさらに備え、前記コンピュータシステム(236)は前記対象物(206)の前記モデル(234)を前記拡張現実デバイス(212)へ送信する、請求項1から7のいずれか一項に記載の拡張現実システム(202)。
  9. 前記アクティブポータブルアンカー(214)からの出力は、無線送信機またはディスプレイデバイスのうちの少なくとも1つを使用して行われる、請求項1から8のいずれか一項に記載の拡張現実システム(202)。
  10. 前記出力は、前記ディスプレイデバイス上の前記現在の物理的なアンカー位置(220)の表示、または前記無線送信機を使用した前記現在の物理的なアンカー位置(220)の無線送信のうちの少なくとも1つから選択される、請求項9に記載の拡張現実システム(202)。
  11. 前記外部追跡システム(216)は、レーザートラッカ、レーザースキャナ、カメラ、変位センサ、測定センサ、またはプローブのうちの少なくとも1つを含む、請求項3から10のいずれか一項に記載の拡張現実システム(202)。
  12. 前記拡張現実情報(208)は、模式図、ユーザー入力ウィンドウ、命令、隠れた構造のグラフィック、またはホログラムのうちの少なくとも1つから選択される、請求項1から11のいずれか一項に記載の拡張現実システム(202)。
  13. 前記対象物(206)は、移動プラットフォーム、固定プラットフォーム、陸上ベース構造体、水上ベース構造体、宇宙ベース構造体、航空機、商用航空機、回転翼航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、家屋、製造工場、建物、機体胴体部、エンジン、翼、外板パネル、着陸装置アセンブリ、及びモニュメントからなる群から選択される、請求項1から12のいずれか一項に記載の拡張現実システム(202)。
  14. ネットワーク(102)と、
    前記ネットワーク内の通信ポート(103)とを備える拡張現実システム(202)であって、前記通信ポート(103)は、アクティブポータブルアンカー(130)と通信し、対象物(206)に対する前記アクティブポータブルアンカー(130)の現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(130)に送信するように構成され、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)は、前記アクティブポータブルアンカー(130)の物理的なアンカー位置(222)と、前記対象物(206)の物理的な対象物位置(224)とを使用して決定される、拡張現実システム(202)。
  15. 拡張現実デバイス(212)は、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)を前記アクティブポータブルアンカー(130)から受信し、前記現在の物理的なアンカー位置(220)を使用して前記対象物(206)のモデル(128)で前記アクティブポータブルアンカー(130)の現在のモデルアンカー位置(232)を決定し、前記アクティブポータブルアンカー(130)の前記現在のモデルアンカー位置(232)と前記対象物(206)の前記モデル(128)とを使用して、前記拡張現実デバイス(212)の前記対象物(206)のライブ画像(204)に関連する拡張現実情報(208)を表示するように構成されており、前記対象物(206)の前記モデル(128)での前記アクティブポータブルアンカー(130)の前記現在のモデルアンカー位置(232)は、前記対象物(206)に対する前記アクティブポータブルアンカー(130)の前記現在の物理的なアンカー位置(220)を反映するため動的に更新される、請求項14に記載の拡張現実システム(202)。
JP2019128382A 2018-07-11 2019-07-10 アクティブポータブルアンカーを有する拡張現実システム Active JP7438680B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/032,168 2018-07-11
US16/032,168 US10839604B2 (en) 2018-07-11 2018-07-11 Augmented reality system with an active portable anchor

Publications (2)

Publication Number Publication Date
JP2020038627A true JP2020038627A (ja) 2020-03-12
JP7438680B2 JP7438680B2 (ja) 2024-02-27

Family

ID=67211565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019128382A Active JP7438680B2 (ja) 2018-07-11 2019-07-10 アクティブポータブルアンカーを有する拡張現実システム

Country Status (9)

Country Link
US (1) US10839604B2 (ja)
EP (1) EP3594784A1 (ja)
JP (1) JP7438680B2 (ja)
KR (1) KR102566700B1 (ja)
CN (1) CN110716637A (ja)
AU (1) AU2019204238B2 (ja)
BR (1) BR102019013390B1 (ja)
CA (1) CA3047251C (ja)
RU (1) RU2019118258A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896546B2 (en) 2018-07-11 2021-01-19 The Boeing Company Augmented reality system with an active portable anchor
CN117102999B (zh) * 2023-09-05 2024-04-09 无锡市昌亿机床制造有限公司 一种附带自动对刀卡盘工装的加工设备

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9292180B2 (en) * 2013-02-28 2016-03-22 The Boeing Company Locator system for three-dimensional visualization
GB2513957B (en) * 2013-03-15 2020-11-25 Fisher Rosemount Systems Inc Method and apparatus for determining the position of a mobile control device in a process plant
GB201404990D0 (en) * 2014-03-20 2014-05-07 Appeartome Ltd Augmented reality apparatus and method
US9852546B2 (en) * 2015-01-28 2017-12-26 CCP hf. Method and system for receiving gesture input via virtual control objects
US10502571B2 (en) * 2015-05-12 2019-12-10 Invensense, Inc. Systems and methods for determining a route traversed by a portable device
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
JP6902332B2 (ja) 2016-04-28 2021-07-14 三菱重工業株式会社 不具合情報取得システム
US10377484B2 (en) * 2016-09-30 2019-08-13 Sony Interactive Entertainment Inc. UAV positional anchors
TWI626468B (zh) * 2017-01-25 2018-06-11 研能科技股份有限公司 頭戴式虛擬實境顯示裝置
US10181220B2 (en) * 2017-02-09 2019-01-15 Nice Ltd. System and method for contact center augmented reality
JP6919222B2 (ja) * 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor

Also Published As

Publication number Publication date
EP3594784A1 (en) 2020-01-15
AU2019204238A1 (en) 2020-01-30
BR102019013390B1 (pt) 2024-01-23
KR20200006922A (ko) 2020-01-21
RU2019118258A (ru) 2020-12-14
AU2019204238B2 (en) 2024-06-06
CA3047251A1 (en) 2020-01-11
JP7438680B2 (ja) 2024-02-27
KR102566700B1 (ko) 2023-08-11
CN110716637A (zh) 2020-01-21
CA3047251C (en) 2023-08-01
US20200020163A1 (en) 2020-01-16
US10839604B2 (en) 2020-11-17
BR102019013390A2 (pt) 2020-01-28

Similar Documents

Publication Publication Date Title
US10896546B2 (en) Augmented reality system with an active portable anchor
EP3144901B1 (en) Immersive design management system
JP7475834B2 (ja) 複合材部品製造用の拡張現実システム
KR102224047B1 (ko) 계측 시스템을 위한 로봇 장착형 표지 시스템
US9852237B2 (en) Immersive object testing system
US20180080882A1 (en) Method and System for Automated Data Collection and Part Validation
JP7438680B2 (ja) アクティブポータブルアンカーを有する拡張現実システム
EP3637230B1 (en) Augmented reality system for visualizing nonconformance data for an object
US20200324919A1 (en) Automated Aircraft Inspection System
CN114397631B (zh) 一种大型雷达天线阵面精度测量方法及系统
EP4322108A1 (en) Verification of the correct presence of parts using contextual visualization
US20210181727A1 (en) Product Manufacturing with a Manufacturing Product and Process Structure
Martin Metrology enabled tooling for the assembly of aero-structures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240214

R150 Certificate of patent or registration of utility model

Ref document number: 7438680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150