JP2014167786A

JP2014167786A - 拡張現実のための自動基準フレーム較正

Info

Publication number: JP2014167786A
Application number: JP2013222976A
Authority: JP
Inventors: r davies Paul; ポールアール．デイヴィーズ，; David K Lee; デーヴィッドケー．リー，
Original assignee: Boeing Co
Current assignee: Boeing Co
Priority date: 2012-10-31
Filing date: 2013-10-28
Publication date: 2014-09-11
Anticipated expiration: 2033-10-28
Also published as: US9508146B2; CN103793936A; AU2013224660A1; CA2825834A1; BR102013027358B1; RU2651239C2; CA2825834C; JP6223122B2; KR102110123B1; SG2013068408A; EP2728548A3; EP2728548B1; AU2013224660B2; US20140118339A1; RU2651239C9; CN103793936B; RU2013148372A; KR20140055975A; BR102013027358A2; EP2728548A2

Abstract

【課題】拡張現実感のために自動的に基準フレームを較正するための１つまたは複数のシステム、方法、ルーチン、および／または技法を提供する。
【解決手段】仮想オブジェクトおよび／またはカメラ１０２の基準フレームを自動的に較正することによって、拡張現実感（ＡＲ）システム１００の較正を可能にすることができる。仮想オブジェクト１１２の基準フレームから追跡システム１０８に関連する座標フレームへの写像もしくは変換を決定し、かつ／または計算することができる。または、カメラレンズ基準フレームから追跡システム１０８によって決定されるカメラ全体の基準フレームへの写像もしくは変換を決定し、かつ／または計算することができる。これらの技法は、仮想コンテンツと実際のシーンの生のカメラビューとの間のすばやく正確な位置合せを提供するためにＡＲシステム１００を較正することができる。
【選択図】図１

Description

本開示は、拡張現実感に関し、より詳細には、拡張現実感のために自動的に基準フレームを較正するための１つまたは複数のシステム、方法、ルーチン、および／または技法に関する。

拡張現実感（ＡＲ）は、仮想オブジェクトまたは媒体を実世界のビューに重畳することによって、実世界のビューの知覚に、たとえば生ビデオフィードを増補しまたは追加する。拡張現実感は、実世界およびそのオブジェクトに関係する人工的情報またはシミュレートされた情報を実世界のビューに重ねることを可能にする。拡張現実感は、実世界のビューを人工的なビューまたはシミュレートされたビューに置換する仮想現実感（ＶＲ）に関連するが、これとは異なる。拡張現実感は、エンターテイメント、ビデオゲーム、スポーツ、およびセル電話機アプリケーションなどのアプリケーションで使用されている。

従来の手法および伝統的手法のさらなる限定および不利益は、そのようなシステムを本願の残りの部分に示され図面を参照する本発明のいくつかの態様と比較することにより、当業者に明白になるであろう。

本開示は、拡張現実感のために自動的に基準フレームを較正するための１つまたは複数のシステム、方法、ルーチン、および／または技法を説明するものである。１つまたは複数のシステム、方法、ルーチン、および／または技法は、たとえば仮想オブジェクトおよび／またはカメラの基準フレームを自動的に較正することによって、拡張現実感（ＡＲ）システムの単純ですばやい較正を可能にすることができる。

本開示の１つまたは複数の実施形態は、たとえば、少なくとも１つのプロセッサを有するデータ処理システムによって実行される、拡張現実感のための方法を説明するものである。この方法は、オブジェクト追跡システムに関連する追跡システム座標フレームを受信または確立することを含むことができる。追跡システム座標フレームは、実際の３Ｄ空間に位置合せされ得る。追跡システムは、実オブジェクトおよびカメラの実際の３Ｄ空間内の位置および方位を追跡することができる。この方法は、追跡システムから実オブジェクトの第１の実オブジェクト基準フレームを受信することを含むことができる。第１の実オブジェクト基準フレームは、追跡システム座標フレームに対する実オブジェクトの位置および方位を示すことができる。この方法は、実オブジェクトの第２の実オブジェクト基準フレームを決定することを含むことができる。第２の実オブジェクト基準フレームは、追跡システム座標フレームに対する実オブジェクトの位置および方位を示すことができる。この方法は、仮想オブジェクトの第１の仮想オブジェクト基準フレームを受信することを含むことができる。仮想オブジェクトは、実オブジェクトにならってモデリングされ得る。第１の仮想オブジェクト基準フレームは、追跡システム座標フレームに関係付けられないものとすることができる。この方法は、仮想オブジェクトの第２の仮想オブジェクト基準フレームを決定することを含むことができる。第２の仮想オブジェクト基準フレームは、追跡システム座標フレームに対する仮想オブジェクトの位置および方位を示すことができる。この方法は、第１の仮想オブジェクト基準フレームと追跡システム座標フレームとの間の仮想オブジェクト写像を決定することを含むことができる。この方法は、実際の３Ｄ空間のビュー、実オブジェクトのビュー、および１つまたは複数の重ねられる仮想アイテムを含む拡張されたシーンを表示することを含むことができる。仮想オブジェクト写像は、１つまたは複数の重ねられる仮想アイテムが実オブジェクトに位置合せされるように、拡張されたシーン内で１つまたは複数の仮想アイテムを配置するのに使用され得る。

本開示の１つまたは複数の実施形態は、たとえば少なくとも１つのプロセッサを有するデータ処理システムによって実行される、拡張現実感のための方法を説明するものである。この方法は、オブジェクト追跡システムに関連する追跡システム座標フレームを受信または確立することを含むことができる。追跡システム座標フレームは、実際の３Ｄ空間に位置合せされ得る。追跡システムは、実際の３Ｄ空間および印刷されたマーカーを取り込むカメラの実際の３Ｄ空間内の位置および方位を追跡することができる。この方法は、追跡システムからカメラのカメラ基準フレームを受信することを含むことができる。カメラ基準フレームは、追跡システム座標フレームに対するカメラの位置および方位を示すことができる。この方法は、印刷されたマーカーに関連する印刷されたマーカー座標フレームを受信または確立することを含むことができる。印刷されたマーカー座標フレームは、実際の３Ｄ空間に位置合せされ得る。印刷されたマーカー座標フレームは、追跡システム座標フレームに位置合せされ得る。この方法は、カメラのレンズのカメラレンズ基準フレームを決定することを含むことができる。カメラレンズ基準フレームは、印刷されたマーカー座標フレームに対するカメラの位置および方位を示すことができる。この方法は、カメラ基準フレームとカメラレンズ基準フレームとの間のカメラレンズ写像を決定することを含むことができる。この方法は、実際の３Ｄ空間のビューおよび１つまたは複数の仮想アイテムを含む拡張されたシーンを表示することを含むことができる。カメラレンズ写像は、拡張されたシーン内で１つまたは複数の仮想アイテムを変更するまたはひずませるために使用され得る。

本開示の１つまたは複数の実施形態は、システムを説明するものである。このシステムは、実オブジェクトを含む実際の３Ｄ空間のビューを取り込むカメラを含むことができる。このシステムは、実オブジェクトおよびカメラの実際の３Ｄ空間内の位置および方位を追跡する追跡システムを含むことができる。追跡システムは、追跡システムに関連する追跡システム座標フレームを確立するように構成され得、追跡システム座標フレームは、実際の３Ｄ空間に位置合せされ得る。このシステムは、カメラおよび追跡システムに結合されたコンピュータを含むことができ、コンピュータは、１つまたは複数のメモリユニットを含むことができる。コンピュータは、仮想モデラを有して構成され得る。仮想モデラは、追跡システムから、実オブジェクトの第１の実オブジェクト基準フレームを受信するように構成され得、第１の実オブジェクト基準フレームは、追跡システム座標フレームに対する実オブジェクトの位置および方位を示すことができる。仮想モデラは、実オブジェクトの第２の実オブジェクト基準フレームを計算するようにさらに構成され得、第２の実オブジェクト基準フレームは、追跡システム座標フレームに対する実オブジェクトの位置および方位を示すことができる。仮想モデラは、仮想オブジェクトの第１の仮想オブジェクト基準フレームを１つまたは複数のメモリユニットから受信するようにさらに構成され得、仮想オブジェクトは、実オブジェクトにならってモデリングされ得、第１の仮想オブジェクト基準フレームは、追跡システム座標フレームに関係付けられないものとすることができる。仮想モデラは、仮想オブジェクトの第２の仮想オブジェクト基準フレームを計算するようにさらに構成され得、第２の仮想オブジェクト基準フレームは、追跡システム座標フレームに対する仮想オブジェクトの位置および方位を示すことができる。仮想モデラは、第１の仮想オブジェクト基準フレームと追跡システム座標フレームとの間の仮想オブジェクト写像を計算するようにさらに構成され得る。仮想モデラは、実際の３Ｄ空間のビュー、実オブジェクトのビュー、および１つまたは複数の重ねられる仮想アイテムを含む拡張されたシーンを生成し、１つまたは複数のメモリユニットに格納するようにさらに構成され得る。仮想オブジェクト写像は、１つまたは複数の仮想アイテムが実オブジェクトに位置合せされるように拡張されたシーン内に１つまたは複数の重ねられる仮想アイテムを配置するのに使用され得る。

本開示の１つまたは複数の実施形態は、コンピュータコードを格納する１つまたは複数のメモリユニットと１つまたは複数のメモリユニットに結合された１つまたは複数のプロセッサユニットとを含むデータ処理システムを記述するものである。１つまたは複数のプロセッサユニットは、オブジェクト追跡システムに関連する追跡システム座標フレームを受信または確立するために１つまたは複数のメモリユニットに格納されたコンピュータコードを実行することができる。追跡システム座標フレームを、実際の３Ｄ空間に整列させることができる。追跡システムは、実際の３Ｄ空間および印刷されたマーカーを取り込むカメラの実際の３Ｄ空間内の位置および方位を追跡することができる。１つまたは複数のプロセッサユニットは、追跡システムからカメラのカメラ基準フレームを受信するために１つまたは複数のメモリユニット内に格納されたコンピュータコードを実行することができる。カメラ基準フレームは、追跡システム座標フレームに対するカメラの位置および方位を示すことができる。１つまたは複数のプロセッサユニットは、印刷されたマーカーに関連する印刷されたマーカー座標フレームを受信または確立するために１つまたは複数のメモリユニット内に格納されたコンピュータコードを実行することができる。印刷されたマーカー座標フレームは、実際の３Ｄ空間に位置合せされ得、印刷されたマーカー座標フレームは、追跡システム座標フレームに位置合せされ得る。１つまたは複数のプロセッサユニットは、カメラのレンズのカメラレンズ基準フレームを決定するために１つまたは複数のメモリユニット内に格納されたコンピュータコードを実行することができる。カメラレンズ基準フレームは、印刷されたマーカー座標フレームに対するカメラの位置および方位を示すことができる。１つまたは複数のプロセッサユニットは、カメラ基準フレームとカメラレンズ基準フレームとの間のカメラレンズ写像を決定するために１つまたは複数のメモリユニット内に格納されたコンピュータコードを実行することができる。１つまたは複数のプロセッサユニットは、実際の３Ｄ空間および１つまたは複数の仮想アイテムのビューを含む拡張されたシーンを表示するために１つまたは複数のメモリユニット内に格納されたコンピュータコードを実行することができる。カメラレンズ写像は、拡張されたシーン内で１つまたは複数の仮想アイテムを変更するまたはひずませるために使用され得る。

本開示の上記および他の利益、態様、および新規の特徴ならびにその図示された実施形態の詳細は、次の説明および図面からより十分に理解されるであろう。前述の概括的な説明が、単に例示的かつ説明的であるにすぎず、特許請求される開示について制限的ではないことを理解されたい。

複数の特徴および利益が次の開示で説明され、次の開示では、例として次の図面を使用して複数の実施形態を説明する。

本明細書で論じられる自動化された基準フレーム較正技法が本発明の１つまたは複数の実施形態による拡張現実感（ＡＲ）システムで有用であり得る、そのようなＡＲシステムの例示的なデバイス、コンポーネント、ソフトウェア、および相互作用を示すブロック図である。本開示の１つまたは複数の実施形態による、例示的な較正技法を示すブロック図である。本開示の１つまたは複数の実施形態による、追跡システムによってさまざまな理由について使用されるツールまたはワンドを示す図である。Ａは、本開示の１つまたは複数の実施形態による、複数の追跡マーカーが実オブジェクトに貼り付けられるかその上に配置される例示的な実オブジェクトを示す図である。Ｂは、本開示の１つまたは複数の実施形態による、追跡システムが実オブジェクトの表現をどのように作成し、配置し得るのかを示す図である。本開示の１つまたは複数の実施形態による、仮想モデリングソフトウェアが実オブジェクトに関する新しい基準フレームをどのように確立し得るのかを示す図である。本開示の１つまたは複数の実施形態による、仮想モデリングソフトウェアが仮想オブジェクトに関して新しい基準フレームをどのように確立し得るのかを示す図である。本開示の１つまたは複数の実施形態による、例示的な較正技法を示すブロック図である。本開示の１つまたは複数の実施形態による、例示的なカメラおよびカメラフレームを示す図である。本開示の１つまたは複数の実施形態による、追跡システムがカメラの表現をどのようにして作成し、配置し得るのかを示す図である。本開示の１つまたは複数の実施形態による、一体化されたカメラを有する例示的なタブレットコンピュータを示す図である。印刷されたマーカーが、カメラレンズの基準フレームの決定をどのようにして可能にし得るのかを示す図である。印刷されたマーカーが、カメラレンズの基準フレームの決定をどのようにして可能にし得るのかを示す図である。本開示の１つまたは複数の実施形態に従って作ることができる例示的な拡張されたシーンを示す図である。本開示の１つまたは複数の実施形態に従って作ることができる例示的な拡張されたシーンを示す図である。本開示の１つまたは複数の実施形態による、拡張現実感のための自動化された基準フレーム較正の方法の例示的なステップを示す流れ図である。本開示の１つまたは複数の実施形態による、拡張現実感のための自動化された基準フレーム較正の方法の例示的なステップを示す流れ図である。本開示の１つまたは複数の実施形態に従って使用可能な例示的なデータ処理システムを示すブロック図である。

さまざまなＡＲシステムでは、追跡システムを、３Ｄ空間内でカメラおよびさまざまな実世界オブジェクトの位置および方位を追跡するのに使用することができる。たとえば、追跡システムは、カメラおよびカメラが見つつある／取り込みつつある機械類を追跡することができる。さまざまなＡＲシステムは、カメラによって取り込まれた実世界シーン（さまざまな実世界オブジェクトを含む）と重ねられた仮想媒体および／または仮想オブジェクトとを含む拡張されたシーンを作成することを試みることができる。拡張されたシーンを作成するために、追跡システムは、仮想座標フレームを確立することができ、実世界オブジェクトの表現をこの座標フレーム内で追跡し、または「配置する」ことができる。さまざまなＡＲシステムは、拡張されたシーンを作成するために、座標フレーム内にさまざまな仮想オブジェクト（たとえば、ＣＡＤモデル／オブジェクト）を「配置」することを試みることができる。さまざまなオブジェクト／モデルは、それ自体のデフォルトのまたは任意の基準フレーム（たとえば、３Ｄ位置および方位）を有することができ、したがって、追跡システムの座標フレーム内に仮想オブジェクトを配置するために、追跡システムの座標フレームと仮想オブジェクト基準フレームとの間で写像または変換を決定しなければならない。さらに、カメラ（たとえば、実世界シーンを取り込むカメラ）が移動する場合に、ＡＲシステムは、仮想オブジェクトのビューを変更することを試みることができる。これを正確に行うために、ＡＲシステムは、カメラレンズの位置および方位を追跡することを必要とする場合がある。しかし、追跡システムは、カメラ全体の位置および方位を追跡することしかできない。さまざまなソフトウェアプログラム（たとえば、他の部分に関連する）を使用して、座標フレーム内のカメラレンズに関する基準フレームを決定することができるが、これらのレンズソフトウェアプログラムは、レンズソフトウェアプログラムによって確立される座標フレーム内でレンズを追跡する可能性がある。したがって、追跡システムの座標フレーム内にカメラレンズを配置するために、追跡システムの座標フレームとレンズ基準フレームとの間で写像または変換を反転しなければならない。これらの写像および／または変換（たとえば、仮想オブジェクトに関しておよび／またはカメラレンズに関して）を、ＡＲシステム較正または基準フレームの較正と称する場合がある。

用語「座標フレーム」、「基準フレーム」、「参照フレーム」、および「ポーズ」が、本開示全体を通じて使用され、密接に関係する可能性があることを理解されたい。用語「座標フレーム」は、３Ｄ空間の３Ｄ表現を指すことができ、座標フレームは、３つの平面または軸（たとえば、Ｘ軸、Ｙ軸、Ｚ軸）と原点（たとえば、この３つの軸が交差する点）を含む。用語「基準フレーム」または「参照フレーム」は、たとえば座標フレーム内の、オブジェクトまたは点の３Ｄ場所および３Ｄ方位を指すことができる。オブジェクトの基準フレームは、オブジェクトの原点（たとえば、近似質量中心）とオブジェクトの方位（たとえば、オブジェクトに相対的に確立された３軸）とを含むことができる。用語「ポーズ」は、「位置および方位」の短縮形であり、３Ｄ空間内のオブジェクトの３Ｄ位置（たとえば、Ｘ座標、Ｙ座標、Ｚ座標）および３Ｄ方位（たとえば、ロール、ピッチ、ヨー）を指すことができる。

さまざまなＡＲシステムは、手動プロセスまたは試行錯誤プロセスを介して、たとえば、追跡システム座標フレームに対する仮想モデルの基準フレームおよび／またはカメラレンズの基準フレームを近似することと、その後、近似がよい近似であるかどうかを決定するために拡張されたシーンをテストすることとによって、ＡＲシステム較正を実行する。たとえば、技術者は、単純に、拡張されたシーン内の重ねられた仮想オブジェクトを見るだけで、それらがさまざまなカメラ場所および方位から正しい場所にあると思われるかどうかに関する決定を行うことができる。この手動較正プロセスは、１２個のパラメータ、たとえば、仮想オブジェクトの６つのパラメータ（たとえば、Ｘ座標、Ｙ座標、Ｚ座標およびロール、ピッチ、ヨー）およびカメラレンズの６つのパラメータ（たとえば、Ｘ座標、Ｙ座標、Ｚ座標およびロール、ピッチ、ヨー）の操作を必要とする可能性がある。このプロセスは、高価であり、かつ／または時間集中型であり、たとえば、完了に長い時間（たとえば、８時間を超える）を要する可能性がある。手動較正プロセスが完了したときであっても、その手動較正プロセスが正確な分解能／較正をもたらさない場合がある。たとえば、あるカメラポーズから正しく配置されているように見える仮想オブジェクトが、異なるポーズからは正しく配置されて見えない可能性がある。仮想オブジェクトにおける配置の小さい誤差が、より大きい実世界オブジェクトにおいては大きい誤差につながる可能性がある。さらに、ＡＲシステムが、新しい環境内でまたは新しい実オブジェクトもしくはカメラに関してセットアップされるたびに、ＡＲシステムは、手動で較正されなければならない。

本開示は、拡張現実感に関する自動化された基準フレーム較正の１つまたは複数のシステム、方法、ルーチン、および／または技法を説明するものである。１つまたは複数のシステム、方法、ルーチン、および／または技法は、たとえば、仮想オブジェクトおよび／またはカメラの基準フレームを自動的に較正することによって、拡張現実感（ＡＲ）システムの単純ですばやい較正を可能にすることができる。１つまたは複数のシステム、方法、ルーチン、および／または技法は、新しい環境でのＡＲシステムのまたは比較的短い時間（たとえば、１５分未満）での新しい実際のオブジェクト（たとえば、機械類）のセットアップを可能にすることができ、実世界シーンへの重ねられる仮想コンテンツの正確な位置決めを可能にすることができる。仮想コンテンツの正確な位置決めは、ＡＲシステムが正確なタスク、たとえば正確な場所での小さい孔のドリリングを実行するために技術者に指示するのに使用される場合に、クリティカルである可能性がある。１つまたは複数のシステム、方法、ルーチン、および／または技法は、さまざまな基準フレーム（たとえば、追跡システムの座標フレーム、仮想オブジェクトの基準フレーム、およびカメラレンズの基準フレーム）間の写像もしくは変換を決定し、かつ／または計算することができる。本開示は、２つの主要な較正ルーチンおよび／または較正技法を説明することができる。第１の較正ルーチンおよび／または較正技法は、仮想オブジェクト（たとえば、ＣＡＤモデル）の基準フレームと追跡システムに関連する座標フレームとの間の写像もしくは変換を決定し、かつ／または計算することができる。第２の較正ルーチンおよび／または較正技法は、カメラ基準フレームと追跡システムによって決定されるカメラ全体の基準フレームとの間の写像もしくは変換を決定し、かつ／または計算することができる。これらのルーチンおよび／または技法は、仮想コンテンツと実際のシーンの生のカメラビューとの間のすばやく正確な位置合せを提供するためにＡＲシステムを較正することができる。

図１に、本明細書で論じられる自動化された基準フレーム較正技法が本開示の１つまたは複数の実施形態による拡張現実感（ＡＲ）システム１００で有用である可能性がある、そのようなＡＲシステムの例示的なデバイス、コンポーネント、ソフトウェア、および相互作用を示すブロック図を示す。ＡＲシステム１００は、実世界シーンの生ビデオフィードを取り込み、かつ／またはストリーミングすることのできるカメラ１０２を含むことができる。実世界シーンは、１つまたは複数の実オブジェクト、たとえば実オブジェクト（ＲＯ）１０４を含むことができる。ＲＯ１０４は、さまざまなオブジェクトのうちの１つ、たとえば、工具、機械類、大型衛星、制御ボックス、制御パネル、またはさまざまな他のオブジェクト（物体）とすることができる。カメラ１０２は、コンピュータ１０６と通信しているものとすることができ、このコンピュータは、実世界シーンに関連してカメラから送信された情報（たとえば、生のストリーミングビデオ）および／もしくはカメラによって取り込まれたオブジェクトを解釈し、かつ／または処理することができる。

ＡＲシステム１００は、追跡システム１０８を含むことができる。追跡システム１０８は、実オブジェクト１０４およびカメラ１０２の「ポーズ」（３Ｄ空間内の位置および方位）を追跡することができ、この情報を（たとえば、リアルタイムで）コンピュータ（たとえば、コンピュータ１０６）または他のコンポーネントにストリーミングすることができる。追跡システム１０８は、さまざまなコンポーネント、たとえば、複数の追跡マーカー、追跡マーカーを感知するための複数の感知デバイス、および関連する追跡システムソフトウェアを実行することができるベースコンピューティングデバイスを含むことができる。一例では、各マーカーは、ある波長の光を反射するように設計された反射コーティングを有する小さい球（たとえば、１０ｍｍ球）とすることができる。この例では、追跡システム１０８が３Ｄ空間内で、ある点および／またはオブジェクトの位置および／または方位を追跡できるように、マーカーを、実世界空間内のさまざまな箇所におよび／またはさまざまなオブジェクト上に配置することができる。たとえば、複数（たとえば、３つ以上）の追跡マーカーを実オブジェクト１０４上に配置することができ、複数（たとえば、３つ以上）の追跡マーカーをカメラ１０２上に配置することができる。

追跡システム１０８の感知デバイスは、追跡マーカーの３Ｄ空間内での場所を検出するように設計されたカメラとすることができる。たとえば、各カメラは、さまざまな追跡マーカー（たとえば、カメラ１０２上および実オブジェクト１０４上に配置された追跡マーカー）からの反射を検出するように設計された赤外線カメラとすることができる。さまざまな感知デバイス（たとえば、赤外線カメラ）を３Ｄ空間内のさまざまな場所に配置し、かつ／または取り付けることができ、たとえば、複数（たとえば、８つ以上）のカメラを部屋または実験室の壁に取り付け、たとえば、対象の３Ｄ空間がさまざまなカメラの視野範囲によって十分にカバーされるような配置で取り付けることができる。追跡システム１０８のさまざまな感知デバイスは、ベースコンピューティングシステムと通信しているものとすることができ（たとえば、イーサネット、またはＷｉＦｉなどのリアルタイム通信リンクによって）、ベースコンピューティングデバイスは、関連する追跡システムソフトウェアを実行することができる。追跡システムソフトウェアは、さまざまな感知デバイスからのデータを処理することができる。追跡システム１０８は、コンピュータ１０６と通信しているものとすることができる（たとえば、イーサネット、またはＷｉＦなどのリアルタイム通信リンクによって）。コンピュータは、カメラ１０２と通信しているコンピュータとすることができる。いくつかの実施形態では、追跡システム１０８のベースコンピューティングデバイスは、コンピュータ１０６と同一のコンピューティングデバイスとすることができる。

いくつかの実施形態では、カメラ１０２を、コンピュータ１０６に一体化することができる。いくつかの例では、コンピュータ１０６は、モバイルデバイス、たとえば、タブレットコンピュータ、スマートホン、またはＰＤＡなどとすることができる。一特定の例として、コンピュータ１０６は、一体化されたカメラを有するタブレットコンピュータ（一例に関して図８Ｃを参照されたい）とすることができる。一体化されたカメラを有するモバイルデバイスは、移動の柔軟性および自由度をユーザに提供することができる。たとえば、ユーザは、実オブジェクト（たとえば、実際の機械類）を含む拡張されたシーンを見ることができ、ユーザは、実オブジェクトの異なる部分および／または角度を見ながら、実オブジェクトの周囲を歩くことができる。さらに、ユーザは、ユーザがタスクを実行するのを助けるテーブルのスクリーン上の仮想コンテンツを見ることができ、たとえば、仮想コンテンツは、実オブジェクトにどのように取り組むべきかまたは実オブジェクトにどのように働きかけるべきかをユーザに指示することができる、指示、矢印、ハードウェア、またはツールなどを含むことができる。この例のタブレットコンピュータ（たとえば、コンピュータ１０６）は、仮想モデリングソフトウェア１１０を含むことができる。この例のタブレットコンピュータは、追跡システム１０８（たとえば、追跡システムのベースコンピューティングデバイス）と通信しているものとすることができる（たとえば、イーサネット、またはＷｉＦｉなどのリアルタイム通信リンクによって）。

コンピュータ１０６は、仮想モデリングソフトウェア１１０を含むことができる。仮想モデリングソフトウェアは、さまざまな仮想オブジェクト、たとえば、仮想オブジェクト（ＶＯ）１１２にアクセスし、またはこれをロードすることができる。仮想オブジェクト（たとえば、ＶＯ１１２）を、さまざまな既知の形の１つで作成し、設計して、仮想および／または計算機支援設計（ＣＡＤ）のオブジェクトおよび／またはモデルを作成することができる。仮想／ＣＡＤオブジェクト／モデルを、ＣＡＤソフトウェア、たとえば、ベクトルベースのグラフィックスなどを使用してオブジェクト、たとえば、実世界オブジェクトにならってモデリングされたオブジェクトを描くソフトウェアを使用して、作成することができる。仮想／ＣＡＤオブジェクト／モデルは、実世界オブジェクトのさまざまな３Ｄ特徴を詳細に考慮する３Ｄオブジェクトとすることができる。仮想オブジェクト１１２は、実オブジェクト１０４の仮想表現とすることができる。コンピュータ１０６は、実世界空間内の実オブジェクトを表す仮想オブジェクトの他に、さまざまな他の仮想オブジェクトにアクセスし、またはこれをロードすることができる。一例として、実オブジェクト１０４は、機械類とすることができ、仮想オブジェクト１１２は、同一の機械類の仮想表現とすることができる。さらに、他の仮想オブジェクトは、実世界の対応物を有しないものとすることができ、たとえば、仮想オブジェクトは、技術者が実オブジェクト１０４とどのように相互作用すべきかを示す仮説のねじ、工具、およびワイヤなどを表すことができる。

仮想モデリングソフトウェア１１０は、追跡システム１０８からデータ（たとえば、ストリーミングリアルタイムデータ）、たとえば、追跡システムによって確立された座標系、カメラ１０２の基準フレーム、および実オブジェクト１０４の基準フレームを受信することができる。仮想モデリングソフトウェア１１０は、本明細書で説明されるさまざまなルーチン、および技法などを実行して、拡張されたシーン（たとえば、拡張されたシーン１１４）、たとえば、仮想オブジェクトを用いて拡張され、かつ／またはこれを重ねられた、カメラ１０２によって取り込まれた実世界空間のリアルタイムビューを作成することができる。仮想モデリングソフトウェア１１０は、本明細書で説明されるさまざまな較正ルーチンおよび／または技法を実行して、仮想オブジェクトおよびカメラレンズの座標フレームおよび基準フレームを、追跡システムに関連する座標フレームに位置合せすることができる。較正が達成された後に、仮想モデリングソフトウェア１１０は、さまざまな仮想オブジェクトと生の実世界シーンとの間の相関および／または位置合せを維持することができる。コンピュータ１０６は、ユーザに拡張されたシーン１１４を表示できるディスプレイ１１６を含み、またはこれと通信しているものとすることができる。仮想モデリングソフトウェア１１０は、生のビデオフィード上に配置された仮想オブジェクトを示す拡張されたシーン１１４（ディスプレイ１１６上に表示される）を作ることができる。仮想モデリングソフトウェア１１０は、たとえば実オブジェクト１０４に対するカメラ１０２のポーズおよび／または実オブジェクト１０４のポーズに応じて、拡張されたシーン内の仮想オブジェクトを適当に変形する（たとえば、３Ｄ場所、３Ｄ方位、および／または３Ｄサイズを変更する）ことができる。たとえば、カメラ１０２が、実オブジェクト１０４から離れる場合に、拡張されたシーン内の１つまたは複数の仮想オブジェクトを縮小することができる。別の例として、カメラ１０２が実オブジェクト１０４に近づく場合に、１つまたは複数の仮想オブジェクトが拡大されるはずである。別の例として、カメラ１０２が、実オブジェクト１０４に対するある角度で移動する場合に、１つまたは複数の仮想オブジェクトが、それに応じて回転するはずである。

図２に、本開示の１つまたは複数の実施形態による、例示的な較正技法を示すブロック図を示す。より具体的には、図２は、仮想オブジェクト（たとえば、拡張されたシーンに追加される仮想オブジェクト）と追跡システムに関連する基準フレームとの間の写像または変換を較正しかつ／または較正するのに使用可能な自動化された基準フレーム較正技法を示す。図２に示されているように、追跡システム２０２（たとえば、図１の追跡システム１０８に類似する）は、たとえば技術者によって実行される追跡システムセットアップの一部として、座標フレーム２０４を確立することができる。追跡システムの座標フレームは、３つの軸（たとえば、Ｘ軸、Ｙ軸、Ｚ軸）および３つの軸が交差する原点を含むことができる。追跡システムは、実世界３Ｄ空間内の特定の点に座標フレームの原点「配置」し、または関連付けることができ、実世界３Ｄ空間に対して座標フレームを方位付けることができる。追跡システムは、ツールまたはワンド、たとえば図３に示されたワンド３００に類似するワンドを使用して、座標フレームを確立することができる。図３を参照すると、ワンド３００は、文字「Ｔ」に似たものとすることができ、第１の軸（たとえば、Ｘ軸）を指定することができる第１の延ばされた部材（たとえば、部材３０２）と第２の軸（たとえば、Ｚ軸）を指定することができる第２の延ばされた部材（たとえば部材３０４）とを含むこができる。ワンド３００は、第１の部材３０２／軸と第２の部材３０４／軸とが交差する点３０６に原点を指定することもできる。第３の想像上の軸（たとえば、Ｙ軸）が、原点３０６を通って走ることができる。一例として、ワンド３００を、部屋または実験室の床に配置することができ、追跡する機械は、ワンドおよび／またはワンドに取り付けられた追跡マーカー（たとえば、追跡マーカー３０８、３１０、３１２、３１４、３１６）を検出することによって、その座標フレームを確立することができる。追跡システムは、ワンド３００によって指定される原点および軸に関連する仮想原点および３つの仮想軸を確立することができる。追跡システム座標系が確立された後に、追跡システムは、室内または実験室内の実オブジェクト（たとえば、３つ以上の追跡マーカーを備える）を追跡し、座標フレーム内でのそのオブジェクトのポーズを決定し、３つの軸に関するそのオブジェクトの方位を決定することができる。

再度図２を参照すると、追跡システム２０２は、実オブジェクトの基準フレーム２０６を決定することができる。言い替えると、追跡システム２０２は、実オブジェクトを追跡することができる。実オブジェクトは、たとえば、図１の実オブジェクト１０４に類似するものとすることができる。実オブジェクト（ＲＯ）は、さまざまなオブジェクトのうちの１つ、たとえば、工具、機械類、大型衛星、制御ボックス、制御パネル、またはさまざまな他のオブジェクト（物体）とすることができる。図４Ａに、実オブジェクト４００の例すなわち、ドリルシャープナツールを示す。追跡システムが実オブジェクト４００を追跡する（すなわち、その基準フレームを決定する）ために、複数（たとえば、３つ以上）の追跡マーカー（たとえば、追跡マーカー４０２、４０４、４０６）を、実オブジェクト４００に取り付けるかその上に配置することができる。正しい追跡のために、追跡マーカーは、実オブジェクト４００上に正しく、たとえば、同一直線上ではなく非対称の配置で配置されなければならないものとすることができる。３つ以上の点は、それらが単一の直線上にある場合に、同一直線上にあると言われる。したがって、追跡マーカーの非同一直線上の配置は、追跡マーカーが、単一の直線上にあるのではなくなるように配置されることを意味する。正しい追跡のためには、少なくとも３つの非同一直線上の追跡マーカーを実オブジェクト上に配置することができる。たとえば、３つを超える追跡マーカーを実オブジェクト上に配置して、たとえば追跡マーカーのうちの１つのビューが遮られる場合の、計算の信頼性および／または正確さを改善することができる。

追跡システム（たとえば、複数の赤外線カメラを含む）は、追跡マーカーを検出し、追跡システムによって確立された座標フレーム内に実オブジェクトの表現を配置することができる。図４Ｂに、追跡システムが実オブジェクトの表現をどのように作成でき、配置できるのかの図を示す。追跡システムは、追跡マーカー（たとえば、追跡マーカー４０２、４０４、４０６、およびおそらく図４Ａに示されていないさらなるマーカー）の場所を検出し、それぞれ追跡マーカーに関連する点（たとえば、点４５２、４５４、４５６、および４５８）を作成し、追跡システムの座標フレーム内に配置することができる。これらの点（たとえば、点４５２、４５４、４５６、および４５８）から、追跡システムは、実オブジェクトの表現の原点（たとえば、点４６０）および方位（点４６０を囲む立方体および方位線を参照されたい）を決定することができる。原点を、点４５２、４５４、４５６、および４５８の重心（たとえば、質量中心）を計算することによって決定することができる。方位を、追跡システムの座標系の方位に一致するように（またはその方位に関連して）セットすることができる。追跡システムが、実オブジェクト（ＲＯ）の基準フレーム（たとえば、追跡システム座標フレームに関連する原点／場所および方位）を決定した後に、追跡システムは、実オブジェクトのポーズに関する情報を仮想モデリングソフトウェアにストリーミングすることができる。実オブジェクトに関するストリーミングポーズ情報は、実オブジェクトが移動し、かつ／または回転する可能性があるときに、リアルタイムで更新することができる。

図２を再度参照すると、仮想モデリングソフトウェア２１０は、実オブジェクト（ＲＯ）の新しい基準フレーム２１２を確立することができる。仮想モデリングソフトウェア２１０は、たとえば図１の仮想モデリングソフトウェア１１０に類似するものとすることができる。仮想モデリングソフトウェア２１０は、追跡システムに関連する座標フレームと同一の座標フレームを使用することができる。新しいＲＯ基準フレーム２１２は、実オブジェクトの異なる（ＲＯ基準フレーム２０６と比較したときに）基準点を指定することができ、異なる原点を決定し、かつ／または計算することができる。新しいＲＯ基準フレームの確立は、仮想モデリングソフトウェアが、実オブジェクトに関連する仮想オブジェクト（たとえば、ＣＡＤモデル）上の同一の（または非常に近い）基準点である実オブジェクト上の基準点を選択することを可能にすることができる。

図５に、仮想モデリングソフトウェアが実オブジェクト、たとえば実オブジェクト５００に関する新しい基準フレームをどのように確立できるかの図を示す。複数の基準点（たとえば、点５０２、５０４、５０６）を、実オブジェクト５００上に示すことができる。これらの基準点を、たとえば、技術者が工具またはワンド、たとえば図３のワンド３００に似たワンドを使用することによって示すことができる。工具またはワンドを、追跡システムによって追跡可能とすることができ、たとえば、ワンドに取り付けられた追跡マーカー間のお互いに対する位置を、追跡システムによって決定し、正確な点収集を可能にすることができる。仮想モデリングソフトウェアは、追跡システムからの、ワンド位置に関するデータを使用して、実オブジェクト上の基準点を回復することができる。一例として、仮想モデリングソフトウェアは、ワンド上の点を「ポインタ」（たとえば、ワンドの延びる部材の先端）として認識することができる。技術者は、実オブジェクト上のさまざまな点（たとえば、点５０２、５０４、５０６）にポインタを接触させることができ、ワンドおよび追跡システムを介して、仮想モデリングソフトウェアは、これらの点を取り込むか記録し、追跡システムに関連する座標フレーム内に配置することができる。新しい基準フレームを決定するために、基準点は、実オブジェクト５００上に正しく、たとえば非同一直線上の配置で配置されなければならないものとすることができる。少なくとも３つの非同一直線上の基準点を、実オブジェクト上に配置することができる。３つを超える基準点を実オブジェクト上に配置して、たとえば、計算の信頼性および／または正確さを改善することができる。これらの基準点（たとえば、点５０２、５０４、５０６）から、仮想モデリングソフトウェアは、実オブジェクトの原点（たとえば、点５０８）および方位（点５０８から延びる軸線を参照されたい）を決定することができる。原点を、点５０２、５０４、５０６の重心（たとえば、質量中心）を計算することによって決定することができる。方位を、点５０２、５０４、５０６によって作成される平面内で原点から延びる２つの軸（たとえば、Ｘ軸、Ｚ軸）を配置することによって決定することができる。

図２を再度参照すると、新しいＲＯ基準フレーム２１２が確立された後に、仮想モデリングソフトウェア２１０は、新しいＲＯ基準フレーム２１２と追跡システムによって決定されたＲＯ基準フレーム２０６との間の並進差および／または回転差を計算することができる。

図２を参照すると、仮想モデリングソフトウェア２１０は、さまざまな仮想オブジェクト、たとえば事前に設計されたＣＡＤモデルにアクセスし、またはこれをロードすることができる。仮想モデリングソフトウェア２１０は、追跡システムに関連する座標フレーム内に仮想オブジェクトを配置することができるが、ＡＲシステムは、適切な配置が機能する前に較正される必要がある場合がある。仮想オブジェクト（たとえば、ＣＡＤモデル）は、たとえば仮想オブジェクトが設計されたときに指定された、それ自体の仮想フレーム（たとえば、原点および３つの方位軸）を有することができる。仮想モデリングソフトウェアによって参照されるすべての仮想オブジェクトが、同一の基準フレーム（たとえば、ＶＯ基準フレーム２１４）を共有できる場合があり得る（たとえば、特定の環境に関して）。追跡システムに関連する座標フレーム内に仮想オブジェクトを配置するために、仮想モデリングソフトウェア２１０は、仮想オブジェクトのＶＯ基準フレーム２１４と追跡システムに関連する座標フレーム２０４との間の写像または変換を決定することができる。ＡＲシステムを較正する（たとえば、写像または変換を決定する）ために、仮想モデリングソフトウェア２１０は、ＡＲシステムのカメラ（たとえば、図１のカメラ１０２）が取り込みつつある実オブジェクト（たとえば、図１の実オブジェクト１０４）に対応する仮想オブジェクト（たとえば、図１の仮想オブジェクト１１２）を使用することができる。この仮想オブジェクトは、ＶＯ基準フレーム２１４を有することができる。

仮想モデリングソフトウェア２１０は、実際の仮想オブジェクトの新しいＶＯ基準フレーム２１６を確立することができる。仮想モデリングソフトウェア２１０は、追跡システムに関連する座標フレームと同一の座標フレームを使用することができる。新しいＶＯ基準フレーム２１６は、ＶＯ基準フレーム２１４と比較したときに、異なる原点および方位を有することができる。新しいＶＯ基準フレームの確立は、仮想モデリングソフトウェアが、対応する実オブジェクトに関して示された（上で説明したように）基準点と同一の（または非常に近い）基準点である仮想オブジェクト上の基準点を選択することを可能にすることができ、新しいＲＯ基準フレーム２１２と新しいＶＯ基準フレーム２１６との間の位置合せ（全般的に点２１８を参照されたい）を可能にすることができる。新しいＲＯ基準フレーム２１２（実オブジェクトに関連する）と新しいＶＯ基準フレーム２１６（仮想オブジェクトに関連する）との間の位置合せを、たとえば実オブジェクトと仮想オブジェクトとの両方の上で同一の基準点を選択することと、実オブジェクトと仮想オブジェクトとのそれぞれについて同一の原点および方位の計算を実行することとによって、達成することができる。

図６に、仮想モデリングソフトウェアが仮想オブジェクト、たとえば仮想オブジェクト６００に関して新しいＶＯ基準フレームをどのように確立できるのかの図を示す。較正のために、仮想オブジェクト６００は、ＡＲシステムのカメラが取り込みつつある関連する実オブジェクト、たとえば図５の実オブジェクト５００にならってモデリングされた仮想オブジェクトとすることができることに留意されたい。複数の基準点（たとえば、点６０２、６０４、６０６）を、仮想オブジェクト６００上で選択することができる。これらの基準点は、新しいＲＯ基準フレームを作成するために選択され、示され、かつ／または記録された基準点に対応する（たとえば、同一の相対位置にあるものとする）ことができる（図５および関連する議論を参照されたい）。ＲＯ基準フレーム決定に関して、ＶＯ基準フレームを決定するための基準点を、非同一直線上の配置とすることができ、少なくとも３つの非同一直線上の基準点を、仮想オブジェクト上で選択することができる。これらの基準点（たとえば、点６０２、６０４、６０６）から、仮想モデリングソフトウェアは、仮想オブジェクトの原点（たとえば、点６０８）および方位（点６０８から延びる軸線を参照されたい）を決定することができる。原点を、点６０２、６０４、６０６の重心（たとえば、質量中心）を計算することによって決定することができる。仮想オブジェクトの方位を、点６０２、６０４、６０６によって作成される平面内で原点から延びる２つの軸（たとえば、Ｘ軸、Ｚ軸）を配置することによって決定することができる。

図２を再度参照すると、新しいＶＯ基準フレーム２１６が確立された後に、仮想モデリングソフトウェア２１０は、新しいＶＯ基準フレーム２１６と仮想オブジェクトに関連するＶＯ基準フレーム２１４との間の並進差および／または回転差を計算することができる。

上で説明したように、３Ｄ空間内で関連する実オブジェクトにならってモデリングされた仮想オブジェクトが、たとえば新しいＲＯ基準フレーム２１２に位置合せされ得る新しいＶＯ基準フレーム２１６を決定するために、ＡＲシステムを較正するのに必要である可能性がある。しかし、較正が完了した後には、さまざまな他の仮想オブジェクトを、追跡システムに関連する座標フレーム内に配置する（たとえば、仮想モデリングソフトウェアによって）ことができることを理解されたい。図２を参照すると、この配置が機能する理由を理解することができる。追跡システムに関連する座標フレーム内に仮想オブジェクトを配置するために、写像または変換（たとえば、図２に示されたＭ４変換）を、仮想オブジェクト基準フレーム２１４（たとえば、原点および方位）と追跡システムに関連する座標フレーム２０４との間で決定しなければならない。Ｍ４変換は、較正処理が完了する前に既知ではない可能性がある。較正プロセスは、上で説明したように、Ｍ４変換に関係するさまざまな他の写像または変換を決定することができる。図２に示されているように、較正プロセスは、Ｍ１変換（すなわち、追跡システムがその座標フレーム内に追跡される実オブジェクトを配置する場合）、Ｍ２変換（すなわち、ＲＯ基準フレーム２０６と新しいＲＯ基準フレーム２１２との間の並進差および回転差）、およびＭ３変換（すなわち、ＶＯ基準フレーム２１４と新しいＶＯ基準フレーム２１６との間の並進差および回転差）を決定することができる。Ｍ１変換、Ｍ２変換、および３変換が知られた後には、Ｍ４変換を計算することができる。Ｍ４変換が知られた後には、さまざまな仮想オブジェクトを、追跡システムに関連する座標フレーム内に配置することができる。さらに、追跡システムからの情報（たとえば、実オブジェクトのポーズ）が仮想モデリングソフトウェアにストリーミングされるときに、Ｍ１変換（すなわち、３Ｄ空間内の実オブジェクトのポーズ）が変化する場合には、Ｍ４変換は、たとえばリアルタイムで、更新することができる。これに関して、仮想オブジェクトを、実世界シーンに重ねることができ、仮想オブジェクトの外見を、たとえばシーン内で関連する実オブジェクトが移動するときに、それ相応に変更することができる。

次では、図２に示された、Ｍ４変換を計算する１つの例示的な技法を説明する。図２に示されたさまざまな変換（Ｍ１、Ｍ２、Ｍ３、Ｍ４）を、それぞれ変換行列、たとえば３Ｄコンピュータグラフィックスで一般的に使用される４ｘ４変換行列として表すことができる。Ｍ１変換を、下の式１に示された変換行列として表すことができる。Ｍ２変換を、下の式２に示された変換行列として表すことができる。Ｍ３変換を、下の式３に示された変換行列として表すことができる。

各変換行列は、回転成分または方位成分（ＤＣＭ_ｎすなわち「方向余弦行列」）と、並進成分または場所成分（ｖ_ｎ）とを含むことができる。たとえば、ＤＣＭ_ｎは、Ｍ_ｎ変換の回転行列を表し、ｖ_ｎは、Ｍ_ｎ変換の並進ベクトルを表す。回転成分（ＤＣＭ_ｎ）は、２つのオブジェクト間の方位の変化を表す３ｘ３行列とすることができる。ＤＣＭ_ｎ成分は、３つの値すなわち、ロールの変化（たとえば、Ｘ軸回りの回転）、ピッチの変化（たとえば、Ｙ軸回りの回転）、およびヨーの変化（たとえば、Ｚ軸回りの回転）を表すことができる。この３つの値を、３ｘ３ＤＣＭ_ｎ行列に展開して、４ｘ４変換行列Ｍ_ｎ内に正しく収めることができる。変換行列および行列乗算に精通した人であれば、他の行列によるある行列の乗算が所望の変換をもたらすように、変換行列に適当な形で投入しなければならないことを認めるであろう。並進成分（ｖ_ｎ）は、２つのオブジェクトの場所の変化（たとえば、オブジェクトの原点間の場所の変化）を表す１ｘ３行列（すなわち、１つの垂直列内の３つの数）とすることができる。並進成分（ｖ_ｎ）は、３つの値すなわち、Ｘ軸に対する３Ｄ場所の変化、Ｙ軸に対する３Ｄ場所の変化、およびＺ軸に対する３Ｄ場所の変化を含むことができる。回転成分（ＤＣＭ_ｎ）および並進成分（ｖ_ｎ）が、変換行列（Ｍ_ｎ）に加算され、最も下の行に「０００１」をパディングされたときに（行列乗算が機能するようにするために）、変換行列が完成する。

その後、Ｍ４変換を、下の式４に示されているように計算することができ、下の式５に示されているＭ４変換がもたらされる。

いくつかの実施形態では、Ｍ４変換が計算された後に、Ｍ４変換は、同一のままになる。図２からわかるように、Ｍ４変換が計算された後には、Ｍ４変換は、仮想オブジェクト基準フレームからＴＳによって決定されたＲＯ基準フレームへの変換を表すことができる。Ｍ４変換を使用して、さまざまな仮想オブジェクトを、たとえばＴＳによって決定されたＲＯ基準フレームに関係するポーズを伴って配置された、追跡システムに関連する基準フレーム内に配置することができる。追跡システムからの情報（たとえば、実オブジェクトのポーズ）が仮想モデリングソフトウェアにストリーミングされるときに、Ｍ１変換（すなわち、３Ｄ空間内の実オブジェクトのポーズ）が変化する場合には、さまざまな仮想オブジェクトのポーズは、たとえばリアルタイムで、更新することができる。

図１を再度参照すると、カメラ１０２が移動するときにＡＲシステムが仮想オブジェクトを正しく変形し、変更し、または位置合せできるようになる前に、カメラ１０２が較正される必要もある可能性がある。カメラ１０２の較正に関連する課題および解決策は、上で説明した追跡システムに関連する座標フレームに対する仮想オブジェクトの較正に類似するものとすることができる。仮想オブジェクトと実世界シーン（カメラ１０２によって取り込まれた）との間の正確な位置合せを達成するために、仮想モデリングソフトウェアは、カメラ本体全体だけではなく、カメラ１０２のレンズのポーズを追跡する必要がある可能性がある。カメラを較正するさまざまな方法は、カメラレンズに関連する６つのパラメータ（たとえば、Ｘ、Ｙ、Ｚ、ロール、ピッチ、ヨー）を手動で操作するのに長々しい試行錯誤プロセス（たとえば、数時間を要する）を用いた。これらの手動の方法を用いると、較正が完了した後であっても、カメラレンズの正確な配置は保証されない。

図７に、本開示の１つまたは複数の実施形態による、例示的な較正技法を示すブロック図を示す。より具体的には、図７は、追跡システムによって追跡されるカメラの基準フレームとカメラのレンズの基準フレームとの間の写像または変換を決定し、かつ／または較正するのに使用できる自動化された基準フレーム較正技法を示す。図７に示されているように、追跡システム７０２（たとえば、図１の追跡システム１０８に類似する）は、たとえば技術者によって実行される追跡システムセットアップ（上で詳細に説明した）の一部として、座標フレーム７０４を確立することができる。追跡システム７０２は、カメラの基準フレーム７０６を決定することができる。言い替えると、追跡システム７０２は、カメラを追跡することができる。カメラは、たとえば図１のカメラ１０２に類似するものとすることができる。カメラは、独立のカメラとすることができ、あるいは、コンピュータ、たとえば仮想モデリングソフトウェアを実行するコンピュータに組み込まれてもよい。図８Ａに、例示的なカメラ８００の図を示す。追跡システムがカメラ８００を追跡する（すなわち、カメラ８００の基準フレームを決定する）ために、複数（たとえば、３つ以上）の追跡マーカー（たとえば、追跡マーカー８０２、８０４、８０６）を、カメラ８００に取り付けるかカメラ８００上に配置することができる。いくつかの実施形態では、追跡マーカーを、カメラ本体自体に取り付けることができる。他の実施形態では、追跡マーカーを、図８Ａの例に示されているように、カメラ８００を含み、かつ／またはカメラ８００を支持するフレーム８０１に取り付けることができる。正しい追跡のために、追跡マーカーを、カメラ８００上に適当に、たとえば非同一直線上の配置で配置しなければならないものとすることができる。正しい追跡のために、少なくとも３つの非同一直線上の追跡マーカーをカメラ（またはカメラフレーム）上に配置することができる。たとえば、３つを超えるマーカーをカメラ上に配置して、たとえば追跡マーカーのうちの１つのビューが遮られる場合の、計算の信頼性および／または正確さを改善することができる。

追跡システム（たとえば、複数の赤外線カメラを含む）は、カメラ（またはカメラフレーム）の追跡マーカーを検出することができ、カメラの表現を作成し、追跡システムによって確立された座標フレーム内に配置することができる。図８Ｂに、追跡システムがカメラの表現をどのようにして作成でき、配置できるのかの図を示す。追跡システムは、追跡マーカー（たとえば、マーカー８０２、８０４、８０６、およびおそらくはさまざまな他のマーカー）の場所を検出することができ、それぞれが追跡マーカーに関連する点（たとえば、点８５２、８５４、８５６、およびおそらくはさまざまな他の点）を作成し、追跡システムの座標フレーム内に配置することができる。これらの点（たとえば、点８５２、８５４、８５６、およびおそらくはさまざまな他の点）から、追跡システムは、実オブジェクトの表現の原点（たとえば、点８６０）および方位（点８６０を囲む立方体および方位線を参照されたい）を決定することができる。原点を、点８５２、８５４、８５６、およびおそらくはさまざまな他の点の重心（たとえば、質量中心）を計算することによって決定することができる。方位を、追跡システムの座標系の方位と一致するように（またはその方位に関連して）セットすることができる。追跡システムが、カメラの基準フレーム（たとえば、追跡システム座標フレームに関連する原点／場所および方位）を決定した後に、追跡システムは、カメラのポーズに関する情報を仮想モデリングソフトウェアにストリーミングすることができる。カメラに関するストリーミングポーズ情報は、カメラが移動し、かつ／または回転する可能性があるときに、リアルタイムで更新することができる。

本開示のいくつかの実施形態では、カメラをコンピュータ、たとえば仮想モデリングソフトウェアを実行するコンピュータに組み込むことができる。１つの特定の例として、コンピュータは、一体化されたカメラを有するタブレットコンピュータとすることができる。図８Ｃに、一体化されたカメラを有する例示的なタブレットコンピュータ８７０の図を示す。たとえば、タブレットコンピュータ８７０の第１の側面８７４は、ユーザ８７２に面することができ、反対の第２の側面８７６は、ユーザ８７２から離れて面することができる。カメラを、カメラが実オブジェクト（たとえば、実オブジェクト８８０）を取り込むことができるように、第２の側面８７６に取り付けることができる。ＡＲシステムが正しく較正される場合に、ユーザ８７２は、タブレットコンピュータ８７０のスクリーン上で、実世界シーン（実オブジェクト８８０のビュー８８１を含む）を見ることができる。このスクリーンは、実世界シーン／実オブジェクトの上に重ねられた仮想オブジェクト（たとえば、仮想オブジェクト８８２）をも表示することができる。追跡システムがカメラ（たとえば、タブレットコンピュータ８７０に組み込まれた）を追跡するために、複数の追跡マーカー（たとえば、追跡マーカー８８４、８８６、８８８）を、タブレットコンピュータ８７０上に取り付けることができる。その後、カメラの追跡を、上で説明した方法に類似する方法で行うことができる。

図７を再度参照すると、仮想モデリングソフトウェア７１０は、カメラのポーズ／基準フレームに関するストリーミング情報を追跡システム７０２から受信することができる。しかし、仮想モデリングソフトウェア７１０が、全体としてのカメラ本体（または、カメラフレームもしくはタブレットコンピュータ）ではなく、カメラのレンズの場所を追跡する必要がある場合がある。カメラレンズの基準フレームを決定するために、特殊な印刷されたマーカーおよび関連するソフトウェアを使用することができる。図９Ａおよび図９Ｂに、印刷されたマーカーが、レンズの基準フレームの決定をどのようにして可能にすることができるのかの図を示す。図９Ａに示されているように、カメラ９０２は、カメラの視野９０４内の実世界アイテムを取り込むか記録することができる。特殊な印刷されたマーカー９０６を、カメラの視野９０４内に配置することができる。印刷されたマーカー９０６を、カメラおよびＡＲシステムを較正するのに使用するのみとすることができることを理解されたい。仮想モデリングソフトウェアがカメラのレンズを追跡できるようになった後に、仮想マーカー９０６を除去することができる。

ＡＲシステムを較正するために、印刷されたマーカー９０６を、カメラの視野９０４内で部屋または実験室の３Ｄ空間内のどこか（たとえば、床上）に配置することができる。印刷されたマーカー９０６は、印刷されたマーカーに関する座標フレーム（たとえば、原点および方位）を示すことができるさまざまなマーキング（たとえば、マーキング９０８）を含むことができる。その後、カメラ９０２は、印刷されたマーカー９０６（さまざまなマーキングを含む）を取り込むことができ、この情報をコンピュータ９１０（たとえば、図１のコンピュータ１０６に類似する）にストリーミングすることができる。コンピュータ９１０は、仮想モデリングソフトウェアを含むコンピュータと同一のコンピュータとすることができる。コンピュータ９１０は、印刷されたマーカー９０６に関連するソフトウェア９１２を含むことができる。印刷されたマーカーソフトウェア９１２は、カメラ９０２から、カメラが印刷されたマーカー９０６をどのように「ポーズ」するのか、たとえば、印刷されたマーカーがカメラの視野内でどのように配置され、方位付けられて見えるのかを含む情報を受信することができる。印刷されたマーカーソフトウェア９１２は、その後、この情報を処理して、たとえばレンズが印刷されたマーカー９０６（およびさまざまなマーキング９０８）によって確立される座標フレーム内に配置されるときに、カメラ９０２のレンズに関する基準フレーム（たとえば、原点および方位）を決定することができる。一例として、図９Ｂを参照すると、較正のために、カメラ９０２および印刷されたマーカー９０６は、印刷されたマーカーによって確立される軸（たとえば、Ｘ、Ｙ、Ｚ）がカメラ、具体的にはカメラのレンズの垂直軸、水平軸、および深さ軸に位置合せされるように、お互いに相対的に方位付けられるものとすることができる。

図７を再度参照すると、仮想モデリングソフトウェアは、たとえば印刷されたマーカーによって確立された座標フレーム７１２に関係するときに、カメラレンズ基準フレーム７１４を決定する（たとえば、特殊な印刷されたマーカーに関係するソフトウェアを介して）ことができる。カメラレンズのポーズをさまざまな仮想オブジェクトのポーズに関係付けるために、仮想モデリングソフトウェアは、たとえばカメラレンズの基準フレーム７１４を、追跡システムによって追跡される全体としてのカメラの基準フレーム７０６に関係付けることによって、追跡システムに関連する座標フレーム内に配置することができる。しかし、仮想モデリングソフトウェア７１０は、たとえば印刷マーカーによって確立される座標フレーム７１２が追跡システムによって確立される座標フレーム７０４とは異なる可能性があるので、ＡＲシステムが確立されるまで、全体としてのカメラの基準フレーム７０６にカメラレンズの基準フレーム７１４を関係付けることができない可能性がある。したがって、較正プロセスは、印刷されたマーカーによって確立される座標フレーム７１２と追跡システムによって確立される座標フレーム７０４とを位置合せする（全般的に番号７１６によって示される）ことを含むことができる。この位置合せは、追跡システム座標フレームの原点と同一の場所（たとえば、部屋または実験室の床上の３Ｄ空間内の同一の場所）に印刷されたマーカー（たとえば、印刷されたマーカーの原点）を配置することを含むことができる。この位置合せは、印刷されたマーカーの軸（たとえば、Ｘ、Ｙ、Ｚ）を、追跡システムの座標フレームの軸と位置合せすることをも含むことができる。これに関して、２つの座標フレームが位置合せされた後に、仮想モデリングソフトウェア７１０は、これらを同一の座標フレームとして扱うことができる。

カメラ全体としての基準フレーム７０６にカメラレンズの基準フレーム７１４を関係付けるために、仮想モデリングソフトウェア７１０は、写像または変換（たとえば、図７に示されたＣ３変換）を決定し／計算することができる。Ｃ３変換は、較正プロセスが完了する前に既知ではない可能性がある。較正プロセスは、上で説明したように、Ｃ３変換に関係するさまざまな他の写像または変換を決定することができる。図７に示されているように、較正プロセスは、Ｃ１変換（すなわち、追跡システムがその座標フレーム内に追跡されるカメラを配置する場合）およびＣ２変換（すなわち、印刷されたマーカー座標フレーム７１２と印刷されたマーカーに関連するソフトウェアによって決定された新しいカメラレンズ基準フレーム７１４との間の並進差および回転差）を決定することができる。Ｃ１変換およびＣ２変換が知られた後に、Ｃ３変換を計算することができる。Ｃ３変換が知られた後に、カメラを移動することができ、仮想モデリングソフトウェアは、印刷されたマーカーがもはやカメラの座標内に現れない場合であっても、追跡システムの座標フレーム内でカメラレンズを追跡することができる。追跡システムからの情報（たとえば、カメラのポーズ）が、仮想モデリングソフトウェアにストリーミングされるときに、Ｃ１変換（すなわち、３Ｄ空間内のカメラのポーズ）が変化する場合に、Ｃ３変換は、たとえばリアルタイムで、更新することができる。これに関して、仮想オブジェクトは、実世界シーンに重ねることができ、仮想オブジェクトの外見は、たとえばカメラが移動するときに、それ相応に変化することができる。

次で、図７に示されたＣ３変換を計算する１つの例示的な技法を説明する。図７に示されたさまざまな変換（Ｃ１、Ｃ２、Ｃ３）を、それぞれ、変換行列、たとえば３Ｄコンピュータグラフィックスで一般的に使用される４ｘ４変換行列として表すことができる。Ｃ１変換を、下の式６に示された変換行列として表すことができる。Ｃ２変換を、下の式７に示された変換行列として表すことができる。

上で説明したＭ_ｎ変換行列に似て、各Ｃ_ｎ変換行列は、回転成分または方位成分（ＤＣＭ_ｎ）と並進成分または場所成分（ｖ_ｎ）とを含むことができる。その後、Ｃ３行列を、下の式８に示されているように計算することができ、下の式９に示されたＣ３変換がもたらされる。

その後、再度図７を参照すると、Ｃ３変換を使用して、たとえば追跡システムによって追跡されるカメラのポーズにカメラレンズのポーズを関係付けることによって、追跡システムに関連する座標フレーム内にカメラレンズを配置することができる。追跡システムからの情報（たとえば、カメラのポーズ）が、仮想モデリングソフトウェアにストリーミングされるときに、Ｃ１変換（すなわち、３Ｄ空間内のカメラのポーズ）が変化する場合に、Ｃ３変換は、たとえばリアルタイムで、更新することができる。動作時に、Ｃ３変換の更新は、次のように機能することができる。追跡システム７０２は、カメラのポーズの変化を検出することができる（追跡システムが、Ｃ１を更新する）。追跡システム７０２は、カメラの基準フレーム７０６情報（たとえば、変換行列の形の）を仮想モデリングソフトウェア７１０にストリーミングすることができる。仮想モデリングソフトウェアは、Ｃ３変換行列によってその基準フレームを乗算し／行列を変換して、Ｃ３変換を実行することができる。仮想モデリングソフトウェアは、その後、カメラの変化するポーズに基づいて追跡システムに関連する座標フレーム内でさまざまな仮想オブジェクトのポーズを更新することができる。

図１を再度参照すると、仮想モデリングソフトウェア１１０は、本明細書で説明されるさまざまなルーチン、および技法などを実行して、動的に拡張されたシーン（たとえば、拡張されたシーン１１４）、たとえば、動的に変更可能な仮想オブジェクトを用いて増補され、かつ／またはこれを重ねられたカメラ１０２によって取り込まれた実世界空間のリアルタイムビューを作成することができる。上で説明したようにＡＲシステムの較正が達成された後に、仮想モデリングソフトウェア１１０は、さまざまな仮想オブジェクトと１つまたは複数の実オブジェクト（たとえば、実オブジェクト１０４）を含む生の実世界シーンとの間の相関および／または位置合せを動的に維持することができる。仮想モデリングソフトウェア１１０は、カメラ１０２がオブジェクト１０４の周囲で移動され、回転される場合であっても、また、実オブジェクト１０４が移動され回転される場合であっても、この位置合せを維持することができる。

仮想モデリングソフトウェア１１０は、生のビデオフィード上に配置された仮想オブジェクトを示す動的に拡張されたシーン１１４（たとえば、ディスプレイ１１６上に表示される）を作ることができる。仮想モデリングソフトウェア１１０は、たとえばカメラ１０２のポーズおよび／または実オブジェクト１０４のポーズに依存して、拡張されたシーン内で仮想オブジェクトを適切に変形する（たとえば、３Ｄ場所、３Ｄ方位、および／または３Ｄサイズを変更する）ことができる。たとえば、カメラ１０２が、実オブジェクト１０４から離れる場合には、拡張されたシーン内の１つまたは複数のオブジェクトが、縮小することができる。別の例として、カメラ１０２が、実オブジェクト１０４に近づく場合には、１つまたは複数の仮想オブジェクトが、拡大することができる。別の例として、カメラ１０２が、実オブジェクト１０４に対してある角度で移動する場合には、１つまたは複数の仮想オブジェクトが、それ相応に回転するはずである。拡張されたシーン１１４を、その拡張されたシーンがディスプレイ１１６上に表示される前に、メモリ（たとえば、揮発性メモリユニットまたは不揮発性メモリユニット）に格納する（たとえば、一時的に）ことができる。ディスプレイ１１６上に表示され、かつ／または拡張されたシーン１１４内で維持される拡張されたコンテンツまたは仮想コンテンツは、ＲＡシステムを使用しつつあるユーザに有用である可能性がある。たとえば、ユーザは、仮想コンテンツと相互作用し、かつ／または拡張されたコンテンツから有益な情報を受け取ることができる。１つの特定の例として、仮想オブジェクト／コンテンツは、製造プロセス中に機械類に関する貴重な指示情報を技術者に提供することができる。

図１０Ａに、本開示の１つまたは複数の実施形態に従って作ることができる例示的な拡張されたシーンの図を示す。拡張されたシーンは、カメラによって取り込まれた実世界のシーン／環境、たとえば、テーブル１００４およびテーブル上の実オブジェクト１００６（たとえば、機械類）を有する部屋１００２の一部を含むことができる。拡張されたシーンは、本明細書で説明されるＡＲシステムによって追加された１つまたは複数の仮想オブジェクト、たとえば、実オブジェクト１００６に関係する（たとえば、それに基づくＣＡＤモデルである）仮想オブジェクト１０１０を含むことができる。図１０Ａは、仮想オブジェクト１０１０の一部（たとえば、切取図）だけを示す。この切り取り図は、仮想オブジェクト１０１０が実オブジェクト１００６にどのように位置合せされ得るのかを示すのを助けることができる。しかし、いくつかの実施形態で、仮想オブジェクト全体を、拡張されたシーン内に表示できることを理解されたい。カメラが移動する場合には、実世界シーンおよび仮想オブジェクトは、同様の形で移動することができる。実オブジェクトが移動する場合には、その実オブジェクトに関係するすべての仮想オブジェクトが、類似する形で移動することができる。図１０Ａの例示的な拡張されたシーンは、実オブジェクトにならってモデリングされた仮想オブジェクトをたとえばＡＲシステムを較正するために実オブジェクトにどのように位置合せできるのかを示すための一例である。いくつかの例では、較正が完了した後に、実オブジェクトにならってモデリングされた仮想オブジェクトは、拡張されたシーン内に現れないものとすることができる。そうではなく、さまざまな他の仮想オブジェクト、たとえば、実オブジェクトに関係する工具、ハードウェア（たとえば、ねじ）、配線、および指示などが現れることができる。たとえば、これらの仮想オブジェクトは、機械類に関する貴重な指示情報、たとえば、アイテムを設置する方法またはタスクを実行する方法（たとえば、穴を空けるなど）に関する指示を技術者に提供することができる。

図１０Ｂに、本開示の１つまたは複数の実施形態に従って作ることができる例示的な拡張されたシーンの図を示す。拡張されたシーンは、カメラによって取り込まれた実世界のシーン／環境、たとえば実オブジェクト１０５６（たとえば、パネル）を有する部屋１０５２の一部を含むことができる。拡張されたシーンは、本明細書で説明されるＡＲシステムによって追加される１つまたは複数の仮想オブジェクト、たとえば、ボックスまたはユニットとすることができる仮想オブジェクト１０６０ならびにさまざまな関連するワイヤ、導管、および／またはワイヤハーネスを含むことができる。カメラが移動する場合には、実世界シーンおよび実オブジェクトは、類似する形で移動することができる。実オブジェクト１０５６が移動する（たとえば、パネル）場合には、この実オブジェクトに関係するすべての仮想オブジェクト（たとえば、仮想オブジェクト１０６０）が、類似する形で移動することができる。たとえば、図１０Ｂの例示的な拡張されたシーンは、技術者に、パネル１０５６にユニット１０６０を設置する方法を示すことができる。

本開示のある種の実施形態を、拡張現実感に関する自動化された基準フレーム較正の１つまたは複数の方法に見出すことができる。本明細書で説明され、関連する図面に示されたさまざまな方法に関して、いくつかの実施形態で、説明されかつ／または図示される１つまたは複数のステップを、異なる順序で実行できることを理解されたい。さらに、いくつかの実施形態で、方法は、説明されかつ／または図示されるものより多数またはより少数のステップを含むことができる。

図１１に、本開示の１つまたは複数の実施形態による、拡張現実感のための自動化された基準フレーム較正の方法の例示的なステップを示す流れ図１１００を示す。より具体的には、図１１は、仮想オブジェクト（たとえば、拡張されたシーンに追加される仮想オブジェクト）の基準フレームと追跡システムに関連する基準フレームとの間の写像または変換を決定し、かつ／または計算するのに使用できる自動化された基準フレーム較正の方法の例示的なステップを示す。ステップ１１０２では、追跡システムの座標系を、たとえば追跡システムのセットアッププロセス中に確立する。ステップ１１０４では、追跡システムが、実オブジェクト（ＲＯ）の基準フレームを追跡し、または決定することができる。追跡システムは、ステップ１１０４でＭ１変換をも決定することができる。追跡システムが実オブジェクトを追跡するために、実オブジェクトは、複数の追跡マーカーを備える必要がある可能性がある。

ステップ１１０６では、仮想モデリングソフトウェアが、たとえば複数の基準ポイントを示し（たとえば、ワンドを使用して）、原点を計算することによって、実オブジェクトの新しい基準フレームを決定することができる。ステップ１１０８では、仮想モデリングソフトウェアが、Ｍ２変換（たとえば、新しいＲＯ基準フレームと追跡システムによって決定された実オブジェクトの基準フレームとの間のポーズの差）を計算することができる。ステップ１１１０では、仮想モデリングソフトウェアが、仮想オブジェクト（たとえば、実オブジェクトにならってモデリングされた仮想オブジェクト）にアクセスするかロードし、ＶＯの基準フレームを決定することができる。ステップ１１１２では、仮想モデリングソフトウェアが、たとえば、新しいＲＯ基準フレームを作成するために実オブジェクト上で示されたものと同一の基準点を仮想モデル上で示すことによって、新しいＶＯ基準フレームを決定することができる。点の原点を計算することができる。ステップ１１１４では、仮想モデリングソフトウェアが、Ｍ３変換（たとえば、新しいＶＯ基準フレームとオリジナルのＶＯ基準フレームとの間の差）を計算することができる。ステップ１１１６では、仮想モデリングソフトウェアが、Ｍ４変換を計算することができる（たとえば、Ｍ１変換行列、Ｍ２変換行列、およびＭ３変換行列を一緒に乗算することによって）。

図１２に、本開示の１つまたは複数の実施形態による、拡張現実感のための自動化された基準フレーム較正の方法の例示的なステップを示す流れ図１２００を示す。より具体的には、図１２は、追跡システムによって追跡されるカメラの基準フレームとカメラのレンズの基準フレームとの間の写像または変換を決定し、かつ／または計算するのに使用できる自動化された基準フレーム較正の方法の例示的なステップを示す。ステップ１２０２では、たとえば追跡システムのセットアッププロセス中に、追跡システムの座標系を確立する。ステップ１２０４では、追跡システムが、カメラの基準フレームを追跡しまたは決定することができる。追跡システムは、ステップ１２０４で、Ｃ１変換をも決定することができる。追跡システムがカメラを追跡するために、カメラ（または、カメラフレームもしくはタブレットコンピュータ）は、複数の追跡マーカーを備える必要がある可能性がある。ステップ１２０６で、印刷されたマーカーに関連する座標フレームを、たとえば印刷されたマーカーおよび関連するソフトウェアを使用することによって、確立することができる。印刷されたマーカーに関連する座標フレームを、追跡システムの座標フレームに位置合せすることができる。ステップ１２０８では、仮想モデリングシステムが（たとえば、印刷されたマーカーに関連するソフトウェアを介して）、たとえば印刷されたマーカーの座標フレームに相対的に、カメラレンズの基準フレームを決定することができる。ステップ１２１０では、仮想モデリングソフトウェアが、Ｃ２変換（たとえば、カメラレンズ基準フレームと印刷されたマーカー座標フレームとの間の差）を計算することができる。この計算を、（少なくとも部分的に）印刷されたマーカーに関連するソフトウェアによって実行することができる。ステップ１２１２では、仮想モデリングソフトウェアが、Ｃ３変換を計算することができる（たとえば、Ｃ２変換行列によってＣ１変換行列を除算することによって）。

本明細書で説明されるシステムおよび方法のいずれもが、少なくとも１つのプロセッサを有するデータ処理システム１００によって実行される拡張現実感１００のための方法を含む変形形態をも企図する。代替の方法は、追跡システム１０８に関連する追跡システム座標フレーム２０４を受信することまたは確立することを含むことができる。追跡システム座標フレーム２０４は、実際の３Ｄ空間に位置合せされ、実オブジェクト１０４またはカメラ１０２の実際の３Ｄ空間内の位置および方位を追跡する。この配置では、データ処理システム１００は、追跡システム１０８から、実オブジェクト１０４の最初の実オブジェクト基準フレーム２１２をも受信することができる。最初の実オブジェクト基準フレーム２１２は、追跡システム座標フレーム２０４に対する実オブジェクト１０４の位置および方位を示す。

次に、データ処理システム１００は、実オブジェクト１０４の第２の実オブジェクト基準フレーム２１２を決定し、ここで、第２の実オブジェクト基準フレーム２１２は、追跡システム座標フレーム２０４に対する実オブジェクト１０４の位置および方位を示す。その後、データ処理システム１００は、仮想オブジェクト１１２の第１の仮想オブジェクト基準フレーム２１６を受信し、ここで、仮想オブジェクト１１２は、実オブジェクト１０４にならってモデリングされ、第１の仮想オブジェクト基準フレーム２１６は、追跡システム座標フレーム２０４に関係付けられない。

データ処理システム１００は、仮想オブジェクト１１２の第２の仮想オブジェクト基準フレーム２１６をも決定し、ここで、第２の仮想オブジェクト基準フレーム２１６は、追跡システム座標フレーム２０４に対する仮想オブジェクト１１２の位置および方位を示す。仮想オブジェクト１１２写像も、第１の仮想オブジェクト基準フレーム２１６と追跡システム座標フレーム２０４との間で決定される。

拡張されたシーン１１４は、データ処理システム１００によって表示され、実際の３Ｄ空間のビュー、実オブジェクト１０４のビュー、および１つまたは複数の重ねられた仮想アイテムを含む。ここで、仮想オブジェクト１１２写像は、１つまたは複数の仮想アイテムが実オブジェクト１０４に位置合せされるように、拡張されたシーン１１４内で１つまたは複数の重ねられる仮想アイテムを配置するのに使用される。

さらなるオプションの配置では、データ処理システム１００は、第２の実オブジェクト基準フレーム２１２をも決定するように構成され、このデータ処理システムは、実オブジェクト１０４上の１つまたは複数の実オブジェクト非同一直線上点を受信しまたは検出することができる。３つ以上の実オブジェクト非同一直線上点の場所は、追跡システム座標フレーム２０４に相対的に定義される。実オブジェクト１０４原点は、３つ以上の実オブジェクト非同一直線上点の重心を計算することによって決定される。その後、実オブジェクト方位は、第１の実オブジェクト基準フレーム２１２の方位に相対的に決定される。第２の仮想オブジェクト基準フレーム２１６が、仮想オブジェクト１１２上の３つ以上の仮想オブジェクト非同一直線上点を受信するか示すことによって決定されることが好ましい可能性があり、ここで、３つ以上の仮想オブジェクト非同一直線上点の場所は、追跡システム座標フレーム２０４に相対的に定義される。その後、仮想オブジェクト原点が、３つ以上の仮想オブジェクト非同一直線上点の重心を計算することによって決定され、これは、さらに、仮想オブジェクト方位の決定を可能にすることができる。

説明された配置のいずれかに対するさらなる変更では、第２の実オブジェクト基準フレーム２１２と第２の仮想オブジェクト基準フレーム２１６とが位置合せされ、ここで、３つ以上の仮想オブジェクト非同一直線上点と３つ以上の実オブジェクト非同一直線上点が、追跡システム座標フレーム２０４に対してほぼ同一の場所に位置することになる。さらに、実オブジェクト１０４方位および仮想オブジェクト１１２方位は、追跡システム座標フレーム２０４に対する各方位とほぼ同一である。

さらなる他の構成では、仮想オブジェクト１１２写像の決定は、第１の実オブジェクト基準フレーム２１２を表す第１の変換行列の受信または決定を含むことができる。第１の実オブジェクト基準フレーム２１２と第２の実オブジェクト基準フレーム２１２との間の場所および方位の差を表す第２の変換行列を決定することもできる。さらに、第１の仮想オブジェクト基準フレーム２１６と第２の仮想オブジェクト基準フレーム２１６との間の場所および方位の差を表す第３の変換行列を決定することができる。仮想オブジェクト１１２写像を表す第４の変換行列を計算することもできる。ここで、第４の変換行列は、第１の仮想オブジェクト基準フレーム２１６と追跡システム座標フレーム２０４との間の場所および方位の差を表す。第４の変換行列は、第１の変換行列、第２の変換行列、および第３の変換行列の間の行列乗算を実行することによっても計算される。

別の配置では、拡張されたシーン１１４内に１つまたは複数の重ねられる仮想アイテムを配置するのに仮想オブジェクト１１２写像を使用することは、第１の重ねられる仮想アイテムについて第１の仮想アイテム基準フレーム２１６を受信することを含むことができる。この変形形態では、第１の仮想アイテム基準フレーム２１６は、追跡システム座標フレーム２０４に関係付けられない。仮想オブジェクト１１２写像を参照して、第１の仮想アイテム基準フレーム２１６を、追跡システム座標フレーム２０４に関係する変換された基準フレームに変換することができる。第１の重ねられる仮想アイテムを、変換基準フレームを使用して拡張されたシーン１１４内に配置することができる。

データ処理システム１００を、さらに、実オブジェクト１０４の場所および方位に関するリアルタイム情報を追跡システム１０８から受信するように構成することができる。この変形形態では、仮想オブジェクト１１２写像は、リアルタイム情報に基づいて更新され、拡張されたシーン１１４は、１つまたは複数の仮想アイテムが実オブジェクト１０４に位置合せされたままになるように、１つまたは複数の重ねられる仮想オブジェクトの猪愛知を更新することによって更新される。

異なる示される実施形態の流れ図およびブロック図に示された例示的な方法およびルーチンを含む、本開示の方法、ルーチン、および技法は、データ処理システムが本明細書で開示される方法、ルーチン、および／または技法の一部またはすべてを行い、かつ／または実行するように適合されるようにプログラムされた１つまたは複数のデータ処理システムによって実行されるソフトウェアとして実施され得る。本明細書で参照されるブロック図または流れ図内の各ブロックまたは記号は、１つまたは複数のデータ処理システムによって指定された１つまたは複数の機能を実施する１つまたは複数の実行可能命令を含むコンピュータ使用可能コードまたはコンピュータ可読プログラムコードのモジュール、セグメント、または部分を表すことができる。本開示のいくつかの代替実施態様では、ブロック図または流れ図のブロックまたは記号に示された１つまたは複数の機能が、図面に示された順序から外れて発生し得る。たとえば、いくつかの場合に、連続する２つのブロックまたは記号を、実質的に同時に実行することができ、あるいは、ブロックが、時々、用いられる機能性に応じて逆の順序で実行され得る。コンピュータコードの一部または部分を、データ処理システムがコードを実行する前に、データ処理システムのメモリにロードすることができる。

図１３に、本開示の１つまたは複数の実施形態に従って使用できる例示的なデータ処理システム１３００のブロック図を示す。たとえば、図１をも瞬間的に参照すると、コンピュータ１０６は、図１３のデータ処理システム１３００に類似するデータ処理システムの形をとることができる。別の例として、追跡システム１０８に関係する追跡システムソフトウェアを、図１３のデータ処理システム１３００に類似するデータ処理システム上で実行することができる。図１３を参照すると、データ処理システム１３００は、本開示の方法、ルーチン、および／または解決策のうちの１つまたは複数を、部分的にまたは全体的にのいずれかで実行するのに使用することができる。本開示のいくつかの実施形態では、複数のデータ処理システムを使用して、本明細書で説明される方法、ルーチン、技法、および／または解決策を実施することができる。

図１３の例では、データ処理システム１３００は、コンポーネント、たとえばプロセッサユニット１３０４、メモリ１３０６、永続ストレージ１３０８、通信ユニット１３１０、入出力（Ｉ／Ｏ）ユニット１３１２、およびディスプレイ１３１４の間の通信を提供する通信ファブリック１３０２を含むことができる。バスシステムを使用して、通信ファブリック１３０２を実施することができ、バスシステムは、システムバスまたは入出力バスなどの１つまたは複数のバスからなるものとすることができる。バスシステムを、バスシステムに接続された異なるコンポーネントまたはデバイス間でのデータの転送を提供する任意の適切なタイプのアーキテクチャを使用して実施することができる。

プロセッサユニット１３０４は、データ処理システム１３００に、たとえばメモリ１３０６にロードできる命令（たとえば、ソフトウェアプログラム）を実行するように働くことができる。プロセッサユニット１３０４は、特定の実施形態に応じて、１つまたは複数のプロセッサのセットとすることができ、あるいは、マルチプロセッサコアとすることができる。プロセッサユニット１３０４を、主プロセッサが単一チップ上に副プロセッサと共に存在する１つまたは複数の異種プロセッサシステムを使用して実施することができる。別の例示的な例として、プロセッサユニット１３０４は、同一タイプの複数のプロセッサを含む対称型マルチプロセッサシステムとすることができる。

メモリ１３０６は、たとえば、ランダムアクセスメモリまたは任意の他の適切な揮発性もしくは不揮発性のストレージデバイスとすることができる。メモリ１３０６は、キャッシュメモリの１つまたは複数の層を含むことができる。永続ストレージ１３０８は、特定の実施形態に応じて、さまざまな形をとることができる。たとえば、永続ストレージ１３０８は、１つまたは複数のコンポーネントまたはデバイスを含むことができる。たとえば、永続ストレージ１３０８は、ハードドライブ、ソリッドステートドライブ、フラッシュメモリ、または上記のある組合せとすることができる。

オペレーティングシステムの命令を、永続ストレージ１３０８上に配置することができる。１つの特定の実施形態では、オペレーティングシステムは、複数の既知のオペレーティングシステムのあるバージョンとすることができる。アプリケーションおよび／またはプログラムの命令をも、永続ストレージ１３０８上に配置することができる。これらの命令を、プロセッサユニット１３０４による実行のためにメモリ１３０６にロードすることができる。たとえば、本開示で説明される異なる実施形態の方法および／またはプロセスを、メモリ１３０６などのメモリにロードできるコンピュータ実施された命令を使用してプロセッサユニット１３０４によって実行することができる。これらの命令を、プロセッサユニット１３０４内のプロセッサによって読み取り、実行することができる、プログラムコード、コンピュータ使用可能コード、またはコンピュータ可読プログラムコードと称する。

ディスプレイ１３１４は、たとえばＬＣＤまたはＬＥＤスクリーンまたはモニタ、あるいは他のタイプのディスプレイを介して、ユーザに情報を表示する機構を提供する。本開示全体を通じて、用語「ディスプレイ」が、物理スクリーンなどの物理ディスプレイまたは物理デバイスのスクリーン上でユーザが見るイメージのいずれかを指すために柔軟な形で使用され得ることを理解されたい。入出力（Ｉ／Ｏ）ユニット１３１２は、データ処理システム１３００に接続され得る他のデバイスを用いるデータの入力および出力を可能にする。入出力デバイスを、直接にまたは介在するＩ／Ｏコントーラを介してのいずれかでシステムに結合することができる。

通信ユニット１３１０は、たとえば１つまたは複数のネットワークを介して、他のデータ処理システムまたはデバイスとの通信を提供することができる。通信ユニット１３１０は、ネットワークインターフェースカードとすることができる。通信ユニット１３１０は、有線通信リンクおよび／または無線通信リンクの使用を介して通信を提供することができる。いくつかの実施形態では、通信ユニットは、さまざまな無線通信標準規格、たとえばＷｉＦｉ標準規格、およびＢｌｕｅｔｏｏｔｈ標準規格などに従って通信するように設計され、かつ／または適合された回路網を含むことができる。

データ処理システム１３００に関して図示された異なるコンポーネントは、異なる実施形態を実施できる形に対するアーキテクチャ的限定を提供することを意味するのではない。異なる図示の実施形態を、データ処理システム１３００について図示されたコンポーネントに加えてまたはその代わりのコンポーネントを含むデータ処理システム内で実施することができる。図１３に示された他のコンポーネントは、図示の例示的な例から変更することができる。

データ処理システム１３００を、コンピュータコードを格納する１つまたは複数のメモリユニットおよび１つまたは複数のメモリ１３０６に結合された１つまたは複数のプロセッサユニット１３０４と共に配置することができ、ここで、１つまたは複数のプロセッサユニット１３０４は、１つまたは複数のメモリユニット１３０６に格納されたコンピュータコードを実行する。実行するコンピュータコードは、オブジェクト追跡システム１０８、２０２に関連する追跡システム座標フレーム２０４を受信または確立する。追跡システム座標フレーム２０４は、実際の３Ｄ空間に位置合せされ、追跡システム１０８は、実際の３Ｄ空間および印刷されたマーカー（９０６）を取り込むカメラ１０２の実際の３Ｄ空間内の位置および方位を追跡する。

追跡システム１０８は、カメラ１０２のカメラ基準フレームを受信し、このカメラ基準フレームは、追跡システム座標フレーム２０４に対するカメラ１０２の位置および方位を示す。やはり受信されまたは確立されるのは、印刷されたマーカーに関連する印刷されたマーカー座標フレーム２０４であり、印刷されたマーカー座標フレーム２０４は、実際の３Ｄ空間に位置合せされる。印刷されたマーカー座標フレーム２０４は、追跡システム座標フレーム２０４に位置合せされ、カメラレンズ基準フレームが、カメラ１０２のレンズについて決定される。カメラレンズ基準フレームは、印刷されたマーカー座標フレーム２０４に対するカメラ１０２レンズの位置および方位を示す。

カメラ１０２レンズ写像が、カメラ１０２基準フレームとカメラ１０２レンズ基準フレームとの間で決定され、拡張されたシーン１１４が、実際の３Ｄ空間および１つまたは複数の仮想アイテムのビューを含めて表示され、ここで、カメラ１０２レンズ写像が、拡張されたシーン１１４内の１つまたは複数の仮想アイテムを変更するまたはひずませるために使用される。

異なる有利な実施形態の説明は、例示および説明のために提示されたものであって、網羅的であることまたは諸実施形態を開示された形に限定することは意図されていない。多数の修正形態および変形形態が、当業者に明白になるであろう。さらなる異なる有利な実施形態は、他の有利な実施形態と比較して、異なる利点を提供することができる。選択された１つまたは複数の実施形態は、実用的応用例の実施形態の原理を最もよく説明するため、および特定の企図される使用に適するさまざまな変更を伴うさまざまな実施形態のために本開示を他の当業者が理解することを可能にするために選択され、説明されたものである。

１００拡張現実感（ＡＲ）システム
１０２カメラ
１０４実オブジェクト（ＲＯ）
１０６コンピュータ
１０８追跡システム
１１０仮想モデリングソフトウェア
１１２仮想オブジェクト（ＶＯ）
１１４拡張されたシーン
１１６ディスプレイ
２０２追跡システム
２０４座標フレーム
２０６ＲＯ基準フレーム
２１０仮想モデリングソフトウェア
２１２実オブジェクト（ＲＯ）の新しい基準フレーム
２１４ＶＯ基準フレーム
２１６新しいＶＯ基準フレーム
２１８基準フレーム間の位置合せ
３００ワンド
３０２第１の部材
３０４第２の部材
３０６原点
３０８追跡マーカー
３１０追跡マーカー
３１２追跡マーカー
３１４追跡マーカー
３１６追跡マーカー
４００実オブジェクト
４０２追跡マーカー
４０４追跡マーカー
４０６追跡マーカー
４５２点
４５４点
４５６点
４５８点
４６０点
５００実オブジェクト
５０２点
５０４点
５０６点
５０８点
６００仮想オブジェクト
６０２点
６０４点
６０６点
６０８点
７０２追跡システム
７０４座標フレーム
７０６カメラの基準フレーム
７１０仮想モデリングソフトウェア
７１２座標フレーム
７１４カメラレンズ基準フレーム
７１６座標フレーム間の位置合せ
８００カメラ
８０１フレーム
８０２追跡マーカー
８０４追跡マーカー
８０６追跡マーカー
８５２点
８５４点
８５６点
８６０点
８７０タブレットコンピュータ
８７２ユーザ
８７４第１の側面
８７６第２の側面
８８０実オブジェクト
８８１ビュー
８８２仮想オブジェクト
８８４追跡マーカー
８８６追跡マーカー
８８８追跡マーカー
９０２カメラ
９０４視野
９０６特殊な印刷されたマーカー
９０８マーキング
９１０コンピュータ
９１２ソフトウェア
１００２部屋
１００４テーブル
１００６実オブジェクト
１０１０仮想オブジェクト
１０５２部屋
１０５６実オブジェクト
１０６０仮想オブジェクト
１１００流れ図
１２００流れ図
１３００データ処理システム
１３０２通信ファブリック
１３０４プロセッサユニット
１３０６メモリ
１３０８永続ストレージ
１３１０通信ユニット
１３１２入出力（Ｉ／Ｏ）ユニット
１３１４ディスプレイ

Claims

少なくとも１つのプロセッサを有するデータ処理システム１００によって実行される拡張現実感のための方法であって、
オブジェクト追跡システム（１０８）に関連する追跡システム座標フレーム（２０４）を受信または確立することであって
前記追跡システム座標フレーム（２０４）は実際の３Ｄ空間に位置合せされ、
前記追跡システム（１０８）は、実際の３Ｄ空間および印刷されたマーカー（９０６）を取り込むカメラ（１０２）の実際の３Ｄ空間内の位置および方位を追跡する、
受信または確立することと、
前記追跡システム（１０８）から前記カメラ（１０２）のカメラ基準フレームを受信することであって、
前記カメラ基準フレームは前記追跡システム座標フレーム（２０４）に対する前記カメラ（１０２）の位置および方位を示す、
受信することと、
前記印刷されたマーカー（９０６）に関連する印刷されたマーカー座標フレーム（２０４）を受信または確立することであって、
前記印刷されたマーカー座標フレーム（２０４）は前記実際の３Ｄ空間に位置合せされ、
前記印刷されたマーカー座標フレーム（２０４）は前記追跡システム（１０８）座標フレーム（２０４）に位置合せされる、
受信または確立することと、
前記カメラ（１０２）のレンズのカメラレンズ基準フレームを決定することであって、
前記カメラレンズ基準フレームは、前記印刷されたマーカー座標フレーム（２０４）に対する前記カメラ（１０２）レンズの位置および方位を示す、
決定することと、
前記カメラ（１０２）基準フレームと前記カメラ（１０２）レンズ基準フレームとの間のカメラレンズ写像を決定することと、
前記実際の３Ｄ空間および１つまたは複数の仮想アイテムのビューを含む拡張されたシーン（１１４）を表示することであって、
前記カメラ（１０２）レンズ写像が、前記拡張されたシーン（１１４）内で前記１つまたは複数の仮想アイテムを変更するまたはひずませるために使用される、
表示することと
を含む方法。
前記カメラ（１０２）レンズ基準フレームを決定することは、前記印刷されたマーカー（９０６）に関連するソフトウェアプログラムによりカメラ（１０２）レンズ位置および方位情報を受信することを含む、請求項１に記載の方法。
前記印刷されたマーカー座標フレーム（２０４）を前記追跡システム座標フレーム（２０４）に位置合せすることは、
前記印刷されたマーカー（９０６）に関連する原点が、前記追跡システム（１０８）に関連する原点とほぼ同一の前記３Ｄ空間内の場所に配置され、
前記印刷されたマーカー（９０６）に関連する３つの軸が、前記追跡システム（１０８）に関連する３つの軸に前記３Ｄ空間内でほぼ位置合せされる
ように、前記実際の３Ｄ空間内の場所および方位に前記印刷されたマーカー（９０６）を配置することを含む、請求項１に記載の方法。
前記カメラ（１０２）レンズ写像を決定することは、
第１の実オブジェクト基準フレーム（２１２）を表す第１の変換行列を受信または決定することと、
前記カメラ（１０２）レンズ基準フレームと前記印刷されたマーカー座標フレーム（２０４）との間の場所および方位の差を表す第２の変換行列を決定することと、
前記カメラ（１０２）レンズ写像を表す第３の変換行列を計算することであって、
前記第３の変換行列は、前記カメラ基準フレームと前記カメラレンズ基準フレームとの間の場所および方位の差を表し、
前記第３の変換行列は、前記第１の変換行列と前記第２の変換行列との間または前記第２の変換行列と前記第１の変換行列との間のいずれかの行列除算を実行することによって計算される、
計算することと
を含む、請求項１に記載の方法。
前記拡張されたシーン（１１４）内で前記１つまたは複数の重ねられる仮想アイテムを変更するまたはひずませるために前記カメラ（１０２）レンズ写像を使用することは、
第１の仮想アイテム基準フレーム（２１６）を使用して前記拡張されたシーン（１１４）内に第１の重ねられる仮想アイテムを配置することであって、
前記第１の仮想アイテム基準フレーム（２１６）は前記追跡システム座標フレーム（２０４）に関係する、
配置することと、
前記カメラ（１０２）の前記場所および方位に関するリアルタイム情報を前記追跡システム（１０８）から受信することと、
前記リアルタイム情報に基づいて、前記カメラ（１０２）レンズ基準フレームを更新するために、変換のために仮想オブジェクト（１１２）写像を参照することと、
前記更新された前記カメラ（１０２）レンズ基準フレームに基づいて前記１つまたは複数の重ねられる仮想アイテムを変更するかひずませることによって前記拡張されたシーン（１１４）を更新することと
を含む、請求項１に記載の方法。
前記拡張されたシーン（１１４）内の前記１つまたは複数の重ねられる仮想アイテムを変更するかひずませることは、前記カメラ（１０２）が前記３Ｄ空間内の実オブジェクト（１０４）から離れることに応答して、前記重ねられる仮想アイテムを縮小することを含む、請求項１に記載の方法。
前記拡張されたシーン（１１４）内の前記１つまたは複数の重ねられる仮想アイテムを変更するかひずませることは、前記カメラ（１０２）が前記３Ｄ空間内の実オブジェクト（１０４）に近づくことに応答して、前記重ねられる仮想アイテムを拡大することを含む、請求項１に記載の方法。
前記拡張されたシーン（１１４）内の前記１つまたは複数の重ねられる仮想アイテムを変更するかひずませることは、前記カメラ（１０２）が前記３Ｄ空間内の実オブジェクト（１０４）に対してある角度で移動することに応答して、前記重ねられる仮想アイテムを回転させることを含む、請求項１に記載の方法。
実オブジェクト（１０４）を含む実際の３Ｄ空間のビューを取り込むカメラ（１０２）と、
前記実オブジェクト（１０４）および前記カメラ（１０２）の実際の３Ｄ空間内の位置および方位を追跡する追跡システム（１０８）であって、前記追跡システム（１０８）に関連する追跡システム座標フレーム（２０４）を確立するように構成され、前記追跡システム座標フレーム（２０４）は前記実際の３Ｄ空間に位置合せされている、追跡システム（１０８）と、
前記カメラ（１０２）および前記追跡システム（１０８）に結合され、１つまたは複数のメモリユニットを有し、仮想モデラを有するように構成されたコンピュータ（１０６）であって、前記仮想モデラは、
前記追跡システム（１０８）から、前記実オブジェクト（１０４）の第１の実オブジェクト基準フレームを受信するように構成され、前記第１の実オブジェクト基準フレーム（２１２）は前記追跡システム座標フレーム（２０４）に対する前記実オブジェクト（１０４）の位置および方位を示し、
前記実オブジェクト（１０４）の第２の実オブジェクト基準フレーム（２１２）を計算するようにさらに構成され、前記第２の実オブジェクト基準フレーム（２１２）は、前記追跡システム座標フレーム（２０４）に対する前記実オブジェクトの位置および方位を示し、
仮想オブジェクト（１１２）の第１の仮想オブジェクト基準フレーム（２１６）を前記１つまたは複数のメモリユニットから受信するように構成され、前記仮想オブジェクト（１１２）は前記実オブジェクト（１０４）にならってモデリングされ、前記第１の仮想オブジェクト基準フレーム（２１６）は前記追跡システム座標フレーム（２０４）に関係付けられず、
前記仮想オブジェクト（１１２）の第２の仮想オブジェクト基準フレーム（２１６）を計算するようにさらに構成され、前記第２の仮想オブジェクト基準フレーム（２１６）は前記追跡システム座標フレーム（２０４）に対する前記仮想オブジェクト（１１２）の位置および方位を示し、
前記第１の仮想オブジェクト基準フレーム（２１６）と前記追跡システム座標フレーム（２０４）との間の仮想オブジェクト（１１２）写像を計算するようにさらに構成され、かつ
前記実際の３Ｄ空間のビュー、前記実オブジェクト（１０４）のビュー、および１つまたは複数の重ねられる仮想アイテムを含む拡張されたシーン（１１４）を生成し、前記１つまたは複数のメモリユニットに格納するようにさらに構成され、前記仮想オブジェクト（１１２）写像は、前記１つまたは複数の仮想アイテムが前記実オブジェクト（１０４）に位置合せされるように前記拡張されたシーン（１１４）内に前記１つまたは複数の重ねられる仮想アイテムを配置するのに使用される、
コンピュータ（１０６）と
を備えるシステム。
前記コンピュータ（１０６）に結合されたディスプレイをさらに備え、前記仮想モデラは前記拡張されたシーン（１１４）を前記ディスプレイに通信するようにさらに構成され、前記ディスプレイは前記拡張されたシーン（１１４）をユーザに示すように構成される、請求項９に記載のシステム。
前記拡張されたシーン（１１４）内に前記１つまたは複数の重ねられる仮想アイテムを配置するために前記仮想オブジェクト（１１２）写像を使用することは、
第１の重ねられる仮想アイテムの第１の仮想アイテム基準フレーム（２１６）を受信することであって、
前記第１の仮想アイテム基準フレーム（２１６）は前記追跡システム座標フレーム（２０４）に関係付けられない
受信することと、
前記第１の仮想アイテム基準フレーム（２１６）を前記追跡システム座標フレーム（２０４）に関係する変換された基準フレームに変換するために前記仮想オブジェクト（１１２）写像を参照することと、
前記変換された基準フレームを使用して前記拡張されたシーン（１１４）内に前記第１の重ねられる仮想アイテムを配置することと
を含む、請求項９に記載のシステム。
前記仮想モデラは、
前記実オブジェクト（１０４）の前記場所および方位に関するリアルタイム情報を前記追跡システム（１０８）から受信し、
前記リアルタイム情報に基づいて前記仮想オブジェクト（１１２）写像を更新し、かつ
前記１つまたは複数の重ねられる仮想アイテムが前記実オブジェクトに位置合せされたままになるように、前記１つまたは複数の仮想アイテムの前記配置を更新することによって前記拡張されたシーン（１１４）を更新する
ようにさらに構成される、請求項９に記載のシステム。