JP2009150883A

JP2009150883A - 拡張現実検査およびデータ可視化のシステムおよび方法

Info

Publication number: JP2009150883A
Application number: JP2008319544A
Authority: JP
Inventors: Sengupta Anandraj; アナンドラジ・セングプタ; Padmanabhan Kumar Vinod; ビノ・パドマナバン・クマール; Shivappa Ningappa Goravar; シヴァッパ・ニンガッパ・ゴラヴァール
Original assignee: General Electric Co
Current assignee: General Electric Co
Priority date: 2007-12-18
Filing date: 2008-12-16
Publication date: 2009-07-09
Also published as: CN101470102A; US8485038B2; CN101470102B; US20090154293A1; DE102008055528A1

Abstract

【課題】３次元追跡システム（１４）を提供すること。
【解決手段】３次元追跡システム（１４）は、対象物（１２）の周囲に配置された少なくとも１つのアコースティックエミッションセンサ（３２）を含む。アコースティックエミッションセンサ（３２）は、対象物（１２）内に挿入されたプローブ（１３）の位置を、プローブ（１３）の位置またはその近辺から発せられたアコースティックシグネチャの到達時刻に基づいて識別するように構成される。３次元追跡システム（１４）はさらに、プローブ（１３）の仰角を検出するように構成された第１のセンサ（３４）を含む。３次元追跡システム（１４）はさらに、プローブ（１３）の方位角を検出するように構成された第２のセンサ（３６）を含む。
【選択図】図２

Description

本発明は、主に、非破壊検査手法に関し、特に、拡張現実を用いた検査手法に関する。

本出願は、参照により全内容が本明細書に組み込まれている、２００７年１２月１８日に出願されたインド国特許出願第３０１４／ＣＨＥ／２００７号（件名「ＳＹＳＴＥＭＡＮＤＭＥＴＨＯＤＦＯＲＡＵＧＭＥＮＴＥＤＲＥＡＬＩＴＹＩＮＳＰＥＣＴＩＯＮＡＮＤＤＡＴＡＶＩＳＵＡＬＩＺＡＴＩＯＮ」）に基づく優先権の利益を主張するものである。

検査手法は、航空機産業、健康産業からセキュリティ用途まで、様々な用途で一般的に用いられている。一般に、複雑な部品や構造の検査には、検査者としての相当なスキルや経験が必要である。ボアスコープ検査は、稼働中の部品へのアクセスが容易なことやダウンタイムが短いことから、産業基盤の監視のために一般的に用いられている情報源の１つである。ガスタービンおよび関連システムに対する状態監視保全ストラテジは、そのような検査から得られるデータに大きく依存している。ボアスコープ検査には、長いケーブルにディスプレイペンダントが付いたプローブが一般的に用いられてきた。しかしながら、プローブがボアスコープ検査穴に挿入された後は、ボアスコープの先端部の位置および姿勢に関しては、操作者は最小限の情報しか得られない。位置および姿勢を追跡することは、測定誤差の低減につながり、見つかったきずや損傷の位置を正確に特定するために非常に重要である。さらに、先端部を変更しなければならない場合、変更した先端部を同じ位置に持っていくことはほとんど不可能である。

したがって、検査の多くが、操作者のスキルに依存しており、主観的である。ボアスコープの先端部および姿勢に関する正確な情報はさらに、検査のプランニングから始まり、ガイダンスを経て損傷の報告に至る検査プロセス全体の自動化および制御を可能にする。

そこで、前述の諸問題に対処する、改善された検査システムが求められている。

本発明の一実施形態によれば、３次元追跡システムが提供される。この３次元追跡システムは、対象物の周囲に配置された少なくとも２つのアコースティックエミッションセンサを含む。アコースティックエミッションセンサは、対象物内に挿入されたプローブの位置を、プローブの位置またはその近辺から発せられたアコースティックシグネチャの到達時刻に基づいて識別するように構成される。３次元追跡システムはさらに、プローブの仰角を検出するように構成された第１のセンサを含む。３次元追跡システムはさらに、プローブの方位角を検出するように構成された第２のセンサを含む。

本発明の別の実施形態によれば、対象物内の検査のための拡張現実システムが提供される。拡張現実システムは、対象物内に挿入されたプローブの３次元位置を識別するように構成された追跡システムを含む。この３次元追跡システムは、対象物の周囲に配置された少なくとも１つのアコースティックエミッションセンサを含む。アコースティックエミッションセンサは、対象物内に挿入されたプローブの位置を、プローブの位置またはその近辺から発せられたアコースティックシグネチャの到達時刻に基づいて識別するように構成される。３次元追跡システムはさらに、プローブの仰角を検出するように構成された第１のセンサを含む。３次元追跡システムはさらに、プローブの方位角を検出するように構成された第２のセンサを含む。拡張現実システムはさらに、マイクロプロセッサを含み、マイクロプロセッサは、グラフィックスを生成し、追跡システムによって識別された３次元位置に基づいて、グラフィックスを、カメラでキャプチャされた画像の上に重ね合わせるように構成される。拡張現実システムはさらに、拡張現実画像を表示するように構成されたディスプレイ装置を含む。

本発明の別の実施形態によれば、対象物内を３次元追跡する方法が提供される。本方法は、対象物内にプローブを挿入することを含む。本方法はさらに、対象物の周囲に少なくとも１つのアコースティックエミッションセンサを配置することを含む。本方法はさらに、第１のセンサおよび第２のセンサをプローブに取り付けることを含む。

本発明の別の実施形態によれば、対象物内の検査のための拡張現実画像を形成する方法が提供される。本方法は、カメラで画像をキャプチャすることを含む。本方法はさらに、複数のアコースティックエミッションセンサを用いて、対象物内のプローブの位置を識別することを含む。本方法はさらに、第１のセンサを用いてプローブの仰角を測定することを含む。本方法はさらに、第２のセンサを用いてプローブの方位角を測定することを含む。本方法はさらに、対象物のグラフィックスを生成することを含む。本方法はさらに、測定された位置、仰角、および方位角に基づいて、グラフィックスを、キャプチャされた画像の上に位置合わせして、拡張現実画像を形成することを含む。

以下の詳細説明を、添付図面を参照しながら読むことにより、本発明の、以上および他の特徴、態様、および利点がよりよく理解されるであろう。添付図面において、類似の文字は、全図面を通して類似の要素を表している。

以下で詳述されるように、本発明の実施形態は、対象物の非破壊検査のシステムおよび方法を含む。本明細書で開示されるシステムおよび方法は、改善された検査用追跡システムを用いて拡張現実画像を生成する。本明細書で用いられる「拡張現実画像」は、実世界データに、コンピュータで生成されたデータが重ね合わせられたものを含む画像を意味する。対象物の例として、航空機エンジン、ガスタービン、蒸気タービン、ディーゼルエンジン、生物などがあり、これらに限定されない。

図面を参照すると、図１は、対象物１２を検査する拡張現実システム１０を高レベルブロック図で表したものである。対象物１２内に挿入されたプローブ１３の３次元の位置および姿勢を識別するために、追跡システム１４が用いられている。特定の実施形態では、プローブ１３は、ボアスコープまたは内視鏡を含む。カメラ１８は、対象物１２の画像を現実画像としてキャプチャする。特定の実施形態では、カメラ１８は、単眼画像をキャプチャする。別の実施形態では、カメラ１８は、立体画像をキャプチャする。カメラ１８の例として、Ｗｅｂカメラ、ビデオカメラ、ＣＣＤカメラなどがあり、これらに限定されない。別の実施形態では、２台以上のカメラを使用することが可能であり、たとえば、立体画像を提供するために２台のカメラを配置することが可能である。現実画像の例として、ビデオ画像および静止画像があり、これらに限定されない。

キャプチャされた現実画像は、その現実画像に対応するグラフィックスを生成するように構成されたマイクロプロセッサ２０によって、基準として使用される。一例では、これらのグラフィックスは、対象物１２のコンピュータ支援設計図面を含む。マイクロプロセッサ２０はさらに、追跡システム１４によって識別された３次元位置に基づいて、グラフィックスを現実画像の上に重ね合わせて、拡張現実画像を生成する。したがって、カメラ１８から得られた立体画像は、追加情報によって拡張されて、リアルタイムでユーザに提供される。この追加情報は、たとえば、文字、オーディオ、ビデオ、静止画像などであってよい。たとえば、手術室において、外科医が、患者の画像、特に患者の画像とマイクロプロセッサ２０によって生成されたオーバーレイとを含む患者の画像を提供されることが可能である。オーバーレイは、たとえば、ＣＡＴ（コンピュータ水平断層撮影（ＣｏｍｐｕｔｅｒｉｚｅｄＡｘｉａｌＴｏｍｏｇｒａｐｈｙ））スキャンまたはＭＲＩ（磁気共鳴映像法（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ））で決定された患者の内部解剖学的構造の表示を含んでよい。

別の実施形態では、オーバーレイは、患者の病歴および家族履歴の文字表示を含む。このオーバーレイは、リアルタイム表示が可能である。拡張現実画像は、カメラ１８によってキャプチャされた現実画像に追加の仮想画像が重ね合わせられたものを含む。この仮想画像は、マイクロプロセッサ２０で生成され、保存されていた情報（たとえば、画像）である。拡張現実画像はさらに、対象物１２におけるきずやひびの検出を可能にする。一例示的実施形態では、マイクロプロセッサ２０は、ウェアラブルコンピュータを含む。マイクロプロセッサ２０は、拡張現実画像をディスプレイ装置２２に表示する。ディスプレイ装置２２は、携帯情報端末（ＰＤＡ）、ペンダント、外部コンピュータ、および半透明ゴーグルなどを含み、これらに限定されない。

本発明の実施形態は、本発明の処理タスクを実行するいかなる特定のマイクロプロセッサにも限定されないことに注意されたい。本明細書で使用される「マイクロプロセッサ」という用語は、本発明のタスクの実行に必要な計算を実行することが可能な任意のマシンを意味するものとする。「マイクロプロセッサ」という用語は、構造化された入力を受け取り、この入力を、所定のルールに従って処理して、出力を生成することが可能な、任意のマシンを意味するものとする。

図２は、図１の追跡システム１４の中の要素３０をブロック図で表したものである。追跡システム１４は、対象物１２（図１）の周囲に配置された、少なくとも１つのアコースティックエミッションセンサ３２を含む。アコースティックエミッションセンサ３２は、検査のために対象物１２内に挿入されたプローブ１３（図１）の位置を識別するように構成されている。特定の実施形態では、アコースティックエミッションセンサは、約６ｍｍから約１２ｍｍの範囲の直径を含む。位置は、対象物１２内から発せられたアコースティックシグネチャの到達時刻の計算に基づいて決定される。特定の実施形態では、アコースティックシグネチャは、プローブ１３の先端部に配置された単一のスピーカまたは複数のスピーカを介して発せられる。第１のセンサ３４が、プローブの仰角を検出する。一実施形態では、第１のセンサ３４は、集積化ＭＥＭＳ（微小電気機械システム（ｍｉｃｒｏ−ｅｌｅｃｔｒｉｃａｌｍｅｃｈａｎｉｃａｌｓｙｓｔｅｍ）技術で実装されて、重力による加速度に基づいて仰角を検出するように構成された重力センサを含む。別の実施形態では、第１のセンサ３４は、集積化ＭＥＭＳ（微小電子機械システム（ｍｉｃｒｏ−ｅｌｅｃｔｒｉｃａｌｍｅｃｈａｎｉｃａｌｓｙｓｔｅｍ）技術で実装されて、角運動量の保存に基づいて仰角を検出するように構成されたジャイロスコープを含む。さらに別の実施形態では、第１のセンサ３４の出力が時間積分されて、プローブ１３の先端部の姿勢が決定される。限定的でない一例では、加速度が２回時間積分されて、姿勢が決定される。

追跡システム１４はさらに、プローブ１３の方位角を検出するように構成された第２のセンサ３６を含む。一例示的実施形態では、第２のセンサ３６は、磁界の存在下で方位角を検出するように構成された、磁気コンパスのような（ただし、これに限定されない）磁気センサを含む。一例では、磁気センサに磁界をかけるためにソレノイドが用いられる。さらに別の実施形態では、第２のセンサ３６は、直交する３つの軸に沿って角回転速度を検出するジャイロスコープである。さらに別の実施形態では、第２のセンサ３６の出力が時間積分されて、プローブ１３の先端部の姿勢が決定される。限定的でない一例では、加速度が２回時間積分されて、姿勢が決定される。

図３は、ガスタービンのような（ただし、これに限定されない）対象物の検査に用いられるボアスコープ５０のような例示的プローブ１３（図１）の概略図である。ボアスコープ５０は、ボアスコープ５０の先端部５６の近辺に配置された第１のセンサ５２および第２のセンサ５４を含む。先端部５６の近辺には、複数の「超小型」スピーカ５８も配置されている。図３には複数のスピーカ５８が示されているが、単一のスピーカが用いられることも可能であることを理解されたい。スピーカ５８は、対象物内の様々な位置でアコースティック信号を発し、これらが、アコースティックエミッションセンサ３２（図２）によってキャプチャされる。図示された実施形態では、第１のセンサ５２は、ＭＥＭＳ重力センサである。ＭＥＭＳ重力センサ５２は、方向６０を有する感度軸に沿って加速度／重力を測定する。一実施形態では、ボアスコープ５０が、方向６２で、地面に向かって垂直方向下向きに位置合わせをされると、感度軸６０は、垂直方向下向きをポイントし、加速度／重力の値が１に等しくなる。別の実施形態では、ボアスコープ５０が垂直方向に対して傾斜すると、ＭＥＭＳ重力センサ５２の感度軸が垂直方向に対して傾斜し、（感度軸に沿って加速度／重力が測定されるため）ＭＥＭＳ重力センサ５２が測定する加速度／重力の値は、１より小さくなる。したがって、ＭＥＭＳ重力センサの出力は、ボアスコープ５０の仰角を検出する。特定の実施形態では、ＭＥＭＳ重力センサは、約１ｍｍから約４ｍｍの範囲の直径を含む。第２のセンサ５４は、集積化ＭＥＭＳ技術で実装された角速度ジャイロスコープであってよい。このジャイロスコープは、ボアスコープ５０の回転の変化を感知し、それに応じて、ボアスコープ５０の方位角を検出する。一実施形態では、第２のセンサ５４は、約２ｍｍから約８ｍｍの範囲の直径を含む。

図４は、ガスタービン７２内を表す実世界データと、ガスタービン７２の内部のブレード７４内を表す、コンピュータで生成されたデータと、を含む拡張現実画像７０の概略図である。拡張現実画像７０は、カメラ１８（図１）でキャプチャされたケーシングを含む、ガスタービンの画像の上に、ブレード７４の、生成されたグラフィックスを重ね合わせることによって得られる。特定の実施形態では、この画像は、２次元画像を含む。マイクロプロセッサ２０（図１）は、キャプチャされたガスタービンの画像からの情報を保存および登録し、追跡システム１４（図１）から得られた３次元位置に基づいてグラフィックスを生成する。マイクロプロセッサ２０は、グラフィカル表現を生成することと、カメラ１８からの画像および生成されたグラフィカル表現に基づいて拡張現実画像を生成することとのために必要なソフトウェアを備えている。さらに、マイクロプロセッサ２０は、以前に保存された情報を保存および復元するための記憶媒体を備えている。

画像をオーバーレイするためには、ガスタービン７２に対するカメラ１８の位置および方位、ならびにガスタービンの方位を特定する必要がある。結果として、２つの座標系、すなわち、カメラ１８に付随するカメラ座標系（図示せず）と、ガスタービン７２に付随する座標系７８との間の関係を知ることが望ましい。追跡は、これらの座標系間の関係を監視するプロセスを意味する。マイクロプロセッサ２０（図１）は、追跡システム１４から得られた３次元位置を、ガスタービン７２の座標系７８を有する基準フレームに登録する。

図５は、例示的ディスプレイ装置１００の概略図である。ディスプレイ装置１００は、ＥｖｅｒｅｓｔＸＬＧ３（登録商標）という名称でＧｅｎｅｒａｌＥｌｅｃｔｒｉｃＩｎｓｐｅｃｔｉｏｎＴｅｃｈｎｏｌｏｇｉｅｓから市販されているハンドヘルドディスプレイを含む。ディスプレイ装置１００には、ガスタービン７２（図４）の内部にあるブレード１０２の画像が、マイクロプロセッサ２０によって生成された情報１０４を重ね合わせられて、表示されている。この情報の例として、ブレードのシリアル番号、稼動時間、ひびの識別などがある。ディスプレイ装置１００はさらに、表示を選択および編集するナビゲーションボタン１０６を含む。

図示されているように、現実画像と仮想画像とがブレンドされている。たとえば、仮想画像は、ガスタービン７２の現実画像の上に、トランスペアレンシとして与えられている。現実画像と仮想画像との間の位置合わせによって、現実画像と仮想画像とがそろえられる。仮想画像の位置合わせは、特に、位置、方位、縮尺、遠近感、および各カメラの内部カメラパラメータを含む。好ましくは、（倍率などであって、これに限定されない）内部カメラパラメータは、事前カメラ校正手続きにおいて決定される。位置合わせされた仮想画像は、リアルタイムで、ガスタービン７２の現実画像と並べられる。特定の実施形態では、ガスタービン７２の拡張現実画像をオペレータに提供するディスプレイ装置１００を、オペレータが携帯する。一例示的実施形態では、ディスプレイ装置１００は、「ビデオシースルー」方式である。

「ビデオシースルー」は、ディスプレイ装置１００などのハンドヘルドディスプレイ装置において拡張現実世界を生成して提示する。ディスプレイ装置と一体化されたカメラにより、現実世界のライブビデオストリームがキャプチャされる。カメラ１８（図１）は、ユーザがディスプレイ装置を「通して」見ることによって得られるであろう画像と同じ画像をカメラ１８が提供するように、ディスプレイ装置１００と関連して配置される。コンピュータで生成されたグラフィックスと組み合わされたライブビデオストリームは、ディスプレイ装置１００において、リアルタイムで提示される。さらなる機能性として、実際のカメラ焦点距離を出力しながらのカメラズーミングがある。これにより、ズーム中でも、コンピュータで生成されたグラフィックスを正確に表示することが可能になる。

図６は、対象物内を３次元追跡する例示的方法１２０の各ステップを表すフローチャートである。方法１２０は、ステップ１２２で、対象物にプローブを挿入することを含む。ステップ１２４で、対象物の周囲に１つまたは複数のアコースティックエミッションセンサが配置される。ステップ１２６で、第１のセンサおよび第２のセンサが、さらにプローブに取り付けられる。特定の実施形態では、第１のセンサおよび第２のセンサは、プローブの先端部に取り付けられる。別の実施形態では、単一のスピーカまたは複数のスピーカが、プローブの先端部に配置される。

図７は、対象物内の検査のための拡張現実画像を形成する例示的方法１４０の各ステップを表すフローチャートである。方法１４０は、ステップ１４２で、カメラで画像をキャプチャすることを含む。ステップ１４４で、１つまたは複数のアコースティックエミッションセンサを用いて、対象物内のプローブの位置が識別される。特定の実施形態では、位置は、プローブの先端部から発せられたアコースティック信号がアコースティックセンサに到達するまでの伝搬時間を計算することによって、識別される。ステップ１４６で、第１のセンサを用いて、プローブの仰角が測定される。ステップ１４８で、第２のセンサを用いて、プローブの方位角がさらに測定される。例示的実施形態では、プローブの方位角は、第２のセンサに磁界をかけることによって測定される。ステップ１５０で、対象物のグラフィックスが生成される。グラフィックスは、ステップ１５２で、測定された位置、仰角、および方位角に基づいて、キャプチャされた画像の上に位置合わせされ、これによって、拡張現実画像が形成される。

このように、前述の拡張現実のシステムおよび方法の各種実施形態は、便利で効率的な検査手段を達成する方法を提供する。本システムおよび方法はさらに、現場での検査、修理、および残骸除去を誘導および機能強化することを可能にする。さらに、本システムおよび方法は、損傷報告の改善によって、強制停止のリスクを低減する。

どの特定の実施形態によっても、前述の目的または利点の必ずしもすべてが達成可能であるわけではないことを理解されたい。したがって、たとえば、当業者であれば理解されるように、本明細書に記載のシステムおよび手法は、本明細書において教示されている１つまたは複数の利点を達成または最適化するように、かつ、本明細書において教示または提案されているであろう他の目的または利点を必ずしも達成することなく、具体化または実施されることが可能である。

さらに、当業者であれば、様々な実施形態における様々な特徴に互換性があることを理解されるであろう。たとえば、ある実施形態に関して記載された、Ｗｅｂカメラを使用することは、別の実施形態に関して記載された、ペンダントとともにディスプレイ装置として使用することに適応されることが可能である。同様に、記載された様々な特徴、ならびに、各特徴に対する他の知られた等価物は、本開示の原理に従う別のシステムおよび手法を構築するために、当業者によって併用および整合されることが可能である。

ごく限られた数の実施形態に関して、本発明を詳細に説明してきたが、本発明がそのような開示の実施形態に限定されないことは容易に理解されよう。むしろ、本発明は、本発明の趣旨および範囲から逸脱することなく、これまで記載されていなかった任意の数の変形形態、変更、置換、または等価構成を組み込むために修正されることが可能である。さらに、本発明の様々な実施形態を説明してきたが、本発明の諸態様は、説明された実施形態のうちのいくつかのみを含む場合があることを理解されたい。したがって、本発明は、前述の説明によって限定されると見なされるべきではなく、添付の特許請求項の範囲によってのみ限定される。

新規であって、米国特許証によって保護されることが必要であると主張される内容は以下のとおりである。

本発明の一実施形態による追跡システムを含む拡張現実画像システムを表すブロック図である。図１の追跡システムの中の要素を表すブロック図である。本発明の一実施形態による例示的ボアスコープを示す図である。図３のボアスコープによるガスタービンの検査のために形成された拡張現実画像の概略図である。本発明の一実施形態による例示的ディスプレイ装置を示す概略図である。対象物内を３次元追跡する例示的方法の各ステップを表すフローチャートである。対象物内の検査のための拡張現実画像を形成する例示的方法の各ステップを表すフローチャートである。

Claims

対象物（１２）の周囲に配置された少なくとも１つのアコースティックエミッションセンサ（３２）であって、前記対象物（１２）内に挿入されたプローブ（１３）の位置を、前記プローブ（１３）の位置または前記プローブ（１３）の近辺から発せられたアコースティックシグネチャの到達時刻に基づいて識別するように構成された、前記少なくとも１つのアコースティックエミッションセンサ（３２）と、
前記プローブ（１３）の仰角を検出するように構成された、第１のセンサ（３４）と、
前記プローブ（１３）の方位角を検出するように構成された、第２のセンサ（３６）と、を備える３次元追跡システム（１４）。
前記アコースティックシグネチャは、前記プローブ（１３）の先端部に配置された単一または複数のスピーカにより発せられたアコースティックシグネチャを含む、請求項１に記載の３次元追跡システム（１４）。
前記第１のセンサ（３４）は、重力による加速度に基づいて前記仰角を検出するように構成された微小電気機械システム重力センサ、またはジャイロスコープのうちの少なくとも一方を備える、請求項１又は２に記載の３次元追跡システム（１４）。
前記第２のセンサ（３６）は、磁界の存在下で前記方位角を検出するように構成された微小電気機械システム磁気センサを備える、請求項１乃至３のいずれか１項に記載の３次元追跡システム（１４）。
対象物（１２）内の検査のための拡張現実システム（１０）であって、
前記対象物（１２）内に挿入されたプローブ（１３）の３次元位置を識別するように構成された追跡システム（１４）であって、
前記対象物（１２）の周囲に配置された少なくとも１つのアコースティックエミッションセンサ（３２）であって、前記対象物（１２）内に挿入された前記プローブ（１３）の位置を、前記プローブ（１３）の位置または前記プローブ（１３）の近辺から発せられたアコースティックシグネチャの到達時刻に基づいて識別するように構成された、前記アコースティックエミッションセンサ（３２）と、
前記プローブ（１３）の仰角を検出するように構成された、第１のセンサ（３４）と、
前記プローブ（１３）の方位角を検出するように構成された、第２のセンサ（３６）と、を備える前記追跡システム（１４）と、
前記対象物（１２）の画像をキャプチャするように構成されたカメラ（１８）と、
グラフィックスを生成し、前記追跡システム（１４）によって識別された前記３次元位置に基づいて、前記グラフィックスを、前記カメラ（１８）でキャプチャされた前記画像の上に重ね合わせるように構成されたマイクロプロセッサ（２０）と、
拡張現実画像を表示するように構成されたディスプレイ装置と、を備える拡張現実システム（１０）。
前記ディスプレイ装置（２２）は、ハンドヘルドディスプレイを含む、請求項５に記載の拡張現実システム（１０）。
前記キャプチャされた画像は、２次元画像または３次元画像を含む、請求項５又は６に記載の拡張現実システム（１０）。
対象物内を３次元追跡する方法（１２０）であって、
前記対象物内にプローブを挿入するステップ（１２２）と、
前記対象物の周囲に少なくとも１つのアコースティックエミッションセンサを配置するステップ（１２４）と、
第１のセンサおよび第２のセンサを前記プローブに取り付けるステップ（１２６）と、を含む方法（１２０）。
対象物内の検査のための拡張現実画像を形成する方法（１４０）であって、
カメラで画像をキャプチャするステップ（１４２）と、
複数のアコースティックエミッションセンサを用いて、前記対象物内のプローブの位置を識別するステップ（１４４）と、
第１のセンサを用いて、前記プローブの仰角を測定するステップ（１４６）と、
第２のセンサを用いて、前記プローブの方位角を測定するステップ（１４８）と、
前記対象物のグラフィックスを生成するステップ（１５０）と、
測定された前記位置、前記仰角、および前記方位角に基づいて、前記グラフィックスを、前記キャプチャされた画像の上に位置合わせして、拡張現実画像を形成するステップ（１５２）と、を含む方法（１４０）。
前記識別するステップ（１４４）は、前記プローブの先端部から発せられたアコースティック信号が前記アコースティックセンサに到達するまでの伝搬時間を計算することを含む、請求項９に記載の方法（１４０）。