JP2017512609A - 手術部位のリアルタイムトラッキング及びモデリングのためのシステム並びに方法 - Google Patents

Abstract

本発明は、ベクター化された単一基準レファレンス５０２及び手術部位映像センサー５１０、５７４に取り付けられたベクター化された３次元トラッキングマーカー５０４、５１２、５７２を採用する手術部位モニタリングシステム１５００、１６００並びに連携した使用方法に関する。トラッカー５０８は、２つのトラッキングマーカーの映像情報を獲得し、前記映像情報から手術部位５５０に取り付けられた映像センサー及び基準レファレンスの３次元位置及び方向を決定できるように、トラッキングマーカー上のマーキングまたはトラッキングマーカーの形状のうち、１つを用いる。手術手順の前に取り付けられた基準レファレンスを用いて手術部位で取得したスキャンを使用して、手術部位のライブ映像が前記映像センサーから提供され、手術部位の３次元モデルに対してリアルタイムでオーバーレイできる。【選択図】図７

Description

本発明は、位置モニタリングハードウェアシステム及びソフトウェアシステムに関する。さらに詳細に、本発明は、手術状態をモニタリングするための手術道具及びソフトウェアに関するものである。

手術手順を観測し、モニタリングするための視覚的及び他の感覚的システムが公知されている。現在、かかる観察及びモニタリングシステムを用いてコンピュータが補助する手術が可能であり、実際、日常的に行われている。かかる手順において、コンピュータソフトウェアは、患者の臨床映像及び現在の手術手順から観察された手術映像と相互作用し、手術を行う際、外科医を案内する。例えば、１つの公知のシステムにおいて、キャリアアセンブリは患者の顎骨に対し、正確に繰り返せる位置で取り付け要素の上部に少なくとも１つの基準マーカーを有する。その基準マーカーと患者の顎骨の間に位置登録を提供するため、そのキャリアアセンブリを採用し、その位置登録を使用してドリルリングアセンブリを案内するトラッキングシステムを採用することで、人工の歯（インプラント）を移植する。このような相対的に新しいコンピュータ具現技術を備えることで、更なる改良は手術手順の効率性を一層向上させることができる。

本発明は、手術ハードウェア及びソフトウェアのモニタリングシステム並びに方法の実施形態に関するものであって、患者の手術までに余裕がある間、例えば患者が手術を準備している間、そのシステムが手術部位をモデル化できるよう、手術計画を可能にする。１つの実施形態において、意図されている手術手順を追跡し、手術手順において不適切な位置を表す、起こり得る境界侵害（ｂｏｕｎｄａｒｙ ｖｉｏｌａｔｉｏｎ）について外科医に警告するため、このモデルを使用することができる。他の実施形態において、ハードウェアは手術の間、前記モデルを参照して道具の動きを追跡し、手術手順の観察を向上させることができる。このような方式で手術計画及び遂行を向上させることができる追加的なツールが外科医に提供される。

前記システムは、臨界領域（Ｃｒｉｔｉｃａｌ ａｒｅａ）に対して前記モニタリングシステムの方向を決定できるように、特別に構成された単一基準レファレンスを用いる。前記基準レファレンスは、意図された手術部位に隣接した位置に取り付けられている。例えば、歯科 手術の場合、手術部位に隣接して基準レファレンスを確実に位置付けるため、副木を使用することができる。続いて、手術部位に関する今後の映像処理のため、前記基準レファレンスは、レファレンスポイント、即ち基点として使用することができる。前記基準レファレンスはスキャンで明確に認識できる基準マーカーを有しているので、手術領域の他の部分に対して識別できる。

本発明の実施形態は、トラッキングマーカーを用いて患者の３次元位置を自動的にコンピューティングすることに関する。前記トラッキングマーカーはベクター化されており、前記基準レファレンスに対し、固定された空間位置に直接取り付けたり、若しくは特有の３次元形状を有することができるトラッキングポールを介して前記基準レファレンスに取り付けたりすることができる。歯科手術の場合、トラッキングポールは前記基準レファレンスのベースに接続され、前記基準レファレンスは患者の口腔内に固定される。それぞれのトラッキングポール装置は、その上部、若しくは適切なトラッキングマーカー上に位置している特別な観察パターンと、前記ベースへの特別で幾何学的な接続を有しているため、コンピュータソフトウェアは一連の位置算出と関連して、この観察パターンと幾何学的な連結を特別で幾何学的な構造に相応するものとして認識する。個々のトラッキングポール装置は独特な構成を持っているが、これらは全て同一の連結ベースを共有しているため、任意の基準レファレンスとして用いることができる。特別なトラッキング情報の算出は使用される特別なトラッキングポールによって指示され、実際、患者の位置はそれによって計算される。したがって、トラッキングポール装置は相互入れ替えてもよく、位置の計算は同じままである。歯科手術の場合、このような特徴により、空間における患者の頭の位置が自動的に認識される。或いは、センサーデバイス、即ちトラッカーが、基準キー及びそのトラッキングポールに対して公知の位置にあり得るので、現在のデータ映像がスキャン映像アイテムに図解され得る。

前記基準レファレンス及びそれぞれのトラッキングポールまたは関連したベクター化（ベクトル化）されたトラッキングマーカーは、放射線不透過性（ｒａｄｉｏ−ｏｐａｑｕｅ）素材で製造されるパターンを有することができるため、映像情報がソフトウェアによってスキャニングされる際、特定アイテムが認識される。通常、手術で使用されるそれぞれの器具は、それに関連したトラッキングマーカー上に独特なパターンを有しているため、トラッカー情報が前記道具を識別する。１つの実施形態において、ソフトウェアは、基準レファレンス及び／またはトラッキングポールまたはそれらに取り付けられたトラッキングマーカー上に形成された前記パターンの方向及び位置によって、座標系で手術部位のモデルを生成する。一例として、前記基準レファレンスが関連した、予め割り当てられたパターンを有している実施形態において、前記トラッカーから送信された映像情報を解析する分析ソフトウェアは、前記パターンを認識することができ、起点ベースの部位を、前記基準レファレンスが副木に取り付けられている位置に選択することができる。万一、前記基準キーが関連したパターンを有していない場合は、基準部位が指定される。歯の場合、かかる作業は歯に対する特定の空間的関係に行われてもよく、基準レファレンスを配置できるように副木の位置が自動的に指定されてもよい。

適切な、ベクター化されたトラッキングマーカーでタッグされているインサイチュ映像部（ｉｎ ｓｉｔｕ ｉｍａｇｅｒ）は、手術部位に関するライブイメージを提供する。前記映像部上に位置する前記トラッキングマーカーは、システムのトラッカーによって追跡される。前記インサイチュ映像部と前記トラッキングマーカーの相互相対的な位置及び方向が知られているので、前記映像部上に位置する前記マーカーを追跡することによって、システムのコントローラーは前記映像部の位置及び方向を導出することができる。そのため、前記映像部の正確なビューがコンピューティングされ、前記インシチュ映像部から得られるライブイメージは、リアルタイムで前記手術部位のモデル上にオーバーレイされ得る。

第１側面から、手術患者の手術部位に固定されるように構成された、ベクター化された単一基準レファレンス（ｓｉｎｇｌｅ ｖｅｃｔｏｒｉｚｅｄ ｆｉｄｕｃｉａｌ ｒｅｆｅｒｅｎｃｅ）と、前記手術部位に隣接して配置されるように構成され、前記手術部位のライブ映像を獲得するように構成された映像センサーと、放射線を用いて前記手術部位を照明するように構成された照明部と、前記単一基準レファレンスに対し、予め設定された、固定された３次元位置及び方向に堅固に取り付けられた第１のベクター化されたトラッキングマーカー（ｖｅｃｔｏｒｉｚｅｄ ｔｒａｃｋｉｎｇ ｍａｒｋｅｒ）と、前記映像センサーに対し、予め設定された、固定された３次元位置及び方向に堅固に取り付けられた第２のベクター化されたトラッキングマーカーと、少なくとも前記第１及び第２のトラッキングマーカーの映像情報を獲得できるように構成され、配置されたトラッカーと、手術手順の前に前記手術部位に固定された前記単一基準レファレンスを用いて獲得される前記手術部位に対するスキャンデータと、前記トラッカー及び前記映像センサーにデータ単位で連結されており、メモリと一連の命令を有するソフトウェアプログラムを備えたプロセッサを含むコントローラーであって、前記一連の命令は、前記プロセッサによって実行されたとき、前記映像情報から前記第１及び第２のトラッキングマーカーの現在の位置及び方向を決定し、前記単一基準レファレンスの前記現在の３次元位置及び方向と、前記手術部位の前記現在のライブ映像に前記スキャンデータを連携させるコントローラーと、前記コントローラーにデータ単位で連結され、手術手順の間に前記スキャンデータに対して３次元空間関係で前記手術部位の前記現在のライブ映像を見せるように構成されたディスプレイを含む、手術手順のための位置モニタリングシステムが提示される。前記トラッカーは、光学トラッカーであり得る。さらに具体的に、前記トラッカーは非ステレオ光学トラッカーであり得る。他の実施形態において、前記トラッカーはステレオ光学トラッカーであり得る。前記単一基準レファレンスは、前記手術部位に固定されたとき、少なくとも部分的に非可視的であり得る。

前記システムは、第３のベクター化されたトラッキングマーカーを有する手術道具をさらに含むことができるが、前記トラッカーは、前記第３のトラッキングマーカーの映像情報を獲得できるように構成されて配置され、前記ソフトウェアプログラムは、前記プロセッサによって実行されるとき、前記映像情報から前記第３のトラッキングマーカーの前記現在位置及び方向を決定し、前記スキャンデータを前記手術道具の前記現在の位置及び方向に連携させる他の一連の命令を有する。

他の側面において、ベクター化された単一基準レファレンスを手術部位に隣接した基準位置に着脱可能に取り付ける段階であって、前記基準レファレンスは、スキャン上で認識できるマーキング及び形状のうち、少なくとも１つを有する段階と、手術手順前に、取り付けられた前記単一基準レファレンスを用いて前記手術部位及び前記基準位置のスキャンを生成する段階と、トラッカーの視界内に配置された第１のベクター化されたトラッキングマーカーを前記単一基準レファレンスに着脱可能、かつ、賢固に取り付ける段階と、前記トラッカーの視界内に配置された第２のベクター化されたトラッキングマーカーを有する映像センサーを前記手術部位に隣接して配置する段階と、前記トラッカーから、前記手術部位及び前記第１及び第２のトラッキングマーカーのうち、少なくとも１つの映像情報を受信する段階と、前記映像センサーから、前記手術部位のライブ映像を獲得する段階と、前記手術部位の前記スキャンデータ、前記映像情報及び前記ライブ映像から、前記手術部位のライブイメージをオーバーレイされた前記手術部位の、連続的にアップデートされた３次元モデルを決定する段階とを含む、手術部位をモニタリングするための方法が提示される。前記単一基準レファレンスを着脱可能に取り付ける段階は、前記トラッカーに対し、少なくとも部分的に非可視的に配置された前記単一基準レファレンスを着脱可能に取り付ける段階であり得る。前記映像情報を受信する段階は、光学映像情報を受信する段階であり得る。特に、前記光学映像情報を受信する段階は、非ステレオ光学映像情報を受信する段階であり得る。前記ライブ映像を獲得する段階は、ライブ光学映像を獲得する段階とライブＸ線透過映像を獲得する段階のうち、１つを含むことができる。前記ライブ映像を獲得する段階は、反射光に基づいてライブ光学映像を獲得する段階とライブ蛍光透視鏡映像を獲得する段階のうち、１つまたは２つの段階を含むことができる。前記ライブ映像を獲得する段階は、照明部によるＸ線放射線、励起放射線及び反射型光学放射線のうち、少なくとも１つを用いて前記手術部位を照明する段階を含むことができる。

前記手術部位の前記連続的にアップデートされた３次元モデルを決定する段階は、前記単一基準レファレンスのマーキング及び形状のうち、少なくとも１つに基づいて、前記第１スキャンデータから前記手術部位に対する前記ベクター化された単一基準レファレンスの３次元位置及び方向を決定する段階と、前記映像情報から、前記第１及び第２のベクター化されたトラッキングマーカーに関する３次元位置及び方向情報を決定する段階と、前記第１及び第２のトラッキングマーカーの前記３次元位置及び方向から、前記単一基準レファレンス及び前記映像センサーそれぞれの相応する３次元位置及び方向を算出する段階を含むことができる。

前記手術部位の連続的にアップデートされた３次元モデルを決定する段階は、前記映像情報から、手術道具に固定されるように取り付けられた第３のベクター化されたトラッキングマーカーに関する３次元位置及び方向情報を決定する段階と、前記第３のトラッキングマーカーの前記３次元位置及び方向から、前記手術部位の相応する３次元位置及び方向を算出する段階をさらに含むことができる。

図面と共に後述する本発明の実施形態の説明を参照することによって、上記で言及したり、若しくは他の特徴及び目的、かかる特徴及び目的を達成するための方法はさらに明確になり、本発明そのものはさらに理解できるであろう。

本発明の実施形態を利用できるネットワークシステムの概略的な模式図である。 コンピューティングシステム（サーバまたはクライアント、または適切であれば両方共）のブロック図であって、このコンピューティングシステムは選択的な入力装置（例えばキーボード、マウス、タッチスクリーンなど）と出力装置、ハードウェア、ネットワークコネクション、１つ以上のプロセッサ並びにデータ及びモジュールのためのメモリ／ストレージを備えており、本発明の実施形態と共にコントローラ及びディスプレイとして利用することができる。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である 本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。 本発明の位置登録方法の一実施形態を示すフローチャート模式図である。 本発明の位置登録方法の一実施形態を示すフローチャート模式図である。 本発明の位置登録方法の一実施形態を示すフローチャート模式図である。 本発明の一実施形態によってトラッキングポールと歯科用ドリルを備えるベクター化された歯科用基準キーの図面である。 本発明の他の実施形態によってベクター化された基準キー、内視鏡、生検針を示す内視鏡手術部位の図面である。 本発明の他の実施形態に係る３次元位置及び方向トラッキングシステムを示す図面である。 本発明のさらに他の実施形態に係る３次元位置及び方向トラッキングシステムを示す図面である。 手術部位をモニタリングするための方法を示すフローチャートである。

多数の図面全体において相応する参照記号は相応する部分を示す。たとえ図面が本発明の実施形態を示していても、それらの図面は必ずしも同じ割合ではなく、本発明をさらに上手く例示し、説明できるよう、ある特徴は誇張になっていることもある。フローチャートとスクリーンショットもまた、本質上、代表的であるが、本発明の実際の実施形態は、図面に示していない他の特徴及び段階を含むことができる。本明細書で開示された例示は、１つの形態で本発明の実施形態を説明する。しかし、そのような例示は、決して本発明の範囲を制限するものとして解釈されてはならない。

下記に開示された実施形態は、網羅的だったり、後述する詳細な説明に開示されている正確な形態に本発明を制限したりしようとする意図ではない。寧ろ、開示された実施形態における教示を本技術分野における通常の技術者が活用できるよう、実施形態が選択され、説明されている。

後述する詳細な説明は、英数字文字または他の情報を表すコンピュータメモリ内でデータビット上の作動に対するアルゴリズム及び記号表現で部分的に提示されている。前記ハードウェアコンポーネントは特定のスキャニング法を利用し、特定形態と相対的な方向及び大きさを備えているものに示されているが、一般的な場合、通常の技術者であれば本発明の教示内で様々な特定形態、方向及びスキャニング法が使用できることを認識することができる。コンピュータは、映像データーを獲得して処理するインターフェースを含み、一般的に命令を行うプロセッサと、命令及びデータを保存するためのメモリとを含む。汎用コンピュータが、そのメモリ内に保存されている一連のマシンエンコーディングされた命令を有する場合、かかるエンコーディングされた命令に応じて作動するコンピュータは、特定形態のマシン、即ち、その一連の命令により具現化された作動を行うよう、特別に構成されているコンピュータであり得る。命令の一部は、他のマシンの作動を制御する信号を生成できるように構成することができる。よって、命令の一部はそれらの制御信号を介して作動し、コンピュータ自体から遠く離れている素材を変形させることができる。これらの説明及び表示は、データ処理分野における通常の技術者によって、彼らの作業内容をその分野における通常の技術者に最も効率よく伝達するに用いられる手段である。

本明細書において、そして一般的にアルゴリズムは希望する結果を誘導する、一貫性ある一連の段階として認識されている。これらの段階は物理量を物理的に処理するのに要求され、手術部位の周辺物質を表すスキャニングされたデータを観察し、測定する段階である。必ずしも必要なものではないが、通常、それら量は、保存、転送、変形、組合、比較及び他に処理できる電気的若しくは磁気的パールスまたは信号の形態を有する。時々、主に便宜的使用との理由で、それらの信号を物理的アイテムや顕示に対するレファレンスとしてビット、値、記号、文字、ディスプレイデータ、ターム、数字などで呼ぶことが便利であると判明されたが、物理的なアイテムや顕示においてそれらの信号は、映像の基礎となるデータを確保するよう、具現或いは表現されている。しかし、それら及び類似の用語は全て適切な物理量と関連しており、本明細書でそれらの量に適用される便利なラベルとして単に使用されていることに留意すべきである。

一部のアルゴリズムは情報を入力すると同時に希望する結果を生成するためにデータ構造を利用することができる。データ構造はデータ処理システムによるデータ管理を非常に促進させ、精巧なソフトウェアシステムを介さなければアクセスすることができない。データ構造はメモリの情報内容ではなく、寧ろメモリ内に保存された情報に対する物理的構造を付与、若しくは顕示する特定の電子的構造要素を表す。単なる抽象化を飛び越え、データ構造はメモリ内の特定の電気的または磁気的な構造要素であって、時々関連アイテムのデータモデリングの物理的特性である複雑なデータを正確に表し、同時にコンピュータの作動における効率性を増加させる。

さらに、行われる処理作業は、通常、人間操作員によって行われる精神的動作に関連している、比較若しくは追加のような用語で時々言及される。本発明の一部分を形成する、本発明で説明した任意の作動において、人間操作員のそのような能力は全く必要でないか、若しくは殆どの場合に好ましくなく、かかる作動は機械作動である。本発明の作動を行うために有用な機械は、汎用デジタルコンピュータまたは他の類似の機器を含む。全ての場合において、コンピュータを作動する際の作動方法と、コンピュータ操作自体の方法の間の区別は認識されるべきである。本発明は、電気的または他の（例えば機械的、化学的）物理的信号を処理する際、他の希望する物理的顕示または信号を生成することができるようにコンピュータを作動させる方法及び装置に関するものである。前記コンピュータはソフトウェアモジュールで作動するが、このソフトウェアモジュールは一連の機械命令を表す媒体に保存されている信号の収集所（コレクション）であり、一連の機械命令を通じ、コンピュータプロセッサはアルゴリズム段階を具現する機械命令を行うことができる。かかる機械命令は、プロセッサがその命令を具現するように解析する実際のコンピュータコードであってもよく、代わりとして実際のコンピュータコードを獲得できるように解析される、かかる命令のハイレベルのコーディングであってもよい。ソフトウェアモジュールはまた、ハードウェアコンポーネントを含むことができるが、アルゴリズムの一部の様相は命令の結果としてではなく、回路自体によって行われる。

また、本発明は、それら作動を行うための装置に関する。この装置は、要求される目的のために特別に構成することができ、若しくはコンピュータ内に保存されているコンピュータプログラムによって選択的に起動したり、若しくは再構成される汎用コンピュータを含むことができる。特別なハードウェアを必要とすると明示的に示されない限り、本明細書に提示するアルゴリズムは、任意の特定コンピュータまたは他の装置と本質的に連係していない。一部の場合において、コンピュータプログラムは特定のプロトコールで構成されている信号を介し、他のプログラムまたは装備と通信したり連係したりするが、このプログラムまたは装置は、相互作用できる特定のハードウェアまたはプログラミングを必要としたり、必要としなかったりする。特に、本明細書における教示にしたがって記録されたプログラムが備えられている多様な汎用マシンを使用することができ、または要求される方法段階を行うために、さらに特化した装置を構成する方が一層好都合であると判明されるかもしれない。様々なこれらマシンのために要求される構造は、下記の説明から明らかになるであろう。

本発明は「オブジェクト指向」ソフトウェア、特に「オブジェクト指向」運営体制を取り扱うことができる。この「オブジェクト指向」ソフトウェアは「オブジェクト」に編成されるが、それぞれのオブジェクトはそのオブジェクトに転送された「メッセージ」若しくはそのオブジェクトと一緒に発生する「イベント」に応えて行われる様々な手順（方法）を記述するコンピュータ命令のブロックを含む。例えば、かかる作動は変数の処理、外部イベントによるオブジェクトの活性化、及び他のオブジェクトへの１つ以上のメッセージの伝達を含む。必ずしも必要なわけではないが、物理的オブジェクトは、物理的装置から観察されたデータを収集し、ソフトウェアシステムにその観察されたデータを転送できる相応するソフトウェアオブジェクトを有する。かかる観察されたデータは単に便利であるという点で物理的オブジェクト及び／またはソフトウェアオブジェクトからアクセスすることができる。したがって、後述する説明で「実際のデータ」が使用される場合、かかる「実際のデータ」は器具自体からあってもよく、または相応するソフトウェアオブジェクト若しくはモジュールからあってもよい。

メッセージはプロセスを行う任意の機能と知識を有するオブジェクトの間で転送及び受信される。メッセージはユーザーの命令に応じて発生するが、例えば、イベントを生成する「マウス」ポインターでアイコンを活性化させるユーザーによって発生する。また、メッセージは、メッセージの受信に応じるオブジェクトによって発生し得る。オブジェクトのうちの１つのオブジェクトがメッセージを受信する際、そのオブジェクトは受信したメッセージに相応する作動（メッセージ手順）を行い、必要であれば、その作動の結果を返す。それぞれのオブジェクトは、オブジェクト自体の内部状態（インスタンス変数）が保存される領域を有するが、その領域で他のオブジェクトのアクセスは許容されない。オブジェクト指向システムの１つの特徴は、継承である。例えば、ディスプレイ上に「円」を描くためのオブジェクトは、ディスプレイ上に「形状」を描くための他のオブジェクトから機能と知識を継承することができる。

プログラマーは、個別のコードブロックを記録することにより、オブジェクト指向プログラミング言語で「プログラム化する」が、それぞれのコードブロックは、その方法を定義することでオブジェクトを生成する。メッセージにより相互通信するように構成されたこれらオブジェクトのコレクションは、オブジェクト指向プログラムを含む。オブジェクト指向コンピュータプログラミングは、対話型システムのモデリングを容易にするが、このモデリングでシステムのそれぞれのコンポーネントはオブジェクトを用いてモデリングすることができ、それぞれのコンポーネントの行為はそれに相応するオブジェクトの方法によってシミュレーションされ、コンポーネントの間の相互作用は、オブジェクトの間で転送されるメッセージによってシミュレーションされる。

操作員は、オブジェクトのうちの１つのオブジェクトにメッセージを転送することで、オブジェクト指向プログラムを含む相互連携したオブジェクトのコレクションを誘引（ｓｔｉｍｕｌｕｓ）することができる。メッセージを受信すると、予め設定された機能を行うことにより、オブジェクトに反応させることができるが、予め設定された機能は、１つ以上の他のオブジェクトに追加的なメッセージを転送することを含むことができる。その他のオブジェクトは受信したメッセージに応じ、順次に追加的な機能を行うことができるが、追加的な機能はさらに多くのメッセージを転送することを含む。この方式で、メッセージと応答のシーケンスは、無限に続けられることができ、または全てのメッセージが応答され、かつ、新しいメッセージが転送されなかったときに終了することができる。オブジェクト指向言語を活用するシステムをモデリングする際、プログラマーは、モデリングされたシステムのそれぞれのコンポーネントがどうして１つの誘引に反応するかだけについて考えればよく、一部の誘引に応じて行われる作動手順については考える必要がない。かかる作動手順は、本質的にその誘引に応答するオブジェクトの間における相互作用の結果から得られ、プログラマーによって予め定められる必要はない。

たとえオブジェクト指向プログラミングが、相互連携したコンポーネントシステムのシミュレーションをさらに直観的になるようにすることはできるとしても、順次に構成されたプログラムの場合のように、通常、１つのオブジェクト指向プログラムによって行われる作動手順は、ソフトウェアのリストから直ちに明確になるわけではないため、オブジェクト指向プログラムの作動は時々理解し難い。また、オブジェクト指向プログラムの作動が非常に明白に顕示されることを観察して、オブジェクト指向プログラムがどのように動作するかを決めることも容易ではない。プログラムで相対的に少数である段階のみ観察可能なコンピュータ出力を生成するため、プログラムに応じ、コンピュータによって行われる殆どの作動は観察者に見えない。

後述する説明において頻繁に用いられるいくつかの用語は、本明細書の脈絡で特別な意味を有する。用語「オブジェクト」は一連のコンピュータ命令及び連携したデータに関するものであって、ユーザーにより、直接的に若しくは間接的に活性化することができる。用語「ウィンドウ環境」、「ウィンドウ実行」及び「オブジェクト指向運営体制」は、ラスタースキャンされた動画ディスプレイにおいて、有界領域（ｂｏｕｎｄｅｄ ｒｅｇｉｏｎ）の内部のように動画ディスプレイで情報が処理され、ディスプレイされるコンピュータユーザーインターフェースを示すために用いられる。用語「ネットワーク」「近距離通信網」、「ＬＡＮ」、「広域通信網」、若しくは「ＷＡＮ」はコンピュータの間でメッセージが転送できる方式で接続されている２台以上のコンピュータを意味する。かかるコンピュータネットワークにおいて、１つ以上のコンピュータは、通常、ハードディスクドライブのような大きいストレージ装置とプリンター、若しくはモデムのような周辺装置を作動させる通信ハードウェアを備えたコンピュータである「サーバ」として作動する。「ワークステーション」という用語が用いられる他のコンピュータはユーザーインターフェースを提供し、コンピュータネットワークのユーザーは共有データファイル、共通周辺装置及びワークステーションの相互間通信のようなネットワークリソースにアクセスすることができる。ユーザーはコンピュータプログラムまたはネットワークリソースを活性化し、「プロセス」を生成するが、プロセスは入力変数によって決定される特定の作動特性が備えられたコンピュータプログラムの一般的な作動とその環境を全て含む。プロセスに類似しているのがエージェントであるが（たまに知能型エージェントと呼ばれる）、エージェントはユーザーの干渉なく、いくつかの周期的なスケジュールに従い、情報を収集するか、若しくはいくつかの他のサービースを行うプロセスである。一般的にエージェントは、ユーザーによって通常提供されるパラメータを使用し、ホストマシン上でまたはネットワーク上の他のいくつかのポイントで位置を探索し、そのエージェントの目的に関する情報を収集し、その情報を周期的にユーザーに提供する。

用語「デスクトップ」はそのデスクトップに連携したユーザーに、連携したセッティングを備えている客体のメニュー、若しくはディスプレイを提示する特定のユーザーインターフェースを意味する。デスクトップがネットワークリソースにアクセスする際、通常、遠隔サーバで実行できる応用プログラムが必要となるが、デスクトップは応用プログラムインターフェース、即ちＡＰＩを呼び出して、ユーザーがネットワークリソースにコマンドを提供し、任意の出力を観察できるようにする。用語「ブラウザ」は、ユーザーに必ずしも明白ではないが、デスクトップとネットワークサーバの間にメッセージを転送し、ネットワークユーザーのディスプレイ及びネットワークユーザーとの相互作用に関与するプログラムのことを指す。ブラウザは、コンピュータの汎世界的なネットワーク、即ち「ワールドワイドウェブ」、若しくは簡単に「ウェブ」でテキスト情報及びグラフィック情報を転送するための通信プロトコルを活用するよう設計されている。本発明に常用できるブラウザの例は、マイクロソフト社で販売しているインターネットエクスプローラー（インターネットエクスプローラーは、マイクロソフト社の商標）、オペラソフトウェアＡＳＡで作ったオペラブラウザプログラム、またはモジラファウンデーションで配布しているファイアフォックスブラウザプログラム（ファイアフォックスは、モジラファウンデーションの登録商標）を含む。後述する説明はブラウザのグラフィックユーザーインターフェースという面でその作動を詳細に説明するが、本発明は、グラフィック基盤のブラウザの多い機能を有している、テキスト基盤のインターフェース、さらには音声若しくは視覚的に活性化されたインターフェースにおいても実行することができる。

ブラウザディスプレイ情報は、標準汎用文書記述言語（ＳＧＭＬ）若しくはハイパーテキスト文書記述言語（ＨＴＭＬ）でフォーマットされているが、この２つの言語は全てスクリプティング言語であって、特定のＡＳＣＩＩテキストコードを使用し、テキスト文書内に非視覚的コードを内蔵している。これらのフォーマットでのファイルは、インターネットのようなグローバル情報ネットワークを含む、コンピュータネットワークを渡って容易に転送することができ、ブラウザがテキスト、映像をディスプレイできるようにし、音声及び映像の録音物を演奏できるようにする。ウェブは、その通信プロトコルと共にこれらのデータファイルフォーマットを活用し、サーバとワークステーションの間でかかる情報を転送する。ブラウザはまた、拡張性文書記述言語（ＸＭＬ）のファイル内に提供されている情報をディスプレイできるよう、プログラム化できるが、ＸＭＬファイルがあれば様々な文書型定義（ＤＴＤ）を使用することができるため、本質上、ＳＧＭＬ若しくはＨＴＭＬより汎用的である。データフォマッティング及びスタイルシートフォマッティングが別に含まれているため（フォマッティングは情報をディスプレイする方法として考えられるので、ＸＭＬファイルはデータ及び連携した方法を有する）、ＸＭＬファイルは客体に類推することができる。

前述で定義したように、用語「個人携帯情報端末」、または「ＰＤＡ」は、コンピューティング、電話、ファックス、電子メール及びネットワーキングの特徴が結合されている任意の携帯用モバイルデバイスを意味する。用語「無線広域通信網」、または「ＷＷＡＮ」は、携帯用デバイスとコンピュータの間でデータ転送のための媒体として機能する無線ネットワークを意味する。用語「同期化」は、有線または無線のうち、１つを経由し、例えば携帯用デバイスの第１デバイスと、例えばデスクトップコンピュータの第２デバイスとの間における情報交換を意味する。同期化は２つのデバイスにおけるデータが同一（少なくとも同期化時点で）であることを保障する。

無線広域通信網において、通信はアナログ、デジタルセルラー、または個人携帯通信サービース（ＰＣＳ）ネットワーク上の無線信号の転送を介して主に行われる。信号は、極超短波及び他の電磁気波を介しても転送することができる。現在、殆どの無線データ通信は、符号分割多重接続（ＣＤＭＡ）、時分割多重接続（ＴＤＭＡ）、世界移動通信システム（ＧＳＭ）のような２世代技術、３世代技術（ワイドバンド若しくは３Ｇ）、４世代（ブロードバンド若しくは４Ｇ）、個人デジタルセルラー（ＰＤＣ）を使用するセルラーシステムを経由したり、または高度携帯電話システム（ＡＭＰＳ）で使用されているセルラーデジタルパケットデータ（ＣＤＰＤ）のようなアナログシステムにおけるパケットデータ技術を通じて発生する。

用語「無線応用通信プロトコル」、即ち「ＷＡＰ」は、小型ユーザーインターフェースが備えられた携帯用デバイス及びモバイルデバイスでウェブ基盤データの伝達及び提示を容易にする汎用仕様を意味する。「モバイルソフトウェア」は、応用プログラムが移動電話またはＰＤＡのようなモバイルデバイスで具現できるようにするソフトウェア運営体制を指す。モバイルソフトウェアの例は、Ｊａｖａ及びＪａｖａ ＭＥ（ＪａｖａとＪａｖａ ＭＥはカリフォルニア州・サンタクララ所在のサンマイクロシステムズ社の商標）、ＢＲＥＷ（ＢＲＥＷはカリフォルニア州・サンディエゴ所在のクアラコム社の登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（Ｗｉｎｄｏｗｓはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、Ｐａｌｍ ＯＳ（Ｐａｌｍはカリフォルニア州・サニーベール所在のパーム社の登録商標）、Ｓｙｍｂｉａｎ ＯＳ（Ｓｙｍｂｉａｎは英国・ロンドン所在のシンビアンソフトウェア株式会社の登録商標）、ＡＮＤＲＯＩＤ ＯＳ（ＡＮＤＲＯＩＤはカリフォルニア州・マウンテンビュー所在のグーグル社の登録商標）、ｉＰｈｏｎｅ ＯＳ（ｉＰｈｏｎｅはカリフォルニア州・クパチーノ所在のアップル社の登録商標）、及びＷｉｎｄｏｗｓ Ｐｈｏｎｅ７がある。「モバイルアプリ」は、モバイルソフトウェアを用いて実行するように記録されたソフトウェアプログラムを指す。

用語「スキャン」、「基準レファレンス」、「基準位置」、「マーカー」、「トラッカー」及び「映像情報」は、本開示において特別な意味を有する。本開示の目的に関連し、「スキャン」またはその派生語は、Ｘ線、磁気共鳴映像（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、超音波検査、コーンビームコンピュータ断層撮影（ＣＢＣＴ）または患者の定量的な空間表現を生成する任意のシステムを指し、「スキャナ」はかかるスキャンが獲得される手段である。用語「基準キー」または「基準レファレンス」または単純に「基点」は、認識可能な固定ポイントとしてユニークに識別できるスキャン映像における客体またはレファレンスを指す。本明細書において、用語「基準位置」は、基準レファレンスが取り付けられる有用な位置を指す。「基準位置」は、普通、手術部位に隣接する。用語「マーカー」または「トラッキングマーカー」は、外科または歯科手術位置に隣接したセンサーによって認識できるオブジェクトまたはレファレンスを指すが、ここでセンサーは、光センサー、無線識別装置（ＲＦＩＤ）、音声感知センサー、紫外線若しくは赤外線センサーであってもよい。用語「トラッカー」は、手術中、マーカーの位置と、リアルタイムで連続的にマーカーの方向及び動きを決定できるデバイス、若しくはデバイスシステムを指す。具現可能な例として、例えばマーカーが印刷されたターゲットで構成されていれば、前記トラッカーはステレオカメラのペアを含むことができる。一部の実施形態において、前記トラッカーは、非ステレオ光学トラッカー、例えば光学カメラである。前記カメラは、例えば、可視光線領域または近赤外線領域で作動することができる。本明細書において用語「映像情報」は、光学、若しくは他の方法でトラッカーによって取得される、１つ以上のトラッキングマーカーに関する情報であって、手術中、マーカーの位置とマーカーの方向及び移動をリアルタイムで連続的に決定するに有用な情報を説明するために用いられる。いくつかの実施形態において、トラッカーから相当離隔されている手術部位に対するリアルタイムのクローズアップ映像を獲得するため、映像デバイスを採用することができる。本明細書において、かかる映像デバイスは、用語「インシチュ映像部」で記述され、前記インシチュ映像部は「照明部」と「映像センサー」を含むことができる。本明細書におけるスキャンまたは映像情報において、その外形から３次元で独特に決定できるその方向を生成するため、形状及びマーキングのうち、少なくとも１つを有する基準キー、基準拡張及びトラッキングマーカーを説明するために用語「ベクター化」が用いられる。これらの３次元方向が決定できれば、これらの３次元位置も分かる。

図１は、一実施形態によるコンピューティング環境１００の高水準のブロック図である。図１は、ネットワーク１１４によって接続されているサーバ１１０と３つのクライアント１１２を例示している。説明を簡略、かつ、明確にできるよう、図１に３つのクライアント１１２のみが示されている。コンピューティング環境１００の実施形態は、例えばインターネットであるネットワーク１１４に接続されている数千、若しくは数万のクライアント１１２を有することができる。ユーザー（不図示）はクライアント１１２のうちの１つでソフトウェア１１６を作動させ、サーバ１１０及び連携した通信装備及びソフトウェア（不図示）を経由し、ネットワーク１１４へメッセージを送信・受信することができる。

図２はサーバ１１０、若しくはクライアント１１２を具現するに適切なコンピュータシステム２１０のブロック図である。コンピュータシステム２１０はバス２１２を含むが、バス２１２は、中央プロセッサ２１４、システムメモリ２１７（普通、ＲＡＭであるが、ＲＯＭ、フラッシュＲＡＭ、若しくはその他のメモリも含むことができる）、入力・出力コントローラ２１８、音声出力インターフェース２２２を経由するスピーカシステム２２０のような外部音声装置、ディスプレイアダプタ２２６を経由するディスプレイスクリーン２２４、シリアルポート２２８、２３０、（キーボードコントローラ２３３で接続される）キーボード２３２、ストレージインターフェース２３４、フロッピーディスク２３８を収容し、作動するディスクドライブ２３７、ファイバーチャネルネットワーク２９０に接続され、作動するホストバスアダプタインターフェースカード２３５Ａ、ＳＣＳＩバス２３９に接続され、作動するホストバスアダプタインターフェースカード２３５Ｂ、及び光ディスク２４２を収容し、作動する光ディスクドライブ２４０のような外部装置のコンピューティングシステム２１０の主要なサブシステムを互いに接続する。また、マウス２４６（または、他のポイント・クリックデバイス、シリアルポート２２８を経由してバス２１２に接続）、モデム２４７（シリアルポート２３０を経由してバス２１２に接続）、及びネットワークインターフェース２４８（バス２１２に直接接続）が含まれている。

バス２１２は、中央プロセッサ２１４とシステムメモリ２１７との間におけるデータ通信を可能にさせるが、前述した通り、システムメモリはリードオンリーメモリ（ＲＯＭ、不図示）若しくはフラッシュメモリ（不図示）、そしてランダムアクセスメモリ（ＲＡＭ、不図示）を含むことができる。一般的にＲＡＭは主メモリであって、運営体制及び応用プログラムがその中にローディングされる。ＲＯＭ若しくはフラッシュメモリは、他のソフトウェアコードの中でも基本入力・出力システム（ＢＩＯＳ）を含むことができるが、ＢＩＯＳは、周辺コンポーネントとの相互作用のような基本的なハードウェア作動を制御する。コンピュータシステム２１０に常駐する応用プログラムは、一般的にハードディスクドライブ（例えば、固定ディスク２４４）、光ディスク（例えば、光ドライブ２４０）、フロッピーディスクユニット２３７、若しくは他のストレージ媒体のようなコンピュータ可読媒体に保存され、その媒体を経由してアクセスされる。さらに、ネットワークモデム２４７、若しくはネットワークインターフェース２４８、若しくは他の通信装備（不図示）を経由し、応用プログラムにアクセスする際、応用プログラムは、応用及びデータ通信技術によって変調された電子信号の形であってもよい。

コンピュータシステム２１０の他のストレージインターフェースと同様に、ストレージインターフェース２３４は情報の保存及び／または検索のため、固定ディスクドライブ２４４のような標準コンピュータ可読媒体に接続することができる。固定ディスクドライブ２４４は、コンピュータシステム２１０の一部であってもよく、または別個に分離され、他のインターフェースシステムを介してアクセスすることができる。モデム２４７は、電話接続、またはインターネットサービース提供者（ＩＳＰ、不図示）を経由するインターネットを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８はＰＯＰ（相互接続位置）を経由するインターネットへの直接ネットワークリンクを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８は無線技術を使用し、かかる接続を提供することができるが、無線技術はデジタルセルラー電話接続、セルラーデジタルパケットデータ（ＣＤＰＤ）接続、デジタル衛星データ接続、若しくは他の接続を含む。

図３Ａ〜Ｊのハードウェアコンポーネントを含む、他の多くのデバイス、若しくはサブシステム（不図示）を類似の方式で接続することができるが（例えば、文書スキャナ、デジタルカメラなど）、これらはその代替として近距離通信網、広域通信網、無線通信網、若しくは通信システムを介して連携したコンピュータリソースと通信することができる。したがって、一般的に本開示においてはハードウェアコンポーネントがコンピューティングリソースに直接接続されている実施形態を議論することができるが、本技術分野の通常の技術者は、かかるハードウェアはコンピューティングリソースと遠隔で接続できることが分かる。逆に、本開示を実行するため、図２に示す全ての装置が存在する必要はない。装置及びサブシステムは、図２とは異なる方法で相互接続することができる。図２に示したようなコンピュータシステムの作動は、当業界によく知られているので、本出願では詳細に説明しない。本開示を具現できるソフトウェアのソースコード及び／またはオブジェクトコードは、１つ以上のシステムメモリ２１７、固定ディスク２４４、光ディスク２４２、若しくはフロッピーディスク２３８のようなコンピュータ可読保存媒体に保存することができる。コンピュータシステム２１０に提供される運営体制は多様であるか、または別バージョンのＭＳ−ＤＯＳ（ＭＳ−ＤＯＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＷＩＮＤＯＷＳ（ＷＩＮＤＯＷＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＯＳ／２（ＯＳ／２はニューヨーク州・アーモンク所在のＩＢＭ社の登録商標）、ＵＮＩＸ（ＵＮＩＸはイギリス・レディング所在のエックスオープン社の登録商業）、Ｌｉｎｕｘ（Ｌｉｎｕｘはオレゴン州・ポートランド所在のリーナストーバルズの登録商標）、若しくは他の公知されたり開発されたりした運営体制のうち、１つであり得る。

さらに、本明細書で説明する信号に関し、通常の技術者であれば、信号が第１ブロックから第２ブロックに直接転送、または信号がそれらブロックの間で変調（例えば、増幅、減衰、遅延、ラッチ、バッファリング、反転、フィルターリング、若しくは他の変更）できることが分かる。前述した実施形態の信号は１つのブロックから次のブロックに転送されることが特徴とされているが、信号の情報及び／または機能の面がブロックの間で転送される限り、本開示の他の実施形態は、そのような直接転送された信号に代わって変調された信号を含むことができる。ある程度、関連した回路の物理的限界（例えば、ある程度の減衰及び遅延が必然的にあるはず）により、第２ブロックにおける信号入力は、第１ブロックからの第１信号出力から導出される第２信号として概念化することができる。したがって、本明細書において用いられる第１信号から導出される第２信号は、第１信号、または回路制限若しくは第１信号の情報及び／または最終機能の面を変えない他の回路素子の通過による、第１信号に対する任意の変調を含む。

本発明は、手術ハードウェア及びソフトウェアモニタリングシステム並びに方法に関するものであって、患者の手術までに余裕がある間、例えば、患者が手術を準備する間、このシステムが手術部位をモデル化できるよう手術計画を可能にする。前記システムは、図３Ａにおいて基準キー１０で表示されている、特別に構成されるハードウェアピースを使用し、手術の臨界領域（ｃｒｉｔｉｃａｌ ａｒｅａ）に対する前記モニタリングシステムのトラッキングマーカー１２の方向を確定する。単一基準キー１０は意図された手術領域に隣接した位置に取り付けられるが、図３Ａの歯科手術領域の例示的な実施形態において、基準キー１０は歯の副木１４に取り付けられている。トラッキングマーカー１２はトラッキングポール１１によって基準キー１０に接続することができる。手術部位に関する映像情報を獲得する適切なトラッカーに前記基準レファレンスが直接見える実施形態において（例えば、図５及び図６を参照）、トラッキングマーカーは基準レファレンス、本実施形態において基準キー１０に直接取り付けることができる。前記トラッカーは、非ステレオ光学トラッカーであり得る。例えば、歯科手術で、手術領域の近くに基準キー１０を確実に位置付けすることができるよう、歯のトラッキングマーカー１４を使用することができる。トラッカーによってトラッキングマーカー１２から獲得されたデータの持続的な映像処理のため、前記単一基準キー１０はレファレンスポイント、即ち、基点として使用することができる。かかる配置において、基準キー、即ちレファレンス１０は、前記トラッカーによってスキャニングされず適切なスキャニング手段、例えば非ステレオトラッカーによってスキャニングされる。他の実施形態において、前記トラッカーはステレオトラッカーであり得る。いくつかの応用において、基準キー１０は、システムトラッカーの少なくとも部分的に非可視的であり得る位置またはかかる方向に配置することができる。

他の実施形態において、追加のトラッキングマーカー１２は基準キー１０及びその基準キーに連携した任意のトラッキングポール１１、またはトラッキングマーカー１２とは独立したアイテムに取り付けることができる。そのため、その独立したアイテムが前記トラッカーによって追跡される。

さらに他の実施形態において、手術部位に隣接したアイテム、若しくは器具のうち、少なくとも１つは本発明のモニタリングシステムのためのトラッカーとして機能し、前記トラッキングマーカー１２及び前記手術領域のスキャンデータに対し、任意の追加のトラッキングマーカーの方向及び位置を感知できるように取り付けられるトラッカーを選択的に有することができる。一例として、器具に取り付けられている前記トラッカーは小型デジタルカメラであってもよい。例えば、歯医者用ドリルに取り付けられてもよい。前記アイテム、若しくは器具に取り付けられたトラッカーによって追跡される任意の他のマーカーは、そのトラッカーの視界の中になければならない。

歯科手術の実施例を用いると、手術部位の初期スキャンを得るため、患者はスキャニングされる。単一基準キー１０の特別な構成により、メモリ内に保存されており、例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７の適切なコントローラで実行されるコンピュータソフトウェアは、前記スキャンデータから手術部位内で基準キーの相対的な位置を認識することができるので、基準キー１０の位置及び方向を参照し、さらなる観察を行うことができる。一部の実施形態において、前記基準レファレンスはスキャニングされた際、認識可能な識別象徴として明確なマーキングを含む。他の実施形態において、前記基準レファレンスは、スキャンで見える身体はスキャンの分析から明確に決定できる前面、後面、上面、下面及び左／右が定義されている表面を示し、それによって基準レファレンスの位置はもちろん、その方向までも決定できるようにする非対称的な形を有しているという点で区別される形状を含んでいる。即ち、前記基準レファレンスの形状及び／またはマーキングにより、基準レファレンスはベクター化される。基準キー１０のマーキング及び／または形状により、基準キーは手術ハードウェア及びソフトウェアのモニタリングシステムで採用される単一で唯一の基準キーに用いることができる。対照的に先行技術のシステムは、一般的に多数の基点に依存する。そのため、トラッカーはモニタリングシステム内で多数のベクター化（ベクトル化）されたトラッキングマーカーを追跡することができるが、形状やマーキングが知られているベクター化された単一基準レファレンス、即ち基準キー１０のみが要求される。一例に、後術でさらに詳細に説明する図５は、トラッカー５０８によって追跡されるマーカー５０６、５０２を示しているが、そのシステム内にたった１つのベクター化された基準レファレンス、即ち基準キー５０２のみが存在する。同様に、図６は、トラッカー６１０によって追跡される３つのマーカー６０４、６０６、６０８を示しているが、システム内にベクター化された単一基準レファレンス、即ち基準キー６０２のみが存在する。

さらに、前記コンピュータソフトウェアは、歯、顎骨、皮膚及び歯茎組織、他の手術器具などのようにスキャンにおける客体を構成するための座標系を生成することができる。前記座標系はスキャンの映像を基点周辺の空間に関連付けし、方向と位置、両方共によってマーカーが付けられた前記器具の位置を突き止める。続いて、モニタリングシステムによって生成された前記モデルは、境界条件を点検するために使用することができ、トラッカーと協同してリアルタイムでその配置を適切なディスプレイ、例えば、図２のディスプレイ２２４上に表示する。

一実施形態において、前記コンピュータシステムは基準キー１０の物理的な構成に関する予め設定された知識を有しており、基準キー１０の位置を突き止めるため、スキャンのスライス／セクションを点検する。基準キー１０の位置を突き止める作業は、その独特な形状に基づいたり、または基準キー上部、若しくはトラッキングマーカー１２のような前記基準キー１０への取付物上部ではっきりと識別され、かつ、方向性を有するマーキングに基づくことができる。基準キー１０の構成において、放射線不透過性素材、若しくは高密度素材を適用した高い映像処理コントラストを通じ、基準キー１０がスキャンではっきりと見えるようにすることができる。他の実施形態において、適切な高密度、若しくは放射線不透過性インク、若しくは素材を使用して、はっきりと識別され、方向性を有するマーキング素材を生成することができる。

基準キー１０が識別されると、分割スキャンから前記基準キー１０の位置及び方向が決定され、基準キー１０内の１つのポイント（地点）が前記座標系の中央に割り当てられる。そのように選択されたポイントは任意に選択することができ、またはその選択は数々の有用な基準に基づくことができる。モデルは続いて変形マトリクスの形に導出され、基準システムに連携されるが、１つの特定実施形態において、基準キー１０が手術部位の座標系に連携される。その結果で生成される仮想の構築物は、意図されている手術の仮想モデリングのための手術手順計画ソフトウェアによって使用されることができ、代替手段として手術ソフトウェアのための映像支援を提供し／提供したり手術手順を行うための経路をグラフに表したりするための目的で、器具を構成するための計測ソフトウェアによって使用されることができる。

いくつかの実施形態において、前記モニタリングハードウェアは前記基準レファレンスへのトラッキング取付物を含む。歯科手術に関連する実施形態において、前記基準キー１０への前記トラッキング取付物はトラッキングマーカー１２であるが、前記トラッキングマーカー１２はトラッキングポール１１を介し、基準キー１０に取り付けられている。トラッキングマーカー１２は、特別な識別パターンを有することができる。図７〜１０を用いてさらに詳細に説明する。例えば、トラッキングマーカー１２のような追跡可能な取付物と、さらに連携しているトラッキングポール１１は、公知の構成を有するため、トラッキングポール１１及び／またはトラッキングマーカー１２からの観察データを座標系に正確に図解することができ、それにより、手術手順の進行をモニタリングして、記録することができる。例えば、特に図３Ｊに示すように、単一基準キー１０は、トラッキングポール１１のインサート１７に締結されるよう特別に調整されている所定の位置にホール１５を有することができる。例えば、かかる配置において、トラッキングポール１１は小さい力で基準キー１０のホール１５内部に取り付けることができ、それにより、かかる取り付けが成功的に完了すると聴覚的な通知を与えることができる。

手術手順において、トラッキングポールの方向を転換することも可能である。例えば、歯科手術が口腔内の反対側の歯を扱う場合、外科医が手を取り替える場合及び／または２番目の外科医が手術の一部を行う場合、手術位置を変更するため、そのような方向転換があり得る。例えば、トラッキングポールの移動は、座標系に対する前記トラッキングポールの再登録のきっかけとなり得るため、その位置をそれに応じて調節することができる。例えば、歯科手術の実施形態の場合、取り付けられたトラッキングマーカー１２を備えたトラッキングポール１１が基準キー１０のホール１５から分離され、関連したトラッキングポールを備えた別のトラッキングマーカーが基準キー１０の代替ホールに接続されるとき、かかる再登録が自動的に開始される。さらに、ソフトウェアで境界条件が具現され、観察データがその境界領域にアクセスし／アクセスしたり入ったりする際、ユーザーに通知することができる。

さらに他の実施形態において、前記トラッキングマーカーは特に３次元形状を有することができる。識別パターンを有する適切な３次元形状は楕円表面の一部及び円筒表面の一部を含むことができるが、それに限定されない。一般的に、適切な３次元形状は、単関数（ｓｉｍｐｌｅ ｆｕｎｃｔｉｏｎ）によって数学的に記述できる形状である。

システムのトラッカーは、モニタリングされる手術部位の２次元映像を獲得する単一光学映像部を含むことができる。本明細書に記述された前記システム及び方法で、非ステレオペアの２次元イメージを用いて、ベクター化されたトラッキングマーカーの３次元位置及び方向を獲得することができる。いくつかの実施形態において、１つを超える映像部がトラッカーとして採用できるにもかかわらず、要求されて採用される映像情報は２次元である。したがって、手術部位の他の鳥瞰図（ｐｅｒｓｐｅｃｔｉｖｅ ｖｉｅｗ）を確保するために２つの映像部を単に採用することができ、２次元映像を表示するそれぞれの映像部は、ステレオペアの一部ではない。そうだとしても、手術部位に関する映像情報を獲得するとき、ステレオ映像部の採用を排除するものではなく、システム及び方法は手術部位のステレオ映像部に依存するものではない。

本発明を活用するシステムのさらに他の実施形態において、本明細書で「ハンドピース」（図５及び図６）と命名される手術器具、若しくは手術道具は、座標系内の位置が知られ、追跡できる独特な構成を有することができ、本明細書で説明するような適切なトラッキングマーカーを有することができる。仮想の素材との潜在的な衝突を示すための境界条件を設定することができ、ハンドピースが境界条件にアクセスすると感知された際、スクリーン上に指示が現れたり、或いはアラームサウンドが鳴り得る。それだけでなく、希望する手術領域を示せるよう、ターゲットの境界条件を設定することができ、ハンドピースの経路がターゲット領域を離れる傾向にあるとき、そのハンドピースが希望経路を離れていることを示す表示が、スクリーン上に見えたり、或いはアラームサウンドが鳴り得る。

いくつかのハードウェアコンポーネントの代替的な実施形態が図３Ｇ〜Ｉに示されている。ベクター化された単一基準キー１０´は適切な接続部を備えた接続要素を有しており、トラッキングポール１１´が手術部位に対しトラッキングマーカー１２´を位置付けするようにする。独特な形状を有しているが、概念的に基準キー１０´は、前述の実施形態と非常に同一の方式でポール１１´及びトラッキングマーカー１２´に対するアンカーとして機能する。前記モニタリングシステムの前記ソフトウェアは、それぞれ特別に識別される基準キー、トラッキングポール、及びトラッキングマーカーの構成に関して予めプログラム化されており、その位置算出は変化した構成パラメータによって変更されるだけである。

規制要件及び実質的な考慮事項により、ハードウェアコンポーネントの素材は異なることができる。一般的にキー、若しくは基準コンポーネントは、通常、放射線不透過性素材で製造されるため、スキャンのノイズを発生しないが、スキャニングされた映像上に認識できるコントラストを生成するため、それに連携した任意の識別パターンを認識することができる。さらに、キーまたは基準コンポーネントは一般的に患者に配置されているため、前記素材は軽量であって、患者に置かれた装置への接続に適合しなければならない。例えば、歯科手術の場合、前記基準キーの素材はプラスチック副木への接続に適合すべきであり、トラッキングポールへの接続に適合すべきである。外科手術の場合、前記基準キーの素材は患者の皮膚、若しくは他の特定組織への取り付けに適していなければならない。

それに限定されるものではないが、例えば、高コントラストのパターン彫刻を適用することで、前記トラッキングマーカーは鮮明に識別される。前記トラッキングマーカーの素材としては、オートクレーブ工程における損傷に耐性があり、コネクト構造への堅固で繰り返し可能、かつ迅速な接続と両立できる素材が選択される。前記トラッキングマーカー及び連携されたトラッキングポールは、異なる手術位置に対し異なる位置に収容され得る性能を有しており、前記基準キーと同様、トラッキングマーカーとトラッキングポールは、患者の上部、若しくは患者に対し安定して配置されるため、相対的に軽量でなければならない。前記トラッキングポールも同様に、オートクレーブ工程と両立できなければならず、トラッキングポールの中で共有された形のコネクターを有しなければならない。

前記基準キー、トラッキングポール及びトラッキングマーカーを追跡する際に適用される前記トラッカーは、１．５ｍ^２サイズの客体を非常に正確に追跡できなければならない。限定されるものではないが、一例として、前記トラッカーはステレオカメラ、若しくはステレオカメラペアである。感覚的な入力を読み取りできるよう、一般的にトラッカーは有線でコンピューティング装置に接続されるが、前記感覚的なデータをコンピューティング装置に転送できるよう、前記トラッカーは選択的に無線接続を有することができる。他の実施形態において、前記トラッカーはステレオ光学トラッカーであってもよく、非ステレオ光学トラッカーであってもよい。

ハンドピースのように追跡可能な計器のピースを追加に適用する実施形態において、かかる追跡可能な計器のピースに取り付けられるトラッキングマーカーはまた軽量でなけれなならず、９０°の間隔を持つ３つの客体アレイで作動できなければならない。また、高コントラストのパターン彫刻と、標準ハンドピースに対し堅固で迅速な装着メカニズムを選択的に有しなければならない。

本発明の別の側面において、図４Ａ〜Ｃに示すよう、手術活動を追跡するための自動登録方法が提示される。限定されるものではないが、図４Ａ及び図４Ｂは、スキャンデータから前記基準レファレンスの３次元位置及び方向を決定するための１つの方法のフローチャートである。図４Ｃは、前記トラッカーにより獲得された映像情報から適切なトラッキングマーカーの存在を確認し、前記映像情報に基づいて前記基準レファレンスの３次元位置及び方向を決定するための方法を示すフローチャートである。

図４Ａ及び図４Ｂに示すよう、一旦プロセスが始まると（段階４０２）、前記システムは、例えばＣＴスキャナからスキャンデータセットを獲得し（段階４０４）、前記基点及び前記特別なスキャナモデルの知識に基づいてスキャンと共に提供されるか、或いは提供されない、前記基点に関するＣＴスキャンのデフォルトハンスフィールドユニット（ＨＵ）値をチェックし（段階４０６）、もしかかる閾値が存在しなければ一般化された設定デフォルト値が適用される（段階４０８）。続いて、前記基準キー値に連携している予測値の範囲外のハンスフィールドデータ値で分割スキャンを除去することで、前記データが処理され（段階４１０）、残っているポイントの収集が続く（段階４１２）。もし前記データが空いていれば（段階４１４）ＣＴ閾値が調整され（段階４１６）、元の値が復元され（段階４１８）、分割スキャンの分割処理が続く（段階４１０）。前記データが空いていなければ、既存データを用いてマスの中央が計算され（段階４２０）、Ｘ・Ｙ・Ｚ軸の計算が行われる（段階４２２）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点になければ（段階４２４）ユーザーに通知され（段階４２６）、プロセスが終了する（段階４２８）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点にあれば（段階４２４）そのデータポイントは設計された基準データと比較される（段階４３０）。もし累積誤差が、許容される最大誤差より大きければ（段階４３２）ユーザーに通知され（段階４３４）、このプロセスは終了する（段階４３６）。累積誤差が、許容される最大誤差より大きくなければ、Ｘ・Ｙ・Ｚ軸の交差点で座標系が定義され（段階４３８）、スキャンプロファイルはＨＵユニットに対してアップデートされる（段階４４０）。

図４Ｃを参照すると、適切なカメラ若しくは別のセンサーであるトラッカーから映像情報が獲得される（段階４４２）。トラッキングマーカーが映像情報内に存在するかを決定するため、前記映像情報が分析される（段階４４４）。もし存在しなければ、この手順を続けるべきかどうかがユーザーに問われる（段階４４６）。続けない場合、このプロセスは終了する（段階４４８）。このプロセスが続く場合は、前記映像情報内でトラッキングマーカーが発見されなかったことがユーザーに通知され（段階４５０）、このプロセスは映像情報を獲得する段階に戻る（段階４４２）。もし前記映像情報に基づきトラッキングマーカーが発見されたり、若しくは前述した通知により、ユーザーによってトラッキングマーカーが取り付けられたりしたら（段階４５０）、適切なデータベースから前記基準レファレンスに対する前記トラッキングマーカーのオフセット及び相対的な方向が獲得される（段階４５２）。用語「データベース」は、本明細書において形式的な多重要素、若しくは多次元データベースで構成されたか否かにかかわらず、かかる情報の任意のソース、量及び配置を説明するために用いられる。本発明のこの実施形態の単純な具現において、オフセット値と相対的な方向を含む単一データセットが十分であり、その単一データセットは、例えばユーザーによって提供されたり、またはコントローラのメモリユニット内にあるか、若しくは分離されたデータベース、若しくはメモリ内にあり得る。

座標系の原点を前記基準レファレンスに定義し、前記映像情報に基づいた前記基準レファレンスの３次元方向を決定できるよう、前記トラッキングマーカーのオフセット及び相対的な方向が使用され（段階４５４）、登録プロセスが終了する（段階４５６）。前記基準レファレンスの位置と方向をリアルタイムでモニタリングできるよう、このプロセスは段階４５４から繰り返され、カメラから新しい映像情報を獲得することができる（段階４４２）。ユーザーがこのプロセスを終了できるよう、適切なクエリポイントが含まれてもよい。映像データから予め設定された形状、またはマーキングを有するトラッキングマーカーの方向及び位置を決定するための詳細な方法は、本技術分野の技術者に知られているので、ここでは説明しない。前記手術部位に隣接した、トラッキングマーカーを有する任意のアイテムの動きを追跡できるよう、このように導出された座標系が使用される。他の登録システムも考えられるが、例えば予め設定されたオフセットではなく、既存の他の感覚的なデータを使用するか、若しくは基点が転送容量を持つようにすることがある。

本発明の実施形態の一例が図５に示されている。予め設定された歯に取り付けられ、堅固に取り付けられたベクター化されたトラッキングマーカー５０４を有するベクター化された基準キー５０２の他にも、例えば歯科用ドリルであり得るハンドピースの追加器具、若しくは道具５０６を前記モニタリングシステムのトラッカーとして機能するカメラ５０８によって観察することができる。前記カメラは、例えば非ステレオ光学カメラであり得る。

本発明の実施形態の他の例が図６に示されている。例えば、人間の腹や胸であり得る手術部位６００は、トラッキングマーカー６０４を支持できるよう、予め設定された位置に固定されているベクター化された基準キー６０２を有することができる。内視鏡６０６は別のベクター化されたトラッキングマーカーを有することができ、トラッキングマーカーを有する生検針６０８は手術部位において提示されることができる。センサー６１０は、例えばカメラ、赤外線感知器、若しくはレーダーであり得る。前記カメラは、例えば非ステレオ光学トラッカーであり得る。

図８で最も分かり易く記述されている本発明のさらに他の側面において、患者の手術部位５５０の３次元位置及び方向を、リアルタイムで手術部位５５０に対するスキャンにおける手術部位の位置及び方向に連携させるための方法が提供されるが、前記方法は、手術部位５５０に隣接した患者の基準位置に、ベクター化された単一基準レファレンス５０２を着脱可能に取り付ける段階と、スキャンデータを獲得するために、前記基準位置に取り付けられた単一基準レファレンス５０２を用いてスキャニングを行う段階と、スキャンデータから前記基準レファレンスの３次元位置及び方向を決定する段階と、（トラッカー５０８を用いて）手術部位５５０のリアルタイム映像情報を獲得する段階と、映像情報から単一基準レファレンス５０２の３次元位置及び方向をリアルタイムで決定する段階と、空間変形マトリクスを導出したり、前記スキャンデータから決定される前記単一基準レファレンス５０２の３次元位置及び方向に対し、前記映像情報から決定される基準レファレンスの３次元位置及び方向をリアルタイムで表現する段階とを含む。

手術部位５５０からリアルタイム映像情報を獲得する段階は、単一基準レファレンス５０２と固定された３次元空間関係にある第１のベクター化されたトラッキングマーカー５０４を、単一基準レファレンス５０２に堅固、かつ、着脱可能に取り付ける段階を含むことができる。第１のトラッキングマーカー５０４は、映像情報に基づいてその位置及び方向が決定されるように構成することができる。単一基準レファレンス５０２に第１のトラッキングマーカー５０４を取り付ける段階は、トラッキングポールによって、第１のトラッキングマーカー５０４を単一基準レファレンス５０２に堅固、かつ、着脱可能に取り付ける段階を含むことができる。これに関し、例えば基準レファレンス１０にトラッキングマーカー１２を取り付けるために用いられた図３Ｂのトラッキングポール１１を参照する。手術部位のリアルタイム映像情報を獲得する段階は、前記基準レファレンスと固定された３次元空間関係にあるトラッキングポールを基準レファレンスに堅固、かつ、着脱可能に取り付ける段階を含むことができ、前記トラッキングポールは、はっきりと識別される３次元形状を有するため、その位置及び方向が映像情報からユニークに決定されることができる。

図８に記述されている本発明のさらに他の実施形態において、手術部位５５０に対し、例えばオブジェクト５０６の位置をリアルタイムでモニタリングするための方法が提供されるが、前記方法は、手術部位５５０に隣接した患者の基準位置にベクター化された単一基準レファレンス５０２を着脱可能に取り付ける段階と、スキャンデータを獲得するために前記基準位置に取り付けられた単一基準レファレンス５０２を用いてスキャニングする段階と、前記スキャンデータから単一基準レファレンス５０２のリアルタイム映像情報を獲得する段階と、（トラッカー５０８を用いて）手術部位５５０のリアルタイム映像情報を獲得する段階と、前記映像情報から単一基準レファレンス５０２の３次元位置及び方向をリアルタイムで決定する段階と、前記スキャンデータから決定される単一基準レファレンス５０２の３次元位置及び方向に対し、前記映像情報から決定される単一基準レファレンス５０２の３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを導出する段階と、前記映像情報から客体５０６の３次元位置及び方向をリアルタイムで決定する段階と、客体５０６の３次元位置及び方向を、前記映像情報から決定される基準レファレンスの３次元位置及び方向と連携させる段階とを含む。前記映像情報から前記客体の３次元位置及び方向をリアルタイムで決定する段階は、客体５０６に第２のベクター化されたトラッキングマーカー５０７を堅固に取り付ける段階を含むことができる。

さらに他の実施形態を図７に概略的に（そして大きさに比例せず）示すが、図７は、図５の歯科手術において既に記述された要素に基づく。３次元位置及び方向トラッキングシステム１５００は、ベクター化されたトラッキングマーカー５１２を有するＸ線映像センサー５１０を含む。手術手順が行われる間、手術部位５５０のライブＸ線映像を獲得するために配置されるＸ線映像センサー５１０と共に、トラッキングマーカー５１２がトラッカー５０８の視界内に配置される。これらのライブＸ線映像は、連続的な方式で獲得されてもよく、一連の連続的な個別スナップで構成されてもよい。図８において破線で示すように、トラッカー５１２は、Ｘ線映像センサー５１０上に予め設定された固定位置及びＸ線映像センサーの視界軸に対して予め設定された固定された方向に、Ｘ線映像センサー５１０に直接または間接的に堅固に取り付けられる。Ｘ線映像センサー５１０は、Ｘ線を用いて前記手術部位５５０を照明する適切なＸ線放出源によって機能する。

システムトラッカー５０８は、システムトラッカー５０８の視界５４０内に位置する領域の映像情報を獲得する。前記映像情報は、トラッカーデータリンク５２４を経由してトラッカー５０８によってシステムコントローラー５２０へ提供される。図７において、トラッカーデータリンク５２４は有線リンクで示されているが、他の実施形態ではトラッカーデータリンク５２４は無線、光学、または他の適切な無線リンクを含むことができる。システムコントローラー５２０は、図１ないし図６を参照して既に上述した方法によって、前記映像情報からベクター化されたトラッキングマーカー５０４、５１２の３次元位置及び方向情報を抽出できるように構成されるソフトウェアを使用してプログラム化されることができる。

トラッキングマーカー５０４の３次元位置及び方向情報を用いて、システムコントローラー５２０は、基準レファレンス５０２の３次元位置及び方向を直接コンピューティングすることができる。基準レファレンス５０２は、知られている相対的な３次元位置及び方向関係に、手術部位５５０に堅固に取り付けられているため、システムコントローラー５２０はそれによって手術部位５５０の３次元位置及び方向をコンピューティングすることができる。

ベクター化されたトラッキングマーカー５１２の３次元位置及び方向情報を用いて、システムコントローラー５２０は、Ｘ線映像センサー５１０の３次元位置及び方向を直接コンピューティングすることができる。そのため、システムコントローラー５２０は、Ｘ線映像センサー５１０によって獲得された３次元位置及び方向視点をリアルタイムで追跡できるようになる。

手術部位５５０がＸ線放出源によって生成されるＸ線で照明されるとき、システムコントローラー５２０は、Ｘ線センサーデータリンク５２２を経由してシステムコントローラー５２０によって受信された手術部位５５０のＸ線映像を、手術部位５５０の３次元位置及び方向情報に直接連携する。コントローラー５２０は、モニターリンク５３２を経由し、モニター５３０上にその結果を表示することができる。データリンク５２２、５３２は、図７に有線で示されているが、他の実施形態でデータリンク５２２、５３２は、無線、光学、または他の適切な無線リンクを含むことができる。データリンク５２２、５３２は、コントローラー５２０がＸ線映像センサー５１０とトラッカー５０８にそれぞれデータ方式で接続されることを保障する。

トラッキングマーカー５０４からの位置及び方向情報と、Ｘ線映像センサー５１０からの３次元位置及び方向を有するライブＸ線映像を組み合わせて、手術手順が行われる間、手術部位５５０に関する情報がアップデートされる。その後、このアップデートされた情報を用いると、モニターデータライン５３２を経由してモニターまたはディスプレイシステム５３０上に表示される手術部位５５０に関して連続的にアップデートされた３次元基板のレンダリングが手術手順に役立つ。それによって、手術手順が行われる間、モニター５３０は、スキャンデータに対して３次元空間関係にある手術部位の現在のライブ映像を顕示できるようになる。システム１５００は、前記スキャンデータ、映像情報及びライブ映像から、手術部位５５０のライブイメージでオーバーレイされた手術部位５５０の連続的にアップデートされた３次元モデルを決定する。

図５の実施形態のように、例えば歯科用ドリルであり得るハンドピースの追加器具、若しくは道具５０６をモニタリングシステムのトラッカー５０８によって観察し、追跡することができる。かかる目的のため、器具５０６は第３のベクター化されたトラッキングマーカー５０７を有することができる。図６で既に上述したように、非歯科手術でも同一の配列が提供され得る。

図７を参照して上述した実施形態において、照明部５６０は前記照明部５６０に対して固定された３次元位置及び方向に堅固に取り付けられたベクター化されたトラッキングマーカー（明確化のために不図示）を有することができる。このように知られている固定された３次元関係を考慮し、照明部５６０の照明錐を知っていると、照明部５６０上のトラッキングマーカーの位置及び方向が知られている場合、ユーザーはその照明がどこに作用するかが分かるようになる。トラッカー５０８の視界５４０内に配置された照明部５６０を使用し、システムコントローラー５２０は、トラッカー５０８によって提供される映像情報から照明部５６０に取り付けられたトラッキングマーカーの３次元位置及び方向を抽出し、任意の与えられた時間に照明部５６０がどこで患者を照明しているかを示す印をモニター５３０上に表示することもできる。そのため、ユーザーは、手術部位５５０に隣接した照明部５６０の位置を調整できるようになる。

他の実施形態を図８に示す。図７と同一番号を持つ図８の全ての要素は、図７と同一要素であって同一機能を行うことと理解される。図８に示すモニタリングシステム１６００の実施形態において、インシチュ映像部５７０は、手術部位５５０を撮影するための映像センサー５７４と、放射線を用いて手術部位５５０を照明するための照明部５７６を含む。照明部５７６は、映像センサー５７４が手術部位５５０を撮影することを可能にする、可視光放射線を採用することができる。いくつかの実施形態において、照明部５７６は励起放射線を採用することもできる。励起放射線は、例えば青色光、紫外線光、または選択的に蛍光して長かったり短かったりする波長の光を放出して組織を励起させるための他の励起放射線が挙げられるが、これに限定されるものではない。映像センサー５７４は、照明部５７５から照明する放射線に敏感な映像センサーであり得る。いくつかの実施形態において、照明部５７６は、映像センサー５７４の周辺に配置される環状の照明部であり得る。他の実施形態で、照明部５７６と映像センサー５７４は独立したデバイスであってもよいが、映像センサー５７４は、直接または間接的に賢固に取り付けられたトラッキングセンサー５７２を有する。

手術部位５５０の組織で蛍光を誘導するため、照明部５７６から励起された放射線が採用されるとき、映像センサーは、誘導された蛍光波長に敏感であり得るが、適切な光学フィルターによって前記励起放射線の波長に特に鈍感になり得る。また、他の具現形態において、可視光の映像上に蛍光映像を重ねるため、インシチュ映像部５７０は、可視光映像設備と蛍光映像設備を共に装着することができる。さらに他の具現形態において、前記照明放射線は、１つの波長スペクトラムであって、前記映像センサー５７４は、映像センサー５７４内で映像コントラストを向上させるように選択された他のスペクトラムを採用することができる。

図８の破線５７５で示すように、トラッキングマーカー５７２は映像センサー５７４に対して予め設定された固定位置、及び映像センサー５７４の視界軸に対して予め設定された固定された方向に、映像センサー５７４に直接または間接的に取り付けられる。システムコントローラー５２０は、センサーデータリンク５２６を経由して手術部位のライブ映像を受信するが、センサーデータリンク５２６は、コントローラー５２０が映像センサー５７４にデータ方式で接続されることを保障する。したがって、図７の撮影手段はＸ線透過型であるのに対し、図８の撮影手段は反射型、または蛍光透視鏡であるという点で、図８の実施形態は図７の実施形態と区別される。両方の実施形態において、照明部５６０、５７６が採用され、連続的に生成された映像若しくは間欠的なスナップショットを含む手術部位５５０のライブ映像は映像センサー５１０、５７４によって獲得される。両方の場合、手術部位５５０のライブ映像は、センサーデータリンク５２２、５２６を経由してシステムコントローラー５２０と通信する。前記ライブ映像は、反射された可視光映像、蛍光を出す組織から放出される蛍光を採用した蛍光透視鏡の映像、及びＸ線透過映像のうち、１つ以上であり得る。手術部位５５０がそれぞれ照明部である可視光光源、短波長の可視光若しくは紫外線光源、及びＸ線放出源から適切な放射線で照明されるとき、相応するライブ映像が映像センサー５１０、５７４から獲得できる。適切な短波長可視光線は、例えば青色光または紫光のうち、１つ以上であり得る。

便宜のため、図８において、照明部５７６と映像センサー５７４は、インシチュ映像部５７０内に共に収容されている。他の実施形態において、照明部５７６と映像センサー５７４は別々に収容され、ベクター化されたトラッキングマーカー５０４、５０７、５７２と同一タイプのベクター化されたトラッキングマーカーで別々にタッグされたり、トラッカー５０８によって別々に追跡されることができる。トラッカー５０８の視界５４０内に配置された照明部５７６を使用して、システムコントローラー５２０は、トラッカー５０８によって提供される映像情報から照明部５７６に取り付けられたトラッキングマーカーの３次元位置及び方向を抽出し、任意の与えられた時間に照明部５７６がどこで患者を照明しているかを示す印をモニター５３０上に表示することもできる。そのため、ユーザーは、手術部位５５０に隣接した照明部５７６の位置を調整できるようになる。

図５の実施形態と図７で記述したように、例えば歯科用ドリルであり得るハンドピースの追加器具、若しくは道具５０６をモニタリングシステムのトラッカー５０８によって観察し、追跡することができる。かかる目的のため、器具５０６は第３のベクター化されたトラッキングマーカー５０７を有することができる。図６で既に上述したように、非歯科手術でも同一の配列が提供され得る。

さらに他の側面において、図９のフローチャートで記述される、手術部位５５０をモニタリングするための方法９００が提供されるが、前記方法９００は、ベクター化された基準レファレンス５０２を手術部位５５０に隣接した基準位置に着脱可能に取り付ける段階９１０であって、前記基準レファレンスは、スキャン上で認識できるマーキング及び形状のうち、少なくとも１つを有する段階と、手術手順前に、取り付けられた基準レファレンス５０２を用いて手術部位５５０及び基準位置のスキャンを生成する段階９２０と、トラッカー５０８の視界５４０内に配置された第１のベクター化されたトラッキングマーカー５０４を前記基準レファレンスに着脱可能、かつ、堅固に取り付ける段階９３０と、前記トラッカー５０８の視界内に配置された第２のベクター化されたトラッキングマーカー５１２、５７２を有する映像センサー５１０、５７４を前記手術部位に隣接して配置する段階９４０と、前記トラッカー５０８から、前記手術部位５５０及び前記第１及び第２のトラッキングマーカー５０４、５１２、５７２のうち、少なくとも１つの映像情報を受信する段階９５０と、前記映像センサー５１０、５７２から、前記手術部位５５０のライブ映像を獲得する段階９６０と、前記スキャンデータ、前記映像情報及び前記ライブ映像から、前記映像センサーによって獲得される手術部位５５０のライブイメージとオーバーレイされた前記手術部位の、連続的にアップデートされた３次元モデルを決定する段階９７０とを含む。

映像センサー５１０、５７４から全ての映像が前記スキャンデータ上にオーバーレイされた後、プロセスはトラッカー５０８から新しい映像情報と映像センサー５１０、５７４から相応する新しいライブ映像を受信できるように段階９５０に選択的に戻ることができる。ライブ映像を獲得する段階９６０は、照明部５６０、５７６によってＸ線放射線、励起放射線及び反射型光学放射線のうち、少なくとも１つを用いて前記手術部位を照明する段階を含むことができる。映像部５６０、５７４を有するように、他の種類の映像センサー５１０、５７４とこれらの作動モードは既に上述した。手術部位５５０の連続的にアップデートされた３次元モデルを決定する段階は、第１スキャンデータから手術部位に対するベクター化された基準レファレンスの３次元位置及び方向を決定する段階と、前記映像情報から第１のベクター化されたトラッキングマーカー５０４及び第２のベクター化されたトラッキングマーカー５１２、４７２に関する３次元位置及び方向情報を決定する段階を含む。いくつかの実施形態において、手術部位５５０の連続的にアップデートされた３次元モデルを決定する段階は、前記映像情報から、第３のベクター化されたトラッキングマーカー５０７に関する３次元位置及び方向情報を決定する段階をさらに含む。

Claims (20)

1. トラッカー、コントローラー及びディスプレイを含む手術手順のための位置モニタリングシステムであって、
   手術患者の手術部位５５０に固定されるように構成された、ベクター化された単一基準レファレンス５０２ と、
   前記手術部位５５０に隣接して配置されるように構成され、前記手術部位５５０のライブ映像データを提供するように構成された映像センサー５１０、５７４と、
   放射線を用いて前記手術部位５５０を照明するように構成された照明部５６０、５７６と、
   前記単一基準レファレンス５０２ に対し、予め設定された、固定された３次元位置及び方向に堅固に取り付けられた第１のベクター化されたトラッキングマーカー５０４と 、
   前記映像センサー５０１、５７４に対し、予め設定された、固定された３次元位置及び方向に堅固に取り付けられた第２のベクター化されたトラッキングマーカー５１２、５７２と、
   少なくとも前記第１及び第２のトラッキングマーカー５０４、５１２、５７２の映像情報を獲得できるように構成され、配置されたトラッカー５０８と、
   手術手順の前に前記手術部位５５０に固定された前記単一基準レファレンス５０２を用いて獲得される前記手術部位５５０に対するスキャンデータと、
   前記トラッカー５０８及び前記映像センサー５１０、５７４に連結されており、メモリ２１７と一連の命令を有するソフトウェアプログラムを備えたプロセッサ２１４を含むコントローラー５２０であって、前記一連の命令は、前記プロセッサ２１４によって実行されたとき、前記映像情報から前記第１及び第２のトラッキングマーカー５０４、５１２、５７２の現在の位置及び方向を決定し、前記単一基準レファレンス５０２の前記現在の３次元位置及び方向と、前記手術部位５５０の前記現在のライブ映像データに前記スキャンデータを連携させるコントローラーと、
   前記コントローラー５２０に連結され、手術手順の間に前記スキャンデータに対して３次元空間関係で前記手術部位５５０の前記現在のライブ映像を見せるように構成されたディスプレイ５３０を含むことを特徴とする、位置モニタリングシステム。
   
2. 前記手術道具５０６は、第３のベクター化されたトラッキングマーカー５０７を有しており、
   前記トラッカー５０８は、前記第３のトラッキングマーカー５０７の映像情報を獲得できるように構成されて配置され、
   前記ソフトウェアプログラムは、前記プロセッサ２１４によって実行されるとき、前記映像情報から前記第３のトラッキングマーカー５０７の前記現在位置及び方向を決定し、前記スキャンデータを前記手術道具５０６の前記現在位置及び方向に連携させる他の一連の命令を有することを特徴とする、請求項１に記載の位置モニタリングシステム。
   
3. 前記トラッカー５０８は、光学トラッカーであることを特徴とする、請求項１に記載の位置モニタリングシステム。
   
4. 前記光学トラッカー５０８は、非ステレオ光学トラッカーであることを特徴とする、請求項３に記載の位置モニタリングシステム。
   
5. 前記光学トラッカー５０８は、ステレオ光学トラッカーであることを特徴とする、請求項３に記載の位置モニタリングシステム。
   
6. 前記単一基準レファレンス５０２は、前記手術部位５５０に固定されたとき、少なくとも部分的に非可視的であることを特徴とする、請求項１に記載の位置モニタリングシステム。
   
7. 手術部位５５０をモニタリングするための方法９００であって、
   ベクター化された単一基準レファレンス５０２を手術部位５５０に隣接した基準位置に着脱可能に取り付ける段階であって、前記基準レファレンスは、スキャン上で認識できるマーキング及び形状のうち、少なくとも１つを有する段階９１０と、
   手術手順前に、取り付けられた前記単一基準レファレンス５０２を用いて前記手術部位及び前記基準位置のスキャンを生成する段階９２０と、
   トラッカー５０８の視界内に配置された第１のベクター化されたトラッキングマーカー５０４を前記単一基準レファレンスに着脱可能、かつ、賢固に取り付ける段階９３０と、
   前記トラッカー５０８の視界内に配置された第２のベクター化されたトラッキングマーカー５１２、５７２を有する映像センサー５１０、５７４を前記手術部位に隣接して配置する段階９４０と、
   前記トラッカーから、前記手術部位及び前記第１及び第２のトラッキングマーカーのうち、少なくとも１つの映像情報を受信する段階９５０と、
   前記映像センサーから、前記手術部位のライブ映像を獲得する段階９６０と、
   前記手術部位の前記スキャンデータ、前記映像情報及び前記ライブ映像から、前記手術部位のライブイメージとオーバーレイされた前記手術部位の連続的にアップデートされた３次元モデルを決定する段階９７０とを含むことを特徴とする方法。
   
8. 前記手術部位の前記３次元モデルを連続的にアップデートする段階は、
   前記単一基準レファレンスのマーキング及び形状のうち、少なくとも１つに基づいて、前記スキャンデータから前記手術部位に対する前記単一基準レファレンスの３次元位置及び方向を決定する段階と、
   前記映像情報から、前記第１及び第２のトラッキングマーカーに関する３次元位置及び方向情報を決定する段階と、
   前記第１及び第２のトラッキングマーカーの前記３次元位置及び方向から、前記単一基準レファレンス及び前記映像センサーのそれぞれの相応する３次元位置及び方向を算出する段階を含むことを特徴とする、請求項７に記載の方法。
   
9. 前記手術部位の３次元モデルを連続的にアップデートする段階は、
   前記映像情報から、手術道具５０６に固定されるように取り付けられた第３のベクター化されたトラッキングマーカー５０７に関する３次元位置及び方向情報を決定する段階と、
   前記第３のトラッキングマーカーの前記３次元位置及び方向から、前記手術部位の相応する３次元位置及び方向を算出する段階をさらに含むことを特徴とする、請求項７に記載の方法。
   
10. 前記受信された映像情報は、光学映像情報を含むことを特徴とする、請求項７に記載の方法。
    
11. 前記受信された映像情報は、非ステレオ光学映像情報を含むことを特徴とする、請求項１０に記載の方法。
    
12. 前記単一基準レファレンスは、少なくとも部分的に非可視的に配置できるように、前記トラッカーに着脱可能に取り付けられることを特徴とする、請求項７に記載の方法。
    
13. 前記ライブ映像を獲得する段階は、ライブ光学映像を獲得する段階を含むことを特徴とする、請求項７に記載の方法。
    
14. 前記ライブ光学映像を獲得する段階は、ライブ蛍光透視鏡映像を獲得する段階を含むことを特徴とする、請求項１３に記載の方法。
    
15. 前記ライブ光学映像を獲得する段階は、反射光に基づいてライブ光学映像を獲得する段階を含むことを特徴とする、請求項１３に記載の方法。
    
16. 前記ライブ映像を獲得する段階は、ライブＸ線透過映像を獲得する段階を含むことを特徴とする、請求項７に記載の方法。
    
17. 前記ライブ映像を獲得する段階は、放射線を用いて前記手術部位を照明する段階を含むことを特徴とする、請求項７に記載の方法。
    
18. 前記放射線は、Ｘ線放射線であることを特徴とする、請求項１７に記載の方法。
    
19. 前記放射線は、励起放射線であることを特徴とする、請求項１７に記載の方法。
    
20. 前記放射線は、反射型光学放射線であることを特徴とする、請求項１７に記載の方法。
    
    
    

Images