JP2016507253A - 天然マーカーを用いる手術位置モニタリングシステム及び方法 - Google Patents

Abstract

本発明は、手術部位６００、７２０の３次元位置及び方向を手術部位のスキャン内における手術部位の位置及び方向にリアルタイムで関連付けすることを含む。スキャンデータを獲得するため、手術部位のスキャン処理を行なう８２０ことにより、前記スキャンデータから天然基準レファレンス７８０の３次元位置及び方向を決定することができる。続いて、手術部位のリアルタイム映像情報が獲得され８５０、映像情報から天然基準レファレンスの３次元位置及び方向をリアルタイムで決定する８６０ことができる。それにより、前記スキャンデータから決定される前記天然基準レファレンスの３次元位置及び方向に関して前記映像情報から決定される前記天然基準レファレンスの３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを誘導する８７０ことができる。【選択図】図３Ａ

Description

本発明は、位置モニタリングハードウェアシステム及びソフトウェアシステムに関する。更に詳細には、本発明の分野は、手術状態をモニタリングするための手術装備及びソフトウェアである。

視覚及び他の感覚システムが知られているが、これらのシステムは手術手順を観察及びモニタリングすることができる。現在、このような観察及びモニタリングシステムを用いてコンピュータが補助する手術が可能であり、実際、日常的に行われている。かかる手順において、コンピュータソフトウェアは、患者の臨床映像及び現在の手術手順から観察された手術映像と相互作用し、手術を行う際、外科医を案内する。例えば、１つの公知のシステムにおいて、キャリアアセンブリは患者の顎骨に対し、正確に繰り返せる位置で取り付け要素の上部に少なくとも１つの基準マーカーを有する。その基準マーカーと患者の顎骨の間に位置登録を提供するため、そのキャリアアセンブリを採択し、その位置登録を使用してドリルリングアセンブリを案内するトラッキングシステムを採択することで、人工の歯（インプラント）を移植する。このような相対的に新しいコンピュータ具現技術を備えることで、更なる改良は手術手順の効率性を一層向上させることができる。

本発明は、手術部位に隣接した領域を観察するための感覚装備を有するトラッカーとコンピューティング機器とを含む。前記コンピューティング機器は、前記トラッカーと通信し、前記手術部位の、先にスキャンされたデータに基づいて前記手術部位から前記トラッカーにより獲得された映像情報において天然基準レファレンス（ｎａｔｕｒａｌ ｆｉｄｕｃｉａｌ ｒｅｆｅｒｅｎｃｅ）を認識することができ、且つ前記手術部位の前記映像情報及び先にスキャンされたデータに基づいて前記手術部位のモデルを計算することができるソフトウェアを有することを特徴とする手術モニタリングシステムである。

前記手術モニタリングシステムは、前記手術部位に隣接して堅く取り付けられているトラッキングマーカーをさらに含む。前記ソフトウェアは、さらに前記映像情報において前記トラッキングマーカーの３次元位置及び方向を決定することができ、且つ前記トラッキングマーカーの前記３次元位置及び方向から、前記映像情報における前記天然基準レファレンスの３次元位置及び方向を決定することができる。

前記手術モニタリングシステムは、前記手術部位の映像情報を獲得するためのトラッカーとコントローラとを含むことができる。前記コントローラは、前記トラッカーから前記手術部位の映像情報を獲得し、且つ前記手術部位の前記映像情報及び先に獲得されたスキャンデータにおいて前記天然基準レファレンスを識別し、且つ前記映像情報及び前記スキャンデータにおいて前記天然基準レファレンスの前記３次元位置及び方向を決定し、且つ前記映像情報を前記スキャンデータに３次元で空間的に関連付けすることができるよう、前記映像情報における前記天然基準レファレンスの前記３次元位置及び方向を、前記スキャンデータにおける前記天然基準レファレンスの前記３次元位置及び方向と比較し、且つ前記比較する段階から前記映像情報における３次元座標を前記スキャンデータにおいて相応する３次元座標に関連付けする３次元空間変形マトリクスを誘導するように構成することができることを特徴とする。

前記手術モニタリングシステムは、トラッキングマーカーを有する少なくとも１つの客体を含むことができる。前記トラッカーは、前記映像情報内で前記トラッキングマーカーを識別し、前記トラッキングマーカーに関する情報から前記少なくとも１つの客体の３次元位置及び方向を決定するように構成される。前記トラッカーは、前記少なくとも１つの客体のうち、１つに取り付けることができる。前記コントローラは、リアルタイムで前記３次元空間変形マトリクスを誘導するように構成することができる。

前記で説明したような前記手術モニタリングシステムは、任意のマーカーを有しない少なくとも１つのアイテム、若しくは器具を含むことができる。前記トラッカーは、前記少なくとも１つのアイテム若しくは器具の３次元形状を記述する、予めプログラミングされたデータに基づいて前記映像情報内で前記少なくとも１つのアイテム若しくは器具を識別し、且つ前記予めプログラミングされたデータに基づいて前記少なくとも１つのアイテム若しくは器具の３次元位置及び方向を決定するように構成される。

さらに別の側面から、手術部位の３次元位置及び方向を、前記手術部位のスキャンで前記手術部位の位置及び方向にリアルタイムで関連付けするための方法が提示される。前記方法は、スキャンデータを獲得できるように前記手術部位のスキャンを行う段階と、前記スキャンデータから天然基準レファレンスの３次元位置及び方向を決定する段階と、前記手術部位のリアルタイム映像情報を獲得する段階と、前記映像情報から前記天然基準レファレンスの３次元位置及び方向をリアルタイムで決定する段階と、前記スキャンデータから決定される前記天然基準レファレンスの前記３次元位置及び方向に対し、前記映像情報から決定される前記天然基準レファレンスの前記３次元位置及び方向をリアルタイムで表現するための空間的変形マトリクスを誘導する段階とを特徴とする。

前記方法は、前記トラッカーから前記手術部位の映像情報を獲得する段階と、前記手術部位の前記映像情報及び先に獲得されたスキャンデータにおいて天然基準レファレンスを識別する段階と、前記映像情報及び前記スキャンデータで前記天然基準レファレンスの前記３次元位置及び方向を決定する段階と、前記映像情報を前記スキャンデータに３次元で空間的に関連付けできるよう、前記映像情報における前記天然基準レファレンスの前記３次元位置及び方向を前記スキャンデータにおける前記天然基準レファレンスの前記３次元位置及び方向と比較する段階と、前記比較する段階から前記映像情報における３次元座標を前記スキャンデータにおいて相応する３次元座標に関連付けする３次元空間変形マトリクスを誘導する段階とを含むことができる。前記方法は、前記手術部位をモデリングする段階を含むことができる。前記方法は、前記映像情報内で前記手術部位に隣接した少なくとも１つの器具に取り付けられたトラッキングマーカーを識別する段階と、前記トラッキングマーカーに関する情報から前記少なくとも１つの客体の前記３次元位置及び方向を決定する段階とをさらに含むことができる。前記方法はまた、前記少なくとも１つの器具が前記手術部位内において不適切な位置に隣接したものと決定された際、警告を発する段階をさらに含むことができる。

前記方法は、再生された映像情報をリアルタイムで獲得することにより、リアルタイムで前記３次元空間変形マトリクスを誘導する段階をさらに含むことができる。

前記方法は、前記映像情報において前記手術部位に堅く取り付けられたトラッキングマーカーの３次元位置及び方向を決定する段階と、前記トラッキングマーカーの前記３次元位置及び方向から前記映像情報において前記天然基準レファレンスの前記３次元位置及び方向を決定する段階とをさらに含むことができる。

さらに別の側面から、手術部位に隣接した少なくとも１つのアイテム若しくは器具を追跡するための方法であって、前記手術部位の前記３次元位置及び方向を前記手術部位のスキャンで前記手術部位の位置及び方向に関連付けするための、前述した方法を含み、且つ前記少なくとも１つの客体の前記３次元形状を記述する予めプログラミングされたデータに基づいて前記映像情報内において前記少なくとも１つの客体を識別する段階と、前記予めプログラミングされたデータに基づいて前記手術部位の前記３次元位置及び方向に対し、前記少なくとも１つの客体の前記３次元位置及び方向を決定する段階とをさらに含む方法が提供される。かかる実施形態において、前記アイテム若しくは器具に如何なるトラッキングマーカーも要求されない。

図面と共に後述する本発明の実施形態の説明を参照することによって、上記で言及したり、若しくは他の特徴及び目的、かかる特徴及び目的を達成するための方法は更に明確になり、本発明そのものは更に理解できるであろう。

本発明の実施形態が利用できるネットワークシステムの概略的な模式図である。 コンピューティングシステム（サーバまたはクライアント、または適切であれば両方共）のブロック図であって、このコンピューティングシステムは選択的な入力装置（例えばキーボード、マウス、タッチスクリーンなど）と出力装置、ハードウェア、ネットワークコネクション、１つ以上のプロセッサ並びにデータ及びモジュールのためのメモリ／ストレージを備えており、本発明の実施形態と共にコントローラ及びディスプレイとして利用することができる。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の実施形態に係る手術モニタリングシステムのハードウェアコンポーネントの図面である。 本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。 本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。 本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。 本発明の１つの実施形態によってトラッキングポールと歯用ドリルを備えている歯用基準キーの図面である。 本発明の他の実施形態によって基準キー、内視鏡、生検針を示す内視鏡手術部位の図面である。 本発明のさらに他の実施形態に係る手術モニタリングシステムの図面である。 図７の手術モニタリングシステムを採択した本発明の登録方法のさらに他の実施形態を示すフローチャート模式図である。

多数の図面全体において相応する参照記号は相応する部分を示す。たとえ図面が本発明の実施形態を示していても、それら図面は必ずしも同じ割合ではなく、本発明を更に上手く例示し、説明できるよう、ある特徴は誇張になっていることもある。フローチャートとスクリーンショットもまた、本質上、代表的であるが、本発明の実際の実施形態は、図面に示していない他の特徴及び段階を含むことができる。本明細書で開示された例示は、１つの形態で本発明の実施形態を説明する。しかし、そのような例示は、決して本発明の範囲を制限するものとして解釈されてはならない。

下記に開示された実施形態は、網羅的だったり、後述する詳細な説明に開示されている正確な形態に本発明を制限したりしようとする意図ではない。寧ろ、開示された実施形態における教示を本技術分野における通常の技術者が活用できるよう、実施形態が選択され、説明されている。

後述する詳細な説明は、英数字文字または他の情報を表すコンピュータメモリ内でデータビット上の作動に対するアルゴリズム及び記号表現で部分的に提示されている。前記ハードウェアコンポーネントは特定のスキャニング法を利用し、特定形態と相対的な方向及び大きさを備えているものに示されているが、一般的な場合、通常の技術者であれば本発明の教示内で様々な特定形態、方向及びスキャニング法が使用できることを認識することができる。コンピュータは、映像データーを獲得して処理するインターフェースを含み、一般的に命令を行うプロセッサと、命令及びデータを保存するためのメモリとを含む。汎用コンピュータが、そのメモリ内に保存されている一連のマシンエンコーディングされた命令を有する場合、かかるエンコーディングされた命令に応じて作動するコンピュータは、特定形態のマシン、即ち、その一連の命令により具現化された作動を行うよう、特別に構成されているコンピュータであり得る。命令の一部は、他のマシンの作動を制御する信号を生成するため、適応することができる。よって、命令の一部はそれらの制御信号を介して作動し、コンピュータ自体から遠く離れている素材を変形させることができる。これら説明及び表示は、データ処理分野における通常の技術者によって、彼らの作業内容をその分野における通常の技術者に最も効率よく伝達するに用いられる手段である。

本明細書において、そして一般的にアルゴリズムは希望する結果を誘導する、一貫性ある一連の段階として認識されている。これらの段階は物理量を物理的に処理するに要求され、手術部位の周辺物質を表すスキャニングされたデータを観察し、測定する段階である。必ずしも必要なものではないが、通常、それら量は、保存、転送、変形、組合、比較及び他の方法で処理できる電気的若しくは磁気的パールスまたは信号の形態を有する。時々、主に便宜的使用との理由で、それら信号を物理的アイテムや顕示に対するレファレンスとしてビット、値、記号、文字、ディスプレイデータ、ターム、数字などで呼ぶことが便利であると判明されたが、物理的なアイテムや顕示においてそれらの信号は、映像の基礎となるデータを確保するよう、具現或いは表現されている。しかし、それら及び類似の用語は全て適切な物理量と関連しており、本明細書でそれら量に適用される便利なラベルとして単に使用されていることに留意すべきである。

一部のアルゴリズムは情報を入力すると同時に希望する結果を生成するためにデータ構造を利用することができる。データ構造はデータ処理システムによるデータ管理を非常に促進させ、精巧なソフトウェアシステムを介さなければアクセスすることができない。データ構造はメモリの情報コンテンツではなく、寧ろメモリ内に保存された情報に対する物理的構造を付与、若しくは顕示する特定の電子的構造要素を表す。単なる抽象化を飛び越え、データ構造はメモリ内の特定の電気的または磁気的な構造要素であって、時々関連アイテムのデータモデリングの物理的特性である複雑なデータを正確に表し、同時にコンピュータの作動における効率性を増加させる。

更に、行われる処理作業は、通常、人間操作員によって行われる精神的動作に関連している、比較若しくは追加のような用語で時々言及される。本発明の一部分を形成する、本発明で説明した任意の作動において、人間操作員のそのような能力は全く必要でないか、若しくは殆どの場合に好ましくなく、かかる作動は機械作動である。本発明の作動を行うために有用な機械は、汎用デジタルコンピュータまたは他の類似の機器を含む。全ての場合において、コンピュータを作動する際の作動方法と、コンピュータ操作自体の方法の間の区別は認識されるべきである。本発明は、電気的または他の（例えば機械的、化学的）物理的信号を処理する際、他の希望する物理的顕示または信号を生成することができるようにコンピュータを作動させる方法及び装置に関するものである。前記コンピュータはソフトウェアモジュールで作動するが、このソフトウェアモジュールは一連の機械命令を表す媒体に保存されている信号の収集所（コレクション）であり、一連の機械命令を通じ、コンピュータプロセッサはアルゴリズム段階を具現する機械命令を行うことができる。かかる機械命令は、プロセッサがその命令を具現するように解析する実際のコンピュータコードであっても良く、代わりとして実際のコンピュータコードを獲得できるように解析される、かかる命令のハイレベルのコーディングであっても良い。ソフトウェアモジュールはまた、ハードウェアコンポーネントを含むことができるが、アルゴリズムの一部の様相は命令の結果としてではなく、回路自体によって行われる。

また、本発明は、それら作動を行うための装置に関する。この装置は、要求される目的のために特別に構成することができ、若しくはコンピュータ内に保存されているコンピュータプログラムによって選択的に起動したり、若しくは再構成される汎用コンピュータを含むことができる。特定のハードウェアを必要とすると明示的に示されない限り、本明細書に提示するアルゴリズムは、任意の特定コンピュータまたは他の装置と本質的に連係していない。一部の場合において、コンピュータプログラムは特定のプロトコールで構成されている信号を介し、他のプログラムまたは道具と通信したり連係したりするが、このプログラムまたは道具は、相互作用できる特定のハードウェアまたはプログラミングを必要としたり、必要としなかったりする。特に、本明細書における教示に従って記録されたプログラムが備えられている多様な汎用マシンを使用することができ、または要求される方法段階を行うために更に特化した装置を構成する方が一層好都合であると判明されるかもしれない。様々なこれらマシンのために要求される構造は、下記の説明から明らかになるであろう。

本発明は「客体指向」ソフトウェア、特に「客体指向」運営体制を取り扱うことができる。この「客体指向」ソフトウェアは「客体」に編成されるが、それぞれの客体はその客体に転送された「メッセージ」若しくはその客体と一緒に発生する「イベント」に応えて行われる様々な手順（方法）を記述するコンピュータ命令のブロックを含む。例えば、かかる作動は変数の処理、外部イベントによる客体の活性化、及び他の客体への１つ以上のメッセージの伝達を含む。必ずしも必要なわけではないが、物理的客体は、物理的装置から観察されたデータを収集し、ソフトウェアシステムにその観察されたデータを転送できる相応するソフトウェア客体を有する。かかる観察されたデータは単に便利であるという点で物理的客体及び／またはソフトウェア客体からアクセスすることができる。従って、後述する説明で「実際のデータ」が使用される場合、かかる「実際のデータ」は器具自体からあっても良く、または相応するソフトウェア客体若しくはモジュールからあっても良い。

メッセージはプロセスを行うある機能と知識を有する客体の間で転送及び受信される。メッセージはユーザーの命令に応じて発生するが、例えば、イベントを生成する「マウス」ポインターでアイコンを活性化させるユーザーによって発生する。また、メッセージはメッセージの受信に応じる客体によって発生し得る。客体のうちの１つの客体がメッセージを受信する際、その客体は受信したメッセージに相応する作動（メッセージ手順）を行い、必要に応じて、その作動の結果を返す。それぞれの客体は、客体自体の内部状態（インスタンス変数）が保存される領域を有するが、その領域で他の客体のアクセスは許容されない。客体指向システムの１つの特徴は、継承である。例えば、ディスプレイ上に「円」を描くための客体は、ディスプレイ上に「外形」を描くための他の客体から機能と知識を継承することができる。

プログラマーは、個別のコードブロックを記録することにより、客体指向プログラミング言語で「プログラム化する」が、それぞれのコードブロックは、その方法を定義することで客体を生成する。メッセージにより相互通信するように適応されているこれら客体のコレクションは、客体指向プログラムを含む。客体指向コンピュータプログラミングは、対話型システムのモデリングを容易にするが、このモデリングでシステムのそれぞれのコンポーネントは客体にモデリングすることができ、それぞれのコンポーネントの行為はそれに相応する客体の方法によってシミュレーションされ、コンポーネントの間の相互作用は、客体の間に転送されるメッセージによってシミュレーションされる。

操作員は、客体のうちの１つの客体にメッセージを転送することで、客体指向プログラムを含む相互関連した客体のコレクションを刺激することができる。メッセージを受信すると所定の機能を行うことにより、客体に反応させることができるが、所定の機能は１つ以上の他の客体に追加的なメッセージを転送することを含むことができる。その他の客体は受信したメッセージに応じ、順次に追加的な機能を行うことができるが、追加的な機能は更に多くのメッセージを転送することを含む。この方式で、メッセージと応答のシーケンスは、無限に続けられることができ、または全てのメッセージが応答され、かつ、新しいメッセージが転送されなかったときに終了することができる。客体指向言語を活用するシステムをモデリングする際、プログラマーは、モデリングされたシステムのそれぞれのコンポーネントが１つの刺激にどう反応するかだけについて考えればよく、一部の刺激に応じて行われる作動手順については考える必要がない。かかる作動手順は、本質的にその刺激に応答する客体の間における相互作用の結果から得られ、プログラマーによって予め定められる必要はない。

たとえ客体指向プログラミングが、相互関連したコンポーネントシステムのシミュレーションを更に直観的になるようにすることはできるとしても、順次に構成されたプログラムの場合のように、通常、１つの客体指向プログラムによって行われる作動手順は、ソフトウェアのリストから直ちに明確になるわけではないため、客体指向プログラムの作動は時々理解し難い。また、客体指向プログラムの作動が非常に明白に顕示されることを観察して、客体指向プログラムがどのように動作するかを決めることも容易ではない。通常、観察できるコンピュータ出力を生成することは、相対的に少数の段階に過ぎないため、プログラムに応じ、コンピュータによって行われる殆どの作動は観察者に見えない。

後述する説明において頻繁に用いられるいくつかの用語は、本明細書の脈絡で特別な意味を有する。用語「客体」は一連のコンピュータ命令及び関連したデータに関するものであって、ユーザーにより、直接的に若しくは間接的に活性化することができる。用語「ウィンドウ環境」、「ウィンドウ実行」及び「客体指向運営体制」は、ラスタースキャンされた動画ディスプレイにおいて、有界領域（ｂｏｕｎｄｅｄ ｒｅｇｉｏｎ）の内部のように動画ディスプレイで情報が処理され、ディスプレイされるコンピュータユーザーインターフェースを示すために用いられる。用語「ネットワーク」「近距離通信網」、「ＬＡＮ」、「広域通信網」、若しくは「ＷＡＮ」はコンピュータの間でメッセージが転送できる方式で接続されている２台以上のコンピュータを意味する。かかるコンピュータネットワークにおいて、１つ以上のコンピュータは、通常、ハードディスクドライブのような大きいストレージ装置とプリンター、若しくはモデムのような周辺装置を作動させる通信ハードウェアを備えたコンピュータである「サーバ」として作動する。「ワークステーション」という用語が用いられる他のコンピュータはユーザーインターフェースを提供し、コンピュータネットワークのユーザーは共有データファイル、共通周辺装置及びワークステーションの相互間通信のようなネットワークリソースにアクセスすることができる。ユーザーはコンピュータプログラムまたはネットワークリソースを活性化し、「プロセス」を生成するが、そのプロセスは入力変数によって決定される特定の作動特性が備えられたコンピュータプログラムの一般的な作動とその環境を全て含む。プロセスに類似しているのがエージェントであるが（たまに知能型エージェントと呼ばれる）、エージェントはユーザーの干渉なく、いくつかの周期的なスケジュールに従い、情報を収集するか、若しくはいくつかの他のサービースを行うプロセスである。一般的にエージェントは、ユーザーによって通常提供されるパラメータを使用し、ホストマシン上でまたはネットワーク上の他の一部のポイントで位置を探索し、そのエージェントの目的に関する情報を収集し、その情報を周期的にユーザーに提供する。

用語「デスクトップ」はそのデスクトップに関連したユーザーに、関連したセッティングを備えている客体のメニュー、若しくはディスプレイを提示する特定のユーザーインターフェースを意味する。デスクトップがネットワークリソースにアクセスする際、通常、遠隔サーバで実行できる応用プログラムが必要となるが、デスクトップは応用プログラムインターフェース、即ちＡＰＩを呼び出して、ユーザーがネットワークリソースにコマンドを提供し、任意の出力を観察できるようにする。用語「ブラウザ」は、ユーザーに必ずしも明白ではないが、デスクトップとネットワークサーバの間にメッセージを転送し、ネットワークユーザーのディスプレイ及びネットワークユーザーとの相互作用に関与するプログラムのことを指す。ブラウザは、コンピュータの汎世界的なネットワーク、即ち「ワールドワイドウェブ」、若しくは簡単に「ウェブ」でテキスト及びグラフィック情報を転送するための通信プロトコルを活用するよう設計されている。本発明に常用できるブラウザの例は、マイクロソフト社で販売しているインターネットエクスプローラー（インターネットエクスプローラーは、マイクロソフト社の商標）、オペラソフトウェアＡＳＡで作ったオペラブラウザプログラム、またはモジラファウンデーションで配布しているファイアフォックスブラウザプログラム（ファイアフォックスは、モジラファウンデーションの登録商標）を含む。後述する説明はブラウザのグラフィックユーザーインターフェースという面でその作動を詳細に説明するが、本発明は、グラフィック基盤のブラウザの多い機能を有している、テキスト基盤のインターフェース、更には音声若しくは視覚的に活性化されたインターフェースにおいても実行することができる。

ブラウザディスプレイ情報は、標準汎用文書記述言語（ＳＧＭＬ）若しくはハイパーテキスト文書記述言語（ＨＴＭＬ）でフォーマットされているが、この２つの言語は全てスクリプティング言語であって、特定のＡＳＣＩＩテキストコードを使用し、テキスト文書内に非視覚的コードを内蔵している。これらのフォーマットでのファイルは、インターネットのようなグローバル情報ネットワークを含む、コンピュータネットワークを渡り、容易に転送することができ、ブラウザがテキスト、映像をディスプレイできるようにし、音声及び映像の録音物を演奏できるようにする。ウェブは、その通信プロトコルと共にこれらのデータファイルフォーマットを活用し、サーバとワークステーションの間でかかる情報を転送する。ブラウザはまた、拡張性文書記述言語（ＸＭＬ）のファイル内に提供されている情報をディスプレイできるよう、プログラム化できるが、ＸＭＬファイルがあれば様々な文書型定義（ＤＴＤ）を使用することができるため、本質上、ＳＧＭＬ若しくはＨＴＭＬより汎用的である。データフォマッティング及びスタイルシートフォマッティングが別に含まれているため（フォマッティングは情報をディスプレイする方法として考えられるので、ＸＭＬファイルはデータ及び関連した方法を有する）、ＸＭＬファイルは客体に類推することができる。

前述で定義したように、用語「個人携帯情報端末」、または「ＰＤＡ」は、コンピューティング、電話、ファックス、電子メール及びネットワーキングの特徴が結合されている任意の携帯用モバイル機器を意味する。用語「無線広域通信網」、または「ＷＷＡＮ」は、携帯用機器とコンピュータの間でデータ転送のための媒体として機能する無線ネットワークを意味する。用語「同期化」は、有線または無線のうち、１つを経由し、例えば携帯用機器の第１機器と、例えばデスクトップコンピュータの第２機器との間における情報交換を意味する。同期化は２つの機器におけるデータが同一（少なくとも同期化時点で）であることを保障する。

無線広域通信網において、通信はアナログ、デジタルセルラー、または個人携帯通信サービース（ＰＣＳ）ネットワーク上の無線信号の転送を介して主に行われる。信号は、極超短波及び他の電磁気波を介しても転送することができる。現在、殆どの無線データ通信は、符号分割多重接続（ＣＤＭＡ）、時分割多重接続（ＴＤＭＡ）、世界移動通信システム（ＧＳＭ）のような２世代技術、３世代技術（ワイドバンド若しくは３Ｇ）、４世代（ブロードバンド若しくは４Ｇ）、個人デジタルセルラー（ＰＤＣ）を使用するセルラーシステムを経由したり、または高度携帯電話システム（ＡＭＰＳ）で使用されているセルラーデジタルパケットデータ（ＣＤＰＤ）のようなアナログシステムにおけるパケットデータ技術を通じて発生する。

用語「無線応用通信プロトコル」、即ち「ＷＡＰ」は、小型ユーザーインターフェースが備えられた携帯用機器及びモバイル機器でウェブ基盤データの伝達及び提示を容易にする汎用仕様を意味する。「モバイルソフトウェア」は、応用プログラムが移動電話またはＰＤＡのようなモバイル機器で具現できるようにするソフトウェア運営体制を指す。モバイルソフトウェアの例は、Ｊａｖａ及びＪａｖａ ＭＥ（ＪａｖａとＪａｖａ ＭＥはカリフォルニア州・サンタクララ所在のサンマイクロシステムズ社の商標）、ＢＲＥＷ（ＢＲＥＷはカリフォルニア州・サンディエゴ所在のクアラコム社の登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（Ｗｉｎｄｏｗｓはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、Ｐａｌｍ ＯＳ（Ｐａｌｍはカリフォルニア州・サニーベール所在のパーム社の登録商標）、Ｓｙｍｂｉａｎ ＯＳ（Ｓｙｍｂｉａｎは英国・ロンドン所在のシンビアンソフトウェア株式会社の登録商標）、ＡＮＤＲＯＩＤ ＯＳ（ＡＮＤＲＯＩＤはカリフォルニア州・マウンテンビュー所在のグーグル社の登録商標）、ｉＰｈｏｎｅ ＯＳ（ｉＰｈｏｎｅはカリフォルニア州・クパチーノ所在のアップル社の登録商標）、及びＷｉｎｄｏｗｓ Ｐｈｏｎｅ７がある。「モバイルアプリ」は、モバイルソフトウェアを用いて実行するように記録されたソフトウェアプログラムを指す。

用語「スキャン」、「基準レファレンス」、「基準位置」、「マーカー」、「トラッカー」及び「映像情報」は、本開示において特別な意味を有する。本開示の目的に関連し、「スキャン」またはその派生語は、Ｘレイ、磁気共鳴映像（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、超音波検査、コーンビームコンピュータ断層撮影（ＣＢＣＴ）または患者の定量的な空間再現を生成する任意のシステムを指す。用語「基準レファレンス」または単純に「基点」は、認識可能な固定ポイントとしてユニークに識別できるスキャン映像における客体またはレファレンスを指す。本明細書において、用語「基準位置」は、基準レファレンスが取り付けられる有用な位置を指す。「基準位置」は、普通、手術部位に隣接する。用語「マーカー」または「トラッキングマーカー」は、外科または歯の手術位置に隣接したセンサーにより認識できる客体またはレファレンスを指すが、ここでセンサーは、光センサー、無線識別装置（ＲＦＩＤ）、音声感知センサー、紫外線若しくは赤外線センサーであっても良い。用語「トラッカー」は、マーカーの位置と、手術中、リアルタイムで連続的にマーカーの方向及び動きを決定できる機器、若しくは機器システムを指す。具現可能な例として、例えばマーカーが印刷されたターゲットで構成されていれば、トラッカーは立体カメラのペアを含むことができる。本明細書において用語「映像情報」は、光学、若しくは別の方法でトラッカーによって取得される情報を説明するために用いられ、マーカーの位置と、手術中、リアルタイムで連続的にマーカーの方向及び移動を決定するため、用いることができる。

図１は、１つの実施形態によるコンピューティング環境１００の高水準のブロック図である。図１は、ネットワーク１１４により接続されているサーバ１１０と３つのクライアント１１２を例示している。説明を簡略、かつ、明確にできるよう、図１に３つのクライアント１１２のみを示している。コンピューティング環境１００の実施形態は、例えばインターネットであるネットワーク１１４に接続されている数千、若しくは数万のクライアント１１２を有することができる。ユーザー（不図示）はクライアント１１２のうちの１つでソフトウェア１１６を作動させ、サーバ１１０及び関連した通信装備及びソフトウェア（不図示）を経由し、ネットワーク１１４にメッセージを送信・受信することができる。

図２はサーバ１１０、若しくはクライアント１１２を具現するに適切なコンピュータシステム２１０のブロック図である。コンピュータシステム２１０はバス２１２を含むが、バス２１２は、中央プロセッサ２１４、システムメモリ２１７（普通、ＲＡＭであるが、ＲＯＭ、フラッシュＲＡＭ、若しくはその他のメモリも含むことができる）、入力・出力コントローラ２１８、音声出力インターフェース２２２を経由するスピーカシステム２２０のような外部音声装置、ディスプレイアダプタ２２６を経由するディスプレイスクリーン２２４、シリアルポート２２８、２３０、（キーボードコントローラ２３３で接続される）キーボード２３２、ストレージインターフェース２３４、フロッピーディスク２３８を収容し、作動するディスクドライブ２３７、ファイバーチャネルネットワーク２９０に接続され、作動するホストバスアダプタインターフェースカード２３５Ａ、ＳＣＳＩバス２３９に接続され、作動するホストバスアダプタインターフェースカード２３５Ｂ、及び光ディスク２４２を収容し、作動する光ディスクドライブ２４０のような外部装置のコンピューティングシステム２１０の主要なサブシステムを互いに接続する。また、マウス２４６（または、他のポイント・クリック機器、シリアルポート２２８を経由してバス２１２に接続）、モデム２４７（シリアルポート２３０を経由してバス２１２に接続）、及びネットワークインターフェース２４８（バス２１２に直接接続）が含まれている。

バス２１２は、中央プロセッサ２１４とシステムメモリ２１７との間でデータ通信を可能にさせるが、前述した通り、システムメモリはリードオンリーメモリ（ＲＯＭ、不図示）若しくはフラッシュメモリ（不図示）、そしてランダムアクセスメモリ（ＲＡＭ、不図示）を含むことができる。一般的にＲＡＭは主メモリであって、運営体制及び応用プログラムがその中にローディングされる。ＲＯＭ若しくはフラッシュメモリは、他のソフトウェアコードの中でも基本入力・出力システム（ＢＩＯＳ）を含むことができるが、ＢＩＯＳは、周辺コンポーネントとの相互作用のような基本的なハードウェア作動を制御する。コンピュータシステム２１０に常駐する応用プログラムは、一般的にハードディスクドライブ（例えば、固定ディスク２４４）、光ディスク（例えば、光ドライブ２４０）、フロッピーディスクユニット２３７、若しくは他のストレージ媒体のようなコンピュータ可読媒体に保存され、その媒体を経由してアクセスされる。更に、ネットワークモデム２４７、若しくはネットワークインターフェース２４８、若しくは他の通信装備（不図示）を経由し、応用プログラムにアクセスする際、応用プログラムは、応用及びデータ通信技術によって変調された電子信号の形であっても良い。

コンピュータシステム２１０の他のストレージインターフェースと同様に、ストレージインターフェース２３４は情報の保存及び／または検索のため、固定ディスクドライブ２４４のような標準コンピュータ可読媒体に接続することができる。固定ディスクドライブ２４４は、コンピュータシステム２１０の一部であっても良く、または別個に分離され、他のインターフェースシステムを介してアクセスすることができる。モデム２４７は、電話接続、またはインターネットサービース提供者（ＩＳＰ、不図示）を経由するインターネットを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８はＰＯＰ（相互接続位置）を経由するインターネットへの直接ネットワークリンクを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８は無線技術を使用し、かかる接続を提供することができるが、無線技術はデジタルセルラー電話接続、セルラーデジタルパケットデータ（ＣＤＰＤ）接続、デジタル衛星データ接続、若しくは他の接続を含む。

図３Ａ〜Ｉのハードウェアコンポーネントを含む、他の多くの装置、若しくはサブシステム（不図示）を類似の方式で接続することができるが（例えば、文書スキャナ、デジタルカメラなど）、これらはその代替として近距離通信網、広域通信網、無線通信網、若しくは通信システムを介して関連したコンピュータリソースと通信することができる。従って、一般的に本開示においてはハードウェアコンポーネントがコンピューティングリソースに直接接続されている実施形態を議論することができるが、本技術分野の通常の技術者は、かかるハードウェアはコンピューティングリソースと遠隔で接続できることが分かる。逆に、本開示を実行するため、図２に示す全ての装置が存在する必要はない。装置及びサブシステムは、図２とは異なる方法で相互接続することができる。図２に示したようなコンピュータシステムの作動は、当業界によく知られているので、本出願では詳細に説明しない。本開示を具現できるソフトウェアのソースコード及び／またはオブジェクトコードは、１つ以上のシステムメモリ２１７、固定ディスク２４４、光ディスク２４２、若しくはフロッピーディスク２３８のようなコンピュータ可読記憶媒体に保存することができる。コンピュータシステム２１０に提供される運営体制は多様であるか、または別バージョンのＭＳ−ＤＯＳ（ＭＳ−ＤＯＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＷＩＮＤＯＷＳ（ＷＩＮＤＯＷＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＯＳ／２（ＯＳ／２はニューヨーク州・アーモンク所在のＩＢＭ社の登録商標）、ＵＮＩＸ（ＵＮＩＸはイギリス・レディング所在のエックスオープン社の登録商業）、Ｌｉｎｕｘ（Ｌｉｎｕｘはオレゴン州・ポートランド所在のリーナストーバルズの登録商標）、若しくは他の公知されたり開発されたりした運営体制のうち、１つであり得る。

更に、本明細書で説明する信号に関し、通常の技術者であれば、信号が第１ブロックから第２ブロックに直接転送、または信号がそれらブロックの間で変調（例えば、増幅、減衰、遅延、ラッチ、バッファリング、反転、フィルターリング、若しくは他の変更）できることが分かる。前述した実施形態の信号は１つのブロックから次のブロックに転送されることが特徴とされているが、信号の情報及び／または機能の面がブロックの間で転送される限り、本開示の他の実施形態は、そのような直接転送された信号に代わって変調された信号を含むことができる。ある程度、関連した回路の物理的限界（例えば、ある程度の減衰及び遅延が必然的にあるはず）により、第２ブロックにおける信号入力は、第１ブロックからの第１信号出力に由来する第２信号として概念化することができる。従って、本明細書において用いられる第１信号に由来する第２信号は、第１信号、または回路制限若しくは第１信号の情報及び／または最終機能の面を変えない他の回路素子の通過による、第１信号に対する任意の変調を含む。

本発明は、手術ハードウェア及びソフトウェアモニタリングシステム及び方法に関するものであって、患者の手術までに余裕がある間、例えば、患者が手術を準備する間、このシステムが手術部位をモデル化できるよう手術計画を可能にする。前記システムは、図３Ａにおいて基準キー１０で表示されている、特別に構成されるハードウェアピースを使用し、手術の重要領域（ｃｒｉｔｉｃａｌ ａｒｅａ）に対してモニタリングシステムのトラッキングマーカー１２を一定方向に向かせる。基準キー１０は意図された手術領域に隣接した位置に取り付けられるが、図３Ａの歯の手術領域の例示的な実施形態において、基準キー１０は歯の副木１４に取り付けられている。トラッキングマーカー１２はトラッキングポール１１によって基準キー１０に接続することができる。手術部位に関する映像情報を獲得する適切なトラッカーに基準レファレンスが直接見える実施形態において（例えば、図５及び図６を参照）、トラッキングマーカーは基準レファレンスに直接取り付けることができる。例えば、歯の手術で、手術領域の近くに基準キー１０を確実に位置付けすることができるよう、歯のトラッキングマーカー１２を使用することができる。トラッカーによってトラッキングマーカー１２から獲得されたデータの持続的な映像処理のため、前記基準キー１０はレファレンスポイント、即ち、基点として使用することができる。

他の実施形態において、追加のトラッキングマーカー１２は基準キー１０及びその基準キーに関連した任意のトラッキングポール１１、またはトラッキングマーカー１２とは独立したアイテムに取り付けることができる。そのため、その独立したアイテムがトラッカーによって追跡される。

更に他の実施形態において、手術部位に隣接したアイテム、若しくは器具のうち、少なくとも１つは本発明のモニタリングシステム７００のためのトラッカーとして機能し、前記トラッキングマーカー１２及び前記手術領域のスキャンデータに対し、任意の追加のトラッキングマーカーの方向及び位置を感知できるように取り付けられるトラッカーを選択的に有することができる。一例として、器具に取り付けられている前記トラッカーは小型デジタルカメラであっても良い。例えば、歯医者用ドリルに取り付けられても良い。前記アイテム、若しくは器具に取り付けられたトラッカーによって追跡される任意の他のマーカーは、そのトラッカーの視界の中になければならない。

歯の手術の例を使用すると、手術部位の初期スキャンを得るため、患者はスキャニングされる。基準キー１０の特定の形により、メモリ内に保存されており、例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７の適切なコントローラで実行されるコンピュータソフトウェアは、前記スキャンデータから手術部位内で基準キーの相対的な位置を認識することができるので、基準キー１０の位置及び方向を参照し、更なる観察を行うことができる。一部の実施形態において、前記基準レファレンスはスキャニングされた際、認識可能な識別象徴として明確なマーキングを含む。他の実施形態において、スキャンで見える身体はスキャンの分析から明確に決定できる前面、後面、上面、下面及び左／右が定義されている表面を示し、それによって基準レファレンスの位置はもちろん、その方向までも決定できるようにする非対称的な形を有しているという点で、前記基準レファレンスは、区別される形状を含んでいる。

更に、前記コンピュータソフトウェアは、歯、顎骨、皮膚及び歯茎組織、他の手術器具などのようにスキャン内の客体を構成するための座標系を生成することができる。前記座標系はスキャンの映像を基点周辺の空間に関連付けし、方向と位置、両方共によってマーカーが付けられた前記器具を位置付けする。続いて、モニタリングシステムにより生成された前記モデルは、境界条件を点検するために使用することができ、トラッカーと協同してリアルタイムでその配置を適切なディスプレイ、例えば、図２のディスプレイ２２４上に表示する。

１つの実施形態において、前記コンピュータシステムは基準キー１０の物理的な構成に関する所定の知識を有しており、基準キー１０を位置付けするため、スキャンのスライス／セクションを点検する。基準キー１０の位置付け作業は、その独特な形状に基づいたり、または基準キー上部、若しくはトラッキングマーカー１２のような前記基準キー１０への取付物上部ではっきりと識別され、かつ、方向性を有するマーキングに基づくことができる。基準キー１０の構成において、放射線不透過性素材、若しくは高密度素材を採択した高い映像処理コントラストを通じ、基準キー１０がスキャンではっきりと見えるようにすることができる。他の実施形態において、適切な高密度、若しくは放射線不透過性インク、若しくは素材を使用して、はっきりと識別され、方向性を有するマーキング素材を生成することができる。

基準キー１０が識別されると、分割スキャンから前記基準キー１０の位置及び方向が決定され、基準キー１０内の１つのポイント（地点）が座標系の中央に割り当てられる。そのように選択されたポイントは任意に選択することができ、またはその選択は数々の有用な基準に基づくことができる。モデルは続いて変形マトリクスの形に誘導され、基準システムに関連付けされるが、１つの特定実施形態において、基準キー１０が手術部位の座標系に関連付けされる。その結果で生成される仮想の構築物は、意図されている手術の仮想モデリングのための手術手順計画ソフトウェアによって使用されることができ、代替手段として手術ソフトウェアのための映像支援を提供し／提供したり手術手順を行うための経路をグラフに表したりするための目的で、器具を構成するための計測ソフトウェアによって使用されることができる。

いくつかの実施形態において、前記モニタリングハードウェアは前記基準レファレンスへのトラッキング取付物を含む。歯の手術に関連する実施形態において、基準キー１０への前記トラッキング取付物はトラッキングマーカー１２であるが、前記トラッキングマーカー１２はトラッキングポール１１を介し、基準キー１０に取り付けられている。トラッキングマーカー１２は、特別な識別パターンを有することができる。例えば、トラッキングマーカー１２のような追跡可能な取付物と、更に関連しているトラッキングポール１１は、公知の構成を有するため、トラッキングポール１１及び／またはトラッキングマーカー１２から観察データを座標系に正確に図解することができ、それにより、手術手順の進行をモニタリングして、記録することができる。例えば、特に図３Ｊに示すように、基準キー１０は、トラッキングポール１１のインサート１７に締結されるよう特別に調整されている所定の位置にホール１５を有することができる。例えば、かかる配置において、トラッキングポール１１は小さい力で基準キー１０のホール１５内部に取り付けることができ、それにより、かかる取り付けが成功的に完了すると聴覚的な通知を与えることができる。

手術手順において、トラッキングポールの方向を転換することも可能である。例えば、歯の手術が口腔内の反対側の歯を扱う場合、外科医が手を取り替える場合及び／または２番目の外科医が手術の一部を行う場合、手術位置を変更するため、そのような方向転換があり得る。例えば、トラッキングポールの移動は、座標系に対する前記トラッキングポールの再登録のきっかけとなり得るため、その位置をそれに応じて調節することができる。例えば、歯の手術の実施形態の場合、取り付けられたトラッキングマーカー１２を備えたトラッキングポール１１が基準キー１０のホール１５から分離され、関連したトラッキングポールを備えた別のトラッキングマーカーが基準キー１０の代替ホールに接続されるとき、かかる再登録が自動的に開始される。更に、ソフトウェアで境界条件が具現され、観察データがその外周部領域にアクセスし／アクセスしたり入ったりする際、ユーザーに通知することができる。

本発明を活用するシステムの更に他の実施形態において、本明細書で「ハンドピース」（図５及び図６）と命名される手術器具、若しくは手術道具は、座標系内に位置して、追跡できる独特な構成を有することができ、本明細書で説明するような適切なトラッキングマーカーを有することができる。仮想の素材との潜在的な衝突を示すための境界条件を設定することができ、ハンドピースが境界条件にアクセスすると感知された際、スクリーン上に指示が現れたり、或いはアラームサウンドが鳴り得る。それだけでなく、希望する手術領域を示せるよう、ターゲットの境界条件を設定することができ、ハンドピースの経路がターゲット領域を離れる傾向にあるとき、そのハンドピースが希望経路を離れていることを示す表示が、スクリーン上に見えたり、或いはアラームサウンドが鳴り得る。

いくつかのハードウェアコンポーネントの代替的な実施形態が図３Ｇ〜Ｉに示されている。基準キー１０´は適切な接続部を備えた接続要素を有しており、トラッキングポール１１´が手術部位に対しトラッキングマーカー１２´を位置付けするようにする。独特な形状を有しているが、概念的に基準キー１０´は、前述の実施形態と非常に同一の方式でポール１１´及びトラッキングマーカー１２´に対するアンカーとして機能する。前記モニタリングシステムの前記ソフトウェアは、それぞれ特別に識別される基準キー、トラッキングポール、及びトラッキングマーカーの構成を有するよう予めプログラムされており、その位置計算は変更された構成パラメータによって変更されるだけである。

規制要件及び実質的な考慮事項により、ハードウェアコンポーネントの素材は異なっても良い。一般的にキー、若しくは基準コンポーネントは、通常、放射線不透過性素材で製造されるため、スキャンのノイズを発生しないが、スキャニングされた映像上に認識できるコントラストを生成するため、それに関連した任意の識別パターンを認識することができる。更に、一般的に患者に配置されているため、前記素材は軽量であって、患者に置かれた装置への接続に適合しなければならない。例えば、歯の手術の場合、前記基準キーの素材はプラスチック副木への接続に適合すべきであり、トラッキングポールへの接続に適合すべきである。外科手術の場合、前記基準キーの素材は患者の皮膚、若しくは他の特定組織への取り付けに適していなければならない。

それに限定されるものではないが、例えば、高コントラストのパターン彫刻を採択することで、前記トラッキングマーカーは鮮明に識別される。前記トラッキングマーカーの素材としては、オートクレーブ工程における損傷に耐性があり、コネクト構造への堅くて繰り返し可能、かつ迅速な接続に適合性のある素材が選択される。前記トラッキングマーカー及びそれに接続されたトラッキングポールは、異なる手術位置に対し異なる位置に収容され得る性能を有しており、前記基準キーと同様、トラッキングマーカーとトラッキングポールは、患者の上部、若しくは患者に対し安定して配置されるため、相対的に軽量でなければならない。前記トラッキングポールも同様に、オートクレーブ工程に適合性がなければならず、トラッキングポールの中で共有された形のコネクターを有しなければならない。

前記基準キー、トラッキングポール及びトラッキングマーカーを追跡する際に採択される前記トラッカーは、１．５ｍ^２サイズの客体を非常に正確に追跡できなければならない。限定されるものではないが、一例として、前記トラッカーはステレオカメラ、若しくはステレオカメラペアである。感覚的な入力を読み取りできるよう、一般的にトラッカーは有線でコンピューティング装置に接続されるが、前記感覚的なデータをコンピューティング装置に転送できるよう、前記トラッカーは選択的に無線接続を有することができる。

ハンドピースのように追跡可能な器具のピースを追加に採択する実施形態において、かかる追跡可能な器具のピースに取り付けられるトラッキングマーカーはまた軽量でなけれなならず、９０°の間隔を持つ３つの客体アレイ内で作動できなければならない。また、高コントラストのパターン彫刻と、標準ハンドピースに対し堅く、迅速な装着メカニズムを選択的に有しなければならない。

本発明の別の側面において、図４Ａ〜Ｃに示すよう、手術活動を追跡するための自動登録方法が提示される。限定されるものではないが、図４Ａ及び図４Ｂは、スキャンデータから前記基準レファレンスの３次元位置及び方向を決定するための１つの方法のフローチャートである。図４Ｃは、前記トラッカーにより獲得された映像情報から適切なトラッキングマーカーの存在を確認し、前記映像情報に基づいて前記基準レファレンスの３次元位置及び方向を決定するための方法を示すフローチャートである。

図４Ａ及び図４Ｂに示すよう、一旦プロセスが始まると（段階４０２）、前記システムは、例えばＣＴスキャンからスキャンデータセットを獲得し（段階４０４）、前記基点及び前記特別なスキャナモデルの知識に基づいてスキャンと共に提供されるか、或いは提供されない、前記基点に関するＣＴスキャンのデフォルトハンスフィールドユニット（ＨＵ）値をチェックし（段階４０６）、もしかかる閾値が存在しなければ一般化された所定のデフォルト値が採択される（段階４０８）。続いて、前記基準キー値に関連している予測値の範囲外のハンスフィールドデータ値で分割スキャンを除去することで、前記データが処理され（段階４１０）、残っているポイントの収集が続く（段階４１２）。もし前記データが空いていれば（段階４１４）ＣＴ閾値が調整され（段階４１６）、元の値が復元され（段階４１８）、分割スキャンの分割処理が続く（段階４１０）。前記データが空いていなければ、既存データを用いてマスの中央が計算され（段階４２０）、Ｘ・Ｙ・Ｚ軸の計算が行われる（段階４２２）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点になければ（段階４２４）ユーザーに通知され（段階４２６）、プロセスが終了する（段階４２８）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点にあれば（段階４２４）そのデータポイントは設計された基準データと比較される（段階４３０）。もし累積誤差が、許容される最大誤差より大きければ（段階４３２）ユーザーに通知され（段階４３４）、このプロセスは終了する（段階４３６）。累積誤差が、許容される最大誤差より大きくなければ、Ｘ・Ｙ・Ｚ軸の交差点で座標系が定義され（段階４３８）、スキャンプロファイルはＨＵユニットに対してアップデートされる（段階４４０）。

図４Ｃを参照すると、適切なカメラ若しくは別のセンサーであるトラッカーから映像情報が獲得される（段階４４２）。トラッキングマーカーが映像情報内に存在するかを決定するため、前記映像情報が分析される（段階４４４）。もし存在しなければ、この手順を続けるべきかどうかがユーザーに問われる（段階４４６）。続けない場合、このプロセスは終了する（段階４４８）。このプロセスが続く場合は、前記映像情報内でトラッキングマーカーが発見されなかったことがユーザーに通知され（段階４５０）、このプロセスは映像情報を獲得する段階に戻る（段階４４２）。もし前記映像情報に基づきトラッキングマーカーが発見されたり、若しくは前述した通知により、ユーザーによってトラッキングマーカーが取り付けられたりしたら（段階４５０）、適切なデータベースから前記基準レファレンスに対する前記トラッキングマーカーのオフセット及び相対的な方向が獲得される（段階４５２）。用語「データベース」は、本明細書において形式的な多重要素、若しくは多次元データベースで構成されたか否かにかかわらず、かかる情報の任意のソース、量及び配置を説明するために用いられる。本発明のこの実施形態の単純な具現において、オフセット値と相対的な方向を含む単一データセットが十分であり、その単一データセットは、例えばユーザーによって提供されたり、またはコントローラのメモリユニット内にあるか、若しくは分離されたデータベース、若しくはメモリ内にあり得る。

座標系の原点を前記基準レファレンスに定義し、前記映像情報に基づいた前記基準レファレンスの３次元方向を決定できるよう、前記トラッキングマーカーのオフセット及び相対的な方向が使用され（段階４５４）、登録プロセスが終了する（段階４５８）。前記基準レファレンスの位置と方向をリアルタイムでモニタリングできるよう、このプロセスは段階４５４から繰り返され、カメラから新しい映像情報を獲得することができる（段階４４２）。ユーザーがこのプロセスを終了できるよう、適切なクエリポイントが含まれても良い。映像データから所定の形状を有したりマーキングされたりしたトラッキングマーカーの方向及び位置を決定するための詳細な方法は、本技術分野の技術者に知られているので、ここでは説明しない。前記手術部位に隣接した、トラッキングマーカーを有する任意のアイテムの動きを追跡できるよう、このように誘導された座標系が使用される。他の登録システムも考えられるが、例えば所定のオフセットではなく、既存の他の感覚的なデータを使用するか、若しくは基点が転送容量を持つようにすることがある。

本発明の実施形態の一例が図５に示されている。所定の歯に取り付けられ、堅く取り付けられたトラッキングマーカー５０４を有する基準キー５０２の他にも、例えば歯用ドリルであり得るハンドピースの追加器具、若しくは道具５０６を前記モニタリングシステムのトラッカーとして機能するカメラ５０８によって観察することができる。

本発明の実施形態の他の例が図６に示されている。例えば、人間の腹や胸であり得る手術部位６００は、トラッキングマーカー６０４を支持できるよう、所定の位置に固定されている基準キー６０２を有することができる。内視鏡６０６は別のトラッキングマーカーを有することができ、トラッキングマーカーを有する生検針６０８は手術部位において提示されることができる。センサー６１０は、例えばカメラ、赤外線感知器、若しくはレーダーであり得る。

本発明のさらに別の側面は、患者の手術までに余裕がある間、例えば、患者が手術を準備する間、このシステムが手術部位をモデル化できるよう手術計画を可能にする手術モニタリングシステム及び方法の実施形態を含む。前記で記述した実施形態と比べて、これらの実施形態は天然基準レファレンスとして少なくとも１つの識別可能に区別される解剖学的特徴を採択することにより、手術部位の内部及び手術部位に隣接したアイテムの解剖学的特徴の位置及び方向を識別する。図７は歯科手術の実施形態を提示しているが、全体的に７００に示された手術モニタリングシステムは、手術部位７２０の映像情報を獲得するためのトラッカー７１０と、映像情報を処理するためのコントローラ７３０と、コントローラ７３０からの情報を表示するためのディスプレイ７４０とを含む。例えば、コントローラ７３０は、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７を含むことができ、ディスプレイ７４０は、図２のディスプレイ２２４を含むことができる。トラッカー７１０は、手術部位７２０から獲得した映像情報を、第１インターフェースコネクション７５０を経由してコントローラ７３０に提供するように構成することができる。第１インターフェースコネクション７５０は、有線若しくは無線であり得る。コントローラ７３０は、ディスプレイ情報を、第２インターフェースコネクション７６０を経由してディスプレイ７４０に提供するように構成することができる。第２インターフェースコネクション７６０は、有線若しくは無線であり得る。コントローラ７３０とディスプレイ７４０は、図７に概略的に示されている。

手術モニタリングシステム７００は、前述した実施形態において記述された形態のトラッキングマーカーを有する１つ以上の独立した器具またはアイテム７７０を選択的に含むことができる。それにより、独立したアイテムはトラッカー７１０によって追跡することができる。限定されるものではないが、例えば、歯科手術の実施形態で使用する器具は歯科医ドリルを含む。

図７に示す歯科手術の実施形態において、天然基準レファレンスとして働く識別可能に区別される解剖学的特徴の一例として、手術部位７２０の内部または手術部位に隣接して位置する糸切り歯７８０が使用される。一般的に糸切り歯は隣接した前歯及び奥歯と比べて識別可能に区別され、それ自体が天然基準レファレンスとして機能する。本明細書における用語「天然基準レファレンス」は、糸切り歯または他の確実に区別される特徴を含むが、それに限定されない識別可能に区別される解剖学的特徴を記述するために用いられる。

図８に例示したように、本発明の更に別の側面は手術活動を追跡するための自動登録方法の実施形態を含む。歯科手術の実施例を用いると、スキャンデータを獲得できるように手術部位７２０がスキャンされる。代わりに、既存のスキャンデータを採択することができる。前記スキャンデータは本質的に３次元のものに限定されるわけではないが、通常３次元である。従ってスキャンデータは、通常、人間観察者、例えば外科医が任意の天然基準レファレンスの３次元位置及び方向を正確に決定できるようにする単純２次元映像として利用することはできない。人間が観察するためには、通常、スキャンを獲得するために用いた精巧な装備を使用して様々な２次元「スライス」を大まかにめくることは可能である。さらに進歩したシステムで、シミュレーションされた３次元プレゼンテーションが２次元に行なわれ、通常にコンピュータディスプレイ上にスキャニングされた領域に対するシミュレーションされた回転が可能となる。これら設備は診断活動において印象的で役に立つが、かかる設備を使用しても人間観察者は単に目だけを使用して解剖学的特徴の３次元位置及び方向を正確に決定することができない。適切な正確度で解剖学的特徴の３次元位置及び方向に対するかかる決定のため、スキャンデータに関する更に精巧なコンピュータベースの解釈が求められる。

本実施形態の方法は、スキャンデータをコントローラの内部にローディングする（段階８２０）ことから始まる。続いて、前記スキャンデータは分割される（段階８３０）。糸切り歯７８０の識別可能に区別される構成によって、メモリに保存されており、コントローラ７３０で実行されるコンピュータソフトウェアは、スキャンデータにおいて糸切り歯７８０を識別することができ、手術部位７２０内で糸切り歯の３次元位置及び方向を決定できるようになる（段階８４０）。

前記スキャンデータの内部に位置して方向を有する天然基準レファレンスである糸切り歯７８０を使用し、手術部位７２０の映像情報を獲得できるようにトラッカー７１０が採択される（段階８５０）。続いて、メモリに保存されており、コントローラ７３０で実行される前記コンピュータソフトウェアは、前記映像情報内で糸切り歯７８０を識別できるように前記映像情報を処理し、手術部位７２０内で糸切り歯７８０の位置及び方向を決定する（段階８６０）。

コンピュータビジョン分野において、映像内のレファレンスポイントを探すためのたくさんの技法が知られている。一例として、それら技法は、ハリスのコーナー検出法（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｏｒ）及びスケール不変特徴量変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍａｔｉｌｎ、ＳＩＦＴ）を含むが、これらに限らない。これら技法は通常、「追跡に良好な特徴」として知られており、コンピュータアルゴリズムによって確実に認識できる、映像内のポイントを選択する。他の映像を比較し、同一若しくは類似の客体の位置を決定するため、それらアルゴリズムが通常に使用される。続いて、前記客体または２つの視点の間におけるカメラの動作を決定できるよう、それら映像は同一のシーンのまた別の映像と通常比較される。かかるレファレンスポイントを探すための具現方法と関連した特定アルゴリズムの例は、次の論文で探せる。Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ（１９８８），“Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ．ｐｐ．１４７−１５１；及びＬｏｗｅ， Ｄａｖｉｄ Ｇ．（１９９９）．“Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ”．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．２．ｐｐ．１１５０−１１５７。これら論文の開示は、本明細書に参照のため、明白に組み込まれている。

本発明は、かかる概念を拡張して、トラッカー７１０から獲得される手術部位７２０の２次元視点を既存の３次元スキャンデータと比較し、前記映像情報内で糸切り歯７８０を識別して、前記手術部位７２０内で糸切り歯７８０の位置及び方向を決定する（段階８６０）。一例の実施形態において、既存の３次元スキャンデータから多くの区別ポイントが識別される。前記ポイントは、エッジの幾何学的特性、前記スキャンデータで識別される異素材形態との分離、前記スキャンデータのボリュームを通じた位置分布に基づいて選択することができる。それらポイントの数多い２次元投影を数多い任意の平面上部に形成することができ、その２次元マップはトラッカー７１０から獲得された前記映像情報と比較することができる。十分な数のポイント対応を使用し、前記映像情報及び前記生成されたマップにおいて、対応ポイントの相対的位置から前記選択された平面と比較されたトラッカー７１０の相対的位置及び方向を決定することができる。

さらに他の実施形態で、２次元映像形態の映像情報はトラッカー７１０から獲得することができ、追跡する潜在的に良好な特徴の相対的位置を決定することができる。続いて、既存の３次元スキャンデータから区別ポイントを識別することができ、前記２次元映像をマッチングできる、可能な投影を計算することができる。対応ポイントを有するマッチングが行なわれるとき、引き続きトラッカー７１０の相対的位置及び方向と、３次元スキャンデータを決定することができる。

前記スキャンデータの内部及び前記映像情報の内部において糸切り歯７８０の３次元位置及び方向を表すデータセットは、コンピュータソフトウェアで利用できるため、この２つのデータセットは比較され、前記スキャンデータにおける糸切り歯７８０の位置及び方向と、前記映像情報における同一の糸切り歯の位置及び方向との間の３次元空間変形マトリクスを誘導する（段階８７０）。一般的に、前記３次元変形マトリクスは、前記映像情報における３次元座標系を、スキャンデータにおける対応する３次元座標系に関連付けする。再生された映像情報を獲得できるように前記プロセスをループバックする（段階８８０）ことにより、コントローラ７３０はリアルタイムで糸切り歯７８０の３次元位置及び方向をモニタリングすることができる。

前記コンピュータソフトウェアは、他の歯、顎骨、皮膚及び歯茎組織、適切なトラッキングマーカーを有する１つ以上の器具若しくはアイテム７７０を含む他の手術器具のようにスキャン内の客体を構成するための座標系を生成することができる。前記座標系はスキャンデータを糸切り歯７８０の周辺の手術部位７２０に関連付けし、３次元方向及び２次元位置の両方によって、前述した実施形態で記述したようにマーカーを有する任意の器具を選択的に位置付けする。手術部位７２０のモデルはモニタリングシステム７００によって生成することができ、引き続き境界条件を点検できるように使用することができる。コントローラ７３０は、トラッカー７１０と協同し、リアルタイムでディスプレイ７４０上にかかる配置を表示することができる。

意図されている手術手順を追跡し、例えば少なくとも１つの器具７７０が手術部位７２０内の不適切な位置に隣接したものとして決定されるときのように、手術手順で不適切な位置を表示する、起こり得る境界違反を外科医に警告できるよう、前記ソフトウェアによって生成されたモデルを使用することができる。

さらに他の実施形態において、マーカーの存在に起因するのではなく、その３次元形状に基づき、手術部位７２０に隣接したアイテム若しくは器具７７０のうち、少なくとも１つは、手術モニタリングシステム７００のトラッカー７１０及びコントローラ７３０によって選択的に追跡することができる。それら実施形態において、コントローラ７３０はアイテム若しくは器具７７０の３次元形状を記述するデータで予めプログラミングすることができるが、かかる目的に関連し、アイテム若しくは器具は「客体７７０」と称される。

さらに他の実施形態において、手術部位に隣接したアイテム若しくは器具のうち、少なくとも１つは、モニタリングシステム７００のためのトラッカーとして機能し、前記トラッキングマーカー及び前記手術領域のスキャンデータに対する任意の別の更なるトラッキングマーカーの位置及び方向を感知できるよう取り付けられるトラッカーを選択的に有することができる。一例として、器具７７０に取り付けられている前記トラッカーは小型デジタルカメラであっても良く、器具７７０は歯科医用ドリルを含むことができる。前記器具に取り付けられた前記トラッカーによって追跡される任意の他のマーカーは、そのトラッカーの視界内になければならない。

前記装置及び方法の適用は、実際に生きている患者や人間若しくは動物に限定されるものではない。様々なモデルに対するデモンストレーション状況にも適用することができるが、その場合、かかる特徴が「天然的」であるか否かに関係なく、採択された前記天然基準レファレンスは、そのデモンストレーションのために採択されたモデルに対し、識別可能に区別される。

この実施形態で記述された接近法は、専門家への１回の訪問、即ち手術領域７２０のスキャンデータを獲得するための訪問のみを必要とする。かかる接近法は、スペシャル化した基準レファレンスに対する必要性と、任意の副木または基準構造の測定、製造若しくは調整のための専門家への追加訪問の必要性とを排除する。

前記手術モニタリングシステムのさらに他の実施形態において、外科医であり得るユーザーは、手術直前に前記手術部位に隣接して固定されたトラッキングマーカーを取り付けることができる。前記トラッキングマーカーは、前記手術部位に堅く取り付けることができる。前記配置は図３Ａ〜Ｊ、図５及び図６に示したのと正確に同一であり得るが、この実施形態においてこれら図面のアイテム１０、１０´、５０２、６０２は基準レファレンスではなく、単に手術部位への取付のための堅いマウントであるという具体的な相違がある。この実施形態の前記手術モニタリングシステムは、スキャンデータと映像情報両方に位置している任意の基準レファレンスを採択しない。しかし、図３Ａ〜Ｊ、図５及び図６と関連して記述された実施形態でのように、前記堅いマウント１０、１０´、５０２、６０２は可視マーカーの特徴を含むことができるため、前記トラッカーによって収集された映像情報から前記追跡システムによってその位置及び方向が決定できるようになる。前記手術モニタリングシステムはまたトラッキングマーカー１２、１２´、５０４、６０４を堅いマウント１０、１０´、５０２、６０２に取り付けするトラッキングポール１１、１１´を採択することができる。

手術過程における様々なポイントで、前記手術部位内の認識された天然特徴と共にトラッキングマーカーの位置及び方向を決定することができる。堅いマウント１０、１０´、５０２、６０２に対するトラッキングマーカー１２、１２´、５０４、６０４の位置及び方向は固定されているため、前記天然基準レファレンスをもはや参照しなくても、前記手術部位に対する堅いマウント１０、１０´、５０２、６０２の３次元位置及び方向を決定できるよう、トラッキングマーカー１２、１２´、５０４、６０４の位置及び方向に関する知識を採択することができる。かかる方式で、前記天然基準の特徴がもう検出できなかったり、若しくは十分で正確に検出できなかったりしても前記トラッキングシステムを前記手術データに引き続き位置させることが可能である。

このように前記天然基準の特徴は、単一のインスタンス内で検出されれば良く、前記手術スキャンに対するそれら特徴の位置及び方向は、１度に決定されれば良い。この実施形態により、天然的、若しくはそうでない基準特徴の検出が前記トラッカーによって映像化できない場合においても、前記手術モニタリングシステムはリアルタイムで手術手順を追跡することができる。また、かかる基準の特徴がトラッカーによって単に散発的に映像化できる際に継続性を勘案する。

Claims (20)

1. 手術部位６００、７２０を観察するための手術モニタリングシステムであって、
   手術部位に隣接した領域を観察するための感覚装備を有するトラッカー６１０、７１０と、
   前記トラッカーと通信し、プロセッサー２１４を有するコンピューティング装置２１０とを含み、
   前記プロセッサは、前記手術部位のスキャンデータ及びソフトウェアにアクセスすることができ、前記ソフトウェアは、前記プロセッサによって実行される際、前記プロセッサは前記手術部位から前記トラッカーによって獲得された映像情報で天然基準レファレンスを認識し、前記映像情報及び先にスキャンされたデータに基づいて前記手術部位の変形モデルを計算８７０できるようにすることを特徴とする手術モニタリングシステム。
2. 前記ソフトウェアは、前記プロセッサによって実行される際、前記プロセッサが前記手術部位の前記スキャンデータにおいて天然基点を認識できるようにすることを特徴とする、請求項１に記載の手術モニタリングシステム。
3. 前記手術部位に隣接して取り付けられるトラッキングマーカー６０６、６０８、７７０をさらに含み、前記ソフトウェアは、前記プロセッサによって実行される際、前記プロセッサが前記映像情報において前記トラッキングマーカーの３次元位置及び方向を決定し、前記トラッキングマーカーの前記３次元位置及び方向から、前記映像情報において前記天然基準レファレンスの３次元位置及び方向を決定できるようにする、先行請求項のうち、いずれか１項に記載の手術モニタリングシステム。
4. 手術部位の映像情報を獲得するためのトラッカー６１０と、
   前記トラッカーから前記手術部位の映像情報を獲得するための手段と、前記手術部位の前記映像情報及び先に獲得されたスキャンデータにおいて天然基準レファレンスを識別するための手段と、前記映像情報及び前記スキャンデータにおいて前記天然基準レファレンスの３次元位置及び方向を決定するための手段と、前記映像情報を前記スキャンデータに３次元で空間的に関連付けし、前記映像情報における３次元座標を前記スキャンデータで相応する３次元座標に関連付けする３次元空間変形マトリクスを誘導できるよう、前記映像情報における前記天然基準レファレンスの前記３次元位置及び方向を、前記スキャンデータにおける前記天然基準レファレンスの前記３次元位置及び方向と比較するための手段とで構成されるコントローラとを含む手術モニタリングシステム。
5. 少なくとも１つの客体を含み、
   前記コントローラは、前記少なくとも１つの客体の３次元形状を記述する予めプログラミングされたデータに基づき、前記映像情報内で前記少なくとも１つの客体を識別するための手段と、前記予めプログラミングされたデータに基づき、前記少なくとも１つの客体の３次元位置及び方向を決定するための手段とでさらに構成されることを特徴とする、請求項４に記載の手術モニタリングシステム。
6. トラッキングマーカーを有する少なくとも１つの客体を含み、前記コントローラは、前記映像情報内で前記トラッキングマーカーを識別し、前記トラッキングマーカーに関する情報から前記少なくとも１つの客体の３次元位置及び方向を決定するための手段でさらに構成されることを特徴とする、請求項４または請求項５のうち、いずれか１項に記載の手術モニタリングシステム。
7. 前記トラッカーは、前記少なくとも１つの客体のうち、１つの客体に取り付けられていることを特徴とする、請求項４ないし請求項６のうち、いずれか１項に記載の手術モニタリングシステム。
8. 前記コントローラは、リアルタイムで３次元空間変形マトリクスを誘導するための手段で構成されていることを特徴とする、請求項４ないし請求項７のうち、いずれか１項に記載の手術モニタリングシステム。
9. トラッキングマーカーが前記手術部位に取り付けられており、
   前記コントローラは、前記映像情報において前記トラッキングマーカーの３次元位置及び方向を決定するための手段と、前記トラッキングマーカーの前記３次元位置及び方向から、前記映像情報において前記天然基準レファレンスの３次元位置及び方向を決定するための手段とでさらに構成されていることを特徴とする、請求項４ないし請求項８のうち、いずれか１項に記載の手術モニタリングシステム。
10. 前記トラッキングマーカーは、トラッキングポール及びマウントのうち、少なくとも１つによって前記手術部位に取り付けられていることを特徴とする、請求項４ないし請求項９のうち、いずれか１項に記載の手術モニタリングシステム。
11. 手術部位６００、７２０の３次元位置及び方向を、前記手術部位のスキャンで前記手術部位の位置及び方向にリアルタイムで関連付けするための方法であって、
    スキャンデータを獲得できるように手術部位のスキャンを行なう段階８２０と、
    前記スキャンデータから天然基準レファレンス７８０の３次元位置及び方向を決定する段階８４０と、
    前記手術部位のリアルタイム映像情報を獲得する段階８５０と、
    前記映像情報から前記天然基準レファレンスの３次元位置及び方向をリアルタイムで決定する段階８６０と、
    前記スキャンデータから決定される前記天然基準レファレンスの３次元位置及び方向に対し、前記映像情報から決定される前記天然基準レファレンスの３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを誘導する段階８７０とを含む方法。
12. 手術部位６００、７１０の３次元位置及び方向を前記手術部位のスキャンにおける手術部位の位置及び方向に関連付けするための方法であって、
    前記トラッカーから前記手術部位の映像情報を獲得する段階８２０と、
    前記手術部位の前記映像情報及び先に獲得されたスキャンデータで天然基準レファレンスを識別する段階８４０と、
    前記映像情報及び前記スキャンデータで前記天然基準レファレンスの３次元位置及び方向を決定する段階８６０と、
    前記映像情報を、前記スキャンデータに３次元で空間的に関連付けし、前記映像情報における３次元座標を前記スキャンデータで相応する３次元座標に関連付けする３次元空間変形マトリクスを誘導できるよう、前記映像情報における前記天然基準レファレンスの前記３次元位置及び方向を、前記スキャンデータにおける前記天然基準レファレンスの前記３次元位置及び方向と比較する段階８７０とを含む方法。
13. 前記手術部位のモデルを生成する段階を特徴とする、請求項１２に記載の方法。
14. 前記映像情報内で前記手術部位に隣接した少なくとも１つの器具に取り付けられたトラッキングマーカーを識別する段階と、前記トラッキングマーカーに関する情報から前記少なくとも１つの客体の３次元位置及び方向を決定する段階とを特徴とする、請求項１２または請求項１３のうち、いずれか１項に記載の方法。
15. 前記少なくとも１つの器具が前記手術部位内で不適切な位置に隣接したものと決定された際、警告を発する段階を特徴とする、請求項１２ないし請求項１４のうち、いずれか１項に記載の方法。
16. 前記比較する段階は、再生された映像情報をリアルタイムで獲得し、リアルタイムで３次元空間変形マトリクスを誘導する段階を含む、請求項１２ないし請求項１５のうち、いずれか１項に記載の方法。
17. 前記トラッカーは、前記少なくとも１つの客体のうち、１つの客体に取り付けられていることを特徴とする、請求項１２ないし請求項１６のうち、いずれか１項に記載の方法。
18. 手術部位に隣接した少なくとも１つの客体を追跡するための方法であって、
    スキャンデータを獲得できるように前記手術部位のスキャンを行う段階８２０と、
    前記スキャンデータから天然基準レファレンスの３次元位置及び方向を決定する段階８４０と、
    前記手術部位のリアルタイム映像情報を獲得する段階８５０と、
    前記映像情報から前記天然基準レファレンスの３次元位置及び方向をリアルタイムで決定する段階８６０と、
    前記スキャンデータから決定される前記天然基準レファレンスの前記３次元位置及び方向に関し、前記映像情報から決定される前記天然基準レファレンスの前記３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを誘導する段階８７０と、
    前記少なくとも１つの客体の３次元形状を記述する、予めプログラミングされたデータに基づき、前記映像情報内で前記少なくとも１つの客体を識別する段階と、
    前記予めプログラミングされたデータに基づき、前記手術部位の前記３次元位置及び方向に対して、前記少なくとも１つの客体の前記３次元位置及び方向を決定する段階とを含む方法。
19. 前記映像情報において前記手術部位に取り付けられたトラッキングマーカーの３次元位置及び方向を決定する段階と、
    前記トラッキングマーカーの前記３次元位置及び方向から、前記映像情報における前記天然基準レファレンスの前記３次元位置及び方向を決定する段階を含むことを特徴とする、請求項１８に記載の方法。
20. 前記トラッキングマーカーは、トラッキングポール及びマウントのうち、少なくとも１つを介して前記手術部位に取り付けられていることを特徴とする、請求項１９に記載の方法。

Images