JP2020507383A - 医療用拡大高解像度撮像及び追跡法 - Google Patents

Abstract

医療行為用の領域の広視野撮像を実行し、撮り込まれた領域の一部のデジタル的に拡大された画像を提供しながら、全領域内の器具及び組織の追跡を提供する撮像システム及び方法が提供される。光学追跡が、立体撮像によって実行され、様々な要素が、画像処理によって任意に特定可能なある形状及び物体と同様に、様々なマーカー及び基準を任意に追跡する。【選択図】 図１

Description

本発明は、医療用、特には、超高解像度画像に基づいた光学追跡を提供するための、広視野超高解像度拡大デジタル撮像方法の分野に関する。

ＷＩＰＯ公報２０１４０３７９５３号は、当該出願の記載を援用するもので、外科的処置の動画撮り込み及び表示システムを開示しており、一つ以上のレンズに光学的に結合し、外科的処置の場面のビデオシーケンスを撮り込むように構成された少なくとの一つのデジタル画像センサーと、撮り込まれたビデオシーケンスの少なくとも一つの対象領域（ＲＯＩ）を受信するように構成された少なくとも一つのインターフェースと、電子ディスプレイであって、前記デジタル画像センサーの少なくとも一つが、該電子ディスプレイの画素解像度よりも実質的に大きい画素解像度を有するように選択された電子ディスプレイと、少なくとも一つの撮り込まれたビデオシーケンス及び少なくとも一つの受信されたＲＯＩを受信し、少なくとも一つの選択されたＲＯＩに基づいて、撮り込まれたビデオシーケンスの一部を、少なくとも一つの電子ディスプレイに表示するように構成されたコンピューター処理装置と、を含んでもよい。

以下は、発明の初期理解を提供する簡易化された概要である。概要は、キー要素を必ずしも識別したり発明の範囲を制限したりせず、以下の記載への導入としてのみ提供される。

本発明の一つの局面は、少なくとも一つの、器具のような要素によって手術される処置領域の可視スペクトル帯／範囲における高解像度デジタル画像を撮り込むステップと、前記撮り込まれた画像から得られた、前記処置領域のデジタル的に拡大されたエリアを表示するステップと、前記撮り込まれた画像内に視認可能な少なくとも一つの器具の位置及び方向（Ｐ＆Ｏ）と追跡するするステップと、を含む方法が提供され、前記器具の追跡機構は、前記撮り込まれた画像に基づき、前記表示の解像度は、前記撮り込まれた画像の解像度よりも小さく、前記追跡は、前記拡大されたエリアの少なくとも外側で実行される。

本発明のこれらの、任意の、及び／又は、他の局面及び／又は利点は、詳細な記載から可能な限り推論できる、及び／又は、本発明の実施によって学習できる以下の詳細な記載に明らかにされる。

本発明の実施形態がより理解され、それがどのように実行されるかを示すために、全体を通して同じ数字が対応する要素又は部分を示す添付の図面を、ただ例示として参照する。添付の図面は以下である。

発明のいくつかの実施形態における、撮像システムの高レベルの模式的なブロック図である。 発明のいくつかの実施形態における、撮像システムの高レベルの模式的なブロック図である。 発明のいくつかの実施形態における、光学ユニットの性能の限定されない例を示す。 発明のいくつかの実施形態における、方法を示す高レベルのフローチャートである。

以下の説明において、本発明の様々な局面が記載される。説明の目的として、本発明の完全な理解を提供するために、特定の構成及び詳細が明らかにされる。しかし、本発明が、ここに表された特定の詳細なしに実施されることは、同業者には明らかであろう。さらに、本発明をあいまいにしないために、既知の特徴が、省略されたり簡易化されたりしている。図面を特に参照して、示されている部分は、例としてのみで、本発明の例示的な検討の目的とのためであり、発明の原理及び概念的な局面の最も有用で容易に理解される記載であると思われるものを提供するために表されることが、強調される。この点において、発明の基礎的な理解に必要とされる以上に詳細に発明の構造的な詳細を示す試みはなされず、図面を伴う記載は、同業者に、発明の様々な形態がどのように具体化されるかを明らかにする。

発明の少なくとも一つの実施形態が詳細に説明される前に、発明は、その適用において、以下の記載に明らかにされた又は図面に示された要素の構成及び配置の詳細に限定されないことが理解されるべきである。発明は、開示された実施形態の組合せと同様に、様々な方法で実施され又は実行される他の実施形態に適用可能である。また、ここに使用される表現及び用語は、説明の目的のためであり、限定としてみなされるべきではないことが理解されるべきである。

他に特別に述べない限り、以下の検討から明らかなように、明細書の検討を通して、「処理する」、「コンピューティングする」、「計算する」、「決定する」、「拡張する」等の用語を使用することは、コンピューティングシステムのレジスター及び／又はメモリー内の物理的な、例えば、電子的な、量として表されるデータを処理し、及び／又は、このデータを、コンピューティングシステムのメモリー、レジスター、又は、他のそのような情報記録装置、伝達装置、又は表示装置内の物理的な量として同様に表される他のデータに変換する、コンピューター又はコンピューティングシステム、又は、同様の電子コンピューティング装置の動作及び／又は処理に関することが認識される。開示されたモジュール又はユニットのいくつかは、少なくとも部分的に、コンピューター処理装置によって実行されてもよい。

本発明の実施形態は、手術領域をデジタル的に拡大するために使用される撮像システムによって、手術処置中の器具及び組織を追跡する、精密、効率的かつ経済的な方法及び機構を提供する。器具及び組織がＲＯＩ（対象領域）内に視認できない場合でも、それらが全ての処置領域において高解像度で撮像されたＦＯＶ（視野）に視認できる場合、器具及び／又は組織を同時に追跡しながら、全画像ＦＯＶよりも小さいＲＯＩをクロッピングし、それをディスプレイに合うようにサイズを変更することで、画像のデジタル的な拡大を可能とする、医療処置用の高解像度ビデオ撮像を実行する、撮像システム及び方法が提供される。器具及び組織の光学的な追跡は、器具及び組織の立体撮像によって、又は、構造化された光、タイムオブフライト等の方法によって、実行されてもよい。追跡される要素は、画像において明確に識別可能で、画像処理技術を使用して追跡される、ある特徴、色、形状及び物体と同様に、様々なマーカー及び基準であってもよい。

図１は、発明のいくつかの実施形態による、撮像システム１００の高レベルの模式的なブロック図である。撮像システム１００は、少なくとも一つの器具７０（追跡される要素の限定されない例として、任意の物体又は組織の一部も含む）によって手術される、処置領域９１の可視スペクトル範囲内のデジタル画像１１０Ａを撮り込むように構成された光学ユニット１１０と、光学ユニット１１０によって撮り込まれた画像１１０Ａから、処置領域９１内のエリア９２（ＲＯＩ）をデジタル的に拡大し、デジタル的に拡大されたエリア１１２をディスプレイ１２５に表示するように構成された画像処理ユニット１２０と、撮り込まれた画像１１０Ａを用いて処置領域９１内の少なくとも一つの器具７０の位置及び方向（Ｐ＆Ｏ）を追跡するように構成された追跡ユニット１３０と、を含む。

画像は、デジタル的に拡大されたエリア１１２を表示するために使用されるディスプレイ１２５の解像度よりも著しく高い高解像度で撮り込まれる。例えば、撮り込まれた高解像度は、９０００・７０００画素（水平値及び垂直値）であり、デジタル的に拡大された値は、４５００・２５００画素（例えば、ディスプレイのサイズによる）よりも小さい。拡大された解像度の表示のために、撮像システム１００は、ディスプレイの解像度に合うようにサイズの変更を実行してもよい。ある実施形態において、高解像度画像は、４５００・２５００画素よりも低い解像度で撮り込まれ、ディスプレイ解像度は、最大で２０００・２０００画素であってもよい。ディスプレイ解像度の撮り込まれる解像度に対する比は、１：１よりも小さい任意の比であってもよい。ディスプレイは、例えば、任意の種類のスクリーン又は投影システム、任意の種類の頭部に装着可能なディスプレイ等であってもよい。

画像１１２は、領域９１の高解像度画像からクロッピングされたＲＯＩを使用することで生成される（最大高解像度画像は、破線で表される画像１１１として模式的に示され、その広さはディスプレイのサイズを超えるので、その最大解像度で表示できない）。領域９１内の、器具７０、及び、物体、粒子、可能性のある組織のような他の要素の追跡は、拡大エリア９２の外側で（典型的には、拡大エリア９２の内側と同様に）実行され、表示された拡大エリア１１２を越えたデータの追跡、すなわち、全ての処置領域９１を表すエリア１１１に関連するデータの追跡を提供する。それゆえ、単独の撮像センサーを使用すること、デジタル拡大及び光学追跡の両方が、同じ撮り込まれた画像に基づいて実行される。例えば、撮像システム１００は、デジタル的に拡大されたエリア９２を、撮り込まれた処置領域９１の三分の一よりも小さくして提供し、撮り込まれた処置領域９１の残りで追跡を実行するように構成されてもよい。撮像システム１００による広範囲の追跡は、付加的な追跡システムを余剰とし、同様に追跡のための同じ撮像システム１００を用いることで、追跡の正確さと簡易化を強調する。

光学システム１１０及び撮り込まれた画像１１０Ａは、立体視的であってもよく、追跡は、立体３Ｄ（三次元）画像情報に応じて実行されてもよい。デジタル画像は、立体視画像処理、構造化された光撮像及び又はタイムオブフライト撮像から得られた深度及び／又は３Ｄデータを含んでもよい。

器具７０は、基準７１を含んでもよく、Ｐ＆Ｏ追跡は、器具の基準７１に対して実行されてもよい。あるいは又は補足的には、Ｐ＆Ｏ追跡は、形、色、特定の部分要素のような、器具７０の様々な特徴に対して実行されてもよい。処置領域９１は、組織マーカー（又は可能性のある基準）８１を含んでもよく、追跡ユニット１３０は、さらに、撮り込まれた画像１１０Ａを用いて、処置領域９１内の組織マーカー８１を追跡するように構成されてもよい。あるいは又は補足的には、Ｐ＆Ｏ追跡は、形、色、特定の部分要素のような、処置領域９１の様々な特徴に対して実行されてもよい。基準７１及びマーカー８１は、従来当該技術で使用されている任意の種類であってよい。追跡が光学撮像に基づくと、組織部位及び／又は器具部位の形状は、基準７１及び／又はマーカー８１の必要なく、又は、追跡がそれらのみに基づく場合に必要とされるよりも少ない基準７１及びマーカー８１を用いて、追跡のために使用されてもよい。例えば、特定の組織の特徴（例えば、血管、ある組織の種類、組織の成長など）及び／又は特定の器具の特徴（例えば、刃又はハンドル部）が、効率的な光学追跡を可能にするために十分に明確な形状を有するとして識別されてもよく、組織及び／又は器具の追跡を実行するように使用されてもよい。追跡ユニット１３０は、追跡ターゲットを選択して最適化し、対応するデータを提供するように構成されてもよい。

撮像システム１００は、器具７０及び／又は器具の一部と、特定の組織、他の器具７０、外科医の指などとの間の距離及び相対位置のような、器具７０の追跡されたＰ＆Ｏに関連するデータを提供するように構成されてもよい。撮像システム１００は、特定された処置において切除されることを意図されていないある組織への器具の刃の接近や、組織に望まれない損傷を引き起こす可能性のある器具７０としての切除を伴うレーザーの向きのような、ある状況に対応する警告及び／又はガイダンスを提供するように構成されてもよい。撮像システム１００は、望まれた組織に達するように、及び、器具を望まれた経路を通して動かせるように、外科医を補助するガイダンスデータを提供するように構成されてもよい。撮像システム１００は、器具７０の追跡されたＰ＆Ｏと処置領域９１間との間の特定された空間的な関係に関連する警告及び／又はガイダンスを提供するように構成されてもよい。

撮像システム１００は、さらに、領域９１を含む領域の画像を撮り込む、広い視野を有する付加的な低解像度カメラを含み、拡大システムの作業ＦＯＶの外側及び周囲の粗い追跡データを提供してもよい。

図２Ａは、発明のいくつかの実施形態による、撮像システム１００の高レベルの模式的なブロック図である。光学ユニット１１０は、画像１１０Ａを撮り込む複数のカメラ１１５、１１７を含み、高解像度カメラ１１５（それぞれ視野１１５Ａを有する）は、領域９１（及び、領域９１内のＲＯＩ９２を引き伸ばしてもよい）を撮像し、広域ＦＯＢカメラ１１７（それぞれＦＯＶ１１５Ａよりも広いＦＯＶ１１７Ａを有する）は、高解像度カメラ１１５で撮り込まれた画像１１１と広域ＦＯＶカメラ１１７で撮り込まれた画像１１３からなる合成画像１１６を提供するより広い領域９３をカバーする。画像１１１及び１１３の重複領域は、画像パラメータの校正に使用され、及び／又は、画像１１６内の画像１１１及び１１３間の連続転移を提供するように処理されてもよい。

画像１１１及び１１３は、それぞれ寸法ａ１−ａ２及びｂ１−ｂ２を有するように模式的に示されており、例えば、ａ１及びａ２は、１〜１０ｃｍであり、ｂ１及びｂ２は、１０〜１００ｃｍである。Ｄで表される、光学ユニット１１０の典型的な作業距離は、１０〜１００ｃｍにわたる。

例えば、図２Ｂは、本発明のいくつかの実施形態による、光学ユニット１１０の性能の限定されない例を示している。使用される寸法は、Ｄが約５０ｃｍ、ａ１及びａ２が約８ｃｍ、ｂ１が約３５ｃｍ、ｂ２が約４５ｃｍである。図２Ｂは、グランドサイン（例えば、ａ１、ａ２、ｂ１及びｂ２）及び深度の精度（限定されない例として、広域ＦＯＶカメラに対して０．３〜０．４ｍｍの範囲内、狭域ＦＯＶカメラ１１５に対して、０．０３５〜０．０４５ｍｍの範囲内）の変化を示す。

ある実施形態において、追跡（例えば、任意の３Ｄ追跡方法による）は、同様に領域９３に対して実行されてもよく、画像１１１及び１１３間の重複領域は、追跡ユニット１３０と領域９３内で動作するトラッカーとの間の追跡を引き渡す及び／又は校正するために使用されてもよい。ある実施形態において、追跡ユニット１３０はさらに、広域ＦＯＶカメラ１１７を通して同様に領域９３を追跡するように構成されてもよい。

例えば、高解像度カメラ１１５は、ビデオマイクロスコープの一部でもよく、広域ＦＯＶカメラ１１７は、可視領域及び／又は近赤外領域で動作してもよい。画像処理ユニット１２０は、高解像度カメラ１１５の画像１１１を、可能な限り、ＣＴ（コンピューター断層撮影）、ＭＲＩ（磁気共鳴撮像）等からのデータのようなデータを、それに重ねてディスプレイ１２５に表示するように構成されてもよい。ある実施形態において、エリア１１６内の任意の特徴に関連して増強された任意のデータは、ディスプレイ１２５に投影されてもよい。データのどの部分が重なるべきか、及び、どのように調整するかに関する情報は、追跡ユニット１３０によるデータの追跡に従って提供されてもよい。例えば、撮像された腫瘍又は脊柱の２Ｄ又は３ＤＭＲＩ画像が、追跡ユニット１３０による追跡データを用いて、高い位置精度で、広域及び狭域ＦＯＶカメラ１１７及び１１５によって取得された画像１１６に重ねられてもよい。いくつかの場合、マーカー／基準８１は、エリア９１の外側及びエリア９３の内側であってもよい。そのような場合、カメラ１１７は、エリア及び／又は組織の追跡のためにマーカー８１の画像を撮り込み、カメラ１１５は、器具７０の追跡のために器具７０又はマーカー７１の画像を撮り込むように構成されてもよい。

いくつかの実施形態において、システム１００は、使用されるカメラ１１５及び／又はカメラ１１７からの追跡データを使用するように構成されてもよい。両情報源からのデータの追跡が使用可能なエリアにおいて、追跡データは、情報源からのデータを比較することによって、例えば、補間又は他の混合方法によって、改良されて追跡を改良してもよい。ある実施形態において、より正確なデータ（又は一つの情報源からのデータ）は、追跡のために使用され、精度の低いデータ（又は二つ目の情報源からのデータ）は、トラッカー結果のノイズを減少させ、安全性及び／又は他の目的のために、追跡結果を二重に確認するために使用されてもよい。エリア１１６及び１１１間の転移において、追跡データは、カメラ１１５及びカメラ１１７からのデータを用いて補間されてもよく、可能であれば、追跡エリアがエリア１１１の中心に向かうほど、カメラ１１７へのウェイトが減少する。ある実施形態において、カメラ１１７へのウェイトは、エリア１１１の中心に達する前にゼロに設定されてもよい。

図３は、発明のいくつかの実施形態による、方法２００を示す高レベルのフローチャートである。方法の段階は、方法２００を実行するように任意に構成された、上記のシステム１００に対して実行される。方法２００は、少なくとも一つのコンピューター処理装置によって、少なくとも部分的に実行される。ある実施形態は、ともに実施されるコンピューター読み取り可能プログラムを有するコンピューター読み取り可能な記憶媒体を備え、方法２００の適切な段階を実行するように構成された、コンピュータープログラム製品を備える。方法２００は、それらの順序に関わりなく、任意の以下の段階のような、撮像システム１００を動作させる段階を含んでもよい。

方法２００は、少なくとも一つの器具によって手術される処置領域の可視スペクトル範囲内の高解像度デジタル画像を撮り込むこと（段階２１０）、撮り込まれた画像から得られた、処置領域のデジタル的に拡大されたエリアを表示すること（段階２２０）、及び、撮り込まれた画像を用いて処置領域内の少なくとも一つの器具の位置及び方向（Ｐ＆Ｏ）を追跡すること（段階２３０）を含んでもよく、ここで、追跡は、拡大されたエリアの少なくとも外側で実行される（段階２３５）。ディスプレイの解像度は、撮り込み高解像度よりも小さく、例えば、デジタル的に拡大されたエリアは、撮り込まれた処置領域よりも、任意の係数（例えば、１．５、２、３、５及びそれ以上）だけ小さくてもよく、追跡２３０は、全処置領域にわたって実行されてもよい。

方法２００は、撮り込まれた画像を用いて、器具の基準及び／又は器具の部位の形状を追跡することを含んでもよい（段階２３２）。方法２００は、処置領域内の組織マーカー及び／又は組織の部位の形状を追跡することを含んでもよい（段階２３４）。

方法２００は、追跡のために、立体的又は構造化された光デジタル画像を使用することを含んでもよい（段階２４０）。例えば立体撮像、構造化された光撮像及び／又はタイムオブフライト撮像から得られた、深度データ又は３Ｄ情報の任意の種類は、デジタル画像に取り込まれてもよい。

方法２００は、器具の追跡されたＰ＆Ｏに関するデータの提供を含んでもよく（段階２５０）、可能であれば、器具の追跡されたＰ＆Ｏと処理領域間の空間的な関係に関する警告及び／又はガイダンスを提供することを含んでもよい（段階２５５）。

方法２００は、広域ＦＯＶ（視野）カメラによって、デジタル的に拡大されたエリアの周囲のエリアを撮り込むことを含んでもよく（段階２６０）、デジタル的に拡大されたエリア及び撮り込まれた周囲のエリアを含む画像を提供することを含んでもよい（段階２６５）。方法２００は、さらに、提供された画像を外部撮像データで増強することを含んでもよく（段階２７０）、追跡されたＰ＆Ｏに従って外部撮像データの表示された位置を調整することで、外部撮像データに対する遅延を任意に補償することを含んでもよい（段階２７５）。

撮像システム１００及び方法２００は、ＷＩＰＯ公報２０１４／０３７９５３号に記載されたようなシステム及び方法において実行されてもよく、ＷＩＰＯ公報２０１４０３７９５号に記載された要素を取り込んでもよい。

本発明の局面は、発明の実施形態に係る方法、装置（システム）及びコンピュータープログラム製品のフローチャート図、及び／又は、部分図を参照して上記される。フローチャート図及び／又は部分図の各部分、及び、フローチャート図及び／又は部分図の一部の組合せは、コンピュータープログラムの命令によって実行可能であることが理解される。これらのコンピュータープログラムの命令は、汎用コンピューター、専用コンピューター、又は、他のプログラム可能なデータ処理装置の処理装置に提供されて、機械が製造されてもよく、コンピューター又は他のプログラム可能な処理装置を介して実行される命令は、フローチャート及び／又は、部分図又はその一部に特定された機能／動作を実行する手段を生成する。

これらのコンピュータープログラムの命令は、コンピューター、他のプログラム可能なデータ処理装置、又は、他の機器に命令することのできるコンピューター読み取り可能な媒体に保存されて、特定の方法で機能され、コンピューター読み取り可能媒体に保存された命令は、フローチャート、及び／又は、部分図又はその一部に特定された機能／動作を実行する命令を含む製造品を生産する。

コンピュータープラグラムの命令は、コンピューター、他のプログラム可能なデータ処理装置、又は他の機器に読み込まれ、コンピューター、他のプログラム可能な装置又は他の機器で実行される一連の動作ステップを生じさせ、コンピューターで実行されたプロセスを発生してもよく、コンピューター又は他のプログラム可能な機器で実行される命令は、フローチャート、及び／又は、部分図又はその一部に特定された機能／動作を実行するためのプロセスを提供する。

上記のフローチャート及び図は、本発明の様々な実施形態による、システム、方法及びコンピュータープログラム製品の実行可能な構成、機能性及び動作を示している。この点において、フローチャート及び部分図の各部は、特定の論理機能を実行するための一つ以上の実行可能な命令を含む、モジュール、セグメント、コードの一部を表してもよい。いくつかの他の実行において、その部分に記された機能は、図に記された順序以外で起こる得ることも特筆される。例えば、含まれる機能性に応じて、連続して示される２つの部分は、実際、実質的に同時に実行され、又は、それらの部分は、いくつかの場合は、逆の順序で実行されてもよい。部分図及び又はフローチャート図の各部分、及び、部分図及び／又はフローチャート図の部分の組合せは、特定された命令又は動作、又は、専用ハードウェア及びコンピューターの命令の組合せを実行する、専用ハードウェアベースのシステムによって実行可能であることも特筆される。

上記の記載において、実施形態は、発明の例又は実行を示す。「一つの実施形態」、「実施形態」、「ある実施形態」又は「いくつかの実施形態」の様々な出現は、必ずしも全てがいくつかの実施形態に関与しない。発明の様々な特徴が、一つの実施形態の文脈に記載されているが、特徴は、別々に、又は、任意の適切な組み合わせで提供されてもよい。逆に、発明は、ここでは明確化のために別々の実施形態の文脈に記載されているが、発明は、一つの実施形態に実行されてもよい。発明のある実施形態は、上記の異なる実施形態から特徴を含んでもよく、ある実施形態は、上記の他の実施形態から要素を取り込んでもよい。特定の実施形態の文脈における発明の要素の開示は、特定の実施形態のみへのそれらの使用を限定すると解釈されるべきではない。さらに、発明は様々な方法で実行され、又は、実施されることが可能であり、発明は、上記に概略したもの以外のある実施形態に実行可能であることが理解されるべきである。

発明は、これらの図面、又は、対応する記載に限定されない。例えば、フローは、各図示されたボックス又は状態を通して、又は、図示されて記載されているものと正確に同じ順序で移動する必要はない。ここに使用された技術的及び科学的な用語の意味は、他に定義されなければ、発明が属する分野の同業者によって共通に理解されるべきである。発明は、限られた数の実施形態に対して記載されているが、それらは、発明の範囲において限定として解釈されるべきではなく、むしろ、好ましい実施形態のいくつかの例示である。他の可能な変形、改造、及び適用も、発明の範囲内である。したがって、発明の範囲は、記載されたものに限定されず、添付された請求項及びそれらと法的に等価なものによって限定されるべきである。

Claims (22)

1. 少なくとも一つの要素によって手術される処置領域の可視スペクトル帯における高解像度デジタル画像を撮り込むステップと、
   前記撮り込まれた画像から得られた、前記処置領域のデジタル的に拡大されたエリアを表示するステップと、
   前記撮り込まれた画像を用いて、前記処置領域内の前記少なくとも一つの要素の位置及び方向（Ｐ＆Ｏ）を追跡するステップと、を含み、
   前記表示の解像度は、前記撮り込まれた画像の解像度よりも小さく、
   前記追跡ステップは、前記拡大されたエリアの少なくとも外側で実行される、方法。
2. 前記撮り込まれた高解像度画像は、そのより大きい寸法において少なくとも４０００画素であり、前記表示の解像度は、そのより大きい寸法において最大で２０００画素である、請求項１の方法。
3. 前記表示ステップは、頭部に装着可能なディスプレイで実行される、請求項１の方法。
4. 前記デジタル画像は、立体撮像、構造化された光撮像、及び、タイムオブフライト撮像の少なくとも一つから得られた深度データを含む、請求項１の方法。
5. 前記少なくとも一つの要素は、少なくとも一つの器具を含む、請求項１の方法。
6. 前記少なくとも一つの器具は、少なくとも一つの基準を含み、前記追跡ステップは、前記少なくとも一つの基準に対して行われる、請求項５の方法。
7. さらに、前記少なくとも一つの器具の前記追跡されたＰ＆Ｏと前記処置領域との間の空間的な関係に関する警告又はガイダンスを提供するステップを含む、請求項５の方法。
8. 前記処置領域は、組織マーカーを含み、さらに、前記撮り込まれた画像を用いて前記処置領域内の前記組織マーカーを追跡するステップを含む、請求項１の方法。
9. さらに、広域ＦＯＶ(視野)カメラを用いて、前記デジタル的に拡大されたエリアの周囲及び該エリアを含むエリアを任意に撮り込むステップと、前記任意に撮り込まれたデータを前記追跡に使用するステップと、を含む、請求項１の方法。
10. 前記広域ＦＯＶカメラは、近赤外線帯で作動する、請求項９の方法。
11. さらに、前記画像を外部撮像データで増強するステップを含む、請求項９の方法。
12. さらに、前記追跡されたＰ＆Ｏに従って、前記外部撮像データの表示された位置を調整することで、前記外部撮像データに対する遅延を補償するステップを含む、請求項１１の方法。
13. 少なくとも一つの器具で手術される、処置領域の可視スペクトル帯における高解像度デジタル画像を撮り込むように構成された光学ユニットと、
    前記光学ユニットによって撮り込まれた画像から、前記処置領域内のエリアをデジタル的に拡大し、前記デジタル的に拡大されたエリアをディスプレイに表示するように構成され、前記ディスプレイの解像度が、前記撮り込まれた高解像度よりも小さい、画像処理ユニットと、
    前記撮り込まれた画像を用いて前記処置領域内の前記少なくとも一つの器具の位置及び方向（Ｐ＆Ｏ）を追跡するように構成され、前記追跡が、前記拡大されたエリアの少なくとも外側で実行される、追跡ユニットと、を含む撮像システム。
14. 前記ディスプレイは、頭部に装着可能なディスプレイである、請求項１３の撮像システム。
15. 前記撮り込まれた高解像度画像は、そのより大きい寸法において少なくとも４０００画素であり、前記ディスプレイの解像度は、そのより大きい寸法において最大で２０００画素である、請求項１３の撮像システム。
16. 前記光学ユニット及び前記撮り込まれた画像は、立体的であり、構造化された光を使用し、及び／又は、タイムオブフライトデータを取り込む、請求項１３の撮像システム。
17. 前記少なくとも一つの器具は、少なくとも一つの基準を含み、前記Ｐ＆Ｏ追跡は、前記少なくとも一つの器具の基準に対して実行される、請求項１３の撮像システム。
18. 前記処置領域は、組織マーカーを含み、前記追跡ユニットは、さらに、前記撮り込まれた画像を用いて前記処置領域内の前記組織マーカーを追跡するように構成されている、請求項１３の撮像システム。
19. さらに、前記少なくとも一つの器具の前記追跡されたＰ＆Ｏと前記処置領域との間の空間的な関係に関する警告又はガイダンスを提供するように構成されている、請求項１３の撮像システム。
20. 前記光学ユニットは、さらに、前記デジタル的に拡大されたエリアの周囲のエリアを撮り込むように構成された広域ＦＯＶカメラを含み、前記画像処理ユニットは、さらに、前記デジタル的に拡大されたエリア及び撮り込まれた周囲のエリアを含む画像を提供するように構成されている、請求項１３の撮像システム。
21. 前記画像処理ユニットは、さらに、前記提供された画像を、外部撮像データで増強するように構成されている、請求項２０の撮像システム。
22. 前記画像処理ユニットは、さらに、前記追跡されたＰ＆Ｏに従って前記外部撮像データの表示された位置を調整することで、前記外部撮像データに対する遅延を補償するように構成されている、請求項２１の撮像システム。
    

Images