JP2017502807A - 外科装置及び該使用の方法 - Google Patents

Abstract

本発明は、第一画像化モダリティから第一画像を取得するステップ、第一画像化モダリティからの第一画像上に特定するステップ、第二画像化モダリティから第二画像を取得するステップ、第一画像化モダリティからの第一画像から互換性のある仮想画像を生成するステップ、互換性のある仮想画像上にプランニングデータをマッピングするステップ、第一画像化モダリティからの第一画像に第二画像化モダリティからの第二画像を粗く登録するステップ、互換性のある仮想画像からマップされるプランニングデータの少なくとも一つの要素を特定するステップ、第二画像化モダリティ上に少なくとも一つの対応する要素を特定するステップ、第二画像化モダリティ上に少なくとも一つの対応する要素をマッピングするステップ、第一画像化モダリティからの第一画像に第二画像化モダリティからの第二画像を細かく登録するステップ、第三画像を生成するステップを含む方法を提供する。

Description

本出願は、２０１４年１月６日出願の米国特許仮出願第６１／９２３，９５６号発明の名称「ＡＵＧＭＥＮＴＥＤ ＦＬＵＯＲＯＳＣＯＰＹ」、２０１４年６月１８日出願の米国特許仮出願第６２／０１３，７２６号発明の名称「ＡＵＧＭＥＮＴＥＤ ＦＬＵＯＲＯＳＣＯＰＹ」、及び２０１４年９月１８日出願の米国特許仮出願第６２／０５２，０３９号発明の名称「ＡＵＧＭＥＮＴＥＤ ＦＬＵＯＲＯＳＣＯＰＹ」の優先権を主張し、これらは、すべての目的のために、全体として参照の上、本明細書に組み込まれている。

本発明の実施形態は、外科装置及び該使用の方法に関する。

内視鏡外科処置の間にビデオ補助される胸部外科処置（ＶＡＴＳ）の使用は、外科の別の領域と同様に、様々な呼吸器疾患の治療の間に使用され得る。

Ｚｈｏｕ Ｘ， Ｆｕｊｉｔａ Ｈ，「Ａｕｔｏｍａｔｉｃ ｌｏｃａｌｉｚａｔｉｏｎ ｏｆ ｓｏｌｉｄ ｏｒｇａｎｓ ｏｎ ３Ｄ ＣＴ ｉｍａｇｅｓ ｂｙ ａ ｃｏｌｌａｂｏｒａｔｉｖｅ ｍａｊｏｒｉｔｙ ｖｏｔｉｎｇ ｄｅｃｉｓｉｏｎ ｂａｓｅｄ ｏｎ ｅｎｓｅｍｂｌｅ ｌｅａｒｎｉｎｇ」，Ｃｏｍｐｕｔ Ｍｅｄ Ｉｍａｇｉｎｇ Ｇｒａｐｈ，２０１２ Ａｖｉｖ Ｈｕｒｖｉｔｚ，Ｌｅｏ Ｊｏｓｋｏｗｉｃｚ，「Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ａ ＣＴ−ｌｉｋｅ ａｔｌａｓ ｔｏ ｆｌｕｏｒｏｓｃｏｐｉｃ Ｘ−ｒａｙ ｉｍａｇｅｓ ｕｓｉｎｇ ｉｎｔｅｎｓｉｔｙ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ」，Ｔｈｅ Ｒａｃｈｅｌ ａｎｄ Ｓｅｌｉｍ Ｂｅｎｉｎ（Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔｈｅ Ｈｅｂｒｅｗ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｊｅｒｕｓａｌｅｍ，Ｉｓｒａｅｌ，Ａｕｇｕｓｔ，２００８） Ａｌｅｘａｎｄｅｒ Ｋｕｂｉａｓ，Ｔｈｏｍａｓ Ｂｒｕｎｎｅｒ，「２Ｄ／３Ｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｎ ｔｈｅ ＧＰＵ」，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｋｏｂｌｅｎｚ−Ｌａｎｄａｕ，Ｋｏｂｌｅｎｚ，Ｇｅｒｍａｎｙ，Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ，Ｆｏｒｃｈｈｅｉｍ，Ｇｅｒｍａｎｙ，２００７ Ｄｉ Ｘｕ，Ｓｈｅｎｇ Ｘｕ，Ｄａｎｉｅｌ Ａ．Ｈｅｒｚｋａ，Ｒｅｘ Ｃ．Ｙｕｎｇ，Ｍａｒｔｉｎ Ｂｅｒｇｔｈｏｌｄｔ，Ｌｕｉｓ Ｆ．Ｇｕｔｉｅｒｒｅｚ，Ｅｌｌｉｏｔ Ｒ．ＭｃＶｅｉｇｈ，「２Ｄ／３Ｄ Ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏｒ Ｘ−ｒａｙ Ｇｕｉｄｅｄ Ｂｒｏｎｃｈｏｓｃｏｐｙ ｕｓｉｎｇ Ｄｉｓｔａｎｃｅ Ｍａｐ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」 Ａｌｉ Ｋｈａｍｅｎｅ，Ｆｒａｎｋ Ｓａｕｅｒ，「Ａｕｔｏｍａｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｐｏｒｔａｌ ｉｍａｇｅｓ ａｎｄ ｖｏｌｕｍｅｔｒｉｃ ＣＴ ｆｏｒ ｐａｔｉｅｎｔ ｐｏｓｉｔｉｏｎｉｎｇ ｉｎ ｒａｄｉａｔｉｏｎ ｔｈｅｒａｐｙ」，Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ １０，ｐｐ．９６−１１２，２００６ Ａｎｄｒｅａｓ Ｔｏｂｅｒｇｔｅ，Ｇｅｒｄ Ｈｉｒｚｉｎｇｅｒ，「Ｒｏｂｕｓｔ Ｍｕｌｔｉ Ｓｅｎｓｏｒ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｍｅｄｉｃａｌ Ａｐｐｌｉｃａｔｉｏｎｓ」，Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２００９．ＩＲＯＳ ２００９．ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｂｅｒｎｈａｒｄ Ｋａｉｎｚ，Ｍａｒｋｕｓ Ｇｒａｂｎｅｒ，Ｍａｔｔｈｉａｓ Ｒｕｔｈｅｒ，「Ｆａｓｔ Ｍａｒｋｅｒ Ｂａｓｅｄ Ｃ−Ａｒｍ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」，Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｖｉｓｉｏｎ，Ｇｒａｚ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ａｕｓｔｒｉａ Ａｌｅｘａｎｄｅｒ Ｋｕｂｉａｓ，Ｔｈｏｍａｓ Ｂｒｕｎｎｅｒ，「２Ｄ／３Ｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｎ ｔｈｅ ＧＰＵ」，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｋｏｂｌｅｎｚ−Ｌａｎｄａｕ，Ｋｏｂｌｅｎｚ，Ｇｅｒｍａｎｙ，Ｓｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ，Ｆｏｒｃｈｈｅｉｍ，Ｇｅｒｍａｎｙ，２００７ Ａｌｉ Ｋｈａｍｅｎｅ，Ｆｒａｎｋ Ｓａｕｅｒ，「Ａｕｔｏｍａｔｉｃ ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ｐｏｒｔａｌ ｉｍａｇｅｓ ａｎｄ ｖｏｌｕｍｅｔｒｉｃ ＣＴ ｆｏｒ ｐａｔｉｅｎｔ ｐｏｓｉｔｉｏｎｉｎｇ ｉｎ ｒａｄｉａｔｉｏｎ ｔｈｅｒａｐｙ」，Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ １０，ｐｐ．９６−１１２，２００６ Ｒｏｂｅｒｔ Ａ．，Ｄａｖｉｄ Ｊ．Ｈａｗｋｅｓｂ，「Ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ Ｒｅｇｉｓｔｒａｔｉｏｎ ｖｅｒｓｕｓ Ｆｅａｔｕｒｅ−ｂａｓｅｄ Ｒｅｇｉｓｔｒａｔｉｏｎ ｆｏｒ Ｎｅｕｒｏｉｎｔｅｒｖｅｎｔｉｏｎｓ」，Ｍｅｄｉｃａｌ Ｖｉｓｉｏｎ Ｌａｂｏｒａｔｏｒｙ，Ｄｅｐｔ ｏｆ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｏｘｆｏｒｄ，Ｅｎｇｌａｎｄ Ｔ．Ｍａｈａｒａｋｓｈｍｉ，Ｒ．Ｍｕｔｈａｉａｈ，Ｐ．Ｓｗａｍｉｎａｔｈａｎ，「Ａｎ Ｏｖｅｒｖｉｅｗ ｏｆ Ｔｅｍｐｌａｔｅ Ｍａｔｃｈｉｎｇ Ｔｅｃｈｎｉｑｕｅ ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」，Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ＳＡＳＴＲＡ Ｕｎｉｖｅｒｓｉｔｙ，Ｔｈａｎｊａｖｕｒ，Ｔａｍｉｌ Ｎａｄｕ，Ｉｎｄｉａ，Ｒｅｓｅａｒｃｈ Ｊｏｕｒｎａｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅｓ，Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ ４（２４）：ｐｐ．５４６９−５４７３，２０１２ Ｆｏｎｓｅｃａ ａｎｄ Ｍａｎｊｕｎａｔｈ，「Ｒｅｇｉｓｔｒａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ｍｕｌｔｉｓｅｎｓｏｒ ｒｅｍｏｔｅｌｙ ｓｅｎｓｅｄ ｉｍａｇｅｒｙ」，ＰＥ ＆ ＲＳ−Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｃ Ｅｎｇｉｎｅｅｒｉｎｇ ＆ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ ６２（９），ｐｐ．１０４９−１０５６，１９９６

いくつかの実施形態において、本発明は、
第一の画像化モダリティから第一の画像を取得するステップと、
少なくとも一つの要素を、第一の画像化モダリティからの第一の画像上に特定するステップであって、少なくとも一つの要素は、ランドマーク、関心領域、切開ポイント、分岐点、器官又はそれらの任意の組み合わせを含むものである、第一の画像上に特定するステップと、
第二の画像化モダリティから第二の画像を取得するステップと、
第一の画像化モダリティからの第一の画像から、互換性のある仮想画像を生成するステップと、
互換性のある仮想画像上にプランニングデータをマッピングするステップであって、マップされるプランニングデータは、少なくとも一つの要素に対応するものである、プランニングデータをマッピングするステップと、
第一の画像化モダリティからの第一の画像に、第二の画像化モダリティからの第二の画像を粗く登録するステップと、
互換性のある仮想画像からのマップされるプランニングデータの少なくとも一つの要素を特定するステップと、
第二の画像化モダリティ上に少なくとも一つの対応する要素を特定するステップと、
第二の画像化モダリティ上に少なくとも一つの対応する要素をマッピングするステップと、
第一の画像化モダリティからの第一の画像に対して、第二の画像化モダリティからの第二の画像を細かく登録するステップと、
第三の画像を生成するステップであって、第三の画像はハイライトされた関心領域を含む拡張された画像である、第三の画像を生成するステップと、
を含む方法を提供する。

いくつかの実施形態において、その方法はさらに、少なくとも一つの画像、少なくとも一つの画像の一部又は第一の画像化モダリティから第二の画像化モダリティ上に、導出されるプランニング情報を重ね合わせるステップを含む。いくつかの実施形態において、その方法はさらに、少なくとも一つのインストラクションを用いるステップを含み、少なくとも一つのインストラクションは、ナビゲーション、ガイダンス、又はそれらの組み合わせに関する情報を含み得る。いくつかの実施形態において、ガイダンスは、装置のポジショニングが示される第二の画像化モダリティに関する情報を含み、その装置は、関心領域、切開ポイント、解剖構造又はツールアクセス方向のための視認性を達成する結果をもたらす蛍光透視Ｃ−Ａｒｍを含む。いくつかの実施形態において、その方法はさらに、第二の画像化モダリティから導出される少なくとも一つの連続する画像を用いて、少なくとも一つの解剖構造をトラッキングするステップであって、第二の画像化モダリティは、同じ取得パラメータを実質的に有するように構成された蛍光透視ビデオを含み、並びに取得パラメータは、モード、ポジション、視界又はそれらの任意の組み合わせを含み、静的な解剖構造を抑制する及び／又は内在する軟組織のノイズに対して信号を改善することによって、拡張された蛍光透視画像を生成する、少なくとも一つの解剖構造をトラッキングするステップを含む、方法である。いくつかの実施形態において、その方法はさらに、マルチフェーズの登録を実行するステップを含み、少なくとも一つの実質的に静的な物体が第一に登録され、及び少なくとも一つの動的な物体が第二に登録され、その少なくとも一つの動的な物体は、隔膜、気管支、血管、又はそれらの任意の組み合わせを含む。いくつかの実施形態において、その方法はさらに、少なくとも一つの干渉構造における強調の度合いを弱めるステップを含む。いくつかの実施形態において、第一の画像化モダリティからのプランニングデータが画像登録を用いて第二の画像化モダリティに伝達される間には、互換性のある仮想画像は生成されない。

いくつかの実施形態において、本発明は、
処置中の画像から導出されたピクセルのグループ分けを生成するために、既知の相対的動作及び回転を伴う、少なくとも二つの処置中の画像を用いるステップであって、ピクセルのグループ分けは、（ａ）それぞれのピクセルの動作変動及び（ｂ）それぞれのピクセルの強度値を用いるそれぞれのピクセルの個々の演算により決定される、少なくとも二つの処置中の画像を用いるステップと、関心領域内の構造を再構築するために、少なくとも二つの連続する処置中の画像を用いて登録を実行するステップと、関心領域において静的な構造から動的な構造を区別化するステップと、及び少なくとも一つの処置中の画像上の解剖構造をハイライトするステップと、を含む方法である。いくつかの実施形態において、その方法はさらに、胸部Ｘ線画像を第一の処置中の画像として用いるステップを含む方法である。

いくつかの実施形態において、本発明は、拡張された蛍光透視画像を生成するように構成された拡張された蛍光透視装置を含むシステムを提供し、（ａ）ビデオ及び画像処理ユニット、（ｂ）ビデオインプットカード又は蛍光透視装置からビデオ信号をインプットするように構成された外部に接続された装置、（ｃ）内部の又はＤＩＣＯＭフォーマットの３Ｄプランニングインプット、（ｄ）拡張されたビデオ信号アウトプット、又はそれらの任意の組み合わせを含む。いくつかの実施形態において、システムは、（すなわち、ビデオインプットカードの代わりに）ＲＡＷデータを信号として取得するように構成されたＲＡＷデータインプットカードを含むモジュールである、少なくとも一つの蛍光透視装置と統合する。いくつかの実施形態において、システムはコーンビームＣＴシステムと統合する。

いくつかの実施形態において、本発明は、自然の体腔の内側のナビゲートのための機器を含むシステムを提供し、その機器は、（ａ）先端にアンカリングを伴うガイド付きシース、及び／又は（ｂ）ガイド付きワイヤを含む。いくつかの実施形態において、その機器は、アンカリングメカニズムとして作動するように構成されたインフレータブルバルーンである。

いくつかの実施形態において、本発明は方法を提供し、その方法は、（ｉ）第一の画像化モダリティからの第一の画像上の関心ボリュームを選択するステップと、（ｉｉ）第二の画像化モダリティから第二の画像を生成するステップと、（ｉｉｉ）第一の画像化モダリティ及び第二の画像化モダリティを用いて粗い登録をするステップと、（ｉｖ）第一の画像化モダリティから少なくとも一つのパターンを生成するステップと、（ｖ）第一の画像化モダリティから生成された単独の又は多数のパターンを用いて第二の画像化モダリティの使用によりマッチングパターンを生成するステップと、（ｖｉ）第三の画像化モダリティを生成するための関心ボリューム内の生体構造をハイライトするために、第二の画像化モダリティからのマッチングパターンを強調するステップと、を含む。いくつかの実施形態において、関心領域の外側に位置づけられた解剖構造は、同じ方法を実質的に用いて、見出され及び抑制される。いくつかの実施形態において、そのパターンは、解剖学的な特徴を含むものであり、解剖学的な特徴は、それらに限定されないが、気道、肋骨及び血管を含む。いくつかの実施形態において、第二の画像化モダリティからのマッチングの特徴は、関心領域の内側の少なくとも一つの機器のポジションのセットから導出される。

いくつかの実施形態において、本発明は、方法を提供し、その方法は、患者の胸部の少なくとも一つの第一の画像を取得するために、第一の画像化モダリティを用いるステップと、３Ｄ空間内の気管支気道を含む自然の体腔を区分するステップと、第二の画像化モダリティから少なくとも一つの画像を生成するステップと、情報を組み合わせることによって、第二の画像化モダリティから生成される二次元の拡張された画像を生成するステップであって、その情報は、気管支気道ツリーを含む自然の体腔の全体のマップ又は一部のマップを描くものである二次元の拡張された画像を生成するステップと、第二の画像化モダリティから生じる気管支気道の一部と第一の画像化モダリティから生じる気管支気道の区分されたマップとの間の姿勢推定として、第一の画像化モダリティと第二の画像化モダリティの間の、登録を演算するステップと、対応する特徴をマッピングすることによる姿勢評価を介して、第一の画像化モダリティと第二の画像化モダリティとの間の登録を演算するステップと、を含む。いくつかの実施形態において、拡張された気管支造影像は、体腔をハイライトするために注入されるＸ線不透過性の物質を用いて生成される。いくつかの実施形態において、拡張された気管支造影像は、体腔内側に位置づけられたＸ線不透過性の機器の少なくとも三つの二つの異なるポジションからの画像化の重ね合わせを通して生成される。いくつかの実施形態において、拡張された気管支造影像は、体腔の内側に位置づけられたＸ線不透過性の機器の少なくとも一つの異なるポジション及び患者のベッドに対するＣ−Ａｒｍ配向の角度測定からの画像化の重ね合わせを介して生成される。いくつかの実施形態において、Ｘ線不透過性の機器は、単独の投影からその三次元空間を再構築するように設計され構成される。いくつかの実施形態において、それらに限定されないが、ヒドロゲル、逆熱ゲル化ポリマーなどの高い粘性を有するＸ線不透過性の物質は、拡張された気管支造影像を生成するために用いられ得る。

いくつかの実施形態において、本発明は方法を提供し、その方法は、それに限定されないが、ＤＤＲなどの第一の画像化モダリティから蛍光透視法に生じる互換性のある仮想画像のパラメータを提供するステップと、それに限定されないが、特定の位置におけるＤＤＲ上の肋骨の幅などの仮想画像上の物体サイズを決定するステップと、それらに限定されないが、仮想蛍光透視カメラなどの仮想カメラの姿勢及び視界を提供し、較正プロセスから演算される蛍光透視カメラなどの第二の画像化モダリティに対して第一の画像化モダリティを投影するステップと、特定の位置におけるＤＤＲ上の肋骨の幅などの仮想画像上の物体サイズを決定するステップと、第二の画像（例えば、蛍光透視画像）上で測定される物体サイズと、第一の画像（例えば、ＣＴ画像）から生じる既知の物体サイズとの間の比較を介して、深さ（例えば、それらに限定されないが、蛍光透視Ｘ線のソースからの特定の物体又は物体領域の距離）を演算するステップと、を含む。いくつかの実施形態において、物体サイズは、ツールの剛体部分の長さ又は幅などの互換性のある仮想画像上での測定の代わりに、又は、測定に加えて、技術的な仕様から決定される。いくつかの実施形態において、カテーテルタイプのツールは、第二の画像化モダリティカメラセンターからの深さ距離の組み合わせとして、軌道の演算を可能にするように設計される。

本発明はさらに、添付された図を参照して説明される。図は、本明細書の一部を構成し、実例となる本発明の実施形態を含み、様々な物体及びそれらの特徴を示す。本明細書にて開示される特定の機能的な詳細は、限定としてではなく、本発明を様々に採用するために、当業者に教示するための代表的な基礎としてのみ解釈されるべきである。
図１は、本発明の実施形態を示すフローチャートであり、外科及び診断処置のフローチャートを示す。 図２は、本発明の方法の実施形態の（例えば、拡張された蛍光透視システム及びデータフローを示す）図である。 図３（Ａ）及び図３（Ｂ）は、本発明の方法の実施形態を示す画像である。 図４は、本発明の方法の実施形態を示すフローチャート（例えば、解剖構造強調フローチャート）である。 図５は、本発明の方法の実施形態を示す図であり、本発明の方法の３つの強度値測定を示す。図５（Ａ）は参照画像化モダリティから取得されたパターンを示し、図５（Ｂ）は処置中のモダリティからの信号を示し、及び図５（Ｃ）は、処置中のモダリティからの強調された信号を示す。この図は、発明の方法の実施形態を示し、強度値測定は、少なくとも一つの信号強調を基にして、細かい登録（すなわち、テンプレートマッチング）のために用いられ得る。 図６Ａは、本発明の方法の実施形態を示す略図であり、蛍光透視画像を示す。 図６Ｂは、本発明の方法の実施形態を示す略図であり、蛍光透視画像を示す。 図７は、本発明の方法の実施形態であり、登録ステップを示し、その登録ステップは、（１）気管支気道ツリーに関する情報であって、情報は処置前の画像（例えば、２次元又は３次元画像、例えば、ＣＴスキャン）から抽出される、情報と、及び（２）少なくとも一つの気道に関する情報であって、情報は拡張された気管支造影像を用いて蛍光透視画像から抽出される、情報と、を用いる。 図８は、本発明の方法の実施形態を示し、Ｘ線不透過性の物質を注入した直後（例えば、注入した後０秒）の蛍光透視画像を示す。 図９は、本発明の方法の実施形態を示し、領域にＸ線不透過性の物質が注入された後３０秒の領域の（例えば、画像はぼやけて見える）蛍光透視画像を示す。 図１０Ａは、本発明の方法の実施形態を示し、少なくとも一つの気管支及び／又は異なる気管支を通してナビゲーティングするステップ並びに個々のナビゲーティングイベントの蛍光透視画像を記録するステップを示す。 図１０Ｂは、本発明の方法の実施形態を示し、少なくとも一つの気管支及び／又は異なる気管支を通してナビゲーティングするステップ並びに個々のナビゲーティングイベントの蛍光透視画像を記録するステップを示す。 図１０Ｃは、本発明の方法の実施形態を示し、少なくとも一つの気管支及び／又は異なる気管支を通してナビゲーティングするステップ並びに個々のナビゲーティングイベントの蛍光透視画像を記録するステップを示す。 図１１は、本発明の方法の実施形態を示し、画像の組み合わせ（例えば、それらに限定されないが、図１０Ａ、図１０Ｂ及び図１０Ｃ）から生成される／抽出される、拡張された気管支造影像を示すものであり、画像は例えば、それに限定されないが、少なくとも一つの気管支内の視認機器を含む。 図１２は、本発明の方法の実施形態を示しており、蛍光透視画像平面に投射されるまっすぐな機器の部分を示す。 図１３は、本発明の方法の実施形態を示し、解剖学的パス（例えば、気管支）に関する深さ情報の回復を示す。 図１４は、本発明の実施形態における使用のためのアンカーを有するナビゲーションカテーテル（例えば、使い捨ての、又は使い捨てでないカテーテル）を示す。 図１５Ａは、本発明の方法を用いて取得される結果の実施形態を示す画像である。図１５Ａは第一の画像（例えば、元画像）である。 図１５Ｂは、本発明の方法を用いて取得される結果の実施形態を示す画像である。図１５Ｂはハイライトされた（例えば、破線の円に示された）セクションを有する第二の画像である。

本発明はさらに、添付された図を参照して説明され、同じ構造は、複数の図を通して同じ数字によって言及される。示される図は、必ずしもスケールに従うものではなく、その代わりに、本発明の原理を示すことを概略強調するものである。必ずしもスケールに従う必要はない。さらに、いくつかの特徴は、特定の要素の詳細を示すように強調され得る。

図は、本明細書の一部を構成し、本発明の実例となる実施形態を含み、様々な物体とそれらの特徴を図示する。さらに、図は必ずしもスケールに従っておらず、いくつかの特徴は、特定の要素の詳細を示すように強調され得る。加えて、図に示されるなどの、どの測定、仕様は、例示であることを意図しており、限定であることを意図している。それ故、本明細書に開示される特定の構造及び機能の詳細は、限定としてではなく、本発明を様々に用いる当業者に教示するための代表的な基礎としてのみ、解釈されるべきである。

開示されているそれらの利益及び改善のうちで、本発明の別の目的及び利点は、付随する図と共に解釈される以下の説明から明らかとなるだろう。本発明の詳細な実施形態は、本明細書に開示される。しかしながら、開示された実施形態は、様々な形で具体化され得る発明を単に図示したものであることが理解されるべきである。加えて、発明の様々な実施形態に関連して与えられる例のそれぞれは、例示であることを意図しており、限定であることを意図していない。

本明細書及び請求項を通して、文脈が明白に別途を示す場合を除いて、以下の用語は、本明細書に明確に関連する意味を取る。本明細書に使用されるような「ひとつの実施形態において」及び「いくつかの実施形態において」という表現は、そうであることもあるが、必ずしも同じ実施形態に言及するものではない。さらに、本明細書に使用されるような「別の実施形態において」及び「いくつかの他の実施形態において」は、そうであることもあるが、必ずしも異なる実施形態に言及するものではない。ひいては、以下に記載されるように、発明の様々な実施形態は、発明の範囲又は精神から逸脱すること無く、容易に組み合わされ得る。

加えて、本明細書で使用されるように、用語「ｏｒ」は両立的な「ｏｒ」演算子であり、文脈が明白に別途を示す場合を除いて、用語「ａｎｄ／ｏｒ」と等価である。用語「ｂａｓｅｄ ｏｎ」は、排他的でなく、文脈が明白に別途を示す場合を除いて、記述されない追加の要素に基づくことを許容する。加えて、本明細書を通して、「ａ」「ａｎ」及び「ｔｈｅ」の意味は、複数リファレンスを含む。「ｉｎ」の意味は、「ｉｎ」及び「ｏｎ」を含む。

本明細書で使用されるように、「粗い登録」とは、処置前及び処置中の画像の大まかなアライメントを言う。本発明の方法の実施形態において、粗い登録は広範囲の情報を使用し、呼吸により生じる局所的な組織変形、機器動作、処置前及び処置中の画像の間の姿勢差異などを考慮しない。

本明細書で使用されるように、「要素」は、メカニカルなプロパティ（例えば、それらに限定されないが、動作の硬直、柔軟性、強度）を例にみる共通するメカニカルな特徴を有する生体構造のユニットを言う。いくつかの実施形態において、要素は、それらに限定されないが、気管支、血管、肋骨、画像パターンなどであってもよい。

本明細書で使用されるように、「細かい登録」は、第一の画像（例えば、処置前の画像）の関心領域周りの局所的な組織（例えば、それに限定されないが、軟組織）の登録を言い、第一の画像の関心領域は、第二の画像（例えば、処置中の画像）の領域に対応する。本発明の方法のいくつかの実施形態において、細かい登録は、それらに限定されないが、ツールの先端の局所的近傍、予めマークされた小瘤領域などに例を見る関心領域内における局所的な組織の変形及び／又は相対的組織の動き（例えば、それに限定されないが、呼吸している間の、肋骨と肺との間の動きの相違）を訂正するように設計された技術／方法である。いくつかの実施形態において、変換マトリクス、生成される初期値、アウトプット画像などの粗い登録アウトプットが細かい登録の使用のためのインプットとして供給される間に、細かい登録はさらに、関心領域内の粗い登録上への局所的な登録の正確さの改善を許容する。

本明細書で使用されるように、「マッピング」は、第一の画像化モダリティの第一の画像からの複数の要素を、第二の画像化モダリティの第二の画像に送信することを言う。いくつかの実施形態において、マッピングは、（１）第一の画像の複数の要素を特定するステップと、（２）第二の画像の複数の要素を特定するステップと、（３）第一／第二の画像の複数の要素を、対応する第二／第一の複数の要素とペアリングするステップと、（４）第一／第二の画像の複数の要素を、第二／第一の画像の複数の要素の対応するペアに登録する（すなわち、登録）ステップと、を含み得る。いくつかの実施形態において、登録するステップは細かい及び／又は粗い登録を用いて実行される。非限定的な例として、マッピングは、（１）第一の画像（例えば、ＣＴ画像）からの複数（例えば、それらに限定されないが、２、３、４、５、６、７、８、９、１０、などの、要素）の要素（例えば、気管支、肋骨など）を特定するステップと、（２）第一の画像（例えば、ＣＴ画像）上の複数の蛍光透視要素及び第二の画像（例えば、蛍光透視画像）上の複数の蛍光透視要素を特定するステップと、（３）第二の画像上の対応する要素（すなわち、気管支、肋骨と）である複数の要素のサブセットをペアリングするステップと、（４）その要素を第二の画像上の要素の対応するペアに登録するステップであって、そのマッピングは第一の画像の気道の表示もたらすものである、要素の対応するペアに登録するステップと、又はそれらの任意の組み合わせと、を含み得る。いくつかの実施形態において、画像は、ＲＡＷ画像から導出され得るものであって、それらに限定されないが、ＤＤＲ画像、編集された画像、処理された画像などに例を見る。

いくつかの実施形態において、用語「処置前画像」は本発明を記述するのに用いられているが、ＣＴ、ＭＲＩ又はＸ線レントゲン画像化などの参照画像が処置中に取得される際に、同じコンセプトが適用され得ることが、当業者に対して、明白である。いくつかの実施形態において、本発明の方法は、造影剤を伴って又は伴わずに実行される画像化のために適用される。

いくつかの実施形態において、本発明は、（ＣＴ、ＭＲＩなどの）第一の画像化モダリティを用いるステップと、及びそれらに限定されないが、蛍光透視法、デジタルサブトラクション血管撮影（ＤＳＡ）などの第二の画像化モダリティを用いて拡張された画像を生成することで情報をプランニングするステップと、を許容する方法である。いくつかの実施形態において、その方法はさらに、関心領域及び／又は構造をハイライトするステップを含む。いくつかの実施形態において、その方法は、追加の画像化をするステップ及び／又は情報をプランニングするステップを含み、追加の画像化をするステップ及び／又は情報をプランニングするステップは、第一の画像化モダリティから生成され／生成され得、並びに重ね合わせするステップを含み得、非限定的な例として、（ｉ）胸部の少なくとも一つの第一の画像を取得することにおいて用いる第一の画像化モダリティと、（ｉｉ）ランドマーク、関心領域、切開ポイント、危険構造、分岐点、解剖学的器官などを明確にすることを通した外科処置の手動及び／又は自動プランニングと、（ｉｉｉ）それらに限定されないが、蛍光透視法及び／又はＤＳＡなどの第二の画像化モダリティから取得された少なくとも一つの第二の画像、並びに第一の画像化モダリティからのデジタル再構成画像（ＤＲＲ）などの互換性のある仮想画像の生成と、（ｉｖ）互換性のある仮想画像上の少なくとも一つの物体及び／又は構造へのプランニングデータのマップ（「マッピング」）と、（ｖ）第二の画像化モダリティから第一の画像又は第一の画像化モダリティから調達されるその一部への少なくとも一つの第二の画像又はビデオフレームの登録と、（ｖｉ）互換性のある仮想画像から特定されるプランニングデータであって、画像登録を用いて、第一の画像化モダリティから、第二の画像化モダリティからの少なくとも一つの第二の画像に調達される、互換性のある仮想画像から特定されるプランニングデータと、（ｖｉｉ）互換性のある仮想画像からマップされるプランニングデータであって、画像登録を用いて、第一の画像化モダリティから、第二の画像化モダリティからの少なくとも一つの第二の画像に調達される互換性のある仮想画像からマップされるプランニングデータと、（ｖｉｉｉ）例えば、それに限定されないが、少なくとも一つの第三の画像を取得するために第二の画像化モダリティから調達される少なくとも一つの第二の画像上の少なくとも一つの解剖構造などの、ハイライトされた関心領域であって、少なくとも一つの第三の画像は拡張される、ハイライトされた関心領域と、又は、それらの任意の組み合わせと、を含み得る。

いくつかの実施形態において、その方法はさらに、少なくとも一つの画像若しくは少なくとも一つの画像の導出物、少なくとも一つの画像の一部、又は、画像を基にした、第一の画像化モダリティから調達されるプランニング情報の重ね合わせを含む。他の実施形態において、その方法はさらに、医療機器の動作を補助するナビゲーション及びガイダンス命令を含む。いくつかの実施形態において、その方法はさらに、蛍光透視Ｃ−Ａｒｍの利用などの第二の画像化モダリティをポジショニングするためのガイダンスを含み、関心領域のために最適な視認性を維持することを許容する。いくつかの実施形態において、その方法はさらに、それに限定されないが、実質的に同じ取得パラメータを有する蛍光透視ビデオなどの第二の画像化モダリティからの連続するフレーム上の解剖構造をトラッキングすることを含み、取得パラメータは、それらに限定されないが、モード、ポジション、視野を含み得、拡張された蛍光透視画像を生成することをもたらし、拡張された蛍光透視画像は、静的な解剖構造を抑制することにより、及び／又は内在する軟組織のノイズ比率に対して信号を改善することにより、生成される。いくつかの実施形態において、その方法は、マルチフェーズの登録を実行するステップを含み、例えば、それに限定されないが、肋骨などの小さい動作（例えば、それらに限定されないが、２から５ｃｍ）を有する少なくとも一つの静的な物体が第一に登録される。いくつかの実施形態において、静的な物体が第一に登録された後に、それらに限定されないが、隔膜、気管支、血管などの、それ以上の動的な物体が、続いて繰り返される登録にて登録される。いくつかの実施形態において、その方法はさらに、（例えば、処置の身体構造上のフォーカスを妨げ得る（例えば、血管上にフォーカシングしている画像から肋骨を除去することに限られない）任意の構造）干渉構造が、強調の度合いを弱められるステップを含む。

いくつかの実施形態において、本発明の方法は、それらに限定されないが、処置中の蛍光透視画像、ＤＳＡ画像などの、ハイライトされた関心領域及び構造を有する少なくとも一つの拡張された第三の画像の生成を許容し、それらに限定されないが、（ｉ）少なくとも二つの処置中の画像の、動作の変動及び／又は強度の値に従って、少なくとも二つの処置中の画像のピクセルのグループ分けを許容する、既知の相対的動作及び／又は回転を伴う少なくとも二つの処置中の画像を用いるステップと、（ｉｉ）関心領域内の構造を再構築するために、少なくとも二つの連続する処置中の画像の間の登録及び／又は相互相関を実行するステップと、（ｉｉｉ）ユーザの要求に基づいて、関心領域内の動き及び静的な構造を区別化するステップと、（ｉｖ）処置中の画像の解剖構造をハイライトするステップと、又は、それらの任意の組み合わせと、を含み得る。

いくつかの実施形態において、本発明の方法はさらに、患者の胸部のＸ線画像を用いるステップを含み、Ｘ線放射画像は、類似のプロセス、すなわち、異なるエネルギレベルで取得されたＸ線画像からの情報の相互相関、を用いて、第二の画像上の少なくとも一つの解剖構造の強調を可能にする参照画像として機能し得る。

いくつかの実施形態において、本発明は、少なくとも一つの拡張された蛍光透視画像の生成を許容する拡張された蛍光透視装置であり、拡張された蛍光透視装置は、それらに限定されないが、（ｉ）ビデオ及び画像処理ユニットと、（ｉｉ）ビデオインプットカード及び／又は蛍光透視装置からビデオ信号をインプットするように構成された、外部に接続された装置と、（ｉｉｉ）内部の及び／又はＤＩＣＯＭフォーマットの３Ｄプランニングインプットと、（ｉｖ）拡張されたビデオ信号アウトプットと、又はそれらの任意の組み合わせと、を含み得る。

いくつかの実施形態において、本発明の装置は、ＲＡＷデータを信号として取得するための蛍光透視装置の（すなわち、モジュールとして）内部に統合され、ＲＡＷデータインプットカードを含む。いくつかの実施形態において、その装置は、ビデオインプットカードの代わりにＲＡＷデータカードを有する。いくつかの実施形態において、本発明は、コーンビームＣＴシステムの内部に統合される。

いくつかの実施形態において、本発明は、組織又は解剖構造をハイライトする方法であり、その方法は、（ｉ）それらに限定されないが、ＣＴ及び／又はＭＲＩなどの第一の画像化モダリティから調達される画像上に関心ボリュームを選択するステップと、（ｉｉ）第二の画像化モダリティから画像を取得するステップと、（ｉｉｉ）第二の画像化モダリティの一つと対応する第二の画像化モダリティの仮想カメラの姿勢を特定するために、第二の画像化モダリティと第一の画像化モダリティとの間に粗い登録を実行するステップと、（ｉｖ）関心ボリュームの周りの解剖構造に対して、第一の画像化モダリティから少なくとも一つのパターンを生成するステップと、（ｖ）第一の画像化モダリティから生成された単独のパターン又は多重のパターンを用いて、第二の画像化モダリティのマッチングパターンを特定するステップと、（ｖｉ）第三の画像化モダリティ上に関心ボリュームの生体構造を強調するために、第二の画像化モダリティからのマッチングパターンをハイライトする（すなわち、強調する）ステップと、又はそれらの任意の組み合わせと、を含み得る。

いくつかの実施形態において、その方法は、関心領域の外側に位置づけられた解剖構造を探索するステップ及び抑制するステップを含む。

いくつかの実施形態において、本発明は、物体の深さの演算の方法を含み、物体の深さの演算の方法は、それらに限定されないが、（ｉ）第一の画像化モダリティ（非限定的な例として、第一の画像化モダリティは、それに限定されないが、蛍光透視法へのＤＤＲ）から調達される互換性のある仮想画像のパラメータを提供するステップと、（ｉｉ）特定の位置におけるＤＤＲ上に肋骨の幅などの仮想画像上の物体サイズを決定するステップと、（ｉｉｉ）第二の画像（非限定的な例として、較正プロセスから演算された蛍光透視カメラ）の姿勢及び視界を提供するステップと、（ｉｖ）（ａ）第一の画像（例えば、それに限定されないが、ＣＴ画像）から調達された既知の物体サイズから、（ｂ）第二の画像（例えば、それに限定されないが、蛍光透視画像）上で測定される物体の比較を用いることにより、（それらに限定されないが、蛍光透視Ｘ線源からの特定の物体又は物体領域の距離などの）深さを演算するステップと、又はそれらの任意の組み合わせと、を含む。

いくつかの実施形態において、物体サイズは、（１）技術的な仕様、及び／又は（２）それらに限定されないが、ツールの剛体部分の長さ又は幅などの互換性のある仮想画像上の測定、から決定される。いくつかの実施形態において、その方法は、第二の画像化モダリティカメラセンターからの深さの距離の組み合わせとして、軌道の演算を許容するように設計されるツールを含む。

いくつかの実施形態において、本発明は、診断及び治療医療処置において広く用いられる蛍光透視画像化モダリティの視覚化性能を拡大する方法を提供する。いくつかの実施形態において、提案された方法は、本明細書において「拡張された蛍光透視法」と呼ばれるものであり、リアルタイムに診断される患者の内部構造の範囲内の、特定の関心領域の視覚化を強調し得る。いくつかの実施形態において、本発明の方法は、軟組織視覚化のために利用される。いくつかの実施形態において、その方法は、施術者（例えば、それらに限定されないが、医者、看護師、専門家など）が、（例えば、軟組織視覚化での使用のための）医療処置における、蛍光透視の視覚化機能に関する向上された制御を有することを許容する。いくつかの実施形態において、研修生による本発明の方法の使用は、習熟曲線を削減する（例えば、それに限定されないが、訓練時間を削減し、演算間違いを削減する）。

いくつかの実施形態において、本発明において提案される装置は、以下の機能、すなわち、信号インプット、処理、及び表示機能を含み、それらの機能は、例えば、処置室内に設置され得る。いくつかの実施形態において、発明された装置は、高度な視覚化性能（能力）を提供する既存の画像化機器からの信号を統合するように構成されている。いくつかの実施形態において、本発明は、スタンドアローンの装置である。いくつかの実施形態において、本発明は、少なくとも一つのモジュールであって、最新の機器の内部に統合される。

いくつかの実施形態において、本発明の方法は、それらに限定されないが、ＣＴスキャン又はＭＲＩなどの処置前の画像化モダリティを用いて、処置前のプランニングを実施するステップを含む。いくつかの実施形態において、実施された処置前のプランニングは、関心領域、及び／又はリアルタイムの蛍光透視法の間に強調され得る組織の力学的性質を明示することに用いられ得る。いくつかの実施形態において、本発明の方法は、処置中の蛍光透視画像上に関心領域の強調／ハイライトに加えて、処置中の蛍光透視画像上にオーバーレイを生成し得る。いくつかの実施形態において、オーバーレイは、病変、及び／又は切除境界、切開ポイント、気管支気道、血管などの解剖構造を伴う、内部の、並びに外部のランドマークの位置情報を含み得る。いくつかの実施形態において、その方法は、（ｉ）処置前のプランニングを実施するステップと、並びに（ｉｉ）診断処置及び／又は治療処置の間に処置前プランを用いるステップと、を含む。いくつかの実施形態において、本発明の方法の使用は、診断及び／又は治療の処置の有効性及び安全性を改善する。

いくつかの実施形態において、本明細書に開示される本発明は、リアルタイムに蛍光透視画像の要素又は関心領域をハイライトすることを許容する拡張された蛍光透視装置及び方法の形態に関する。ハイライトの典型的な実施形態は、選択的な重ね合わせ（例えば、それらに限定されないが、診断及び／又は治療処置のために用いられる、静的な又は動的な蛍光透視画像における処置前のプランニング要素）を含む。本発明の方法のいくつかの実施形態において、ハイライトの方法は、（ｉ）選択された領域をボールディングするステップと、（ｉｉ）選択された領域をカラーリングするステップ（例えば、領域を選択するステップ及びピグメント（例えば、それらに限定されないが、黄色、青、赤、緑など）をグレースケール画像上に配置するステップ）と、（ｉｉｉ）（例えば、図３を参照のこと、「強調された画像」は「拡張された画像」である）組織／領域の画像を強調するステップと、（ｉｖ）蛍光透視画像上に画像を重ね合わせるステップ（例えば、それに限定されないが、ＣＴスキャンの選択された領域における境界（例えば、点線、破線など）を重ね合わせるステップ）と、又はそれらの任意の組み合わせと、を含む。いくつかの実施形態において、ハイライトは、自動で、半自動で、手動で又はそれらの任意の組み合わせで、実行され得る。

従来の蛍光透視法は、医療処置の間に患者の内部構造のリアルタイム動画を取得するために一般的に用いられる。従来の蛍光透視法は、身体（例えば、それに限定されないが、人間の身体）の内側で医療機器をガイドするための可視及び検証の画像化ツールである。骨組織及び、それらに限定されないが、カテーテル、生体検査ツール、外科機器、較正ツールなどの医療機器は、蛍光透視画像上で明確に見えるが、軟組織、欠陥、疑わしい結節などの低密度の物質の特徴の物質は、従来の蛍光透視法にて特定することは困難である。一例として肺癌外科処置を取り上げると、ＣＴスキャンは処置に先だって通常取得される。肺結節はＣＴスキャン上で明瞭に観察される一方で、これらのケースのほとんどにおいて蛍光透視画像上で明瞭に特定し得ない。診断及び／又は治療処置に先立って、ヘルスケア専門家（例えば、医者）は、これからの処置の間に扱われる必要がある関心領域を特定するために、一般的に、処置前のＣＴスキャン及び／又はＭＲＩ画像を観察する。３次元（「３Ｄ」）画像化情報及び専門的な知識／経験を用いて、そのようなプランの実際の詳細な参照文献無しに、医者はこれからの処置をプランする。

実際の診断又は治療処置の間に医者は、診断及び外科機器のポジション並びに／又は操作を確認する／特定するために、蛍光透視装置を頻繁に用いている。ターゲット領域は蛍光透視画像上で明瞭には確認できないため、医者はターゲット領域の位置を推量する／推定することが求められることがある。さらに、蛍光透視画像は、患者を通過したＸ線からの蓄積された情報を表すので、Ｘ線は身体の異なる内部の構造と作用する際に量を変化することにより弱められ、低い密度の軟組織は、高い密度の組織によって塞がれる。加えて、３次元の情報は蛍光透視画像から失われている。結果として、蛍光透視画像上に表示された視覚情報の誤った解釈によって引き起こされるユーザエラーの高い可能性がある。最後に、従来のアプローチは、一般的に、３５％の低い診断率（すなわち、診断処置が、明確な診断を確立するために必要とされる情報を提供する可能性）と、実質的により大きい（例えば、それらに限定されないが、１０％、２０％、３０％、４０％、５０％大きい）切除領域周辺と、従来の蛍光透視法を通して軟組織又は小瘤をターゲッティングしている間の、同じ医療施設内部のより長い処置時間及びつじつまの合わない結果をもたらす。

電磁ナビゲーションシステム（ＥＮＢ）は、本発明の方法において、身体内部ナビゲーションをサポートするために用いられ得る。ＥＮＢは、一般的に、処置前の静的なＣＴ画像を用いる。

本発明の方法は、リアルタイム蛍光透視画像（すなわち、静的な画像ではない）を用いる。いくつかの実施形態において、本発明は、ユーザ／施術者が、診断又は外科機器により診断及び／又は治療処置の軟組織ターゲット領域を（効果的に）可視化することを許容する、リアルタイムモダリティを達成するように構成された装置である。いくつかの実施形態において、リアルタイムの視覚化は、ＣＴ又はＭＲＩなどの処置前の静的な画像情報が、呼吸している間の肺組織の大幅な動作及び／又は変形に起因してターゲット領域に対する機器の位置特定に対して不正確であるので、有利である。ここで、変形は、（ａ）処置前のＣＴ画像化と（ｂ）実際の診断又は治療処置との間で比較される、潜在的に、実質的に非類似の患者の状態に加えて、患者（例えば、人間の身体）の内側の診断機器又は外科機器の前進によって引き起こされる。

いくつかの実施形態において、本発明の方法は、第一の画像化モダリティ（例えば、それに限定されないが、処置前のＣＴ）の使用と併せて、診断に関する治療又は治療処置の間の、第二の画像化モダリティ（例えば、それに限定されないが、リアルタイム蛍光透視法）を用いるように構成される、第三の画像化モダリティの使用を含み得る。いくつかの実施形態において、その方法は、診断及び／又は外科処置の間にハイライトされた関心の要素／特徴（すなわち、拡張された画像）を有する第三の画像を生成するように構成される、第三の画像化モダリティを含み得る。いくつかの実施形態において、その方法は、処置時間の削減及び／又は（例えば、新生期の施術者のための）そのような処置のラーニングカーブにおける改良を促進し得る。

いくつかの実施形態において、本発明の方法は、外科処置及び／又は関心領域のリアルタイム可視化に従うガイディングの間に用いられ得る。

いくつかの実施形態において、その方法は、情報の少なくとも一つの三次元の形態を第二の画像（例えば、従来の蛍光透視画像）に加えることによって、施術者が、第三の画像（例えば、蛍光透視画像）上の関心領域の特定の要素の視認性を制御すること許容する。いくつかの実施形態において、その方法は、ユーザが関心領域（いわゆる、外科処置の間に要求される正しい関心領域）に注目することを補助してもよく、例えば、それらに限定されないが、血管、気管支気道などの、関心領域周辺の付加構造の検査を含む。いくつかの実施形態において、本発明の方法は、診断及び／又は治療処置の時点にて、病変の視認性を増加するために最適な蛍光透視角度をユーザに提示するステップを含むものであり、その提示は、少なくとも一つのＤＤＲ処置前画像に基づくものである。

いくつかの実施形態において、本発明の方法は、外科処置の間に、医者により高い制御を提供でき、その制御は、処置前プランニング及び三次元画像化データに従う診断機器及び／又は外科機器に対して相対的に、治療領域及び／又は少なくとも一つの危険構造を正確に特定する、医者の能力を十分に改善することを含む。

いくつかの実施形態において、本発明の方法は、（例えば、処置前の）第一の画像及び（例えば、処置中の蛍光透視の）第二の画像の統合並びに処理と、並びに（例えば、拡張された蛍光透視法の）第三の画像のリアルタイム又はオフライン画像をアウトプット（すなわち、結果）上にレンダリングすることと、を許容するように構成されている、統合されたソフトウェアアルゴリズムを有するハードウェア機器を用いる。

いくつかの実施形態において、本発明の方法は、（ａ）蛍光透視装置のＣ−Ａｒｍと（ｂ）患者との間の空間的な相対角度及び／又は位置（姿勢）を決定することを許容するように構成されている、角度測定装置／センサ（例えば、直角センサ、加速度センサ、ジャイロスコープなど）を用いる。

いくつかの実施形態において、本発明の方法は、患者の内部の（例えば、それに限定されないが、患者の胸部内の）深さ、及び／又は蛍光透視カメラからの間隔を測定することを許容するように構成されている可動カテーテルを利用し得る。

いくつかの実施形態において、本発明の装置及び方法は、（ａ）第一の画像（例えば、処置前のＣＴ画像）から生成される情報、及び（ｂ）関心領域をハイライトするためのプランニング段階の間に作成される情報（例えば、決定）の使用を許容し、選択的に（ａ）第一の画像から生成される情報及び／又は（ｂ）第二の画像（例えば、蛍光透視画像）へのプランニング段階の間に生成される情報を含む、リアルタイムの第三の画像化モダリティ（例えば、拡張された蛍光透視モダリティ）を提供する。

いくつかの実施形態において、本発明の方法は、それらに限定されないが、肺、肝臓、腎臓などの柔軟な、動作する組織に作用する診断及び／又は治療処置を補助するために用いられ得る。典型的な実施形態において、肺臓学において、末梢の小瘤は、蛍光透視画像上でハイライトされてもよく、及び／又は末梢の小瘤のデジタル再構成画像（ＤＲＲ）は、リアルタイムに蛍光透視画像上に重ね合わせされてもよい。いくつかの実施形態において、三次元ＣＴ画像を、二次元（「２Ｄ」）の蛍光透視画像上の関心領域をハイライトするために用いるアプローチは、別の医療事例に適用できる。

いくつかの実施形態において、本発明の方法は、コーンビームＣＴ装置を伴って用いられ得る。いくつかの実施形態において、本発明の方法をコーンビームＣＴ装置と組み合わせることにより、より優れたナビゲーション精度、自動的な蛍光透視の姿勢制御、放射線量削減などが可能になる。

いくつかの実施形態において、本発明の方法により、施術者は、第三の画像（例えば、蛍光透視画像／拡張された画像）上にハイライトされるリアルタイム情報に従って、医療機器をナビゲートすること及び／又は動作することができるのであり、その第三の画像は、処置前の画像から抽出される重ね合わせられた解剖学的なデータ及び／又はプランニングデータを含み得る。

いくつかの実施形態において、本発明の方法は、実際の外科機器、及びハイライトされた関心領域、並びに／又は解剖学的な要素のリアルタイムの第三の画像（例えば、蛍光透視画像／拡張された画像）を提供する。いくつかの実施形態において、その方法は、拡張された画像上にオーバーレイされたターゲットの解剖学的な特徴を提供し得る。いくつかの実施形態において、その方法は、それらに限定されないが、切開ポイント、切断の領域境界、参照ポイントなどのプランニング情報を、拡張された画像上に提供する。

いくつかの実施形態において、本発明の方法及び装置により、ユーザ／施術者は、多様な画像化情報を組み合わせること、及び事前に取得された三次元のボリュームデータを、動作する及び静的な軟組織領域をハイライトすることに、利用すること（すなわち、拡張された画像を生成すること）ができる。

いくつかの実施形態において、本発明の方法は、ユーザ／施術者に、拡張された蛍光透視画像上の特定の構造を提供する拡張された蛍光透視画像を生成するステップを含み、拡張された蛍光透視画像は、蛍光透視ビデオ及び／又は連続する蛍光透視画像上のピクセルのグループ（例えば、異なるピクセルのグループ）の動作変動分析によって生成される。典型的な実施形態において、肺の内側の軟組織病変は、肋骨と比較して異なる方向に動作し、軟組織の動作の度合いは、一般的に、肋骨の動作の度合いよりも大きく、蛍光透視ビデオフレームによって測定されることで、軟組織及び肋骨構造の投影された動作は差異を有するという結果をもたらす。いくつかの実施形態において、それぞれのピクセル減衰値の情報と組み合わされる測定された差異により、身体的構造及び／又は物体へピクセルをグループ分けすることができる。いくつかの実施形態において、物体へグループ分けされる際に、その身体的構造は、ユーザ／施術者によって決定される医学的利用例を参照して蛍光透視画像上にハイライトされ又は強調の度合いを弱められ得る。いくつかの実施形態において、拡張された蛍光透視画像は、蛍光透視画像のシーケンスから物体情報を抽出することによってさらに強調されるものであってもよく、その蛍光透視画像のシーケンスは、それらに限定されないが、ＣＴ、ＭＲＩ、胸部Ｘ線レントゲン画像、又はそれらの任意の組み合わせなどの処置前画像によって提供される情報により精緻化されても良い。

いくつかの実施形態において、本発明の方法は、少なくとも一つの静的な蛍光透視画像及び／又はリアルタイムビデオからのビデオフレームの、自動較正を含む。別の実施形態において、その方法は、（ｉ）様々な角度において、処置中の蛍光透視法の間の、特定の解剖構造の品質又は関心領域の視認性の予測を生成するステップ、及び（ｉｉ）特定の解剖構造又は関心領域の視認性を改善するために蛍光透視Ｃ−Ａｒｍを用いる角度を提言するステップであって、ユーザにガイダンスを提供し、例えば、画像の背景に対して構造／関心領域のより高い視認性を達成する、提言するステップを含む。

いくつかの実施形態において、本発明の方法は、全体の蛍光透視画像に基づいて、蛍光透視装置と統合された既存の自動ゲインアルゴリズムを変更することによって蛍光透視装置から取得されるＲＡＷデータを処理するステップ、を含む。いくつかの実施形態において、その方法は、領域に基づくゲイン演算アルゴリズムの使用を含む。いくつかの実施形態において、特定の領域に基づくゲイン演算アルゴリズムは、関心領域の周辺の対応する三次元の生体構造情報の知識から導出されるものであり、この対応する三次元の生体構造は、ＣＴ又はＭＲＩ画像から取得され、さらに特定の領域に基づくゲイン演算アルゴリズムは、関心領域の身体的属性を評価するステップを含む。いくつかの実施形態において、その方法は、特定の信号処理を供給し、該特定の信号処理は、ターゲット領域（すなわち、拡張された画像）において結果として生じる蛍光透視画像上に提供される情報の損失を削減し、及びターゲット領域の視認性の向上をももたらし得る。

いくつかの実施形態において、本発明の方法及び装置は、二つ又はそれ以上の、処置のリアルタイムビデオ画像、及び／若しくは静的な処置前の画像の間に、正確な登録（すなわち、粗い登録及び／又は細かい登録）を維持する／生成するのに用いられ得る。

いくつかの実施形態において、本発明の方法及び装置は、処置前のデータ（すなわち、ユーザ／施術者によって生成される決定／情報）の使用を含んでも良いものであり、その情報は、スクリーン上に表示され、表示された情報の解像度及び／又は品質は、事例固有の又はユーザ固有の基準において、動的に決定され得る。

いくつかの実施形態において、本発明は、第三の画像化モダリティ画像（例えば、拡張された蛍光透視画像）をアウトプットとして生成する第一の画像化モダリティ（例えば、処置前の画像）及び第二の画像化モダリティ（例えば、処置中の蛍光透視画像）からのインプットを提供するように構成される、統合されたソフトウェアアルゴリズムを有するハードウェア装置を用いる方法である。

いくつかの実施形態において、本発明の方法は、構成可能なディスプレイ要素及びアウトプットビデオフォーマットを、リアルタイムのアウトプットの較正済み画像に提供する。

いくつかの実施形態において、本発明の方法は、スタンドアローンの及び／又はモジュールのアーキテクチャを有する、統合されたソフトウェアアルゴリズムを伴うハードウェア装置を用い得る。

いくつかの実施形態において、本発明の方法は、ユーザに対して、蛍光透視Ｃ−Ａｒｍと患者の身体との間の相対的な空間的姿勢を決定する、角度測定を提供するように構成されているハードウェア装置を用いる。いくつかの実施形態において、その装置は、角度情報が、処置の間、利用できない又はアクセスできない、それらの蛍光透視モデルに適用できるものである。

別の実施形態において、本発明の方法は、処置前の画像（例えば、ＣＴスキャン）から導出される対応する三次元の解剖構造を用いることによって、複数の蛍光透視画像（例えば、二枚の画像、三枚の画像、四枚の画像、五枚の画像、六枚の画像、七枚の画像、八枚の画像、九枚の画像、十枚の画像など）から三次元空間内の少なくとも一つの解剖構造を再構築するステップを含み得る。

図１を参照すると、本発明の実施形態の方法１００を例示するフローチャートが示されている。

本発明の実施形態の方法１００の１０１において、第一の画像（例えば、ＣＴ又はＭＲＩなどの処置前の画像）は、取得され及び３Ｄ空間へ変換されるものであり、外科治療又は診断処置の間に、治療及び／又は診断をプランするために用いられる。

本発明の実施形態の方法１００の１０２において、施術者（例えば、それらに限定されないが、呼吸器科医又は外科医）は、１０１において取得された処置前データに関して処置前プランニングを実行し、その１０１の間にて、施術者が、関心領域（例えば、疑わしい病変の周辺における切り取って調べる又は切除するための領域の境界、好ましいツール導入のためのアプローチ又は切開ポイント、危険構造（例えば、それらに限定されないが、大血管、限られた領域））、関心領域にアプローチするのに望ましい経路、をマークする。いくつかの実施形態において、その処置（すなわち、１０２）は、手動で、及び／又は、情報の一部がコンピュータソフトウェアによって自動的に特定されるときなどに半自動で、実行され得る。

本発明のいくつかの実施形態において、一旦プランニングが完了すると、１０４において、情報がマップされ（すなわち、「マッピング」）及び／又は関心領域を特定する（「特定」）ように処理され、マッピング及び／又は特定は、３Ｄ空間において要素をプランニングすることを許容し、及び／又は主要な解剖構造を特定する。いくつかの実施形態において、マッピングから収集された情報（すなわち、「マッピング情報」）は、（ａ）第一の画像化モダリティから生じる画像から、（ｂ）第二の画像化モダリティから生じる画像に、伝達される。いくつかの実施形態において、マッピング情報は、粗い及び／又は細かい登録が第一の画像源及び第二の画像源上で実行された後に、伝達される。いくつかの実施形態において、画像源（例えば、それに限定されないが、第一の画像源）は、第二の画像化モダリティ（例えば、それに限定されないが、処置中の蛍光透視法）作動中のハイライト目的のために使用／再使用され得る。

人体器官のためのマッピング又は特定の技術に関する非限定的な例は、非特許文献１に開示されており、該文献は、全体として参照することによって、本明細書に組み込まれる。例えば、３Ｄ ＣＴスキャンにおけるターゲットの器官の位置は、器官領域を厳密に且つ正確に境界付ける（例えば、少なくとも一つの器官のための境界として機能する）３Ｄ矩形として提示され得る。例えば、ターゲットの器官特有の（例えば、それに限定されないが、境界矩形に対する）３Ｄ矩形の位置は、自動的に検出される。複数の２Ｄ検出器は、アンサンブル学習を用いて訓練され、及び複数の２Ｄ検出器のアウトプットは、器官を位置特定するために、３Ｄにおける共同の多数決を用いて組み合わされる。例えば、異なる内部の器官の位置の検出は、別々で及び／又は単独で用いられ得る。典型的な方法は、３Ｄ ＣＴスキャンにおける３Ｄ器官の位置特定を、一連の２Ｄ画像スライスにおける複数の独立した２Ｄ物体を検出するものとして処理するステップを含み、その方法は、アンサンブル学習の間に、（ｉ）特徴次元を（３Ｄから２Ｄに）削減し、及び（ｉｉ）訓練サンプル（例えば、一つの３Ｄ訓練サンプルは大量の２Ｄ訓練サンプルから成る）の数を増加し得る。典型的な方法は、オッカムのかみそりに従って未知のサンプルのための訓練された検出器のロバスト性を増加し得る。例えば、未知の３Ｄ ＣＴスキャンに関して、典型的な方法は、三つの直交する方向に沿ってターゲットの多数の２Ｄ対象を検出するために、異なる２Ｄ検出器をそれぞれのボクセルに独立して適用し、後ろが３Ｄ空間になっているそれらの２Ｄ対象に投票する。そのターゲットの存在及び概略のセンターポジションは、すべての２Ｄ検出器の応答の相互の一致をチェックすること及び３Ｄ投票空間内の関連する２Ｄ対象の範囲の大多数を、ターゲットの位置として選択することによって決定され得る。

人体器官のためのマッピング又は特定の技術の非限定的な例は、非特許文献２においても開示されており、該文献は、全体として参照することによって、本明細書に組み込まれる。この典型的な方法は、処置中の骨の位置特定を可能にし、その方法はどの処置前画像をも要求せず、多くの代替手段よりも侵襲的でない。例えば、処置前の段階において、関心の生体構造のＣＴのような強度値のアトラスは、サンプルＣＴ画像から構成されている。処置中の段階において、新規の２Ｄ／３Ｄ変形可能な登録アルゴリズムは、アトラスを患者の生体構造の蛍光透視Ｘ線画像に登録するために用いられる。登録アルゴリズムは、蛍光透視Ｘ線画像において、アトラスのテンプレートの骨表面と骨外形との間に強度値に基づく対応を確立するように構成されている。登録アルゴリズムはさらに、対の特徴の間の距離を最小化する／削減する骨形状及び姿勢を探索するように構成されている。アルゴリズムは反復的に、骨形状及び姿勢推定が収束するまで骨形状及び姿勢推定を精緻化するように構成されている。

いくつかの実施形態において、その方法は、２Ｄ蛍光透視画像上のそれぞれのピクセルをＣＴスキャンから生じる３Ｄ構造に整合することにより、２Ｄ蛍光透視画像を用いて拡張された３Ｄ蛍光透視画像を生成するステップを含む。本発明の方法は、登録の間は、それらに限定されないが、装置に接続されたＸ線不透過性のマーカー、Ｘ線不透過性の微粒子スプレー、インフレータブルＸ線不透過性バルーン、Ｘ線不透過性のフィラメント、などのトレース要素及び／又はマーカーを利用しない。

いくつかの実施形態において、本発明の方法は、（ｉ）外科処置の間に表示されるものとする視覚化データ、（ｉｉ）少なくとも一つの医療機器の導入のための推奨経路、（ｉｉｉ）解剖学の知識及び処置詳細に基づくガイダンスインストラクション、（ｉｖ）関心領域の視認性を最適化することをもたらすような、Ｃ−Ａｒｍのための推奨角度又は姿勢、又はそれらの任意の組み合わせを生成し得る。

いくつかの実施形態において、蛍光透視画像は１０６にて処置の間に取得され、一方で医療機器は関心領域に導入される。いくつかの実施形態において、蛍光透視画像は、単独の画像及び／又はビデオとして取得され得る。

実施形態において、生成される蛍光透視画像及び／又はビデオは、蛍光透視画像処理のためのインプットとして、処理ユニット２１８（図２）に導入される。その実施形態において、蛍光透視Ｃ−Ａｒｍ２１９（図２）と患者２１４（図２）との間の姿勢は、外側から送信されるか、又は処理ユニットによって演算されるかのどちらかである。その実施形態において、互換性のあるデジタル再構成画像（ＤＲＲ）は、実際の蛍光透視装置と実質的に同じ仮想Ｃ−Ａｒｍ姿勢及び実質的に同じカメラパラメータを用いて処置前画像から生成される。いくつかの実施形態において、画像は較正されるが、「較正される」は、蛍光透視画像のひずみに対して調整され、Ｘ線放射分析の先行技術知識に係る強度値における蛍光透視装置とＣＴとの間のＸ線エネルギ差異に対して補償されることを意味する。

いくつかの実施形態において、非特許文献３は、実際の蛍光透視画像に対するＤＤＲシミュレーション、較正及び登録について説明し、該文献は、全体として参照することによって、本明細書に組み込まれる。例えば、該典型的な方法は、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（画像処理ユニット））上で、剛性２Ｄ／３Ｄ画像登録を効果的に実行する。登録アルゴリズムの一部、すなわち、ＤＲＲ生成、及び類似性測定の演算の両方が、ＧＰＵ上で実行される。加えて、非特許文献４は、全体として参照することによって、本明細書に組み込まれる。例えば、登録アルゴリズムは、（１）強度値に基づいたもの、及び（２）特徴に基づいたもの、の二つのカテゴリーにグループ分けされ得、特徴に基づいた登録は、本発明の方法に関連して用いられ得る。例えば、肋骨や脊椎のエッジは、Ｘ線及び／又はＣＴ画像から抽出され得る。距離マップは、複数の（例えば、それに限定されないが、すべてのエッジポイントを用いる結果に終わる、それぞれの記録されたエッジポイント）Ｘ線画像のエッジポイントのためにさらに生成され得、ＣＴ画像のエッジ投影をＸ線画像における最も近いエッジに引きつけることによって、２Ｄ／３Ｄ登録を容易にする／許容する。距離マップがエッジの方向情報をも持たないとき、誤登録は、異なる構造のエッジの間で発生し得る。誤登録は、方向依存距離マップを用いて削減され得、改良されたキャプチャ範囲及び精度によりさらなる安定した登録を達成する。

いくつかの実施形態において、１０４にて生成されたマップは、空間的な情報を、ＤＲＲ画像上のそれぞれの提示された要素に提供するために用いられる。いくつかの実施形態において、登録はＤＲＲと実際の蛍光透視画像との間で実施される。登録の例、例えば、特徴に基づく又は強度値に基づく登録は、非特許文献５において記載され、該文献は、全体として参照することによって、本明細書に組み込まれる。例えば、特徴に基づく登録アプローチは、登録プロセスにおいて共有する画像化モダリティのそれぞれの特徴の間の、特徴の対応付けのステップを含み得る。登録の結果として、ＤＲＲ画像のために生成される空間的な情報は、実際の蛍光透視画像上に伝達され得る。実際の蛍光透視画像に追加された３Ｄ空間的情報により、実際の蛍光透視画像に対してコンピュータ視覚アプローチを実行し、ひいてはピクセルの２Ｄ画像と連動するというよりはむしろ３Ｄ空間における物体と共に動作し得る。このアプローチを用いることにより、蛍光透視画像のそれぞれのピクセルが、既知の解剖構造を介して通過するＸ線ビームを統合することによって描写され得る。

いくつかの実施形態において、蛍光透視画像の取得の間に失われた情報は、本発明の方法を用いて、復元される。いくつかの実施形態において、関心領域は、実際の蛍光透視画像上でハイライトされ得、一方、骨、心臓、血管などの干渉構造は、強調の度合いを弱められ得る。いくつかの実施形態において、拡張された画像品質のさらなる改良は、連続するビデオフレームのトラッキングを通して達成され得、動作の特徴は、種々の解剖構造に対して異なり得る。

拡張された蛍光透視画像又はビデオフレームシーケンスは、本発明の方法の実施形態を用いて、１１０において生成される。いくつかの実施形態において、プランニングフェーズ中に生成される様々な要素は、ユーザ要求に従って又はシステム構成に依存して、拡張された蛍光透視画像上に表示され得る。

図２は、本発明の実施形態を示す図を示し、拡張された蛍光透視システム／方法及びデータフローを示す。

拡張された蛍光透視画像を生成する本発明の実施形態において、その方法は、以下の利用が含まれる。
（１）Ｘ線チューブ２０４及び増強装置２０８の添え付けられた蛍光透視のペアを伴うフレーム２０９の動作の原因となるＣ−Ａｒｍ２０２。
（２）Ｘ線を生成するＸ線チューブ２０４であって、Ｘ線はコリメータ２０６を通過し、コリメータ２０６はＸ線ビームを狭めるように設計される、Ｘ線チューブ２０４。
（３）生成されたＸ線ビームは、ベッド２１２に添え付けられた患者の身体２１４を通過する。
（４）減衰したＸ線ビームはさらに、ＲＡＷデータ蛍光透視画像を形成するＸ線画像増強装置２０８によって吸収される。Ｘ線は２０８によって視認画像に変換される。及び／又は、
（５）ビデオ信号は、カメラ２１０によって常にキャプチャされ、及びモニター２１６に伝達される。
（６）インプットとしてＣＴ画像２２０を取得する、プランニングステーション２２２は、前述の１０２、１０４（図１）によって特定されるように、ユーザが診断及び治療処置をプランすることを許容する。
（７）生成されたプランニングデータ、３Ｄボリュームデータは、ユニット２１８へ送信され、２１６からのビデオ信号又は別途の２０８からのＲＡＷデータは、常に処理ユニット２１８に伝達される。
（８）拡張されたビデオ画像は、１０８、１１０（図１）によって特定されるように、２１８によって生成され、モニター２２４によって表示される。
（９）又は、これらの任意の組み合わせ。

本発明の実施形態において、以下の要素は、Ｃ−Ａｒｍの姿勢測定を提供するために追加された。
（１）Ｃ−Ａｒｍのフレーム２０９に添え付けられたセンサ２１１、並びに／若しくは
（２）患者の身体２１４に及び／又は患者のベッド２１２に添え付けられた参照センサ２１３

姿勢推定の評価を許容する本発明の実施形態における使用のために利用可能であるセンシングテクノロジーの例は、光学センサ、加速度計、電磁センサ、超音波センサ、（例えば、現代のスマートフォンにて利用可能な）ジャイロスコピックセンサ、などを含み得る。姿勢推定アプローチの使用の例は、本発明の方法にて用いられ得、非特許文献６において説明され、該文献は、全体として参照することによって、本明細書に組み込まれる。

いくつかの実施形態において、その方法は、非特許文献７において説明されるように、患者のベッドに添え付けられ得るものである所定の幾何学的な構成を伴う一連のマーカーを用い得、非特許文献７は、全体として参照することによって、本明細書に組み込まれる。

図３は、本発明の典型的な実施形態を示し、拡張された蛍光透視画像の図を示す。該実施形態において、ターゲット領域は不可視又は不鮮明であるが、診断機器及び骨は元画像上に鮮明に見られる。実施形態において、ターゲット領域は、例えば、右側にて、拡張された蛍光透視画像上でハイライトされる。実施形態において、その方法は、骨の強調の度合いを弱める一方で、血管をハイライトするステップを含む。

図４は、本発明の方法の実施形態を示し、方法４００のフローチャートを示す。方法４００の４０１においては、ユーザによって選択される、診断又は治療処置より前のＣＴ又はＭＲＩなどの処置前画像上の関心領域を示す。方法４００の４０３においては、関心ボリュームが、処置前の画像上に生成される。実施形態において、ボリュームは、病変などの関心領域内の解剖構造、及び気管支又は血管などの付加解剖構造が、蛍光透視画像などの処置画像上で検出可能であり得るように、生成される。典型的な実施形態において、例えば、ＤＤＲ画像は、蛍光透視画像上で検出可能性を評価することに用いられ得る。

本発明の方法のいくつかの実施形態において、方法４００の４０５において、処置中の画像又はビデオは、取得される。実施形態において、処置中のモダリティの姿勢は、少なくとも一つの処置中の画像によって演算され又は記録される。実施形態において、方法４００の４０７において、処置中の画像と処置前の画像との間の粗い登録、例えば、それに限定されないが、ＤＤＲへの蛍光透視法は、例えば、それらに限定されないが、ＣＴボリュームなどの処置前画像データ内部のＤＤＲのビューポイントを評価するために実施される。粗い登録の例は、非特許文献８において示され、該文献は、全体として参照することによって、本明細書に組み込まれる。本発明の方法のいくつかの実施形態は、例えば、肋骨に基づく剛性画像登録を用いる。例えば、２Ｄ／３Ｄ画像登録を用いて、処置前ボリューム（例えば、ＣＴ又はＭＲＴ）は、処置中のＸ線画像と共に登録される。剛性画像登録は、本発明の方法によって用いられてもよく、ボリュームは、三つの座標軸に従って変換され及び回転され得るのみであり、変形は、パラメータベクトルＸ＝（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ，ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）によって与えられる。パラメータｒ_ｘ，ｒ_ｙ，ｒ_ｚが、ベクトルｒ＝（ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）に属する一方で、パラメータｔ_ｘ，ｔ_ｙ，ｔ_ｚは、Ｘ、Ｙ及びＺ軸に沿ったミリメートル（ｍｍ）での変換を表す。いくつかの実施形態において、粗い登録は、自動的に実施され得る。

いくつかの実施形態において、本発明の方法は、非特許文献９にて開示される登録技術を用いてもよく、その全体は、参照することによって、本明細書に組み込まれる。典型的な実施形態において、そのような登録は、強度値に基づくものとしての及び／又は特徴に基づくものとしての、非限定的な例として、特定の医療の転用によって、実行され得る。強度値に基づいた及び特徴に基づいた登録の例は、非特許文献１０によって説明され、その全体は、参照することによって、本明細書に組み込まれる。

本発明の方法のいくつかの実施形態において、ポイントに基づいた登録は、患者の胸部上に既知の解剖ランドマークを用いて実行され得る。いくつかの実施形態において、少なくとも一つの既知のランドマークは、ＣＴ画像及び／又は蛍光透視画像上にマークされ得る。いくつかの実施形態において、特別なマーカーは、処置の間に、患者の胸部に添え付けられ、よって、蛍光透視画像における検出可能性を改善／向上できる。

いくつかの実施形態において、方法４００の４０９において、一連の特徴及びパターンは、望ましい登録方法によって、処置前画像の関心ボリュームから生成される。いくつかの実施形態において、患者の軟組織構造が観察され及び患者の肋骨に対して動作するとき、４０７における粗い登録の間に演算されたビューポイントは、既知の許容誤差内で概算される。いくつかの実施形態において、４０９において生成される一連のパターンは、以降のステップにおける視覚領域の細かいチューニング（すなわち、細かい登録）を実行することを許容し得る。

いくつかの実施形態において、方法４００の４１１において、細かい登録は、登録方法に依存して、４０９及び処置前画像上に関心領域において生成される特徴又はパターンのそれぞれの間の最良適合を見つけるように実行される。

典型的な実施形態において、細かい登録の方法は、例えば、図５に示される、強度値に基づく細かい登録（すなわち、テンプレートマッチング）を通して示され、そのアプローチは、図５（Ａ）に示されるように、処置前又は参照画像化モダリティからの強度値に基づくパターンから開始される。実施形態において、図５（Ｂ）に示されるように、処置中の画像からの信号は、図５（Ａ）に示されるパターンに対応するノイズ及びスケールを含み、関心領域の範囲内で測定される。実施形態において、図５（Ａ）に示されるパターンは、図５（Ｂ）の信号からのパターンとマッチされる。

本発明の方法によって用いられ得る細かい登録（すなわち、テンプレートマッチング）技術の例は、非特許文献１１にて説明され、該文献は、全体として参照することによって、本明細書に組み込まれる。本発明の方法のいくつかの実施形態は、領域に基づくアプローチを用いるものであり、該アプローチは、相関のような方法又は細かい登録（すなわち、テンプレートマッチング）とも称される。例えば、非特許文献１２を参照されたい。非特許文献１２は、特徴検出及び特徴マッチングの組み合わせを説明する。例えば、この方法は、テンプレートが値の大部分に関して直接動作するため、画像に対応する強い特徴を有さないテンプレートにふさわしい。マッチは、画像とテンプレート両方の強度値に基づいて見積もられる。本発明の方法によって用いられ得る技術は、修正された強度値の差異の二乗、訂正に基づく方法、最適化方法、共通の情報、又はそれらの任意の組み合わせを含む。いくつかの実施形態において、本発明の方法は、自動的に、細かい登録を実行し得る。

いくつかの実施形態において、本発明の方法は、自動的に、粗い登録を実行し得る。

典型的な実施形態において、本発明の方法は、細かい登録の方法を利用するものであってもよく、細かい登録の方法は、蛍光透視画像から抽出された対応する解剖構造を伴う粗い登録を通して取得されるＣＴスキャンからの解剖構造の２Ｄ画像を調整するステップを含む。

本発明の実施形態の方法４００の４１３において、信号マッチングパターンは、図５（Ａ）に示される。内部にて、信号（図５（Ｂ））は、４０１によって描かれるような関心領域内で見出される生体構造をハイライトするために強調される。いくつかの実施形態において、処置中の画像からの信号をハイライトすることに加えて、参照画像から生じる信号は、ディスプレイ／画像上にオーバーレイされ得る。別の実施形態において、処置中の画像からの元信号、参照画像からのシミュレートされた信号及びプランニング情報の組み合わせは、適用設定に従って、又はユーザの要求により表示され得る。いくつかの実施形態において、図５（Ｃ）に示される方法は、信号を抑制するために、別途用いられ得る。

図５は、本発明の方法の（図４のステップ４１１に示されるような）細かい登録（すなわち、テンプレートマッチング）の説明的な例を示す。該例示は、簡素化のために一次元にて示されるが、実施形態の元信号は、二次元である。いくつかの実施形態において、図４のステップ４１１及び４１３は、テンプレートマッチング登録アプローチを用いる方法を提供する。

図６に示される典型的な実施形態は、蛍光透視画像の模式図であり、図６Ａ及び図６Ｂは、呼吸の間の２つの異なる肺のポジションのための蛍光透視画像を示す。その実施形態において、軟組織病変６０６及び６０８が、二つの呼吸のポジションの間で大幅に動作する一方で、肋骨６０２は依然としてほとんど静的である。実施形態において、気管支鏡６１２は、病変から遠くに位置づけられており、実質的に静的であり、二つの呼吸のポジションＡとＢとの間にて実質的に動かない一方で、鉗子６０４の先は、病変６０６の極近辺に位置づけられ、鉗子が病変６０６と共に動く結果となる。実施形態において、肋骨交差領域６１０は、肋骨６０２よりも暗く、従来の蛍光透視画像において、病変との区別が、潜在的に付けられ得ない。いくつかの実施形態において、連続する蛍光透視画像ＡとＢの分析は、（ｉ）動作、（ｉｉ）接続性、（ｉｉｉ）密度、又はそれらの任意の組み合わせによって、静的な物体と動作する物体を実質的に分離すること、静的な物体と動作する物体をグループ分けすることを許容し、及び／又は複数の蛍光透視画像からの解剖構造の再構築を実行することを許容する。

いくつかの実施形態において、本発明の方法は、それに限定されないが、以下の肺臓学に基づいた処置のために用いられるものであってもよい。
（１）呼吸器科医が、拡張された画像化において、最初に病変を特定する際の気管支内診断の生体検査。その後、拡張された画像化において、生体検査の鉗子は、ターゲット箇所まで前進し、検体が適切に採られることを保証する。
（２）拡張された画像化にガイドされる経皮の診断の生体検査。
（３）ＶＡＴＳにおける楔状切除術、又は外科医が、外科処置より前に、拡張された蛍光透視ガイダンスのマーカーを配置する際の開胸術。
（４）直視の経気管支針生体検査は、病変を可視化し及び気管支鏡をガイドするのに用いられる。生体検査される領域は、最初に、拡張された画像化において特定され、その後、その範囲は、ターゲットされた部分にできる限り前進される。拡張された画像化を用いることは、直視の範囲を超えて、鉗子を遠位でターゲット領域へガイドする助けとなる。
（５）拡張された画像化にガイドされる気管支内の又は経皮の切除。
（６）又は、それらの任意の組み合わせ。

いくつかの実施形態において、本発明は、２Ｄ蛍光透視画像から多次元の画像を生成するのに用いられる。いくつかの実施形態において、２Ｄ蛍光透視画像は、グレイレベルで表示され、及びピクセルで構成される。いくつかの実施形態において、それぞれのピクセルは、Ｘ線チューブによって生成されたＸ線が画像増強装置によって吸収される間に、少なくとも一つの組織の統合された密度を表す。

いくつかの実施形態において、高い密度の物体（例えば、骨及び血管）は、統合されたピクセル密度（色）において、例えば、空気及び／又は軟組織の統合されたピクセル密度と比較してより大きい重さを有する。いくつかの実施形態において、蛍光透視装置のために実行される自動ゲインアルゴリズムは、少なくとも一つの軟組織の視認性を削減する一方で、少なくとも一つの高い密度の組織を視認できるようにする。いくつかの実施形態において、少なくとも一つの疑わしい病変領域は、例えば、骨に対して小さいボリュームを有するが、少なくとも一つの通常の組織よりも高い組織密度を有する。いくつかの実施形態において、少なくとも一つの疑わしい病変領域は、少なくとも一つの通常の組織の周りの領域と比較して、増大した血液の活発性（例えば、フロー及び／又はボリューム）によって特徴付けられる。いくつかの実施形態において、（例えば、軟組織または濃い組織の）疑わしい病変領域の少なくとも一つの自然の解剖学的な特徴は、少なくとも一つの蛍光透視画像によって観察される、少なくとも一つの影及び／又は雲のような物体を含む。いくつかの実施形態において、少なくとも一つの蛍光透視画像（例えば、少なくとも一つの肋骨交差部、接合、大血管など）による、少なくとも一つの影及び／又は雲のような物体のためのさらなる起源物がある。

いくつかの実施形態において、本発明は、蛍光透視画像上で、視認できる（同じ又は異なる組織であり得る）組織の、少なくとも二つの異なる（例えば、同じでない）部分を分離し、蛍光透視ビデオ上での光学的なフローを用いる視認組織の区分及び追跡を通して、少なくとも二つの異なる部分を物体に組み合わせる方法である。いくつかの実施形態において、蛍光透視スクリーン上のピクセルは、（１）密度の範囲によって分類され、（２）ライブの蛍光透視ビデオを通して追跡され、及び（３）動作によって分類される。例えば、呼吸することは、肺の膨張及び収縮動作を含むものであり、肺の膨張及び収縮動作は、同じ肺において葉ごとに異なるものであり、肋骨の動作とも異なる。そのような動作は、肺の投影という結果をもたらし、本発明の発明方法から生成される蛍光透視ビデオ画像によって示され得、図６において示されるようなそれぞれ区別できる解剖構造に対する複数の（例えば、様々な）動作によって、特徴付けられる。

いくつかの実施形態において、本発明の方法は、プロセス／ステップを登録することを含み、そこで登録するプロセス／ステップは、インプットとして、（ｉ）蛍光透視画像及び（ｉｉ）ＣＴスキャンからの気管支気道の区分を用いる。いくつかの実施形態において、粗い及び／又は細かい登録は、登録ステップを用いて実施される。

いくつかの実施形態において、方法は、拡張された気管支造影像を用いて、処置前のＣＴ画像から抽出された少なくとも一つの気管支気道ツリーと蛍光透視画像シーケンスから抽出された気道との間の登録を許容する。実施形態において、概略のフローは、図７に示される。

いくつかの実施形態において、本発明は、拡張された気管支造影像である。いくつかの実施形態において、拡張された気管支造影像は、不可視の（例えば、蛍光透視画像により目に見えない）気道の拡張された画像であり、蛍光透視画像から抽出される。

いくつかの実施形態において、拡張された気管支造影像は、気管支を視認できるように構成されたＸ線不透過性の物質（図８）を注入することによって生成される。実施形態において、視認できる気管支は、（１）蛍光透視画像から部分的な気管支ツリーを抽出し、（２）部分的な気管支ツリーを第二の画像、例えば、処置前画像から抽出された気管支ツリー、に登録するための情報を提供する。いくつかの実施形態において、気管支に注入されたＸ線不透過性の物質は、一様に、気道をハイライト（すなわち、視認できるように）しない。いくつかの実施形態において、Ｘ線不透過性の物質は、すぐに（例えば、それらに限定されないが、１〜６０秒、１〜４５秒、１〜３０秒、１〜１５秒以内など）、画像から見えなくなり、又は消失し、蛍光透視画像品質を劣化し（図９）、及び不鮮明な画像を生成する。本発明のいくつかの実施形態において、少なくとも一つの画像処理アルゴリズムは、気管支造影像を生成するために利用される。本発明のいくつかの実施形態において、少なくとも一つの画像処理アルゴリズムは、拡張された気管支造影像を生成するために利用される。

いくつかの実施形態において、拡張された気管支造影像は、少なくとも一つのＸ線不透過性の機器を用いて生成され、該機器は、図１４によって描かれるようなアンカリングメカニズムを選択的に有し得る。いくつかの実施形態において、Ｘ線不透過性の機器は、蛍光透視画像内で視認できるものであり、気管支ツリーに登録され得る解剖構造を表し、気管支ツリーは、少なくとも一つの処置前画像から特定される。いくつかの実施形態において、該方法の直接的な拡張は、同じ処置（図１１）の間に、一時的な蛍光透視画像シーケンスから抽出され及び蓄積される複数の機器のポジション（図１０）を用いることである。いくつかの実施形態において、Ｘ線不透過性の機器は、マルチルーメンであってもよく、そこでルーメンは、（ｉ）診断又は治療処置、（ｉｉ）複数のＸ線不透過性のガイドワイヤを同時に複数の気管支気道に導入すること、及びガイドワイヤを複数の登録の参照として用いることのために用いられ得る。いくつかの実施形態において、該技術は、登録精度及びロバスト性を改善する。

いくつかの実施形態において、拡張された気管支造影像は、増大した期間にて、Ｘ線不透過性の物質の灌流を視認できる及び適所に（例えば、実質的に静的に）残存することを許容する少なくとも一つの機器を用いて、生成される。いくつかの実施形態において、増大した期間は、ツールの外観上のブラシ又はスプリンクルを用いて、少なくとも一つのＸ線不透過性の物質を気管支の壁上に拡散する少なくとも一つの機器を用いることにより、達成される。いくつかの実施形態において、高い粘性を有する（例えば、ヒドロゲル状の）Ｘ線不透過性物質は、機器を通して注入され、気道上で消失される。いくつかの実施形態において、Ｘ線不透過性の材料は、Ｘ線不透過性の物質から段階的に放出されるように構成されている。いくつかの実施形態において、気道領域は、より長い期間にＸ線不透過性の特性を残存する。いくつかの実施形態において、逆熱ゲル化ポリマー又は類似の材料が用いられ、蛍光透視画像の品質劣化（図９）又は不鮮明な蛍光透視画像の防止と同時に、低温における液体物質の効果的な注入を許容する。注入される物質は温度が体温まで上昇するにつれて、半個体ゲルになるからである。

いくつかの実施形態において、本発明は、第三の次元（深さ）を２Ｄ蛍光透視画像上の機器の位置に加えることを含む方法である。いくつかの実施形態において、機器の少なくとも一区分の深さは、（１）（ａ）蛍光透視画像上の投影された機器の形状の（ｂ）気管支気道の既知の解剖構造との比較と、（２）気管支ツリー（図１３）内側の制約された機器の配置を推測することと、によって演算される。

いくつかの実施形態において、本発明は、蛍光透視画像に対して直交する方向に、機器の仰角（配向角）を追加することを含む方法である。いくつかの実施形態において、配向の大きさを演算するための少なくとも二つの方法があり、少なくとも二つの方法は、（１）Ｘ線不透過性の真っ直ぐな機器部分の投影された長さと実際の物理的な長さを比較するステップであって、Ｘ線不透過性の真っ直ぐな機器部分の実際の物理的な長さは、（例えば、利用可能な登録から）蛍光透視画像（図１２）の既知の拡大（すなわち、拡大図）を用いる、長さを比較するステップと、及び（２）患者の身体に対する又は蛍光透視装置に対する機器の配向を演算するために、機器に添え付けられた配向センサを用いるステップと、である。

いくつかの実施形態において、本発明の方法は、患者（例えば、人間の身体）の内部の機器の６自由度（ＤＯＦ）を決定するための３Ｄ位置及び配向を含む情報を統合することを含む。

いくつかの実施形態において、本発明は、先端に位置づけられた統合センサを用いて機器の先端の動き及び向きを追跡するための方法である。いくつかの実施形態において、センサは、ジャイロスコープ、加速度計及び／又は磁力計からなるグループから選択される。いくつかの実施形態において、これらのセンサから送信される情報により、リアルタイムで先端の配向及び位置を演算することができる。本発明のいくつかの実施形態において、位置演算のロバスト性は、気管支の内側にあることを推測すること／予測することによって、改善される（すなわち、精度が向上される）。いくつかの実施形態において、そのサンプルは、処置前のＣＴ画像から抽出された３Ｄ気管支ツリーに対して登録される。

本発明の典型的な実施形態において、図７は、方法７００を示すフローチャートである。いくつかの実施形態において、該フローチャートは、拡張された気管支造影像を用いて、処置前の画像（例えば、それらに限定されないが、ＣＴスキャン／画像）から抽出された気管支気道ツリーと複数（例えば、２、３、４、５、６、７、８、９、１０枚など）の蛍光透視画像から抽出された気道との間に、登録プロセスを表す。いくつかの実施形態において、方法７００の７１０において、ＣＴ及び／又はＭＲＩは、ソースの処置前の及び／又は処置中の画像である。いくつかの実施形態において、処置前の及び／又は処置中の画像は、取得され及び３Ｄ空間へ変換され、並びに治療及び／又は診断のための外科治療及び／又は診断処置の間に用いられる。典型的な実施形態において、方法７００の７２０において、３Ｄ気管支ツリーは、（１）自動的な区分アルゴリズム及び／又は（２）外科医による手動的な書き取りを用いて、画像７１０から抽出される。典型的な実施形態において、方法７００の７０５には、ソースの蛍光透視画像及び／又は蛍光透視装置からキャプチャされた蛍光透視ビデオがある。典型的な実施形態において、方法７００の７３０において、拡張された気管支造影像は、本発明において開示される一つ又はそれ以上にアプローチによって、蛍光透視画像７０５を用いて演算される。

いくつかの実施形態において、本発明の方法は、軟組織、骨、機器、解剖物体及び背景の間に自動の分離／区分を含み、そこでは、その自動の分離／区分は、種々のタイプの組織／器官の間に、識別するための機器及び／若しくは組織の動作、並びに／又は、抽出された情報（例えば、気管支ツリー）の生成をもたらすための機器（例えば、動作及び／又は密度）を用いる。

典型的な実施形態において、７２０によって抽出された３Ｄ気管支ツリー及び７３０によって抽出された拡張された気管支造影像は、７００に示す方法を用いて、７４０において登録される。典型的な実施形態において、登録プロセスは、２Ｄの拡張された気管支造影像を整合させるために３Ｄの気管支ツリーを投影する蛍光透視装置の姿勢情報（例えば、ポジション、向き及び／又はカメラパラメータ）を評価して、画像７１０の３Ｄ空間と画像７０５の２Ｄ空間との間の対応を生成する。

実施形態において、図８は、部分的な気管支ツリーをハイライトする注入されたＸ線不透過性の物質を含む、蛍光透視画像のシーケンスから取得された拡張された気管支造影像のサンプルを示す。

実施形態において、図９は、蛍光透視画像を示し、図８における同じ被写体であるが、画像は、注入の３０秒後に取得された。示されるように、注入されたＸ線不透過性の物質は、周辺の部位に広がり、不鮮明な画像を生成する。実施形態において、拡張された気管支造影像は、注入の３０秒後の明瞭な画像を生成する。

本発明の実施形態において、図１０は、蛍光透視画像上に視認できるＸ線不透過性の機器の使用の方法の図を示す。実施形態において、画像、例えば、１００５、１０１０及び１０１５は、異なる位置における視認機器及び現実の蛍光透視画像における目に見えない気管支ツリーの概略構造を含む蛍光透視画面を示し、提示のためにのみ本図面に示される。画面１００５、１０１０及び１０１５に示される機器は、同じ機器でも異なる機器でもよい。

例において、画像化の重ね合わせは、身体動作、呼吸、機器導入などに起因するディストーション訂正を組み込む。いくつかの実施形態において、一時的な機器のポジションは、予め定義された呼吸フェーズにおける重ね合わせのために取得される。

典型的な実施形態において、図１１は、図１０からの画面１００５、１０１０及び１０１５から導出される、拡張された気管支造影像を示す。実施形態において、それぞれの画面は、周辺の解剖構造に関する情報を加える。実施形態において、情報は、拡張された気管支造影像を生成するために組み合わされる。

実施形態において、図１２は、機器１２０５の真っ直ぐな部分を示し、身体の内側における３次元空間に位置づけられる。実施形態において、機器は、蛍光透視画像平面１２１０上に投影され、及び投影画像１２１５が生成される。実施形態において、機器の真っ直ぐな部分１２０５と蛍光透視画像平面１２１０との間の角度は、「α」である。

実施形態において、図１３は、３Ｄ気管支ツリー１３１５を示し、解剖学的パス１３２０を含み、気道の内側に位置づけられる。実施形態において、３Ｄ解剖学的パス１３２０が蛍光透視画像平面１３１５上に投影されている際に、投影１３１０は、元の深さ情報を失う。実施形態において、本発明は、該情報をリカバーする。

実施形態において、図１４は、アンカリングを伴う使い捨てのナビゲーションカテーテルを示し、使い捨てのナビゲーションカテーテルは、気管支気道を通して予め曲げられた先端１４１０を用いてガイドされ得る。ツールハンドル１４２０は、ナビゲーションパフォーマンスを向上するために選択的に用いられ得る。カテーテルの先端は、インフレータブルバルーン又は拡張可能なスプリングとして設計されるアンカー１４４０を用いて気管支気道の内側に留められてもよく、医療機器による、カテーテルの先端の周辺の関心領域に対する即時の複数のアクセスを許容する。診断及び治療の機器は、エントリーポイント１４３０におけるナビゲーションカテーテルの内側に位置づけられるワーキングチャネルを通して導入され得る。

実施形態において、図１５Ａは、人間の肺における治療処置の蛍光透視画像を示す。生体検査針１５０２は、疑わしいターゲット小瘤を切り取って調べるために、気管支鏡１５０３のワーキングチャネルを通して突出するものであり、疑わしいターゲット小瘤は、外科医によって、暗い領域１５０３として把握される。拡張された蛍光透視画像（図１５Ｂ）は、患者胸部の対応する処置前のＣＴ画像に関する処置より前に、外科医によりマークされた実際の小瘤領域１５０４をハイライトするために生成される。拡張された画像は、気管支鏡１５０６及び針１５０５を元の位置に維持するが、しかしながら、実際の１５０６と把握された１５０３小瘤ポジションとの間の差異は、明白である。１５０６のハイライト技術は、図１５Ｂ上に明示され、黄色は、蛍光透視画像の小瘤領域へ「注入」され、蛍光透視画像の小瘤領域は、ＣＴ画像の一つに対応し（及び破線によってさらに囲まれ）、その一方で蛍光透視画像の元の情報は、まだ保存される。

いくつかの実施形態において、本発明は、ＣＴ、ＭＲＩなどの第一の画像化モダリティ、及び蛍光透視法、デジタルサブトラクション血管撮影（ＤＳＡ）などの第二の画像化モダリティからの拡張された画像の生成を介するプランニング情報を用いることがある、方法並びにフローであって、第一の画像化モダリティから生じるハイライトされた関心領域若しくは構造及び追加されることがある画像及び／又はプランニング情報を第一の画像化モダリティに対して重ねるのであり、
（ｉ）少なくとも一つの胸部の第一の画像を取得するために第一の画像化モダリティを用いるステップと、
（ｉｉ）ランドマーク、関心領域、切開ポイント、危険構造、分岐点、解剖学的器官などを定義することを介して処置の手動的な又は自動的なプランニングをするステップと、
（ｉｉｉ）蛍光透視法又はＤＳＡなどの第二の画像化モダリティからの少なくとも一つの第二の画像を取得し、第一の画像化モダリティからのＤＲＲなどの互換性のある仮想画像の生成をするステップと、
（ｉｖ）互換性のある仮想画像上の物体及び構造へプランニングデータのマッピングをするステップと、
（ｖ）第二の画像化モダリティからの少なくとも一つの第二の画像又はビデオフレームの、第一の画像又は第一の画像化モダリティから生じる第一の画像の一部への登録をするステップと、
（ｖｉ）画像登録を用いて、第一の画像化モダリティから生じる互換性のある仮想画像から、第二の画像化モダリティからの第二の画像に、プランニングデータのマッピング（すなわち、特定してマッピングすること）を、伝達するステップと、
（ｖｉｉ）第三の画像を取得するために、第二の画像化モダリティから生じる第二の画像上の関心領域、解剖構造をハイライトするステップであって、第三の画像は拡張されるものである、ハイライトするステップと、
を含む。

いくつかの実施形態において、その方法はさらに、少なくとも一つの画像又はその導出物の重ね合わせをするステップを含み、第一の画像化モダリティから生じるその一部又は画像に基づくプランニング情報は、第二の画像化モダリティに至るものである。いくつかの実施形態において、その方法はさらに、医療機器の動作を補助するナビゲーション及びガイダンス命令を含む。いくつかの実施形態において、その方法はさらに、蛍光透視Ｃ−Ａｒｍなどの第二の画像化モダリティを位置付けるガイダンスを含み、関心領域、切開ポイント、解剖構造、ツールアクセス方向のための最適な視認性を維持することを可能にする。いくつかの実施形態において、その方法は、同じ取得パラメータ（モード、ポジション、視界）を有する、蛍光透視ビデオなどの第二の画像化モダリティからの連続するフレーム上に解剖構造のトラッキングを実行し、静的な解剖構造の抑制を介する拡張された蛍光透視画像の高い品質及び内在する軟組織のノイズに対する信号の改善を可能にする。いくつかの実施形態において、多数の登録は、実行され、肋骨などの小さい動作を伴う静的な物体は、最初に登録され、隔膜、気管支、血管などのより動的な物体は、その後の登録の反復において段階的に登録される。いくつかの実施形態において、干渉する構造は、強調の度合いを弱められる。いくつかの実施形態において、第一の画像化モダリティからのプランニングデータが画像登録を用いて第二の画像化モダリティに伝達される間には、互換性のある仮想画像は、生成されない。

いくつかの実施形態において、本発明は、ハイライトされた関心領域又は構造を伴う、処置中の蛍光透視法、ＤＳＡなどの拡張された第三の画像の生成を可能にする方法であり、（ｉ）既知の相対的動作及び回転を伴う少なくとも二つの処置中の画像を用いて、処置中の画像のピクセルの動作変動及び強度値に従って処置中の画像のピクセルをグループ分けすることを可能にするステップと、（ｉｉ）関心領域内の構造を再構築するために、登録又は少なくとも二つの連続する処置中の画像の間の相互相関を実行するステップと、（ｉｉｉ）ユーザ要求によって関心領域内の移動する構造と静的な構造を区別化するステップと、（ｉｖ）処置中の画像上に解剖構造をハイライトするステップと、又はそれらの任意の組み合わせと、を含む。いくつかの実施形態において、その方法は、胸部Ｘ線画像が、Ｘ線画像からの情報の登録又は相互相関を介して第二の画像上の解剖構造を強調することを可能にする参照画像としての機能を果たす間に、胸部Ｘ線画像を用いるステップを含む。

いくつかの実施形態において、本発明は、拡張された蛍光透視画像の生成を可能にする拡張された蛍光透視装置であって、拡張された蛍光透視装置は、ビデオ及び画像処理ユニットと、ビデオインプットカード又は様々な蛍光透視装置からビデオ信号をインプットすることが可能である外部に接続された装置と、内部の又はＤＩＣＯＭフォーマットの３Ｄプランニングインプットと、拡張されたビデオ信号アウトプットと、又はそれらの任意の組み合わせと、を有する拡張された蛍光透視装置である。

いくつかの実施形態において、その装置は、モジュールとして蛍光透視装置に統合され、信号としてＲＡＷデータを取得し、それゆえに、ビデオインプットカードの代わりのＲＡＷデータインプットカードを有する。いくつかの実施形態において、その装置は、コーンビームＣＴシステムの内部に統合される。

いくつかの実施形態において、本発明は、組織又は解剖構造をハイライトする技術であり、関心ボリュームはＣＴ又はＭＲＩなどの第一の画像化モダリティから生じる画像上で選択され、第二の画像化モダリティからの画像が取得され、粗い登録は、第二の画像化モダリティの一つに対応する第二の画像化モダリティ内の仮想カメラの姿勢を特定するために、第二の画像化モダリティと第一の画像化モダリティとの間で実行され、少なくとも一つのパターンが関心ボリュームの周辺の解剖構造のために第一の画像化モダリティから生成され、マッチングパターンは、第一の画像化モダリティから生成される単独又は多数のパターンを用いて第二の画像化モダリティにて見出され、第二の画像化モダリティからのマッチングパターンは、第三の画像化モダリティを生成する関心ボリューム内で生体構造をハイライトするように、強調される。

本発明の方法のいくつかの実施形態において、解剖構造が関心領域の外部に配置されると、その関心領域は、同じ技術を用いて見出され抑制される。いくつかの実施形態において、パターンは、気道、肋骨及び血管などの解剖学的な特徴から構成される。いくつかの実施形態において、第二の画像化モダリティからのマッチングの特徴は、関心領域の内側における一連の少なくとも一つの機器のポジションから導出される。

物体の深さ演算の方法は、以下の通りである。ＤＤＲなどの第一の画像化モダリティから蛍光透視法に生じる互換性のある仮想画像のパラメータを前提とすること、仮想の蛍光透視カメラなどの仮想カメラの姿勢及び視界を前提として、第一の画像化モダリティを第二の画像化モダリティへ投影すること、特定の位置におけるＤＤＲ上の肋骨の幅などの仮想画像上の物体サイズを決定すること、第二の画像（例えば、蛍光透視画像）上で測定された物体サイズと、第一の画像（例えば、ＣＴ画像）から生じる既知の物体サイズとの間の比較を介して（蛍光透視のＸ線のソースからの特定の物体又は物体領域の距離などの）深さを演算すること、又はそれらの任意の組み合わせ、である。いくつかの実施形態において、物体サイズは、ツールの剛体部分の長さ又は幅などの互換性のある仮想画像上での測定に代わって又は加えて、技術的な仕様から決定される。いくつかの実施形態において、カテーテルタイプのツールは、第二の画像化モダリティカメラセンターからの深さ距離の組み合わせとして、軌道の演算を可能にするように設計される。

ＣＴ、ＭＲＩなどの第一の三次元画像化モダリティの蛍光透視法、デジタルサブトラクション血管撮影（ＤＳＡ）などのリアルタイムのＸ線画像化の第二の二次元画像化モダリティとの登録を可能にする、方法及びフローは、少なくとも一つの胸部の画像を取得するために第一の画像化モダリティを用いるステップと、３Ｄ空間内の気管支気道などの自然の体腔の手動的な又は自動的な区分を実施するステップと、蛍光透視法又はＤＳＡなどの第二の画像化モダリティから、少なくとも一つの画像又は連続するビデオフレームを取得するステップと、拡張された気管支造影像として上述した、気管支気道ツリーの一部などの自然の体腔の全体又は部分的なマップを描くために、固有の情報を組み合わせる第二の画像化モダリティから生成される二次元の拡張された画像を生成するステップと、上述の対応する特徴を適合することにより姿勢推定を介して第一の画像化モダリティと第二の画像化モダリティとの間の登録を演算するステップと、又はそれらの任意の組み合わせと、を含む。いくつかの実施形態において、拡張された気管支造影像は、体腔をハイライトするために注入されるＸ線不透過性の材料を用いて生成される。

いくつかの実施形態において、拡張された気管支造影像は、体腔の内側に位置づけられたＸ線不透過性の機器の少なくとも二つの異なる一時的なポジションからの画像化の重ね合わせを介して生成される。いくつかの実施形態において、拡張された気管支造影像は、体腔の内側に位置づけられた、Ｘ線不透過性の機器の少なくとも一つの異なるポジションと、患者のベッドに対するＣ−Ａｒｍ配向の角度測定と、からの画像化の重ね合わせを介して生成される。いくつかの実施形態において、Ｘ線不透過性の機器は、単独の投影から三次元空間を再構築するように設計され及び構成される。いくつかの実施形態において、それらに限定されないが、ヒドロゲル、逆熱ゲル化ポリマーなどの高い粘性を有するＸ線不透過性の物質は、拡張された気管支造影像を生成するために用いられる。いくつかの実施形態において、画像化の重ね合わせは、身体の動作、呼吸、機器の導入などに起因するディストーション訂正を組み込む。いくつかの実施形態において、一時的な機器のポジションは、予め定義された呼吸フェーズにおける重ね合わせのために取得される。いくつかの実施形態において、本発明は、自然の体腔の内側のナビゲートのための装置であって、先端においてアンカリングを伴うガイド付きシース及びガイド付きワイヤを含む。いくつかの実施形態において、その装置は、アンカリングメカニズムとしての機能を果たすインフレータブルバルーンを含む。

いくつかの実施形態において、本発明は方法を提供し、その方法は、第一の画像化モダリティから第一の画像を取得するステップと、少なくとも一つの要素を第一の画像化モダリティから第一の画像上に特定するステップであって、少なくとも一つの要素は、ランドマーク、関心領域、切開ポイント、分岐点、器官、又はそれらの任意の組み合わせを含む、第一の画像上に特定するステップと、第二の画像化モダリティから第二の画像を取得するステップと、第一の画像化モダリティからの第一の画像から、互換性のある仮想画像を生成するステップと、互換性のある仮想画像上にプランニングデータをマッピングするステップであって、マップされるプランニングデータが、少なくとも一つの要素と対応する、マッピングするステップと、第一の画像化モダリティからの第一の画像に対して第二の画像化モダリティからの第二の画像を粗く登録するステップと、互換性のある仮想画像からのマップされたプランニングデータの少なくとも一つの要素を特定するステップと、第二の画像化モダリティ上に少なくとも一つの対応する要素を特定するステップと、第二の画像化モダリティ上に少なくとも一つの対応する要素をマッピングするステップと、第一の画像化モダリティからの第一の画像に対して第二の画像化モダリティからの第二の画像を細かく登録するステップと、第三の画像を生成するステップであって、第三の画像は、ハイライトされた関心領域を含む拡張された画像である、第三の画像を生成するステップと、を含む。

いくつかの実施形態において、その方法はさらに、少なくとも一つの画像、少なくとも一つの画像の一部又は第一の画像化モダリティから導出されたプランニング情報を、第二の画像化モダリティ上に重ね合わせるステップを含む。いくつかの実施形態において、その方法は、少なくとも一つのインストラクションを用いるステップを含み、少なくとも一つのインストラクションは、ナビゲーション、ガイダンス又はそれらの組み合わせに関する情報を含み得る。いくつかの実施形態において、ガイダンスは、第二の画像化モダリティが示される装置のポジショニングに関する情報を含み、その装置は、関心領域、切開ポイント、解剖構造又はツールアクセス方向のための視認性を達成することをもたらす、蛍光透視Ｃ−Ａｒｍを含む。いくつかの実施形態において、その方法はさらに、第二の画像化モダリティから導出される少なくとも一つの連続する画像を用いて、少なくとも一つの解剖構造をトラッキングするステップを含み、第二の画像化モダリティは、同じ取得パラメータを実質的に有するように構成された蛍光透視ビデオを含むものであり、取得パラメータは、モード、ポジション、視界、又はそれらの任意の組み合わせを含むものであり、静的な解剖構造を抑制すること及び／又は内在する軟組織のノイズに対して信号を改善することによって、拡張された蛍光透視画像を生成する。いくつかの実施形態において、その方法はさらに、マルチフェーズの登録を実行するステップを含み、少なくとも一つの実質的に静的な物体は、最初に登録され、少なくとも一つの動的な物体は、第二に登録されるものであり、少なくとも一つの動的な物体は、隔膜、気管支、血管、又はそれらの任意の組み合わせを含む。いくつかの実施形態において、第一の画像化モダリティからのプランニングデータが、画像登録を用いて第二の画像化モダリティに伝達される間には、互換性のある仮想画像は、生成されない。

いくつかの実施形態において、本発明は方法を提供し、その方法は、処置中の画像から導出されたピクセルのグループ分けを生成するために、既知の相対的動作及び回転を伴う少なくとも二つの処置中の画像を用いるステップであって、ピクセルのグループ分けは、（ａ）それぞれのピクセルの動作変動及び（ｂ）それぞれのピクセルの強度値を用いてそれぞれのピクセルの個々の演算によって決定される、少なくとも二つの処置中の画像を用いるステップと、関心領域内の構造を再構築するために少なくとも二つの連続する処置中の画像を用いて登録を実行するステップと、関心領域内の静的な構造から動作する構造を区別化するステップと、及び少なくとも一つの処置中の画像上の解剖構造をハイライトするステップと、を含む。いくつかの実施形態において、その方法はさらに、胸部Ｘ線蛍光透視画像を、第一の処置中の画像として用いるステップを含む。

いくつかの実施形態において、本発明は、拡張された蛍光透視画像を生成するように構成された拡張された蛍光透視装置を含むシステムを提供し、（ａ）ビデオ及び画像処理ユニット、（ｂ）ビデオインプットカード又は蛍光透視装置からビデオ信号をインプットするように構成された外部に接続された装置、（ｃ）内部の又はＤＩＣＯＭフォーマットの３Ｄプランニングインプット、（ｄ）拡張されたビデオ信号アウトプット、又はそれらの任意の組み合わせを含む。いくつかの実施形態において、システムは、（すなわち、ビデオインプットカードの代わりに）ＲＡＷデータを信号として取得するように構成されたＲＡＷデータインプットカードを含むモジュールである、少なくとも一つの蛍光透視装置と統合する。いくつかの実施形態において、システムはコーンビームＣＴシステムと統合する。

いくつかの実施形態において、本発明は、自然の体腔の内側のナビゲートのための機器を含むシステムを提供し、その機器は、（ａ）先端にアンカリングを伴うガイド付きシース、及び／又は（ｂ）ガイド付きワイヤを含む。いくつかの実施形態において、その機器は、アンカリングメカニズムとして作動するように構成されたインフレータブルバルーンである。

いくつかの実施形態において、本発明は方法を提供し、その方法は、（ｉ）第一の画像化モダリティからの第一の画像上の関心ボリュームを選択するステップと、（ｉｉ）第二の画像化モダリティから第二の画像を生成するステップと、（ｉｉｉ）第一の画像化モダリティ及び第二の画像化モダリティを用いて粗い登録をするステップと、（ｉｖ）第一の画像化モダリティから少なくとも一つのパターンを生成するステップと、（ｖ）第一の画像化モダリティから生成された単独の又は多数のパターンを用いて第二の画像化モダリティの使用によりマッチングパターンを生成するステップと、（ｖｉ）第三の画像化モダリティを生成するための関心ボリューム内の生体構造をハイライトするために、第二の画像化モダリティからのマッチングパターンを強調するステップと、を含む。いくつかの実施形態において、関心領域の外側に位置づけられた解剖構造は、同じ方法を実質的に用いて、見出され及び抑制される。いくつかの実施形態において、そのパターンは、解剖学的な特徴を含むものであり、解剖学的な特徴は、それらに限定されないが、気道、肋骨及び血管を含む。いくつかの実施形態において、第二の画像化モダリティからのマッチングの特徴は、関心領域の内側の少なくとも一つの機器のポジションのセットから導出される。

いくつかの実施形態において、本発明は、方法を提供し、その方法は、患者の胸部の少なくとも一つの第一の画像を取得するために、第一の画像化モダリティを用いるステップと、３Ｄ空間内の気管支気道を含む自然の体腔を区分するステップと、第二の画像化モダリティから少なくとも一つの画像を生成するステップと、情報を組み合わせることによって、第二の画像化モダリティから生成される二次元の拡張された画像を生成するステップであって、その情報は、気管支気道ツリーを含む自然の体腔の全体のマップ又は一部のマップを描くものである二次元の拡張された画像を生成するステップと、第二の画像化モダリティから生じる気管支気道の一部と第一の画像化モダリティから生じる気管支気道の区分されたマップとの間の姿勢推定として、第一の画像化モダリティと第二の画像化モダリティの間の、登録を演算するステップと、対応する特徴をマッピングすることによる姿勢評価を介して、第一の画像化モダリティと第二の画像化モダリティとの間の登録を演算するステップと、を含む。いくつかの実施形態において、拡張された気管支造影像は、体腔をハイライトするために注入されるＸ線不透過性の物質を用いて生成される。いくつかの実施形態において、拡張された気管支造影像は、体腔内側に位置づけられたＸ線不透過性の機器の少なくとも三つの二つの異なるポジションからの画像化の重ね合わせを通して生成される。いくつかの実施形態において、拡張された気管支造影像は、体腔の内側に位置づけられたＸ線不透過性の機器の少なくとも一つの異なるポジション及び患者のベッドに対するＣ−Ａｒｍ配向の角度測定からの画像化の重ね合わせを介して生成される。いくつかの実施形態において、Ｘ線不透過性の機器は、単独の投影からその三次元空間を再構築するように設計され構成される。いくつかの実施形態において、それらに限定されないが、ヒドロゲル、逆熱ゲル化ポリマーなどの高い粘性を有するＸ線不透過性の物質は、拡張された気管支造影像を生成するために用いられ得る。

いくつかの実施形態において、本発明は方法を提供し、その方法は、それに限定されないが、ＤＤＲなどの第一の画像化モダリティから蛍光透視法に生じる互換性のある仮想画像のパラメータを提供するステップと、それに限定されないが、特定の位置におけるＤＤＲ上の肋骨の幅などの仮想画像上の物体サイズを決定するステップと、それらに限定されないが、仮想蛍光透視カメラなどの仮想カメラの姿勢及び視界を提供し、較正プロセスから演算される蛍光透視カメラなどの第二の画像化モダリティに対して第一の画像化モダリティを投影するステップと、特定の位置におけるＤＤＲ上の肋骨の幅などの仮想画像上の物体サイズを決定するステップと、第二の画像（例えば、蛍光透視画像）上で測定される物体サイズと、第一の画像（例えば、ＣＴ画像）から生じる既知の物体サイズとの間の比較を介して、深さ（例えば、それらに限定されないが、蛍光透視Ｘ線のソースからの特定の物体又は物体領域の距離）を演算するステップと、を含む。いくつかの実施形態において、物体サイズは、ツールの剛体部分の長さ又は幅などの互換性のある仮想画像上での測定の代わりに、又は、測定に加えて、技術的な仕様から決定される。いくつかの実施形態において、カテーテルタイプのツールは、第二の画像化モダリティカメラセンターからの深さ距離の組み合わせとして、軌道の演算を可能にするように設計される。

本発明の多数の実施形態を説明してきたが、当然ながらこれらの実施形態は、単なる例示であり限定的なもので無く、多くの改良は当業者に対して明らかに成り得る。さらにまだ、様々なステップが、任意の所望の順序において実行され得る（及びいくつかの所望のステップは追加されてもよく、及び／又はいくつかの所望のステップは除外されてもよい。）。

本発明は、特定の実施形態及び実施例に関して説明されてきたが、当業者の一人が、本教示の知識の中で、発明の請求の範囲の精神から乖離する又は超過すること無しに、さらなる実施形態及び改良を生成し得る。その結果、図面及び本明細書の説明は、本発明の理解を促進するための例を経由して提案されるものであって、それらの範囲を限定するように解釈されるべきでないことが、理解されるべきである。

Claims (10)

1. 第一の画像化モダリティから第一の画像を取得するステップと、
   少なくとも一つの要素を、第一の画像化モダリティからの第一の画像上に特定するステップであって、少なくとも一つの要素は、ランドマーク、関心領域、切開ポイント、分岐点、器官又はそれらの任意の組み合わせを含むものである、少なくとも一つの要素を特定するステップと、
   第二の画像化モダリティから第二の画像を取得するステップと、
   第一の画像化モダリティからの第一の画像から、互換性のある仮想画像を生成するステップと、
   互換性のある仮想画像上にプランニングデータをマッピングするステップであって、マップされるプランニングデータは、少なくとも一つの要素に対応するものである、プランニングデータをマッピングするステップと、
   第一の画像化モダリティからの第一の画像に、第二の画像化モダリティからの第二の画像を粗く登録するステップと、
   互換性のある仮想画像からのマップされるプランニングデータの少なくとも一つの要素を特定するステップと、
   第二の画像化モダリティ上に少なくとも一つの対応する要素を特定するステップと、
   第二の画像化モダリティ上に少なくとも一つの対応する要素をマッピングするステップと、
   第一の画像化モダリティからの第一の画像に対して、第二の画像化モダリティからの第二の画像を細かく登録するステップと、
   第三の画像を生成するステップと、を含み、
   第三の画像は、ハイライトされた関心領域を含む拡張された画像である、
   方法。
2. さらに、少なくとも一つの画像、少なくとも一つの画像の一部、又は第一の画像化モダリティから第二の画像化モダリティ上に導出されるプランニング情報を重ね合わせるステップを含む、請求項１に記載の方法。
3. さらに、少なくとも一つのインストラクションを用いるステップを含み、少なくとも一つのインストラクションは、ナビゲーション、ガイダンス又はそれらの組み合わせに関する情報を含み得る、請求項１に記載の方法。
4. ガイダンスは、装置のポジショニングが示される第二の画像化モダリティに関する情報を含み、装置は、関心領域、切開ポイント、解剖構造又はツールアクセス方向のための視認性を達成する結果をもたらす蛍光透視Ｃ−Ａｒｍを含む、請求項３に記載の方法。
5. さらに、第二の画像化モダリティから導出される少なくとも一つの連続する画像を用いて、少なくとも一つの解剖構造をトラッキングするステップを含み、
   第二の画像化モダリティは、同じ取得パラメータを実質的に有するように構成された蛍光透視ビデオを含み、並びに
   取得パラメータは、モード、ポジション、視界又はそれらの任意の組み合わせを含み、静的な解剖構造を抑制すること及び／又は内在する軟組織のノイズに対して信号を改善することによって、拡張された蛍光透視画像を生成する、
   請求項１に記載の方法。
6. さらに、マルチフェーズの登録を実行するステップを含み、
   少なくとも一つの実質的に静的な物体が第一に登録され、及び
   少なくとも一つの動的な物体が第二に登録され、
   その少なくとも一つの動的な物体は、隔膜、気管支、血管、又はそれらの任意の組み合わせ
   である、
   請求項１に記載の方法。
7. さらに、少なくとも一つの干渉構造における強調の度合いを弱めるステップを含む、請求項１に記載の方法。
8. 第一の画像化モダリティからのプランニングデータが画像登録を用いて第二の画像化モダリティに伝達される間には、互換性のある仮想画像は生成されない、請求項２に記載の方法。
9. 処置中の画像から導出されたピクセルのグループ分けを生成するために、既知の相対的動作及び回転を伴う、少なくとも二つの処置中の画像を用いるステップであって、ピクセルのグループ分けは、（ａ）それぞれのピクセルの動作変動及び（ｂ）それぞれのピクセルの強度値を用いるそれぞれのピクセルの個々の演算により決定される、少なくとも二つの処置中の画像を用いるステップと、
   関心領域内の構造を再構築するために、少なくとも二つの連続する処置中の画像を用いて登録を実行するステップと、
   関心領域内の静的な構造から動作する構造を区別化するステップと、及び
   少なくとも一つの処置中の画像上の解剖構造をハイライトするステップと、
   を含む、方法。
10. さらに、胸部Ｘ線画像を第一の処置中の画像として用いるステップを含む、請求項９に記載の方法。