JP2017512308A - 正反射の検出と低減のためのシステムおよび方法 - Google Patents

Abstract

正反射の検出と低減に係るシステムおよび方法は、一つまたはそれ以上のプロセッサを含む処理装置と、処理装置に対して接続されている画像化装置を含む。画像化装置は、興味領域について照明を提供するための一つまたはそれ以上の第１照明器具、照明の反射を検出するための一つまたはそれ以上の第１検出器、興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガするための一つまたはそれ以上の第２照明器具、および、蛍光材料の蛍光発光を検出するための一つまたはそれ以上の第２検出器、を含む。処理装置は、第１検出器から第１画像を受け取り、第１画像における一つまたはそれ以上の高い正反射の領域を決定し、第１画像における高い正反射の領域をマスクアウトし、かつ、マスクされた第１画像と検出された蛍光発光に基づいて、合成画像を生成するように構成されている。第１画像は、検出された反射を含んでいる。

Description

本発明開示は、一般的に、画像化装置および蛍光撮像をサポートしている画像化装置に関する。より特定的には、正反射の検出と低減に関する。

蛍光ベース（ｆｌｕｏｒｅｓｃｅｎｃｅ−ｂａｓｅｄ）画像化においては、画像化装置の視野の中に存在する蛍光材料が一波長の光を用いて励起されて、異なる波長の光を発する。このことは、観察者（ｏｂｓｅｒｖｅｒ）にとって特定の興味である視野に部分をハイライトするための有用なメカニズムを提供し得る。例えば、蛍光画像にガイドされる外科手術の場合には、蛍光染料、インドシアニングリーン（ＩＣＧ）といったものが、患者組織（ｐａｔｉｅｎｔ’ｓ ａｎａｔｏｍｙ）の部分に対して導入されてよい。患者組織のそうした部分をハイライトするためである。ＩＣＧは、近赤外光（概ね７５０−８００ｎｍ）を用いて励起されると、わずかに高い波長（８４５ｎｍあたり）で蛍光を発する。患者組織の選択された部分の中にＩＣＧを導入することによって、外科医または他の医療関係者は、適切なビューアーまたはカメラの助けを借りて、彼らが選択された組織を特定し、及び／又は、回避するのを手助けする視覚的な合図及び／又はハイライトを受け取ることができる。例えば、ＩＣＧまたは他の染料は、センチネルリンパ節、相対的かん流（ｒｅｌａｔｉｖｅ ｐｅｒｆｕｓｉｏｎ）の領域、腫瘍境界、等をハイライトするために使用され得る。患者組織をハイライトするために適切な他の有用な蛍光染料は、メチレンブルー、フルオレシン、および、ネブラスカ州リンカーンのＬＩ−ＣＯＲ社からのＩＲＤｙｅ^（Ｒ）を含んでいる。いくつかの事例において、蛍光は可視帯域にあってよく、そして、追加のビューアーまたはカメラを要しなくてよい。蛍光ベース画像化が使用されている一方で、外科医及び／又は他の医療関係者が他の組織構造を見て、可視化し得るように、興味領域に関する患者組織の他の領域を広く照らすために可視光または蛍光が使用されることも、また、一般的ある。

残念ながら、蛍光ベース画像化は、他の画像化アプリケーションと同一の問題の多くに対して影響を受けやすい。患者組織の多くの部分は、光の反射性が非常に高い。例えば、組織及び／又は器官構造といった、組織構造の表面上における水分（ｍｏｉｓｔｕｒｅ）の存在のせいである。この高い反射率によって、患者組織を広く照らすために使用されている可視光は、高い正反射（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎ）である一つまたはそれ以上の領域を生成してしまうことがある。高い正反射のこれらの領域は、患者組織の画像の中に輝点（ｂｒｉｇｈｔ ｓｐｏｔ）を生成し、及び／又は、画像を検出するために使用されるセンサを飽和させてしまうことがある。結果として、高い正反射の領域は、蛍光発光領域について誤解され、及び／又は、蛍光発光領域をマスクまたは覆い隠してしまうことがあり、このように、選択された組織を検出することにおいて、蛍光の有用性を制限している。

従って、より有用な蛍光画像が獲得できるように、高い正反射の領域について検出、低減、及び／又は、補償するための改善された方法およびシステムを提供することが望ましい。

いくつかの実施例と一貫して、画像化システムは、一つまたはそれ以上のプロセッサを含む処理装置と、処理装置に対して接続されている画像化装置を含む。画像化装置は、興味領域について照明を提供するための一つまたはそれ以上の第１照明器具、照明の反射を検出するための一つまたはそれ以上の第１検出器、興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガするための一つまたはそれ以上の第２照明器具、および、蛍光材料の蛍光発光を検出するための一つまたはそれ以上の第２検出器、を含む。処理装置は、第１検出器から第１画像を受け取り、第１画像における一つまたはそれ以上の高い正反射の領域を決定し、第１画像における高い正反射の領域をマスクアウトし、かつ、マスクされた第１画像と検出された蛍光発光に基づいて、合成画像を生成するように構成されている。第１画像は、検出された反射を含んでいる。

いくつかの実施例と一貫して、画像化の方法は、画像化装置を使用して興味領域の上に一般照明を発光するステップ、画像化装置を使用して一般照明の第１反射を検出するステップ、第１反射に基づいて第１画像を形成するステップ、第１画像における一つまたはそれ以上の高い正反射の領域を決定するステップ、第１画像における高い正反射の領域をマスクアウトするステップ、画像化装置を使用して興味領域の上に蛍光体光トリガーイベントが照明を発光するステップ、画像化装置を使用して興味領域における一つまたはそれ以上の蛍光材料の蛍光発光を検出するステップ、および、マスクされた第１画像と検出された蛍光発光に基づいて合成画像を生成するステップ、を含む。

いくつかの実施例と一貫して、画像化システムは、一つまたはそれ以上のプロセッサを含む処理装置と処理装置に対して接続されている画像化装置を含む。画像化装置は、興味領域について照明を提供するための一つまたはそれ以上の第１照明器具、および、照明の反射を検出するための一つまたはそれ以上の第１検出器を含む。処理装置は、第１検出器から第１画像を受け取り、第１検出器から第２画像を受け取り、第１画像と第２画像における第１の高い正反射の領域を決定し、第１画像と第２画像との間の差異に基づいて第１の高い正反射の領域における第１面法線を見積り、かつ、見積りされた第１面法線に基づいて一つまたはそれ以上の離れ移動ヒントを提供する、ように構成されている。第１画像は、検出された反射を含み、かつ、第１画像化形態に基づいている。第２画像は、検出された反射を含み、かつ、第１画像化形態とは異なる第２画像化形態に基づいている。

いくつかの実施例と一貫して、画像化システムは、処理装置、処理装置に接続された照明システム、および、処理装置に接続された検出器システムを含む。処理装置は、一つまたはそれ以上のプロセッサを含む。照明システムは、興味領域を照明するための照明を発光し、かつ、興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガする。検出器システムは、発光された照明の反射を検出し、かつ、興味領域における一つまたはそれ以上の蛍光発光を検出する。処理装置は、検出器システムから検出された反射を含んでいる第１画像を受け取り、第１画像における一つまたはそれ以上の高い正反射の領域を決定し、第１画像における高い正反射の領域をマスクアウトし、かつ、マスクされた第１画像と検出された蛍光発光に基づいて合成画像を生成する、ように構成されている。

いくつかの実施例と一貫して、方法は、興味領域のマスクされた画像にアクセスするステップ、興味領域の蛍光画像にアクセスするステップ、および、マスクされた画像と蛍光画像に基づいて合成画像を生成するステップ、を含む。マスクされた画像は、マスクアウトされた高い正反射の領域を有する第１反射画像を含んでいる。

図１は、いくつかの実施例に従った、蛍光画像化システムの簡素化されたダイヤグラムである。 図２は、いくつかの実施例に従った、高い正反射の検出および低減に係る方法の簡素化されたダイヤグラムである。 図３は、いくつかの実施例に従った、別の蛍光画像化システムの簡素化されたダイヤグラムである。 図４は、いくつかの実施例に従った、高い正反射の検出および低減に係る別の方法の簡素化されたダイヤグラムである。

図面において、同一の記号表示を有しているエレメントは、同一または類似の機能を有するものである。

以降の記述においては、本開示と一貫したいくつかの実施例を説明することで特定の詳細が明らかにされる。当業者にとっては、しかしながら、いくつかの実施例は、これらの特定な詳細のいくつか又は全てがなくても実施され得ることが明らかであろう。ここにおいて開示される特定の実施例は、説明的なものであり、限定的なものではないことが意味されている。当業者であれば、たとえ特定的にここにおいて記述されていなくても、他のエレメントが、この開示の範囲または精神の中にあることを理解できる。加えて、不必要な繰返しを避けるために、一つの実施例に関連して示され、説明された一つまたはそれ以上の特徴は、そうでないものと特定的に記述されていなければ、もしくは、その一つまたはそれ以上の特徴が実施例を機能しなくさせるであろう場合には、他の実施例の中に包含され得るものである。

図１は、いくつかの実施例に従った、蛍光画像化システム１００の簡素化されたダイヤグラムである。図１に示されるように、興味領域１１０、患者組織の一部分といったものが示されており、画像化装置１２０を使用して照らされている。画像化装置１２０は、数個のエミッタ（ｅｍｉｔｔｅｒ）と検出器（ｄｅｔｅｃｔｏｒ）を含んでいる。興味領域１１０を照らし、そして、反射された照明および興味領域における蛍光の両方に基づいて、興味領域１１０の一つまたはそれ以上の画像を収集するためである。図１には示されていないが、画像化装置１２０は、内視鏡ツールの一部、カルフォルニア州サニーベイルのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社によって商業化されたｄａ Ｖｉｎｃｉ^（Ｒ）手術システムに対応するコンピュータ支援手術装置における手先効果器（ｅｎｄ ｅｆｆｅｃｔｏｒ）の一部、及び／又は、コンピュータ支援画像化装置の一部であってよい。蛍光画像化をサポートするために、画像化装置１２０は、少なくとも２つのタイプの画像化エミッタと検出器を含んでよい。

一般照明器具１３２が、興味領域１１０の上を明るく照らすために使用される。例示の光線１４２によって示されるようにであり、入射点１１５において興味領域１１０に到達している。光線１４２が興味領域１１０に達したときに、光線は、入射点１１５における興味領域１１０の拡散、反射、正反射、及び／又は、他の画像化特性に従って、興味領域１１０に反射し得る。反射された光は、画像化装置１２０に向かって反射される例示の光線１４４としてモデル化されており、一般照明検出器１３４によって検出される。入射点１１５は、画像化の最中に特定の興味であってよい。画像化装置１２０、そして、より特定的には一般照明器具１３２と一般照明検出器１３４が、入射点１１５において面法線（ｓｕｒｆａｃｅ ｎｏｒｍａｌ）の概ね近く又は上に配置されているからである。入射点１１５が高い正反射率を有するときは、入射点１１５における水分のせいによるといったもの、一般照明検出器１３４は、高レベルの光を検出し、及び／又は、飽和してしまうことがある。結果として、入射点１１５は、画像化装置１２０によって撮られている興味領域１１０の画像における輝点として現れ得る。これらの画像をモニタリングすること、および、高い輝度及び／又は飽和の領域を見つけることによって、画像化装置１２０及び／又は処理装置１５０といったシステムは、興味領域１１０の中でおそらく高い正反射であろう領域を検出し得る。

画像化装置１２０は、さらに、蛍光画像化エレメントを含んでいる。蛍光トリガ（ｆｌｕｏｒｅｓｃｅｎｃｅ ｔｒｉｇｇｅｒｉｎｇ）照明器具１３６は、一つまたはそれ以上の波長の光を発することができる。例示の光線１４６によって示されるようにであり、入射点１１５において興味領域１１０に到達している。光線１４６が興味領域１１０に達したときに、もし存在するのであれば、蛍光材料が、光を吸収して、別の波長において蛍光発光することによって反応する。代表的な光線１４８によって示されるようにであり、画像化装置１２０に対して戻り、蛍光検出器１３８によって検出される。例えば、蛍光材料がＩＣＧであるときは、光線１４６の入射光と光線１４８の蛍光発光は、近赤外線スペクトルにあってよいが、異なる波長である。

いくつかの実施例に従って、一般照明器具１３２及び／又は蛍光トリガ照明器具１３６は、適切な周波数／波長、及び／又は、周波数帯において光を発し得るあらゆる種類の照明及び／又は電磁気エミッタであってよい。いくつかの実施例において、照明器具それぞれは、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、等を含んでよい。いくつかの実施例に従って、一般照明検出器１３４及び／又は蛍光検出器１３８は、適切な周波数／波長、及び／又は、周波数帯において照明又は電磁気信号を検出し得るあらゆる種類の検出器であってよい。いくつかの実施例において、検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、液晶チューナブルフィルタ（ＬＣＴＦ）といったアクティブ及び／又はパッシブフィルタ、及び／又は、音響光学チューナブルフィルタ（ＡＯＴＦ）、等を含んでよい。

蛍光画像化システム１００は、さらに、処理装置１５０を含んでよい。処理装置１５０は、ユーザコントロールからの入力を受け取り、それらの入力を処理し、それらの入力に基づいて一つまたはそれ以上のコントロールアルゴリズムを実行し、表示のための蛍光画像を提供する、等を行い得る大型コンピューティングデバイス及び／又は電子システム（図示なし）の一部であってよい。処理装置１５０は、メモリ１７０に接続されたプロセッサ１６０を含んでいる。処理装置１５０のオペレーションは、プロセッサ１６０によってコントロールされる。処理装置１５０は、一つだけのプロセッサ１６０を用いて示されているが、プロセッサ１６０は、処理装置１５０における一つまたはそれ以上の中央処理装置、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドでプログラム可能なゲートアレイ（ＦＰＧＡ）、特定アプリケーション集積回路（ＡＳＩＣ）、等を表してよい。処理装置１５０は、スタンドアロンサブシステム及び／又はコンピューティングデバイスに対して追加されるボードとして、または、仮想マシンとして実施されてよい。いくつかの実施例において、処理装置１５０は、オペレータワークステーションの一部として含まれてよく、及び／又は、分離して、しかしながらオペレータワークステーションと協働してオペレーションされてよい。

メモリ１７０は、処理装置１５０によって実行されるソフトウェア、及び／又は、処理装置１５０のオペレーションの最中に使用される一つまたはそれ以上のデータ構造を保管するために使用されてよい。メモリ１７０は、一つまたはそれ以上のタイプのマシンで読取り可能な媒体を含んでよい。いくつかの一般的な形式のマシンで読取り可能な媒体は、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あらゆる他の磁気媒体、ＣＤ−ＲＯＭ、あらゆる他の光媒体、パンチカード、紙テープ、あらゆる他の穴パターンを伴う物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、あらゆる他のメモリチップまたはカートリッジ、及び／又は、プロセッサまたはコンピュータが読み出すように適合されたあらゆる他の媒体、を含んでよい。

示されるように、メモリ１７０は、興味領域１１０における蛍光画像を含んでいる、興味領域１１０に係る画像の生成及び／又は使用をサポートするために使用されてよい。画像化アプリケーション１８０は、画像化方法を実施するための一つまたはそれ以上のアプリケーションプログラミングインターフェイス（ＡＰＩ）を含んでよく、画像化方法は、画像化装置１２０からの画像について一つまたはそれ以上のコマンド及び／又はリクエストを発光すること、同様に、画像化装置１２０から画像を受け取ることを含んでよい。そして、画像化アプリケーション１８０は、ソフトウェアアプリケーションとして描かれているが、画像化アプリケーション１８０は、ハードウェア、ソフトウェア、及び／又は、ハードウェアとソフトウェアの組み合わせを使用して実施されてよい。

画像化アプリケーション１８０をサポートするために、処理装置１５０は、一つまたはそれ以上のＩ／Ｏポートを伴うインターフェイスを追加的に含んでいる。インターフェイス１９０は、あらゆる適切なタイプであってよく、専用Ｉ／Ｏライン、イーサネット（登録商標）といったネットワーク接続、アイ・スクエア・シー（Ｉ^２Ｃ）バス、シリアルペリフェラルインターフェイス（ＳＰＩ）バス、パラレルポート、アナログＩ／Ｏライン、等といったものである。インターフェイス１９０は、処理装置１５０を画像化装置１２０に対して接続するための一つまたはそれ以上のライン及び／又はバスを含んでよい。いくつかの実施例において、インターフェイス１９０に関連するインターフェイス回路は、一つまたはそれ以上のバスコントローラ、アナログ−デジタル変換器、デジタル−アナログ変換器、データ獲得システム、画像獲得システム、ルータ、スイッチ、ネットワークスイッチングデバイス、及び／又は、類似のものを含んでよい。

上述のように、そして、ここにおいてさらに強調されるように、図１は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び／又は変更を認識するであろう。

当業者であれば気付くように、図１の形態は、必ずしも縮尺どおりに描かれる必要はなく、蛍光画像化システム１００と画像化装置１２０の重要な機能を強調するように描かれている。例えば、一般照明器具１３２、一般照明検出器１３４、蛍光トリガ照明器具１３６、および蛍光検出器１３８の相対的なサイズ及び／又は位置は、光線１４２−１４８の現実のパスをより正確に描くことを犠牲にして、これらの機能を示すように強調されてよい。

いくつかの実施例に従って、画像化装置１２０と処理装置１５０との間の異なる配置が可能であってよい。いくつかの実施例において、処理装置１５０は、画像化装置１２０の一部であってよい。いくつかの実施例において、画像化装置１２０は、処理装置１５０の一部であってよい。いくつかの実施例において、処理装置１５０は、一つ以上の画像化装置１２０に対して接続されてよい。いくつかの実施例において、画像化装置１２０は、一つ以上の処理装置と画像化データを共有してよい。

いくつかの実施例に従って、一般照明器具１３２、一般照明検出器１３４、蛍光トリガ照明器具１３６、および蛍光検出器１３８の異なる配置と構成が可能である。いくつかの実施例において、より多くの、及び／又は、より少ない、照明器具及び／又は検出器が使用されてよい。いくつかの実施例において、照明器具及び／又は検出器の間の相対的な位置決めは変更されてよい。いくつかの実施例において、一般照明検出器１３４と蛍光検出器１３８は、正反射及び／又は蛍光の検出の両方のために使用され得る一つの検出器へと結合されてよい。いくつかの実施例において、結合された検出器は、蛍光画像から一般画像を分離するために、時間分割及び／又は周波数分割多重化を使用してよい。いくつかの実施例において、一般照明器具１３２と蛍光トリガ照明器具１３６は、一般及び／又は蛍光トリガ照明の両方を生成するために使用され得る一つの照明器具またはエミッタへと結合されてよい。いくつかの実施例において、結合された照明器具は、所望の照明を生成するための一つまたはそれ以上のアクティブまたはパッシブフィルタの助けを借りて時間分割及び／又は周波数分割多重化を使用してよい。いくつかの実施例において、一般照明器具１３２と一般照明検出器１３４は、また、興味領域１１０に対する一般照明および画像化システムの一部分であってもよい。

いくつかの実施例に従って、一般照明器具と一般照明検出器との複数の組み合わせが使用されてよい。いくつかの実施例においては、複数の一般照明器具及び／又は一つの一般照明器具が、複数の周波数／波長、及び／又は、周波数帯において一般照明光線を生成し得る。対応する複数の一般照明器具及び／又は一つの一般照明器具は、複数の周波数／波長、及び／又は、周波数帯のそれぞれを検出し、そして、複数の周波数／波長、及び／又は、周波数帯のそれぞれに対する画像を生成し得る。いくつかの実施例においては、それぞれの画像における同一の位置において高輝度及び／又は飽和が検出されるときに、高い正反射の領域が検出され得る。

画像における高い正反射の領域の存在は、一般的に望ましいものではないだろう。高い正反射によって生じる高輝度及び／又は飽和の領域は、それらを含む画像の品質及び／又は有用性を低減してしまうだろう。いくつかの実施例において、高い正反射の領域は、それらを含んでいる画像のビューアーについて、その画像における他の重要な領域から気をそらしてしまい得る。いくつかの実施例において、高い正反射の領域は、蛍光発光領域、及び／又は、興味領域におけるカバーアップ機能と取り違えられることがある。高い正反射が存在しなければ、さもなければ見ることができる、蛍光といったものである。

画像における高い正反射の領域を検出、低減、及び／又は、補償するために多くの技術が開発されてきた。一つのそうしたアプローチは、高い正反射に関連している可能性が高い高輝度を伴う領域を検出し、そして、画像に係るそれらの領域をマスクオフ（ｍａｓｋ ｏｆｆ）することである。いくつかの実施例において、このことは、飽和に係る設定された割り合い（ｐｅｒｃｅｎｔａｇｅ）といった、閾値に対して画像の中のピクセルの輝度を比較すること、そして、閾値の上の輝度を伴うあらゆるピクセルを、黒またはマスキングを示す色といった、色と置き換えること、を含んでよい。このアプローチは、また、マスクオフされた領域の境界を特定、及び／又は、ハイライトすることも含んでよい。このアプローチは、高い正反射の領域が引き起こす注意散漫（ｄｉｓｔｒａｃｔｉｏｎ）を取り除き得るが、それは、また、高い正反射によって引き起こされたものではない高輝度を伴う領域を不適切にマスクオフすることもある。画像から他の重要な特徴を取り除くことも同様である。マスクオフされた領域は、一般的に根底にある画像の詳細を含んでいないからである。

別のアプローチは、画像センサの２つのセットを使用する。高い正反射によって引き起こされた領域といった、高輝度領域が画像の一つにおいて検出されたときは、他の画像からの対応する領域が代用される。このアプローチは、所望の画像の詳細をマスクオフする可能性を低減するが、両方の画像における同一の場所で高い正反射が生じ得ないように、画像センサの２つのセットが十分に遠く離れて配置されることを必要とする。

他のアプローチは、高い正反射の領域が画像検出器によってキャプチャされ得る可能性を低減するために、照明器具／エミッタと画像検出器に関して創造的なシールド（ｓｈｉｅｌｄｉｎｇ）及び／又はバッフル（ｂａｆｆｌｅ）を使用してよい。このアプローチは、一般的に、照明器具／エミッタと検出器の相対的な位置決めについてタイトなコントロールを要し得るものであり、そして、画像化装置の可能な形態（ｇｅｏｍｅｔｒｙ）それぞれ、および、興味領域に対してウェル（ｗｅｌｌ）を一般化（ｇｅｎｅｒａｌｉｚｅ）しなくてよい。

蛍光画像化と伴に使用される一般的なアプローチは、一般照明器具によって提供される一般照明を低減し、そして、一般照明と蛍光の両方について結合されたビジュアル（ｖｉｓｕａｌ）検出器を使用する。一般照明を低減することによって、一般照明、及び／又は、生成され得る高い正反射の領域は、蛍光材料の照明をトリガする蛍光のおかげで獲得される画像情報をおそらくより少なく覆い隠す。このアプローチは、しかしながら、低いレベルの環境照明を伴う画像を生成する傾向があり、興味領域における興味の特徴を観察することを難しくすることがある。

その結果として、高い正反射の領域について検出、低減、及び／又は、補償するための大部分のアプローチは、可視詳細（ｖｉｓｉｂｌｅ ｄｅｔａｉｌ）と蛍光詳細（ｆｌｕｏｒｅｓｃｅｎｃｅ ｄｅｔａｉｌ）の両方を示している画像が望まれるときには、良いソリューションを提供するものではない。これは、重要な可視詳細が犠牲にされ、蛍光詳細がマスクオフされ、及び／又は、内視鏡及び／又は同様の装置を伴う使用のために実用的でない形態を伴う装置をソリューションが含み得るからである。改善されたソリューションが、蛍光画像化システム１００といった、画像化システムの使用を通じて獲得され得るものであり、蛍光画像から一般照明画像を分離して収集できる。このようにして、高い正反射の領域について検出、低減、及び／又は、補償が、重要な蛍光情報をマスクアウト（ｍａｓｋ−ｏｕｔ）及び／又はカバーアップ（ｃｏｖｅｒ ｕｐ）する可能性が著しく小さくなり得る。

図２は、いくつかの実施例に従った、高い正反射の検出および低減に係る方法２００の簡素化されたダイヤグラムである。方法２００に係る一つまたはそれ以上のプロセス２１０−２８０は、少なくとも部分的に、非一時的で、有形で、マシンで読取り可能な媒体上に保管された実行可能なコードの形式において実施されてよい。一つまたはそれ以上のプロセッサによって実行されるときに、一つまたはそれ以上のプロセッサ（例えば、プロセッサ１６０）にプロセス２１０−２８０のうち一つまたはそれ以上を実行させるようにするものである。いくつかの実施例において、高い正反射の検出および低減は、画像化アプリケーション１８０といった、画像化アプリケーションによって実行されてよい。

プロセス２１０においては、一般照明が発光される。一つまたはそれ以上の一般照明器具またはエミッタを使用して、一般照明器具１３２といったもの、興味領域の上で一般照明が光らされる。いくつかの実施例において、一般照明は、可視スペクトルの一つまたはそれ以上のバンドにおける可視光を含んでよい。いくつかの実施例において、一般照明器具は、適切なドライバ及び／又は変調回路を使用して調整されてよい。いくつかの実施例において、一般照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び／又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、一般照明が複数の周波数帯からの信号を含んでいるときに、複数の周波数帯は、同時に、及び／又は、時間分割多重化を介して発せられてよい。

プロセス２２０においては、一般照明器具の反射が検出される。一つまたはそれ以上の一般照明検出器を使用して、一般照明検出器１３４といったもの、プロセス２１０の最中に発せられた一般照明の反射が検出される。いくつかの実施例において、一般照明は、一つまたはそれ以上の構造体、対象物、患者組織の部分、及び／又は、類似のもので反射され得る。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一般照明器具及び／又はそれらのサブセットによって発せられる周波数帯それぞれにおける一般照明を検出し得る。いくつかの実施例において、一般照明検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、ＬＣＴＦ及び／又はＡＯＴＦといったアクティブ及び／又はパッシブフィルタ、及び／又は、類似のもの、を含んでよい。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具と同期して時間多重化されてよい。いくつかの実施例において、検出された一般照明は、興味領域に係る一つの画像及び／又は複数の画像として検出されてよい。対応する画像について発せられ、及び／又は、検出されている周波数帯に対応する複数の画像それぞれを伴うものである。いくつかの実施例においては、一つの画像及び／又は複数の画像が事前処理（ｐｒｅｐｒｏｃｅｓｓ）されてよい。いくつかの実施例において、事前処理は、ヒストグラム平坦化（ｅｑｕｌｉｚａｔｉｏｎ）及び／又はコントラスト調整を含んでよい。

プロセス２３０においては、一つまたはそれ以上の高い正反射の領域が検出される。プロセス２２０の最中に検出された画像それぞれは、一つまたはそれ以上の可能性のある高い正反射の領域を決定するために解析されてよい。いくつかの実施例において、一つまたはそれ以上の可能性のある高い正反射の領域は、高輝度及び／又は飽和を伴う画像の中の一つまたはそれ以上の領域を特定することによって決定されてよい。いくつかの実施例において、高輝度は、閾値の上の輝度を伴うあらゆるピクセルについて決定されてよい。いくつかの実施例において、閾値は、オペレータによって、及び／又は、画像化システムの他の特性に応じて、設定されてよい。いくつかの実施例において、閾値は、絶対的輝度の閾値として、または、できる限り最大の輝度値に係る割り合いとして、設定されてよい。いくつかの実施例においては、プロセス２２０の最中に一つの画像が検出されたときに、可能性のある高い正反射の領域は、一つまたはそれ以上の高い正反射の領域であってよい。いくつかの実施例においては、プロセス２２０の最中に複数の画像が検出されたときに、領域の中に高い正反射が検出され得る。複数の画像それぞれが、一つまたはそれ以上の高い正反射の領域の中にその領域を含んでいるところである。いくつかの実施例においては、一般的に高い正反射は波長と独立しているので、複数の画像の使用は、複数の周波数、または、複数の周波数帯において高い正反射について試験することによって高い正反射の領域として領域が間違って区分化され得る可能性を低減することができる。

プロセス２４０においては、蛍光トリガ照明が発光される。一つまたはそれ以上の蛍光トリガ照明器具またはエミッタを使用して、蛍光トリガ照明器具１３６といったもの、興味領域の上で蛍光トリガ照明器具が光らされる。いくつかの実施例において、蛍光トリガ照明は、近赤外線帯域における周波数を含んでよい。いくつかの実施例において、蛍光トリガ照明器具は、適切なドライバ及び／又は変調回路を使用して調整されてよい。いくつかの実施例において、蛍光トリガ照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び／又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、蛍光トリガ照明器具が一般照明器具と同一であってよいときに、一般照明器具よりむしろ蛍光トリガ照明を生成するために適切な変調及び／又は駆動回路を用いる。いくつかの実施例において、駆動回路は、ＬＣＴＦ及び／又はＡＯＴＦといった、アクティブまたはパッシブフィルタを含んでよい。

プロセス２５０においては、一つまたはそれ以上の蛍光発光領域が検出される。一つまたはそれ以上の蛍光検出器を使用して、蛍光検出器１３８といったもの、興味領域における蛍光材料の蛍光が検出される。いくつかの実施例において、蛍光照明からの高い正反射は、プロセス２５０の最中には検出されないことがある。蛍光検出器は、蛍光トリガ照明器具によって発光されている周波数に対して一般的に敏感ではないからである。いくつかの実施例において、一つまたはそれ以上の蛍光検出器は、一つまたはそれ以上の一般照明検出器と同一の検出器であってよい。いくつかの実施例において、蛍光検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、及び／又は、ＬＣＴＦ及び／又はＡＯＴＦといったアクティブ及び／又はパッシブフィルタ、及び／又は、類似のもの、を含んでよい。いくつかの実施例において、検出された傾向は、蛍光画像として検出されてよい。いくつかの実施例において、蛍光画像は、また、一般照明画像に対応してもよい。

プロセス２６０においては、一つまたはそれ以上の高い正反射の領域がマスクアウトされる。いくつかの実施例において、プロセス２３０の最中に検出された一つまたはそれ以上の高い正反射の領域が、興味領域について撮られた一つまたはそれ以上の一般照明画像からマスクアウトされてよい。いくつかの実施例において、マスクアウトすることは、一つまたはそれ以上の領域におけるピクセルを黒といったバックグラウンドまたはデフォルト色であるピクセルと置き換えることを含んでよい。いくつかの実施例において、一般照明画像も、また、蛍光情報を含んでいるときには、高い正反射の領域における蛍光情報も、また、マスクアウトされてよい。いくつかの実施例においては、一般照明画像がプロセス２５０の最中に検出された蛍光画像とは分離しているときに、蛍光画像情報が、アルファブレンド（ａｌｐｈａ ｂｌｅｎｄｉｎｇ）及び／又は類似のもの、といった画像結合アルゴリズムを使用して、一般照明画像と結合されてよい。これらの一つまたはそれ以上の合成画像は、次に、方法２００の残りのプロセスのために使用され得る。

プロセス２７０においては、視覚的ヒント（ｖｉｓｕａｌ ｈｉｎｔ）が高い正反射の領域に対して付加されてよい。プロセス２００のマスクアウトは一つまたはそれ以上の高い正反射の領域の存在を目立たなくするので、マスクアウトされた一つまたはそれ以上の一般照明画像及び／又は一つまたはそれ以上の合成画像に対して一つまたはそれ以上の視覚的ヒントが付加される。一つまたはそれ以上の高い正反射の領域におけるより低い品質及び／又は不完全な画像情報に対する可能性についてオペレータに警告するためである。いくつかの実施例において、視覚的ヒントは、一つまたはそれ以上の高い正反射の領域の周りに輪郭を付加すること、フォールス・カラー（ｆａｌｓｅ ｃｏｌｏｒ）を付加すること、シンチレーション（ｓｃｉｎｔｉｌｌａｔｉｏｎ）を付加すること、矢印及び／又は他のマーキングを付加すること、及び／又は、類似のことを含んでよい。

プロセス２８０においては、一つまたはそれ以上の形態調整（ｇｅｏｍｅｔｒｙ ａｄｊｕｓｔｍｅｎｔ）ヒントが提供される。プロセス２６０の最中に一つまたはそれ以上の高い正反射の領域をマスクアウトすることは、一つまたはそれ以上の一般照明画像及び／又は合成画像における情報を取り除き、及び／又は、劣化させ得るので、オペレータ及び／又は画像化装置のためのモーションプランニングシステムに対して形態調整ヒントが提供されてよい。画像化装置の形態を調整することによって、一つまたはそれ以上の一般照明画像及び／又は合成画像における一つまたはそれ以上の高い正反射の領域についてサイズを低減し、及び／又は、取り除くことが可能であり得る。興味領域において面法線に関する画像化の向きが変化し得るからである。いくつかの実施例において、形態調整ヒントは、オーディオヒント、一つまたはそれ以上の一般照明画像及び／又は合成画像における、矢印といった、視覚的合図、オペレータ入力コントロールに対して適用されるフィードバック、モーションプランニングアルゴリズムに対して適用されるフィードバック、及び／又は、類似のものを含んでよい。

方法２００は、さらに、複数の画像における高い正反射の領域を取り除くため、及び／又は、興味領域のビデオ画像を生成するために、プロセス２１０−２８０を繰り返すことを含んでよい。

上述のように、そして、ここにおいてさらに強調されるように、図２は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び／又は変更を認識するであろう。いくつかの実施例において、方法２００は、モーションプランニングアルゴリズムを使用して、興味領域に関して画像化装置を移動する能力を活用するように変更されてよい。いくつかの実施例において、画像化アプリケーションを使用しているオペレータまたは他のシステムは、興味領域の中または近くにおいて、他のデバイス、対象物、及び／又は、患者組織と干渉することなく、その中で画像化装置が移動され得るボリューム（ｖｏｌｕｍｅ）を特定し得る。画像化アプリケーションは、次に、一連の一般照明及び／又は蛍光画像を収集しながら、ボリュームに関して画像化装置を移動し得る。いくつかの画像における高い正反射の領域は、低減され、または、正反射の無い、他の画像からの同一の領域に係る画像と置き換えられてよい。いくつかの実施例においては、低減され、及び／又は、除去された正反射を伴う合成画像を作成するために、一つまたはそれ以上の画像スティッチ（ｓｔｉｔｃｈｉｎｇ）アルゴリズムが使用されてよい。いくつかの実施例においては、画像化装置、および、ボリュームを通じて画像化装置を移動させるデバイスに係る一つまたはそれ以上の運動学的モデルが、異なる画像からの領域について相互相関をとるために使用されてよい。いくつかの実施例において、興味領域が移動している対象物及び／又は移動している患者組織（例えば、脈を打っている心臓）を含むときには、一連の画像が、興味領域における対象物及び／又は患者組織に係るおおよそ同一の位置、位相、及び／又は、向きに対応するように、画像の収集が時間調整される。

図３は、いくつかの実施例に従った、別の蛍光画像化システム３００の簡素化されたダイヤグラムである。図３に示されるように、興味領域３１０、患者組織の一部分といったものが示されており、画像化装置３２０を使用して照らされている。画像化装置３２０は、数個の画像化エミッタと検出器を含んでいる。興味領域３１０を照らし、そして、反射された照明および興味領域における蛍光の両方に基づいて、興味領域３１０の一つまたはそれ以上の画像を収集するためである。図３には示されていないが、画像化装置３２０は、内視鏡ツールの一部、コンピュータ支援手術装置における手先効果器の一部、及び／又は、コンピュータ支援画像化装置の一部であってよい。蛍光画像化をサポートするために、画像化装置３２０は、数個のセットおよびタイプの画像化エミッタと検出器を含んでよい。

画像化装置３２０は、既知の離れた距離に置かれた、少なくとも２つの一般照明器具３３２と３３４を含んでいる。いくつかの実施例において、一般照明器具３３２と３３４それぞれは、一般照明器具１３２と同様のものであってよい。一般照明器具３３２と３３４それぞれは、一般照明器具３３２と３３４から興味領域における表面までの例示の光線の矢印それぞれによって示されるように、興味領域３１０の上に一般照明を光らすように構成されている。一般照明は、一般照明が興味領域３１０の表面における入射であるところに対応するポイントの近くの面法線３１５によって近似される表面の形態に基づいて、興味領域における表面で反射される。反射された一般照明は、画像化装置３２０に対して戻され、そこで、一般照明検出器３３６によって分離した立体画像（ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅ）においてキャプチャされ得る。いくつかの実施例において、一般照明検出器３３６は、一般照明検出器１３４と同様のものであってよい。いくつかの実施例において、一般照明器具３３２と３３４は、一度に一般照明器具３３２と３３４のうち一つからの照明を使用して、分離した立体画像がキャプチャされ得るように、興味領域３１０の上に交互に照明を提供してよい。分離した立体画像、および、一般照明器具３３２と３３４および一般照明検出器３３６の既知の形態を使用して、画像化装置３２０及び／又は処理装置１５０といった画像化装置３２０に接続された処理装置は、面法線３１５のおおよその位置及び／又は向きを決定し得る。興味領域３１０における他の場所に配置され得る他の面法線も同様である。いくつかの実施例において、分離した立体画像は、また、興味領域３１０において一つまたはそれ以上の高い正反射の領域を検出するため使用されてもよい。

画像化装置１２０と同様に、画像化装置３２０は、また、蛍光トリガ照明器具３４２と３４４も含んでよく、蛍光検出器３４６も同様である。いくつかの実施例において、蛍光トリガ照明器具３４２と３４４の両方は、蛍光トリガ照明器具１３６と同様のものであってよく、そして、蛍光検出器３４６は、蛍光検出器１３８と同様のものであってよい。蛍光トリガ照明器具３４２と３４４のうちいずれか又は両方は、興味領域３１０において蛍光材料の蛍光発光をトリガするために使用され得る。蛍光検出器３４６は、蛍光トリガ照明器具３４２と３４４によってトリガされた蛍光を検出し得る。

面法線３１５のように面法線を近似することによって、画像化装置３２０は、プロセス２８０に関して説明したように、形態調整ヒントをより上手く提供することができる。面法線の位置と向きは、画像化装置３２０に対して、より良い離れ移動ヒント（ｍｏｖｅ ａｗａｙ ｈｉｎｔ）を提供するために使用され得る。最も高い正反射を伴う向きは、一般照明と一般照明検出器の両方が面法線の上に置かれ、かつ、面法線に対して向けられているときに、典型的に発生するからである。従って、画像化装置３２０が、直接的に、または、おおよそ、面法線３１５のような面法線と一直線に揃う向きを避けることで、それらの面法線における表面によって生じる高い正反射を低減、及び／又は、除去し得る。

上述のように、そして、ここにおいてさらに強調されるように、図３は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び／又は変更を認識するであろう。

当業者であれば気付くように、図３の形態は、必ずしも縮尺どおりに描かれる必要はなく、蛍光画像化システム３００と画像化装置３２０の重要な機能を強調するように描かれている。例えば、照明器具および検出器の相対的なサイズ及び／又は位置は、図３において対応する光線の現実のパスをより正確に描くことを犠牲にして、これらの機能を示すように強調されてよい。

いくつかの実施例に従って、画像化装置３２０と処理装置１５０との間の異なる配置が可能であり得る。いくつかの実施例において、処理装置１５０は、画像化装置３２０の一部であってよい。いくつかの実施例において、画像化装置３２０は、処理装置１５０の一部であってよい。いくつかの実施例において、処理装置１５０は、一つ以上の画像化装置３２０に対して接続されてよい。いくつかの実施例において、画像化装置３２０は、一つ以上の処理装置と画像化データを共有してよい。

いくつかの実施例に従って、照明器具と検出器の異なる配置と構成も、また、所望の立体画像、高い正反射の領域の検出、および、蛍光画像の検出を提供し得る。いくつかの実施例においては、より多くの、及び／又は、より少ない照明器具及び／又は検出器が可能である。いくつかの実施例において、２つの一般照明器具３３２と３３４、および一般照明検出器３３６は、既知の間隔（ｓｐａｃｉｎｇ）を伴う２つの一般照明器具および一つの一般照明検出器に置き換えられてよい。いくつかの実施例において、蛍光トリガ照明器具３４２及び／又は３４４のうち一つ又は他方は、省略されてよい。いくつかの実施例において、残っている蛍光トリガ照明器具は、蛍光検出器３４６とのより近い近傍の中に移動されてよい。いくつかの実施例においては、一般照明器具と蛍光トリガ照明器具（例えば、一般照明器具３３２と蛍光トリガ照明器具３４２）を結合するために、時間分割及び／又は周波数分割多重化が使用されてよい。いくつかの実施例においては、一般照明検出器３３６と蛍光検出器３４６を結合するために、時間分割及び／又は周波数分割多重化が使用されてよい。

図４は、いくつかの実施例に従った、高い正反射の検出および低減に係る別の方法４００の簡素化されたダイヤグラムである。方法４００に係る一つまたはそれ以上のプロセス４１０−４５０は、少なくとも部分的に、非一時的で、有形で、マシンで読取り可能な媒体上に保管された実行可能なコードの形式において実施されてよい。一つまたはそれ以上のプロセッサによって実行されるときに、一つまたはそれ以上のプロセッサ（例えば、プロセッサ１６０）にプロセス４１０−４５０のうち一つまたはそれ以上を実行させるようにするものである。いくつかの実施例において、高い正反射の検出および低減は、画像化アプリケーション１８０といった、画像化アプリケーションによって実行されてよい。いくつかの実施例において、方法４００は、方法２００と併せて実行されてよく、一つまたはそれ以上の高い正反射の領域をマスクオフすること、および、画像化システムによってキャプチャされる高い正反射の量を低減するように離れ移動ヒントを提供すること、の両方を提供する。

プロセス４１０においては、一般照明が発光される。一つまたはそれ以上の一般照明器具またはエミッタを使用して、一般照明器具３３２及び／又は３３４といったもの、興味領域の上で一般照明及び／又は一般照明が光らされる。いくつかの実施例において、一般照明は、可視スペクトルの一つまたはそれ以上のバンドにおける可視光を含んでよい。いくつかの実施例において、一般照明器具は、適切なドライバ及び／又は変調回路を使用して調整されてよい。いくつかの実施例において、一般照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び／又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、一般照明が複数の周波数帯からの信号を含んでいるときに、複数の周波数帯は、同時に、及び／又は、時間分割多重化を介して発せられてよい。

プロセス４２０においては、立体的な（ｓｔｅｒｅｏｓｃｏｐｉｃ）反射が検出される。一つまたはそれ以上の一般照明検出器を使用して、一般照明検出器３３６といったもの、一つまたはそれ以上の一般照明検出器と伴に、２つまたはそれ以上の反射された一般照明の立体画像が獲得される。いくつかの実施例において、一般照明は、一つまたはそれ以上の構造体、対象物、患者組織の部分、及び／又は、類似のもので反射され得る。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具及び／又はそれらのサブセットによって発せられる周波数帯それぞれにおける一般照明を検出し得る。いくつかの実施例において、一般照明検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、ＬＣＴＦ及び／又はＡＯＴＦといったアクティブ及び／又はパッシブフィルタ、及び／又は、類似のもの、を含んでよい。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具と同期して時間多重化されてよい。

プロセス４３０においては、面法線が見積りされる。プロセス４２０の最中に演出された立体画像は、立体画像において目に見える一つまたはそれ以上の表面について面法線を見積るために使用されてよい。いくつかの実施例においては、立体画像における差異に基づいて面法線を見積るために、２つの立体画像の間の画像形態における既知の差異が使用され得る。いくつかの実施例においては、面法線を見積るために、立体カメラ較正データが使用され得る。いくつかの実施例においては、一つまたはそれ以上の表面について表面上の数多くの場所において、面法線が見積りされてよい。いくつかの実施例においては、検出される領域の中で見積りされている面法線を用いて、高い又は高い可能性のある正反射の領域を検出するために、プロセス２３０と同様なプロセスが使用されてよい。

プロセス４４０においては、離れ移動ヒントを提供するために、見積りされた面法線が使用される。一つまたはそれ以上の見積りされた面法線は、興味領域における一つまたはそれ以上の表面の上の場所を指し示している。検出及び／又はキャプチャされた画像における高い正反射の量を低減及び／又は除去するために画像化装置が近づくのを避けるべき場所である。一つまたはそれ以上の面法線の上に画像化装置を位置決めすることを止めるため、及び／又は、一つまたはそれ以上の面法線と一直線に揃わないよう画像化装置を離れて動かすために、オペレータ及び／又は画像化装置のためのモーションプランニングシステムに対して離れ移動ヒントが提供されてよい。いくつかの実施例において、離れ移動ヒントは、画像化装置がマウントされている装置アームの一つまたはそれ以上の運動学的モデルに基づいて提供されてよい。

いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、矢印といった、目に見えるヒントを、オペレータに対して表示される画像の中に追加することを含んでよい。画像化装置について移動の方向、及び／又は、変更を勧めるものである。いくつかの実施例において、移動の方向は、一つまたはそれ以上の面法線によって指し示される場所から離れていてよい。いくつかの実施例においては、画像化装置が面法線の一つによって指し示される場所の一つの近くに配置されているとき、移動ヒント（ｍｏｖｅｍｅｎｔ ｈｉｎｔ）は、面法線から離れて制限された一式の方向を含んでよい。いくつかの実施例においては、画像化装置が面法線と一直線に揃っているとき、移動ヒントは、面法線から離れるあらゆる方向を勧めてよい。いくつかの実施例においては、位置及び／又は向きの変化によって面法線が避けられ得るときに、移動ヒントは、面法線から離れた画像化装置の適切な回転を勧めてよい。いくつかの実施例において、回転は、画像化装置がマウントされている装置アームの一つまたはそれ以上の運動学的モデルに基づいて決定されてよい。

いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、オーディオヒントを含んでよい。いくつかの実施例において、オーディオヒントは、左、右、上、下、離れ、回転、及び／又は、類似のものといった方向を含んでよい。いくつかの実施例においては、複数方向のサウンドが利用可能であるときに、離れ移動ヒントは、サウンドに向かって、または、離れて移動するようにオペレータに対して合図し得るサウンドを提供してよい。いくつかの実施例において、サウンド強度は、オーディオヒントが成功裡に従われている際に、増加または減少してよい。

いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、モーションプランニングジオメトリ（ｇｅｏｍｅｔｒｙ）において一つまたはそれ以上の離れ移動ポイント及び／又はライン（ｌｉｎｅ）を追加することを含んでよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び／又はラインは、リパルス（ｒｅｐｕｌｓｉｎｇ）フィールド及び／又はリパルスチャージを伴う一つまたはそれ以上のポイントまたはエリア（ａｒｅａ）を使用して実施されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び／又はラインは、一つまたはそれ以上の仮想コリジョン（ｃｏｌｌｉｓｉｏｎ）オブジェクト及び／又は仮想フィードバックメカニズムを使用して実施されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイントは、それぞれの面法線によって指し示され、そして、画像化装置の作動距離に基づいて、それぞれの面法線の上の高さに配置されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイントは、それぞれの面法線によって指し示され、そして、画像化装置の現在位置の近くに配置されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ラインは、面法線と同一直線上にあり、そして、少なくとも画像化装置の高さを通じて表面から延びてよい。

プロセス４５０においては、フィードバックが提供される。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び／又はラインは、画像化装置に対するモーションプランを警告するために使用されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び／又はラインは、リパルスフォース（ｆｏｒｃｅ）及び／又はトルクを生成してよく、画像化装置のジョイントにおいてフィードバックフォース及び／又はトルクを引き起こし得る。いくつかの実施例において、引き起こされたフィードバックフォースまたはトルクは、他のモーションプランニング及び／又はオペレータ命令の移動から決定された、画像化装置について対応するジョイントのためのフォースまたはトルクを変更し得る。いくつかの実施例においては、リパルスフォース及び／又はトルクを引き起こされたフィードバックフォース及び／又はトルクに対してマップするために、ヤコビアン転置（Ｊａｃｏｂｉａｎ ｔｒａｎｓｐｏｓｅ）または同様な方法が使用されてよい。いくつかの実施例において、フィードバックフォース及び／又はトルクは、また、一つまたはそれ以上の触覚的（ｈａｐｔｉｃ）コントロール装置を通じてオペレータに対してフィードバックされてもよい。

方法４００は、さらに、面法線を定期的に見積るため、そして、離れ移動ヒントとフィードバックをオペレータ及び／又はモーションプランニングシステムに対して提供するために、プロセス４１０−４５０を繰り返すことを含んでよい。

上述のように、そして、ここにおいてさらに強調されるように、図４は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び／又は変更を認識するであろう。いくつかの実施例において、方法４００は、モーションプランニングアルゴリズムを使用して、興味領域に関して画像化装置を移動する機能を活用するように変更されてよい。いくつかの実施例において、画像化アプリケーションを使用しているオペレータまたは他のシステムは、興味領域の中または近くにおいて、他のデバイス、対象物、及び／又は、患者組織と干渉することなく、その中で画像化装置が移動され得るボリューム（ｖｏｌｕｍｅ）を特定し得る。画像化アプリケーションは、次に、一連の立体画像を収集しながら、ボリュームに関して画像化装置を移動し得る。いくつかの実施例において、立体画像の収集は、画像化装置について一つまたはそれ以上の姿勢（ｐｏｓｅ）を決定するために解析されてよい。興味領域において面法線それぞれを用いて画像化装置の位置決め及び／又は整列を最も低減するものである。いくつかの実施例において、立体画像の収集は、画像化装置について望ましい姿勢を予測するために解析されてよい。興味領域の中で選択された領域について高い正反射を避けるため、及び／又は、合成画像を低減及び／又は除去された正反射と綴じ合わせるように方法２００による使用のために望ましい姿勢のグループを決定するためである。いくつかの実施例においては、興味領域が移動している対象物及び／又は移動している患者組織（例えば、脈を打っている心臓）を含むときに、一連の立体画像が、興味領域における対象物及び／又は患者組織に係るおおよそ同一の位置、位相、及び／又は、向きに対応するように、画像の収集が時間調整される。

処理装置のいくつかの実施例、処理装置１５０といったものは、非一時的で、有形で、マシンで読取り可能な媒体を含んでよく、一つまたはそれ以上のプロセッサ（例えば、プロセッサ１６０）によって実行されるときに、一つまたはそれ以上のプロセッサに方法２００及び／又は４００に係るプロセスを実行させるようにし得る実行可能なコードを含んでいる。方法２００及び／又は４００に係るプロセスを含み得るマシンで読取り可能な媒体に係るいくつかの一般的な形式は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あらゆる他の磁気媒体、ＣＤ−ＲＯＭ、あらゆる他の光媒体、パンチカード、紙テープ、あらゆる他の穴パターンを伴う物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、あらゆる他のメモリチップまたはカートリッジ、及び／又は、プロセッサまたはコンピュータが読み出すように適合されたあらゆる他の媒体、である。

説明的な実施例が示され、そして、説明されてきたが、上記の開示において、および、いくつかのインスタンスにおいては、幅広い変更、変化、および代替が考えられる。対応する他の特徴を使用することなく、実施例に係るいくつかの特徴が採用されてよい。当業者であれば、多くの変形、代替、および変更を認識するであろう。従って、本発明の範囲は、以降の請求項だけによって限定されるべきものであり、そして、請求項は、幅広く、かつ、ここにおいて開示された実施例の範囲と一致したやり方において、理解されることが適切である。

Claims (47)

1. 画像化システムであって、
   一つまたはそれ以上のプロセッサを含む処理装置と、
   前記処理装置に対して接続されている画像化装置であり、
   興味領域について照明を提供するための一つまたはそれ以上の第１照明器具と、
   前記照明の反射を検出するための一つまたはそれ以上の第１検出器と、
   前記興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガするための一つまたはそれ以上の第２照明器具と、
   前記蛍光材料の前記蛍光発光を検出するための一つまたはそれ以上の第２検出器と、
   を含む、画像化装置と、
   を含み、
   前記処理装置は、
   前記第１検出器から第１画像を受け取り、前記第１画像は、検出された反射を含んでおり、
   前記第１画像における一つまたはそれ以上の高い正反射の領域を決定し、
   前記第１画像における前記高い正反射の領域をマスクアウトし、
   マスクされた前記第１画像と前記検出された蛍光発光に基づいて、合成画像を生成する、
   ように構成されている、
   画像化システム。
2. 前記処理装置は、さらに、
   前記高い正反射の領域においては、デフォルト色に取り換えることによって、前記第１画像をマスクする、ように構成されている、
   請求項１に記載の画像化システム。
3. 前記処理装置は、さらに、
   前記合成画像に対して、前記高い正反射の領域と関連する一つまたはそれ以上の視覚的ハイライトを加える、ように構成されている、
   請求項１に記載の画像化システム。
4. 前記視覚的ハイライトそれぞれは、フォールス・カラー、パターン化、シンチレーション、矢印、およびマーキング、からなるグループから選択されたものである、
   請求項４に記載の画像化システム。
5. 前記処理装置は、さらに、
   前記第２検出器から第２画像を受け取り、前記第２画像は、検出された蛍光発光を含んでおり、かつ、
   前記第１画像と前記第２画像を混合することによって、前記合成画像を生成する、
   ように構成されている、
   請求項１に記載の画像化システム。
6. 前記混合は、アルファブレンドを含む、
   請求項５に記載の画像化システム。
7. 前記処理装置は、さらに、
   前記高い正反射の領域に基づいて、一つまたはそれ以上の形態調整ヒントを提供する、
   ように構成されている、
   請求項１に記載の画像化システム。
8. 前記形態調整ヒントそれぞれは、オーディオヒント、視覚的合図、矢印、オペレータ入力コントロールに対して適用されるフィードバック、および、モーションプランニングアルゴリズムに対して適用されるフィードバック、からなるグループから選択される、
   請求項７に記載の画像化システム。
9. 前記一つまたはそれ以上の第１照明器具は、複数の波長で照明を生成し、かつ、
   前記高い正反射の領域それぞれは、前記複数の波長それぞれにおいて高い正反射を含む、
   請求項１に記載の画像化システム。
10. 前記処理装置は、さらに、
    前記第１画像に対する飽和レベルに基づいて、前記第１画像が閾値を超える高い正反射の領域を決定する、ように構成されている、
    請求項１に記載の画像化システム。
11. 前記照明は、前記興味領域に対する一般照明を含んでいる、
    請求項１に記載の画像化システム。
12. 前記照明は、可視スペクトルにおけるものである、
    請求項１に記載の画像化システム。
13. 前記第２照明器具は、近赤外線スペクトルにおける照明を提供する、
    請求項１に記載の画像化システム。
14. 前記第２検出器は、可視スペクトルにおける蛍光発光を検出する、
    請求項１に記載の画像化システム。
15. 前記第２検出器は、近赤外線スペクトルにおける蛍光発光を検出する、
    請求項１に記載の画像化システム。
16. 前記処理装置は、さらに、
    前記第１画像についてヒストグラム平坦化を実行する、ように構成されている、
    請求項１に記載の画像化システム。
17. 前記第１照明器具と前記第２照明器具は、一つまたはそれ以上の同一の照明器具である、
    請求項１に記載の画像化システム。
18. 前記第１検出器と前記第２検出器は、一つまたはそれ以上の同一の検出器である、
    請求項１に記載の画像化システム。
19. 前記処理装置は、さらに、
    前記第１検出器から第２画像を受け取り、前記第２画像は、前記第１画像の画像化形態とは異なる画像化形態に基づいており、
    前記第１画像と前記第２画像との間の差異に基づいて、前記興味領域における面法線を見積り、かつ、
    前記見積りされた面法線に基づいて、一つまたはそれ以上の離れ移動ヒントを提供する、
    ように構成されている、請求項１に記載の画像化システム。
20. 前記離れ移動ヒントそれぞれは、オーディオヒント、視覚的合図、矢印、オペレータ入力コントロールに対して適用されるフィードバック、および、モーションプランニングアルゴリズムに対して適用されるフィードバック、からなるグループから選択される、
    請求項１９に記載の画像化システム。
21. 前記離れ移動ヒントのうち少なくとも一つは、モーションプランニングシステムに対して離れ移動ポイントを提供することを含み、前記離れ移動ポイントは、前記面法線によって指し示されている、
    請求項１９に記載の画像化システム。
22. 前記離れ移動ポイントは、前記画像化装置の作動距離に基づいて、前記面法線の上の高さに配置されている、
    請求項２１に記載の画像化システム。
23. 前記離れ移動ポイントは、前記画像化装置の近くに配置されている、
    請求項２１に記載の画像化システム。
24. 前記離れ移動ヒントのうち少なくとも一つは、モーションプランニングシステムに対して離れ移動ラインを提供することを含み、前記離れ移動ラインは、前記面法線と一直線上にある、
    請求項１９に記載の画像化システム。
25. 前記処理装置は、さらに、
    前記第１検出器から第２画像を受け取り、前記第２画像は、前記第１画像の画像化形態とは異なる画像化形態に基づいており、
    前記第１画像における前記高い正反射の領域に対応している前記第２画像における一つまたはそれ以上の置き換え領域を決定し、前記対応している置き換え領域は、前記高い正反射の領域よりも低い正反射を有しており、
    前記第１画像における前記高い正反射の領域を前記置き換え領域と置き換え、かつ、
    前記置き換え領域と前記検出された蛍光発光を用いて前記第１画像に基づいて前記合成画像を生成する、
    ように構成されている、請求項１に記載の画像化システム。
26. 画像化の方法であって、
    画像化装置を使用して、興味領域の上に一般照明を発光するステップと、
    前記画像化装置を使用して、前記一般照明の第１反射を検出するステップと、
    前記第１反射に基づいて、第１画像を形成するステップと、
    前記第１画像における一つまたはそれ以上の高い正反射の領域を決定するステップと、
    前記第１画像における前記高い正反射の領域をマスクアウトするステップと、
    前記画像化装置を使用して、前記興味領域の上に蛍光体光トリガーイベントが照明を発光するステップと、
    前記画像化装置を使用して、前記興味領域における一つまたはそれ以上の蛍光材料の蛍光発光を検出するステップと、
    前記マスクされた第１画像と前記検出された蛍光発光に基づいて、合成画像を生成するステップと、
    を含む、方法。
27. 前記方法は、さらに、
    前記検出された蛍光発光に基づいて、第２画像を生成するステップと、
    前記合成画像を生成するために、前記第１画像と前記第２画像を混合するステップ、
    を含む、請求項２６に記載の方法。
28. 前記方法は、さらに、
    前記高い正反射の領域に基づいて、一つまたはそれ以上の形態調整ヒントを提供するステップ、
    を含む、請求項２６に記載の方法。
29. 前記一般照明を発光するステップは、複数の波長において照明を発光することを含み、
    前記一つまたはそれ以上の高い正反射の領域を決定するステップは、前記高い正反射の領域において前記複数の波長それぞれにおける高い正反射を検出することを含む、
    請求項２６に記載の方法。
30. 前記方法は、さらに、
    前記画像化装置を使用して、前記一般照明の第２反射を検出するステップであり、前記第２反射は、前記第１反射とは異なる画像化形態に基づいている、ステップと、
    前記検出された第２反射に基づいて、第２画像を形成するステップと、
    前記第１画像と前記第２画像との間の差異に基づいて、前記興味領域における面法線を見積るステップと、
    前記見積りされた面法線に基づいて、一つまたはそれ以上の離れ移動ヒントを提供するステップ、
    を含む、請求項２６に記載の方法。
31. 画像化システムであって、
    一つまたはそれ以上のプロセッサを含む処理装置と、
    前記処理装置に対して接続されている画像化装置であり、
    興味領域について照明を提供するための一つまたはそれ以上の第１照明器具と、
    前記照明の反射を検出するための一つまたはそれ以上の第１検出器と、
    を含む、画像化装置と、
    を含み、
    前記処理装置は、
    前記第１検出器から第１画像を受け取り、前記第１画像は、検出された反射を含んでおり、かつ、第１画像化形態に基づいており、
    前記第１検出器から第２画像を受け取り、前記第２画像は、検出された反射を含んでおり、かつ、第１画像化形態とは異なる第２画像化形態に基づいており、
    前記第１画像と前記第２画像における第１の高い正反射の領域を決定し、
    前記第１画像と前記第２画像との間の差異に基づいて、前記第１の高い正反射の領域における第１面法線を見積り、かつ、
    前記見積りされた第１面法線に基づいて、一つまたはそれ以上の離れ移動ヒントを提供する、
    ように構成されている、
    画像化システム。
32. 前記離れ移動ヒントのうち少なくとも一つは、モーションプランニングシステムに対して離れ移動ポイントを提供することを含み、前記離れ移動ポイントは、前記面法線によって指し示されている、
    請求項３１に記載の画像化システム。
33. 前記離れ移動ポイントは、前記画像化装置の作動距離に基づいて、前記面法線の上の高さに配置されている、
    請求項３２に記載の画像化システム。
34. 前記離れ移動ポイントは、前記画像化装置の近くに配置されている、
    請求項３２に記載の画像化システム。
35. 前記離れ移動ヒントのうち少なくとも一つは、モーションプランニングシステムに対して離れ移動ラインを提供することを含み、前記離れ移動ラインは、前記面法線と一直線上にある、
    請求項３１に記載の画像化システム。
36. 前記処理装置は、さらに、
    前記画像化装置を第１姿勢から第２姿勢へ移動し、前記移動は、前記第１画像化形態を第３画像化形態へ変更し、かつ、前記第２画像化形態を第４画像化形態へ変更し、
    前記第１検出器から第３画像を受け取り、前記第３画像は、前記検出された反射を含んでおり、かつ、前記第３画像化形態に基づいており、
    前記第１検出器から第４画像を受け取り、前記第４画像は、前記検出された反射を含んでおり、かつ、前記第４画像化形態に基づいており、
    前記第３画像と前記第４画像における第２の高い正反射の領域を決定し、
    前記第３画像と前記第４画像との間の差異に基づいて、前記高い正反射の領域における第２面法線を見積り、かつ、
    前記第１面法線と前記２面法線、前記第１の高い正反射の領域と前記第２の高い正反射の領域、および、前記第１姿勢と前記第２姿勢に基づいて、前記第１画像と前記第２画像、または、前記第３画像と前記第４画像のいずれかを使用のために選択する、
    ように構成されている、請求項３１に記載の画像化システム。
37. 前記画像化システムは、さらに、
    前記興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガするための一つまたはそれ以上の第２照明器具と、
    前記蛍光材料の前記蛍光発光を検出するための一つまたはそれ以上の第２検出器と、
    を含み、
    前記処理装置は、さらに、
    前記第１画像における前記第１の高い正反射の領域をマスクアウトし、かつ、
    マスクされた前記第１画像と前記検出された蛍光発光に基づいて、合成画像を生成する、
    ように構成されている、
    請求項３１に記載の画像化システム。
38. 画像化システムであって、
    一つまたはそれ以上のプロセッサを含む処理装置と、
    前記処理装置に接続された照明システムであり、前記照明システムは、興味領域を照明するための照明を発光し、かつ、前記興味領域において一つまたはそれ以上の蛍光材料の蛍光発光をトリガしている、照明システムと、
    前記処理装置に接続された検出器システムであり、前記検出器システムは、前記発光された照明の反射を検出し、かつ、前記興味領域における前記一つまたはそれ以上の蛍光発光を検出している、検出器システムと、
    を含み、
    前記処理装置は、
    前記検出器システムから第１画像を受け取り、前記第１画像は、検出された反射を含んでおり、
    前記第１画像における一つまたはそれ以上の高い正反射の領域を決定し、
    前記第１画像における前記高い正反射の領域をマスクアウトし、かつ、
    マスクされた前記第１画像と前記検出された蛍光発光に基づいて、合成画像を生成する、
    ように構成されている、
    画像化システム。
39. 前記処理装置は、さらに、
    前記検出器から第２画像を受け取り、前記第２画像は、検出された蛍光発光を含んでおり、かつ、
    前記第１画像と前記第２画像を混合することによって、前記合成画像を生成する、
    ように構成されている、
    請求項３８に記載の画像化システム。
40. 前記処理装置は、さらに、
    前記高い正反射の領域に基づいて、一つまたはそれ以上の形態調整ヒントを提供する、
    ように構成されている、
    請求項３８に記載の画像化システム。
41. 前記照明システムは、複数の波長で照明を生成し、かつ、
    前記高い正反射の領域それぞれは、前記複数の波長それぞれにおいて高い正反射を含む、
    請求項３８に記載の画像化システム。
42. 興味領域のマスクされた画像にアクセスするステップであり、前記マスクされた画像は、マスクアウトされた高い正反射の領域を有する第１反射画像を含んでいる、ステップと、
    前記興味領域の蛍光画像にアクセスするステップと、
    前記マスクされた画像と前記蛍光画像に基づいて、合成画像を生成するステップと、
    を含む、方法。
43. 前記合成画像を生成するステップは、前記マスクされた画像と前記蛍光画像を混合することを含む、
    請求項４２に記載の方法。
44. 前記方法は、さらに、
    前記マスクアウトされた高い正反射の領域に基づいて、一つまたはそれ以上の形態調整ヒントを提供するステップ、
    を含む、請求項４２に記載の方法。
45. 前記方法は、さらに、
    前記第１反射画像における前記高い正反射の領域を検出するステップ、
    を含む、請求項４２に記載の方法。
46. 前記反射画像において前記高い正反射の領域を検出するステップは、前記第１反射画像において複数の波長それぞれにおける高い正反射の領域を検出することを含む、
    請求項４５に記載の方法。
47. 前記方法は、さらに、
    第２反射画像にアクセスするステップであり、前記第２反射画像は、前記第１反射画像とは異なる画像化形態に基づいている、ステップと、
    前記第１反射画像と前記第２反射画像との間の差異に基づいて、前記興味領域における面法線を見積るステップと、
    前記見積りされた面法線に基づいて、一つまたはそれ以上の離れ移動ヒントを提供するステップ、
    を含む、請求項４２に記載の方法。
    
    

Images