以降の記述においては、本開示と一貫したいくつかの実施例を説明することで特定の詳細が明らかにされる。当業者にとっては、しかしながら、いくつかの実施例は、これらの特定な詳細のいくつか又は全てがなくても実施され得ることが明らかであろう。ここにおいて開示される特定の実施例は、説明的なものであり、限定的なものではないことが意味されている。当業者であれば、たとえ特定的にここにおいて記述されていなくても、他のエレメントが、この開示の範囲または精神の中にあることを理解できる。加えて、不必要な繰返しを避けるために、一つの実施例に関連して示され、説明された一つまたはそれ以上の特徴は、そうでないものと特定的に記述されていなければ、もしくは、その一つまたはそれ以上の特徴が実施例を機能しなくさせるであろう場合には、他の実施例の中に包含され得るものである。
図1は、いくつかの実施例に従った、蛍光画像化システム100の簡素化されたダイヤグラムである。図1に示されるように、興味領域110、患者組織の一部分といったものが示されており、画像化装置120を使用して照らされている。画像化装置120は、数個のエミッタ(emitter)と検出器(detector)を含んでいる。興味領域110を照らし、そして、反射された照明および興味領域における蛍光の両方に基づいて、興味領域110の一つまたはそれ以上の画像を収集するためである。図1には示されていないが、画像化装置120は、内視鏡ツールの一部、カルフォルニア州サニーベイルのIntuitive Surgical社によって商業化されたda Vinci(R)手術システムに対応するコンピュータ支援手術装置における手先効果器(end effector)の一部、及び/又は、コンピュータ支援画像化装置の一部であってよい。蛍光画像化をサポートするために、画像化装置120は、少なくとも2つのタイプの画像化エミッタと検出器を含んでよい。
一般照明器具132が、興味領域110の上を明るく照らすために使用される。例示の光線142によって示されるようにであり、入射点115において興味領域110に到達している。光線142が興味領域110に達したときに、光線は、入射点115における興味領域110の拡散、反射、正反射、及び/又は、他の画像化特性に従って、興味領域110に反射し得る。反射された光は、画像化装置120に向かって反射される例示の光線144としてモデル化されており、一般照明検出器134によって検出される。入射点115は、画像化の最中に特定の興味であってよい。画像化装置120、そして、より特定的には一般照明器具132と一般照明検出器134が、入射点115において面法線(surface normal)の概ね近く又は上に配置されているからである。入射点115が高い正反射率を有するときは、入射点115における水分のせいによるといったもの、一般照明検出器134は、高レベルの光を検出し、及び/又は、飽和してしまうことがある。結果として、入射点115は、画像化装置120によって撮られている興味領域110の画像における輝点として現れ得る。これらの画像をモニタリングすること、および、高い輝度及び/又は飽和の領域を見つけることによって、画像化装置120及び/又は処理装置150といったシステムは、興味領域110の中でおそらく高い正反射であろう領域を検出し得る。
画像化装置120は、さらに、蛍光画像化エレメントを含んでいる。蛍光トリガ(fluorescence triggering)照明器具136は、一つまたはそれ以上の波長の光を発することができる。例示の光線146によって示されるようにであり、入射点115において興味領域110に到達している。光線146が興味領域110に達したときに、もし存在するのであれば、蛍光材料が、光を吸収して、別の波長において蛍光発光することによって反応する。代表的な光線148によって示されるようにであり、画像化装置120に対して戻り、蛍光検出器138によって検出される。例えば、蛍光材料がICGであるときは、光線146の入射光と光線148の蛍光発光は、近赤外線スペクトルにあってよいが、異なる波長である。
いくつかの実施例に従って、一般照明器具132及び/又は蛍光トリガ照明器具136は、適切な周波数/波長、及び/又は、周波数帯において光を発し得るあらゆる種類の照明及び/又は電磁気エミッタであってよい。いくつかの実施例において、照明器具それぞれは、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、等を含んでよい。いくつかの実施例に従って、一般照明検出器134及び/又は蛍光検出器138は、適切な周波数/波長、及び/又は、周波数帯において照明又は電磁気信号を検出し得るあらゆる種類の検出器であってよい。いくつかの実施例において、検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、液晶チューナブルフィルタ(LCTF)といったアクティブ及び/又はパッシブフィルタ、及び/又は、音響光学チューナブルフィルタ(AOTF)、等を含んでよい。
蛍光画像化システム100は、さらに、処理装置150を含んでよい。処理装置150は、ユーザコントロールからの入力を受け取り、それらの入力を処理し、それらの入力に基づいて一つまたはそれ以上のコントロールアルゴリズムを実行し、表示のための蛍光画像を提供する、等を行い得る大型コンピューティングデバイス及び/又は電子システム(図示なし)の一部であってよい。処理装置150は、メモリ170に接続されたプロセッサ160を含んでいる。処理装置150のオペレーションは、プロセッサ160によってコントロールされる。処理装置150は、一つだけのプロセッサ160を用いて示されているが、プロセッサ160は、処理装置150における一つまたはそれ以上の中央処理装置、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドでプログラム可能なゲートアレイ(FPGA)、特定アプリケーション集積回路(ASIC)、等を表してよい。処理装置150は、スタンドアロンサブシステム及び/又はコンピューティングデバイスに対して追加されるボードとして、または、仮想マシンとして実施されてよい。いくつかの実施例において、処理装置150は、オペレータワークステーションの一部として含まれてよく、及び/又は、分離して、しかしながらオペレータワークステーションと協働してオペレーションされてよい。
メモリ170は、処理装置150によって実行されるソフトウェア、及び/又は、処理装置150のオペレーションの最中に使用される一つまたはそれ以上のデータ構造を保管するために使用されてよい。メモリ170は、一つまたはそれ以上のタイプのマシンで読取り可能な媒体を含んでよい。いくつかの一般的な形式のマシンで読取り可能な媒体は、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あらゆる他の磁気媒体、CD−ROM、あらゆる他の光媒体、パンチカード、紙テープ、あらゆる他の穴パターンを伴う物理的媒体、RAM、PROM、EPROM、FLASH−EPROM、あらゆる他のメモリチップまたはカートリッジ、及び/又は、プロセッサまたはコンピュータが読み出すように適合されたあらゆる他の媒体、を含んでよい。
示されるように、メモリ170は、興味領域110における蛍光画像を含んでいる、興味領域110に係る画像の生成及び/又は使用をサポートするために使用されてよい。画像化アプリケーション180は、画像化方法を実施するための一つまたはそれ以上のアプリケーションプログラミングインターフェイス(API)を含んでよく、画像化方法は、画像化装置120からの画像について一つまたはそれ以上のコマンド及び/又はリクエストを発光すること、同様に、画像化装置120から画像を受け取ることを含んでよい。そして、画像化アプリケーション180は、ソフトウェアアプリケーションとして描かれているが、画像化アプリケーション180は、ハードウェア、ソフトウェア、及び/又は、ハードウェアとソフトウェアの組み合わせを使用して実施されてよい。
画像化アプリケーション180をサポートするために、処理装置150は、一つまたはそれ以上のI/Oポートを伴うインターフェイスを追加的に含んでいる。インターフェイス190は、あらゆる適切なタイプであってよく、専用I/Oライン、イーサネット(登録商標)といったネットワーク接続、アイ・スクエア・シー(I2C)バス、シリアルペリフェラルインターフェイス(SPI)バス、パラレルポート、アナログI/Oライン、等といったものである。インターフェイス190は、処理装置150を画像化装置120に対して接続するための一つまたはそれ以上のライン及び/又はバスを含んでよい。いくつかの実施例において、インターフェイス190に関連するインターフェイス回路は、一つまたはそれ以上のバスコントローラ、アナログ−デジタル変換器、デジタル−アナログ変換器、データ獲得システム、画像獲得システム、ルータ、スイッチ、ネットワークスイッチングデバイス、及び/又は、類似のものを含んでよい。
上述のように、そして、ここにおいてさらに強調されるように、図1は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び/又は変更を認識するであろう。
当業者であれば気付くように、図1の形態は、必ずしも縮尺どおりに描かれる必要はなく、蛍光画像化システム100と画像化装置120の重要な機能を強調するように描かれている。例えば、一般照明器具132、一般照明検出器134、蛍光トリガ照明器具136、および蛍光検出器138の相対的なサイズ及び/又は位置は、光線142−148の現実のパスをより正確に描くことを犠牲にして、これらの機能を示すように強調されてよい。
いくつかの実施例に従って、画像化装置120と処理装置150との間の異なる配置が可能であってよい。いくつかの実施例において、処理装置150は、画像化装置120の一部であってよい。いくつかの実施例において、画像化装置120は、処理装置150の一部であってよい。いくつかの実施例において、処理装置150は、一つ以上の画像化装置120に対して接続されてよい。いくつかの実施例において、画像化装置120は、一つ以上の処理装置と画像化データを共有してよい。
いくつかの実施例に従って、一般照明器具132、一般照明検出器134、蛍光トリガ照明器具136、および蛍光検出器138の異なる配置と構成が可能である。いくつかの実施例において、より多くの、及び/又は、より少ない、照明器具及び/又は検出器が使用されてよい。いくつかの実施例において、照明器具及び/又は検出器の間の相対的な位置決めは変更されてよい。いくつかの実施例において、一般照明検出器134と蛍光検出器138は、正反射及び/又は蛍光の検出の両方のために使用され得る一つの検出器へと結合されてよい。いくつかの実施例において、結合された検出器は、蛍光画像から一般画像を分離するために、時間分割及び/又は周波数分割多重化を使用してよい。いくつかの実施例において、一般照明器具132と蛍光トリガ照明器具136は、一般及び/又は蛍光トリガ照明の両方を生成するために使用され得る一つの照明器具またはエミッタへと結合されてよい。いくつかの実施例において、結合された照明器具は、所望の照明を生成するための一つまたはそれ以上のアクティブまたはパッシブフィルタの助けを借りて時間分割及び/又は周波数分割多重化を使用してよい。いくつかの実施例において、一般照明器具132と一般照明検出器134は、また、興味領域110に対する一般照明および画像化システムの一部分であってもよい。
いくつかの実施例に従って、一般照明器具と一般照明検出器との複数の組み合わせが使用されてよい。いくつかの実施例においては、複数の一般照明器具及び/又は一つの一般照明器具が、複数の周波数/波長、及び/又は、周波数帯において一般照明光線を生成し得る。対応する複数の一般照明器具及び/又は一つの一般照明器具は、複数の周波数/波長、及び/又は、周波数帯のそれぞれを検出し、そして、複数の周波数/波長、及び/又は、周波数帯のそれぞれに対する画像を生成し得る。いくつかの実施例においては、それぞれの画像における同一の位置において高輝度及び/又は飽和が検出されるときに、高い正反射の領域が検出され得る。
画像における高い正反射の領域の存在は、一般的に望ましいものではないだろう。高い正反射によって生じる高輝度及び/又は飽和の領域は、それらを含む画像の品質及び/又は有用性を低減してしまうだろう。いくつかの実施例において、高い正反射の領域は、それらを含んでいる画像のビューアーについて、その画像における他の重要な領域から気をそらしてしまい得る。いくつかの実施例において、高い正反射の領域は、蛍光発光領域、及び/又は、興味領域におけるカバーアップ機能と取り違えられることがある。高い正反射が存在しなければ、さもなければ見ることができる、蛍光といったものである。
画像における高い正反射の領域を検出、低減、及び/又は、補償するために多くの技術が開発されてきた。一つのそうしたアプローチは、高い正反射に関連している可能性が高い高輝度を伴う領域を検出し、そして、画像に係るそれらの領域をマスクオフ(mask off)することである。いくつかの実施例において、このことは、飽和に係る設定された割り合い(percentage)といった、閾値に対して画像の中のピクセルの輝度を比較すること、そして、閾値の上の輝度を伴うあらゆるピクセルを、黒またはマスキングを示す色といった、色と置き換えること、を含んでよい。このアプローチは、また、マスクオフされた領域の境界を特定、及び/又は、ハイライトすることも含んでよい。このアプローチは、高い正反射の領域が引き起こす注意散漫(distraction)を取り除き得るが、それは、また、高い正反射によって引き起こされたものではない高輝度を伴う領域を不適切にマスクオフすることもある。画像から他の重要な特徴を取り除くことも同様である。マスクオフされた領域は、一般的に根底にある画像の詳細を含んでいないからである。
別のアプローチは、画像センサの2つのセットを使用する。高い正反射によって引き起こされた領域といった、高輝度領域が画像の一つにおいて検出されたときは、他の画像からの対応する領域が代用される。このアプローチは、所望の画像の詳細をマスクオフする可能性を低減するが、両方の画像における同一の場所で高い正反射が生じ得ないように、画像センサの2つのセットが十分に遠く離れて配置されることを必要とする。
他のアプローチは、高い正反射の領域が画像検出器によってキャプチャされ得る可能性を低減するために、照明器具/エミッタと画像検出器に関して創造的なシールド(shielding)及び/又はバッフル(baffle)を使用してよい。このアプローチは、一般的に、照明器具/エミッタと検出器の相対的な位置決めについてタイトなコントロールを要し得るものであり、そして、画像化装置の可能な形態(geometry)それぞれ、および、興味領域に対してウェル(well)を一般化(generalize)しなくてよい。
蛍光画像化と伴に使用される一般的なアプローチは、一般照明器具によって提供される一般照明を低減し、そして、一般照明と蛍光の両方について結合されたビジュアル(visual)検出器を使用する。一般照明を低減することによって、一般照明、及び/又は、生成され得る高い正反射の領域は、蛍光材料の照明をトリガする蛍光のおかげで獲得される画像情報をおそらくより少なく覆い隠す。このアプローチは、しかしながら、低いレベルの環境照明を伴う画像を生成する傾向があり、興味領域における興味の特徴を観察することを難しくすることがある。
その結果として、高い正反射の領域について検出、低減、及び/又は、補償するための大部分のアプローチは、可視詳細(visible detail)と蛍光詳細(fluorescence detail)の両方を示している画像が望まれるときには、良いソリューションを提供するものではない。これは、重要な可視詳細が犠牲にされ、蛍光詳細がマスクオフされ、及び/又は、内視鏡及び/又は同様の装置を伴う使用のために実用的でない形態を伴う装置をソリューションが含み得るからである。改善されたソリューションが、蛍光画像化システム100といった、画像化システムの使用を通じて獲得され得るものであり、蛍光画像から一般照明画像を分離して収集できる。このようにして、高い正反射の領域について検出、低減、及び/又は、補償が、重要な蛍光情報をマスクアウト(mask−out)及び/又はカバーアップ(cover up)する可能性が著しく小さくなり得る。
図2は、いくつかの実施例に従った、高い正反射の検出および低減に係る方法200の簡素化されたダイヤグラムである。方法200に係る一つまたはそれ以上のプロセス210−280は、少なくとも部分的に、非一時的で、有形で、マシンで読取り可能な媒体上に保管された実行可能なコードの形式において実施されてよい。一つまたはそれ以上のプロセッサによって実行されるときに、一つまたはそれ以上のプロセッサ(例えば、プロセッサ160)にプロセス210−280のうち一つまたはそれ以上を実行させるようにするものである。いくつかの実施例において、高い正反射の検出および低減は、画像化アプリケーション180といった、画像化アプリケーションによって実行されてよい。
プロセス210においては、一般照明が発光される。一つまたはそれ以上の一般照明器具またはエミッタを使用して、一般照明器具132といったもの、興味領域の上で一般照明が光らされる。いくつかの実施例において、一般照明は、可視スペクトルの一つまたはそれ以上のバンドにおける可視光を含んでよい。いくつかの実施例において、一般照明器具は、適切なドライバ及び/又は変調回路を使用して調整されてよい。いくつかの実施例において、一般照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び/又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、一般照明が複数の周波数帯からの信号を含んでいるときに、複数の周波数帯は、同時に、及び/又は、時間分割多重化を介して発せられてよい。
プロセス220においては、一般照明器具の反射が検出される。一つまたはそれ以上の一般照明検出器を使用して、一般照明検出器134といったもの、プロセス210の最中に発せられた一般照明の反射が検出される。いくつかの実施例において、一般照明は、一つまたはそれ以上の構造体、対象物、患者組織の部分、及び/又は、類似のもので反射され得る。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一般照明器具及び/又はそれらのサブセットによって発せられる周波数帯それぞれにおける一般照明を検出し得る。いくつかの実施例において、一般照明検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、LCTF及び/又はAOTFといったアクティブ及び/又はパッシブフィルタ、及び/又は、類似のもの、を含んでよい。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具と同期して時間多重化されてよい。いくつかの実施例において、検出された一般照明は、興味領域に係る一つの画像及び/又は複数の画像として検出されてよい。対応する画像について発せられ、及び/又は、検出されている周波数帯に対応する複数の画像それぞれを伴うものである。いくつかの実施例においては、一つの画像及び/又は複数の画像が事前処理(preprocess)されてよい。いくつかの実施例において、事前処理は、ヒストグラム平坦化(equlization)及び/又はコントラスト調整を含んでよい。
プロセス230においては、一つまたはそれ以上の高い正反射の領域が検出される。プロセス220の最中に検出された画像それぞれは、一つまたはそれ以上の可能性のある高い正反射の領域を決定するために解析されてよい。いくつかの実施例において、一つまたはそれ以上の可能性のある高い正反射の領域は、高輝度及び/又は飽和を伴う画像の中の一つまたはそれ以上の領域を特定することによって決定されてよい。いくつかの実施例において、高輝度は、閾値の上の輝度を伴うあらゆるピクセルについて決定されてよい。いくつかの実施例において、閾値は、オペレータによって、及び/又は、画像化システムの他の特性に応じて、設定されてよい。いくつかの実施例において、閾値は、絶対的輝度の閾値として、または、できる限り最大の輝度値に係る割り合いとして、設定されてよい。いくつかの実施例においては、プロセス220の最中に一つの画像が検出されたときに、可能性のある高い正反射の領域は、一つまたはそれ以上の高い正反射の領域であってよい。いくつかの実施例においては、プロセス220の最中に複数の画像が検出されたときに、領域の中に高い正反射が検出され得る。複数の画像それぞれが、一つまたはそれ以上の高い正反射の領域の中にその領域を含んでいるところである。いくつかの実施例においては、一般的に高い正反射は波長と独立しているので、複数の画像の使用は、複数の周波数、または、複数の周波数帯において高い正反射について試験することによって高い正反射の領域として領域が間違って区分化され得る可能性を低減することができる。
プロセス240においては、蛍光トリガ照明が発光される。一つまたはそれ以上の蛍光トリガ照明器具またはエミッタを使用して、蛍光トリガ照明器具136といったもの、興味領域の上で蛍光トリガ照明器具が光らされる。いくつかの実施例において、蛍光トリガ照明は、近赤外線帯域における周波数を含んでよい。いくつかの実施例において、蛍光トリガ照明器具は、適切なドライバ及び/又は変調回路を使用して調整されてよい。いくつかの実施例において、蛍光トリガ照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び/又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、蛍光トリガ照明器具が一般照明器具と同一であってよいときに、一般照明器具よりむしろ蛍光トリガ照明を生成するために適切な変調及び/又は駆動回路を用いる。いくつかの実施例において、駆動回路は、LCTF及び/又はAOTFといった、アクティブまたはパッシブフィルタを含んでよい。
プロセス250においては、一つまたはそれ以上の蛍光発光領域が検出される。一つまたはそれ以上の蛍光検出器を使用して、蛍光検出器138といったもの、興味領域における蛍光材料の蛍光が検出される。いくつかの実施例において、蛍光照明からの高い正反射は、プロセス250の最中には検出されないことがある。蛍光検出器は、蛍光トリガ照明器具によって発光されている周波数に対して一般的に敏感ではないからである。いくつかの実施例において、一つまたはそれ以上の蛍光検出器は、一つまたはそれ以上の一般照明検出器と同一の検出器であってよい。いくつかの実施例において、蛍光検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、及び/又は、LCTF及び/又はAOTFといったアクティブ及び/又はパッシブフィルタ、及び/又は、類似のもの、を含んでよい。いくつかの実施例において、検出された傾向は、蛍光画像として検出されてよい。いくつかの実施例において、蛍光画像は、また、一般照明画像に対応してもよい。
プロセス260においては、一つまたはそれ以上の高い正反射の領域がマスクアウトされる。いくつかの実施例において、プロセス230の最中に検出された一つまたはそれ以上の高い正反射の領域が、興味領域について撮られた一つまたはそれ以上の一般照明画像からマスクアウトされてよい。いくつかの実施例において、マスクアウトすることは、一つまたはそれ以上の領域におけるピクセルを黒といったバックグラウンドまたはデフォルト色であるピクセルと置き換えることを含んでよい。いくつかの実施例において、一般照明画像も、また、蛍光情報を含んでいるときには、高い正反射の領域における蛍光情報も、また、マスクアウトされてよい。いくつかの実施例においては、一般照明画像がプロセス250の最中に検出された蛍光画像とは分離しているときに、蛍光画像情報が、アルファブレンド(alpha blending)及び/又は類似のもの、といった画像結合アルゴリズムを使用して、一般照明画像と結合されてよい。これらの一つまたはそれ以上の合成画像は、次に、方法200の残りのプロセスのために使用され得る。
プロセス270においては、視覚的ヒント(visual hint)が高い正反射の領域に対して付加されてよい。プロセス200のマスクアウトは一つまたはそれ以上の高い正反射の領域の存在を目立たなくするので、マスクアウトされた一つまたはそれ以上の一般照明画像及び/又は一つまたはそれ以上の合成画像に対して一つまたはそれ以上の視覚的ヒントが付加される。一つまたはそれ以上の高い正反射の領域におけるより低い品質及び/又は不完全な画像情報に対する可能性についてオペレータに警告するためである。いくつかの実施例において、視覚的ヒントは、一つまたはそれ以上の高い正反射の領域の周りに輪郭を付加すること、フォールス・カラー(false color)を付加すること、シンチレーション(scintillation)を付加すること、矢印及び/又は他のマーキングを付加すること、及び/又は、類似のことを含んでよい。
プロセス280においては、一つまたはそれ以上の形態調整(geometry adjustment)ヒントが提供される。プロセス260の最中に一つまたはそれ以上の高い正反射の領域をマスクアウトすることは、一つまたはそれ以上の一般照明画像及び/又は合成画像における情報を取り除き、及び/又は、劣化させ得るので、オペレータ及び/又は画像化装置のためのモーションプランニングシステムに対して形態調整ヒントが提供されてよい。画像化装置の形態を調整することによって、一つまたはそれ以上の一般照明画像及び/又は合成画像における一つまたはそれ以上の高い正反射の領域についてサイズを低減し、及び/又は、取り除くことが可能であり得る。興味領域において面法線に関する画像化の向きが変化し得るからである。いくつかの実施例において、形態調整ヒントは、オーディオヒント、一つまたはそれ以上の一般照明画像及び/又は合成画像における、矢印といった、視覚的合図、オペレータ入力コントロールに対して適用されるフィードバック、モーションプランニングアルゴリズムに対して適用されるフィードバック、及び/又は、類似のものを含んでよい。
方法200は、さらに、複数の画像における高い正反射の領域を取り除くため、及び/又は、興味領域のビデオ画像を生成するために、プロセス210−280を繰り返すことを含んでよい。
上述のように、そして、ここにおいてさらに強調されるように、図2は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び/又は変更を認識するであろう。いくつかの実施例において、方法200は、モーションプランニングアルゴリズムを使用して、興味領域に関して画像化装置を移動する能力を活用するように変更されてよい。いくつかの実施例において、画像化アプリケーションを使用しているオペレータまたは他のシステムは、興味領域の中または近くにおいて、他のデバイス、対象物、及び/又は、患者組織と干渉することなく、その中で画像化装置が移動され得るボリューム(volume)を特定し得る。画像化アプリケーションは、次に、一連の一般照明及び/又は蛍光画像を収集しながら、ボリュームに関して画像化装置を移動し得る。いくつかの画像における高い正反射の領域は、低減され、または、正反射の無い、他の画像からの同一の領域に係る画像と置き換えられてよい。いくつかの実施例においては、低減され、及び/又は、除去された正反射を伴う合成画像を作成するために、一つまたはそれ以上の画像スティッチ(stitching)アルゴリズムが使用されてよい。いくつかの実施例においては、画像化装置、および、ボリュームを通じて画像化装置を移動させるデバイスに係る一つまたはそれ以上の運動学的モデルが、異なる画像からの領域について相互相関をとるために使用されてよい。いくつかの実施例において、興味領域が移動している対象物及び/又は移動している患者組織(例えば、脈を打っている心臓)を含むときには、一連の画像が、興味領域における対象物及び/又は患者組織に係るおおよそ同一の位置、位相、及び/又は、向きに対応するように、画像の収集が時間調整される。
図3は、いくつかの実施例に従った、別の蛍光画像化システム300の簡素化されたダイヤグラムである。図3に示されるように、興味領域310、患者組織の一部分といったものが示されており、画像化装置320を使用して照らされている。画像化装置320は、数個の画像化エミッタと検出器を含んでいる。興味領域310を照らし、そして、反射された照明および興味領域における蛍光の両方に基づいて、興味領域310の一つまたはそれ以上の画像を収集するためである。図3には示されていないが、画像化装置320は、内視鏡ツールの一部、コンピュータ支援手術装置における手先効果器の一部、及び/又は、コンピュータ支援画像化装置の一部であってよい。蛍光画像化をサポートするために、画像化装置320は、数個のセットおよびタイプの画像化エミッタと検出器を含んでよい。
画像化装置320は、既知の離れた距離に置かれた、少なくとも2つの一般照明器具332と334を含んでいる。いくつかの実施例において、一般照明器具332と334それぞれは、一般照明器具132と同様のものであってよい。一般照明器具332と334それぞれは、一般照明器具332と334から興味領域における表面までの例示の光線の矢印それぞれによって示されるように、興味領域310の上に一般照明を光らすように構成されている。一般照明は、一般照明が興味領域310の表面における入射であるところに対応するポイントの近くの面法線315によって近似される表面の形態に基づいて、興味領域における表面で反射される。反射された一般照明は、画像化装置320に対して戻され、そこで、一般照明検出器336によって分離した立体画像(stereoscopic image)においてキャプチャされ得る。いくつかの実施例において、一般照明検出器336は、一般照明検出器134と同様のものであってよい。いくつかの実施例において、一般照明器具332と334は、一度に一般照明器具332と334のうち一つからの照明を使用して、分離した立体画像がキャプチャされ得るように、興味領域310の上に交互に照明を提供してよい。分離した立体画像、および、一般照明器具332と334および一般照明検出器336の既知の形態を使用して、画像化装置320及び/又は処理装置150といった画像化装置320に接続された処理装置は、面法線315のおおよその位置及び/又は向きを決定し得る。興味領域310における他の場所に配置され得る他の面法線も同様である。いくつかの実施例において、分離した立体画像は、また、興味領域310において一つまたはそれ以上の高い正反射の領域を検出するため使用されてもよい。
画像化装置120と同様に、画像化装置320は、また、蛍光トリガ照明器具342と344も含んでよく、蛍光検出器346も同様である。いくつかの実施例において、蛍光トリガ照明器具342と344の両方は、蛍光トリガ照明器具136と同様のものであってよく、そして、蛍光検出器346は、蛍光検出器138と同様のものであってよい。蛍光トリガ照明器具342と344のうちいずれか又は両方は、興味領域310において蛍光材料の蛍光発光をトリガするために使用され得る。蛍光検出器346は、蛍光トリガ照明器具342と344によってトリガされた蛍光を検出し得る。
面法線315のように面法線を近似することによって、画像化装置320は、プロセス280に関して説明したように、形態調整ヒントをより上手く提供することができる。面法線の位置と向きは、画像化装置320に対して、より良い離れ移動ヒント(move away hint)を提供するために使用され得る。最も高い正反射を伴う向きは、一般照明と一般照明検出器の両方が面法線の上に置かれ、かつ、面法線に対して向けられているときに、典型的に発生するからである。従って、画像化装置320が、直接的に、または、おおよそ、面法線315のような面法線と一直線に揃う向きを避けることで、それらの面法線における表面によって生じる高い正反射を低減、及び/又は、除去し得る。
上述のように、そして、ここにおいてさらに強調されるように、図3は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び/又は変更を認識するであろう。
当業者であれば気付くように、図3の形態は、必ずしも縮尺どおりに描かれる必要はなく、蛍光画像化システム300と画像化装置320の重要な機能を強調するように描かれている。例えば、照明器具および検出器の相対的なサイズ及び/又は位置は、図3において対応する光線の現実のパスをより正確に描くことを犠牲にして、これらの機能を示すように強調されてよい。
いくつかの実施例に従って、画像化装置320と処理装置150との間の異なる配置が可能であり得る。いくつかの実施例において、処理装置150は、画像化装置320の一部であってよい。いくつかの実施例において、画像化装置320は、処理装置150の一部であってよい。いくつかの実施例において、処理装置150は、一つ以上の画像化装置320に対して接続されてよい。いくつかの実施例において、画像化装置320は、一つ以上の処理装置と画像化データを共有してよい。
いくつかの実施例に従って、照明器具と検出器の異なる配置と構成も、また、所望の立体画像、高い正反射の領域の検出、および、蛍光画像の検出を提供し得る。いくつかの実施例においては、より多くの、及び/又は、より少ない照明器具及び/又は検出器が可能である。いくつかの実施例において、2つの一般照明器具332と334、および一般照明検出器336は、既知の間隔(spacing)を伴う2つの一般照明器具および一つの一般照明検出器に置き換えられてよい。いくつかの実施例において、蛍光トリガ照明器具342及び/又は344のうち一つ又は他方は、省略されてよい。いくつかの実施例において、残っている蛍光トリガ照明器具は、蛍光検出器346とのより近い近傍の中に移動されてよい。いくつかの実施例においては、一般照明器具と蛍光トリガ照明器具(例えば、一般照明器具332と蛍光トリガ照明器具342)を結合するために、時間分割及び/又は周波数分割多重化が使用されてよい。いくつかの実施例においては、一般照明検出器336と蛍光検出器346を結合するために、時間分割及び/又は周波数分割多重化が使用されてよい。
図4は、いくつかの実施例に従った、高い正反射の検出および低減に係る別の方法400の簡素化されたダイヤグラムである。方法400に係る一つまたはそれ以上のプロセス410−450は、少なくとも部分的に、非一時的で、有形で、マシンで読取り可能な媒体上に保管された実行可能なコードの形式において実施されてよい。一つまたはそれ以上のプロセッサによって実行されるときに、一つまたはそれ以上のプロセッサ(例えば、プロセッサ160)にプロセス410−450のうち一つまたはそれ以上を実行させるようにするものである。いくつかの実施例において、高い正反射の検出および低減は、画像化アプリケーション180といった、画像化アプリケーションによって実行されてよい。いくつかの実施例において、方法400は、方法200と併せて実行されてよく、一つまたはそれ以上の高い正反射の領域をマスクオフすること、および、画像化システムによってキャプチャされる高い正反射の量を低減するように離れ移動ヒントを提供すること、の両方を提供する。
プロセス410においては、一般照明が発光される。一つまたはそれ以上の一般照明器具またはエミッタを使用して、一般照明器具332及び/又は334といったもの、興味領域の上で一般照明及び/又は一般照明が光らされる。いくつかの実施例において、一般照明は、可視スペクトルの一つまたはそれ以上のバンドにおける可視光を含んでよい。いくつかの実施例において、一般照明器具は、適切なドライバ及び/又は変調回路を使用して調整されてよい。いくつかの実施例において、一般照明器具は、一つまたはそれ以上の発光ダイオード、レーザーダイオード、ハロゲン光源、及び/又は、類似のもの、をそれぞれに含んでよい。いくつかの実施例においては、一般照明が複数の周波数帯からの信号を含んでいるときに、複数の周波数帯は、同時に、及び/又は、時間分割多重化を介して発せられてよい。
プロセス420においては、立体的な(stereoscopic)反射が検出される。一つまたはそれ以上の一般照明検出器を使用して、一般照明検出器336といったもの、一つまたはそれ以上の一般照明検出器と伴に、2つまたはそれ以上の反射された一般照明の立体画像が獲得される。いくつかの実施例において、一般照明は、一つまたはそれ以上の構造体、対象物、患者組織の部分、及び/又は、類似のもので反射され得る。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具及び/又はそれらのサブセットによって発せられる周波数帯それぞれにおける一般照明を検出し得る。いくつかの実施例において、一般照明検出器それぞれは、一つまたはそれ以上のフォトトランジスタ、電荷結合素子、LCTF及び/又はAOTFといったアクティブ及び/又はパッシブフィルタ、及び/又は、類似のもの、を含んでよい。いくつかの実施例において、一つまたはそれ以上の一般照明検出器は、一つまたはそれ以上の一般照明器具と同期して時間多重化されてよい。
プロセス430においては、面法線が見積りされる。プロセス420の最中に演出された立体画像は、立体画像において目に見える一つまたはそれ以上の表面について面法線を見積るために使用されてよい。いくつかの実施例においては、立体画像における差異に基づいて面法線を見積るために、2つの立体画像の間の画像形態における既知の差異が使用され得る。いくつかの実施例においては、面法線を見積るために、立体カメラ較正データが使用され得る。いくつかの実施例においては、一つまたはそれ以上の表面について表面上の数多くの場所において、面法線が見積りされてよい。いくつかの実施例においては、検出される領域の中で見積りされている面法線を用いて、高い又は高い可能性のある正反射の領域を検出するために、プロセス230と同様なプロセスが使用されてよい。
プロセス440においては、離れ移動ヒントを提供するために、見積りされた面法線が使用される。一つまたはそれ以上の見積りされた面法線は、興味領域における一つまたはそれ以上の表面の上の場所を指し示している。検出及び/又はキャプチャされた画像における高い正反射の量を低減及び/又は除去するために画像化装置が近づくのを避けるべき場所である。一つまたはそれ以上の面法線の上に画像化装置を位置決めすることを止めるため、及び/又は、一つまたはそれ以上の面法線と一直線に揃わないよう画像化装置を離れて動かすために、オペレータ及び/又は画像化装置のためのモーションプランニングシステムに対して離れ移動ヒントが提供されてよい。いくつかの実施例において、離れ移動ヒントは、画像化装置がマウントされている装置アームの一つまたはそれ以上の運動学的モデルに基づいて提供されてよい。
いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、矢印といった、目に見えるヒントを、オペレータに対して表示される画像の中に追加することを含んでよい。画像化装置について移動の方向、及び/又は、変更を勧めるものである。いくつかの実施例において、移動の方向は、一つまたはそれ以上の面法線によって指し示される場所から離れていてよい。いくつかの実施例においては、画像化装置が面法線の一つによって指し示される場所の一つの近くに配置されているとき、移動ヒント(movement hint)は、面法線から離れて制限された一式の方向を含んでよい。いくつかの実施例においては、画像化装置が面法線と一直線に揃っているとき、移動ヒントは、面法線から離れるあらゆる方向を勧めてよい。いくつかの実施例においては、位置及び/又は向きの変化によって面法線が避けられ得るときに、移動ヒントは、面法線から離れた画像化装置の適切な回転を勧めてよい。いくつかの実施例において、回転は、画像化装置がマウントされている装置アームの一つまたはそれ以上の運動学的モデルに基づいて決定されてよい。
いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、オーディオヒントを含んでよい。いくつかの実施例において、オーディオヒントは、左、右、上、下、離れ、回転、及び/又は、類似のものといった方向を含んでよい。いくつかの実施例においては、複数方向のサウンドが利用可能であるときに、離れ移動ヒントは、サウンドに向かって、または、離れて移動するようにオペレータに対して合図し得るサウンドを提供してよい。いくつかの実施例において、サウンド強度は、オーディオヒントが成功裡に従われている際に、増加または減少してよい。
いくつかの実施例において、一つまたはそれ以上の離れ移動ヒントは、モーションプランニングジオメトリ(geometry)において一つまたはそれ以上の離れ移動ポイント及び/又はライン(line)を追加することを含んでよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び/又はラインは、リパルス(repulsing)フィールド及び/又はリパルスチャージを伴う一つまたはそれ以上のポイントまたはエリア(area)を使用して実施されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び/又はラインは、一つまたはそれ以上の仮想コリジョン(collision)オブジェクト及び/又は仮想フィードバックメカニズムを使用して実施されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイントは、それぞれの面法線によって指し示され、そして、画像化装置の作動距離に基づいて、それぞれの面法線の上の高さに配置されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイントは、それぞれの面法線によって指し示され、そして、画像化装置の現在位置の近くに配置されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ラインは、面法線と同一直線上にあり、そして、少なくとも画像化装置の高さを通じて表面から延びてよい。
プロセス450においては、フィードバックが提供される。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び/又はラインは、画像化装置に対するモーションプランを警告するために使用されてよい。いくつかの実施例において、一つまたはそれ以上の離れ移動ポイント及び/又はラインは、リパルスフォース(force)及び/又はトルクを生成してよく、画像化装置のジョイントにおいてフィードバックフォース及び/又はトルクを引き起こし得る。いくつかの実施例において、引き起こされたフィードバックフォースまたはトルクは、他のモーションプランニング及び/又はオペレータ命令の移動から決定された、画像化装置について対応するジョイントのためのフォースまたはトルクを変更し得る。いくつかの実施例においては、リパルスフォース及び/又はトルクを引き起こされたフィードバックフォース及び/又はトルクに対してマップするために、ヤコビアン転置(Jacobian transpose)または同様な方法が使用されてよい。いくつかの実施例において、フィードバックフォース及び/又はトルクは、また、一つまたはそれ以上の触覚的(haptic)コントロール装置を通じてオペレータに対してフィードバックされてもよい。
方法400は、さらに、面法線を定期的に見積るため、そして、離れ移動ヒントとフィードバックをオペレータ及び/又はモーションプランニングシステムに対して提供するために、プロセス410−450を繰り返すことを含んでよい。
上述のように、そして、ここにおいてさらに強調されるように、図4は、請求項の範囲を不当に制限することのない単なる一つの実施例である。当業者であれば、多くの変形、代替、及び/又は変更を認識するであろう。いくつかの実施例において、方法400は、モーションプランニングアルゴリズムを使用して、興味領域に関して画像化装置を移動する機能を活用するように変更されてよい。いくつかの実施例において、画像化アプリケーションを使用しているオペレータまたは他のシステムは、興味領域の中または近くにおいて、他のデバイス、対象物、及び/又は、患者組織と干渉することなく、その中で画像化装置が移動され得るボリューム(volume)を特定し得る。画像化アプリケーションは、次に、一連の立体画像を収集しながら、ボリュームに関して画像化装置を移動し得る。いくつかの実施例において、立体画像の収集は、画像化装置について一つまたはそれ以上の姿勢(pose)を決定するために解析されてよい。興味領域において面法線それぞれを用いて画像化装置の位置決め及び/又は整列を最も低減するものである。いくつかの実施例において、立体画像の収集は、画像化装置について望ましい姿勢を予測するために解析されてよい。興味領域の中で選択された領域について高い正反射を避けるため、及び/又は、合成画像を低減及び/又は除去された正反射と綴じ合わせるように方法200による使用のために望ましい姿勢のグループを決定するためである。いくつかの実施例においては、興味領域が移動している対象物及び/又は移動している患者組織(例えば、脈を打っている心臓)を含むときに、一連の立体画像が、興味領域における対象物及び/又は患者組織に係るおおよそ同一の位置、位相、及び/又は、向きに対応するように、画像の収集が時間調整される。
処理装置のいくつかの実施例、処理装置150といったものは、非一時的で、有形で、マシンで読取り可能な媒体を含んでよく、一つまたはそれ以上のプロセッサ(例えば、プロセッサ160)によって実行されるときに、一つまたはそれ以上のプロセッサに方法200及び/又は400に係るプロセスを実行させるようにし得る実行可能なコードを含んでいる。方法200及び/又は400に係るプロセスを含み得るマシンで読取り可能な媒体に係るいくつかの一般的な形式は、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、あらゆる他の磁気媒体、CD−ROM、あらゆる他の光媒体、パンチカード、紙テープ、あらゆる他の穴パターンを伴う物理的媒体、RAM、PROM、EPROM、FLASH−EPROM、あらゆる他のメモリチップまたはカートリッジ、及び/又は、プロセッサまたはコンピュータが読み出すように適合されたあらゆる他の媒体、である。
説明的な実施例が示され、そして、説明されてきたが、上記の開示において、および、いくつかのインスタンスにおいては、幅広い変更、変化、および代替が考えられる。対応する他の特徴を使用することなく、実施例に係るいくつかの特徴が採用されてよい。当業者であれば、多くの変形、代替、および変更を認識するであろう。従って、本発明の範囲は、以降の請求項だけによって限定されるべきものであり、そして、請求項は、幅広く、かつ、ここにおいて開示された実施例の範囲と一致したやり方において、理解されることが適切である。