JP2018202162A - 蛍光体のボーラスを含有する対象物を観察する方法、イメージプロセッサおよび装置 - Google Patents

Abstract

【課題】蛍光体のボーラスを含有する対象物を観察する方法を提供する。【解決手段】各入力フレーム１０は、少なくとも１つのピクセル２３を含む少なくとも１つの観察領域２２を含む。時系列の現在の入力フレームの観察領域において、蛍光強度が、蛍光体の少なくとも１つの蛍光放出波長について求められる。蛍光強度は、時系列の先行の入力フレームの観察領域の蛍光強度に結合され、これにより観察領域の各蛍光強度の時間シーケンス４０が形成される。時間シーケンスは、集合内の少なくとも幾つかのコンポーネント信号３６の好ましくは線形の組合せに分解される。組合せ内に存在するコンポーネント信号のみを含むコンポーネント信号の新たな集合が供給される。コンポーネント信号の組合せに依存して色空間からの１色を観察領域に割り当てた出力フレーム４６が形成される。【選択図】図１

Description

本発明は、少なくとも１つの蛍光体のボーラスを含有する対象物、特に生体組織を観察する方法、イメージプロセッサおよび医用観察装置、例えば顕微鏡または内視鏡に関する。

神経外科学では、蛍光体、例えばインドシアニングリーンＩＣＧが、特に脳の動脈および静脈の血流に関連する情報を形成するために用いられる。蛍光体は静脈注射により注入され、医用観察装置の一部であってよいＮＩＲ蛍光イメージング系により、蛍光体の蛍光の連続イメージングが提供される。蛍光体は、血流に追従しつつ、順次に種々の血液コンパートメントを通過し、すなわち最初に動脈、ついで毛細管、最後に静脈を通過する。対象物の観察領域が、蛍光体の蛍光放出波長での蛍光をトリガする蛍光励起波長を用いて照明される場合、蛍光体の通過を観察することができる。蛍光放出波長での蛍光強度は、蛍光体が観察領域に到達すると増大しはじめる。この場合、蛍光強度は、最大値に達するまで増大する。その後、蛍光強度は蛍光体のウォッシュアウトおよび／または蛍光体を分解させる化学反応によって低下する。

蛍光イメージングを用いる血流評価の標準方式は、画像の種々の部分の蛍光強度展開を観察するために動画像を記録し、これを観察者、例えば外科医が繰り返し再生することにある。３つの血液コンパートメントのそれぞれ、すなわち動脈、毛細管および静脈は、蛍光体の注入後、異なる時点で最大蛍光強度を示す。血流のない領域、例えばクリップされた血管は、蛍光をまったく有しない。このため、経験を積んだ観察者は、蛍光展開の動画像シーケンスを観察することにより、特定の領域の組織のタイプを識別することができる。当該プロセスには経験が必要であり、また経験を積んだユーザであっても識別の信頼性は高くない。

したがって、種々の血液コンパートメントを自動的に高い信頼性で識別するための分析手法が開発されている。そのアプローチの１つは曲線パラメータの抽出を利用している。当該手法は、動画像シーケンスの全ての時間フレームが利用可能となったとき、すなわち蛍光が脱色され、全てまたはほぼ全ての蛍光体がもはや対象物内に存在しなくなったときに適用される。当該手法では、特定の位置での蛍光強度の時間曲線が利用可能な全てのフレームを用いて計算される。各ピクセルに対する各時間曲線は、対応するピクセル上に包装された組織を特徴づける１つもしくは複数のパラメータを形成するために分析される。こうしたパラメータは、例えば、所定のピクセルへの蛍光の到達時間、すなわち或るピクセルでの蛍光強度が与えられている閾値を最初に超過した時点であってよい。別の特性は、ピーク時間、すなわち或るピクセルでの蛍光強度が最大値に到達した時点であってよい。また、例えばウォッシュアウト時点、最大曲線勾配および曲線積分などの他のパラメータも、各曲線から計算することができる。

例えば到達時間およびピーク時間などのパラメータを用いることにより、種々の血液コンパートメントの粗い識別を行うことができる。到達時間に依存して１つの色を１つのピクセルに割り当てた擬似色画像を形成することができる。それぞれ異なる血液コンパートメントはそれぞれ異なる到達時間を有するので、曲線パラメータを用いて容易に識別することができる。例えば、到達時間は、蛍光体が最初に到達する大きな動脈については短い。これに対して、大きな領域から血液を収集する大きな静脈では、到達時間は遅くなる。色符号化方式による到達時間の視覚化により、複数のフレームの時系列から収集された組織の情報を結合した静止画像が得られる。

曲線パラメータを抽出する手法は、大きな利点を提供できるのであるが、幾つかの欠点をも有している。例えば、動的な現象の期間全体をカバーすることが要求される。時系列は、蛍光の発生、ピーク到達および減退を示すものでなければならない。これは、分析を開始および視覚化可能となるまで、外科医に数分間の待機が要求されることを意味する。さらに、種々の血液コンパートメントに属する幾つかの皮下組織層は、上下に重なり合って位置し、重複した蛍光の時間曲線を生じることがある。こうした状況では、曲線パラメータの抽出によって抽出されるパラメータは、いかなる物理的意味も有しない可能性が高い。

本発明の課題は、上述した欠点を有しない方法、イメージプロセッサおよび装置を提供することである。

この課題は、冒頭に言及した方法であって、時間に関する蛍光体の蛍光強度展開をそれぞれ表すコンポーネント信号の集合を供給するステップと、対象物の、電子的に符号化された静止画像を表し、かつ少なくとも１つのピクセルを含む少なくとも１つの観察領域をそれぞれ含む入力フレームの時系列にアクセスするステップとを含み、さらに、時系列の１つの入力フレームの観察領域における蛍光強度を、蛍光体の少なくとも１つの蛍光波長について自動的に求める、反復プロセスステップと、蛍光強度を時系列の先行の入力フレームの観察領域の蛍光強度に自動的に結合して、観察領域の各蛍光強度の時間シーケンスを形成する、反復プロセスステップと、時間シーケンスを、集合内の少なくとも幾つかのコンポーネント信号の好ましくは線形の組合せに自動的に分解する、反復プロセスステップと、この組合せのコンポーネント信号の少なくとも１つの部分集合をコンポーネント信号の新たな集合として自動的に供給する、反復プロセスステップとを含み、ここで、コンポーネント信号の組合せに依存して色空間からの１色を観察領域に割り当てた出力フレームが形成される方法により、解決される。コンポーネント信号の集合および／またはコンポーネント信号の部分集合は、当該方法の実行前または実行中に形成可能であり、好ましくは形成後に記憶可能である。

冒頭に言及したイメージプロセッサについては、上記課題は、対象物の、電子的に符号化された静止画像を表し、かつ少なくとも１つのピクセルを含む少なくとも１つの観察領域をそれぞれ含む入力フレームの時系列を受信するように構成された入力部と、時間に関して蛍光体の蛍光強度展開をそれぞれ表すコンポーネント信号の集合を記憶するように構成されたメモリ部と、計算部であって、時系列の１つの入力フレームの観察領域における蛍光強度を、この観察領域における蛍光体の少なくとも１つの蛍光放出波長について求め、この１つの入力フレームの蛍光強度を時系列の先行の入力フレームの観察領域の蛍光強度に結合して、観察領域の各蛍光強度の時間シーケンスを形成し、この時間シーケンスを集合内のコンポーネント信号の好ましくは線形の組合せに分解し、かつこの組合せのコンポーネント信号の少なくとも１つの部分集合から集合の置換物としてコンポーネント信号の新たな集合を合成するように構成された計算部と、時系列の少なくとも１つの入力フレームに、組合せに依存して色空間からの１つの擬似色を割り当てた観察領域を結合することによって出力フレームを形成するように構成された画像形成部と、出力フレームを出力するように構成された出力部とを含む、イメージプロセッサにより、解決される。

課題はさらに、上記方法を実行するように構成された顕微鏡および／または上記イメージプロセッサを含む顕微鏡によって解決される。さらに、課題は、上記方法をコンピュータに実行させるためのプログラムを記憶した、非一時性のコンピュータ記憶媒体によって解決される。

イメージプロセッサは、ソフトウェア、ハードウェア、またはソフトウェアおよびハードウェア双方の組合せにおいて実現可能である。

本発明の方法、イメージプロセッサおよび顕微鏡により、従来技術の曲線パラメータの抽出を超える幾つかの利点が提供される。

本発明の解決手段の基本方式は、それぞれのタイプの組織が典型的な蛍光強度展開曲線を有するとの想定に基づく。当該曲線は実験によって求めることができる。例えば、生体組織が観察される場合、既知の基礎的な血液コンパートメント、すなわち動脈、毛細管および静脈の蛍光強度展開曲線を測定することができる。当該（モデル）蛍光強度展開曲線は、集合内での写像分解のためのコンポーネント信号として供給される。各コンポーネント信号は、方法の実行前または実行中に形成可能であり、好ましくは記憶可能である。１つのフレームには有限の数の異なる組織しか存在しないので、供給された（モデル）蛍光強度曲線の有限の数によって、実際の蛍光展開曲線を表現可能であると予測できる。

こうした組成モデル曲線を求めるために、１つの観察領域における蛍光強度の時間シーケンスが種々のコンポーネント信号に分解される。このように、組み合わされたときに、測定された蛍光強度の時間シーケンスまたは少なくともこの時間シーケンスの近似として生じる、集合内のコンポーネント信号の組合せが、計算される。

２つ以上のコンパートメントが観察領域内に同時に存在する場合、蛍光強度の時間シーケンスは、蛍光体すなわち対応するコンポーネント信号のボーラスへの２つ以上のコンパートメントの個別応答の重ね合わせ、特に線形結合となる。コンポーネント信号の組合せは、分解により、観察領域における種々のコンパートメントの組合せを反映したものとなる。例えば、観察領域に毛細管に覆われた動脈が存在する場合、蛍光強度の時間シーケンスは、動脈の蛍光強度の時間シーケンスと毛細管の蛍光強度の時間シーケンスとの重ね合わせとなる。こうした時間シーケンスの分解結果として、コンポーネント信号の組合せは、動脈のコンポーネント信号と毛細管のコンポーネント信号の重ね合わせとなる。

したがって、時間シーケンスをコンポーネント信号へ写像分解した結果は、時間シーケンスにおいて重ね合わされていた種々のコンパートメントの蛍光展開特性を自動的に反映する。よって、分解により、観察領域の種々のコンポーネントを識別することができる。

写像分解は、入力フレームの完全な時系列上で実行される必要はない。分解は、入力フレームが受信された際に、これらの入力フレームについて１回に１つずつ順次に作業することにより実行可能である。より多くのフレームを用いることで分解の精度が増大する。分解は、いったん収束に達すると終了可能となり、組成コンポーネント信号の組合せは予め定められた限界値を超えては変化しない。

時間シーケンスの構造に用いられるコンポーネント信号の集合は、観察領域における対象物の特性を反映する。コンポーネント信号の組合せから、観察領域における優勢の組織タイプをきわめて高い信頼性で求めることができる。

本発明は、単一蛍光体のボーラスに限定されず、各蛍光体の放出波長がクロストークのないように区別されるかぎり、２つ以上の蛍光体が使用される場合にも使用可能である。この場合、上述したプロセスは、各蛍光体について単純に反復される。各蛍光体につき、コンポーネント信号のそれぞれ異なる集合を使用することもできる。

さらに、１つもしくは複数の蛍光体を分解性のものとすることもできる。

本発明による方法、イメージプロセッサおよび顕微鏡は、次の特徴によってさらに改善することができる。なお、各特徴は相互に独立に組合せ可能であり、それぞれが正の技術的効果を有する。

例えば分解の高速計算の実行が所望される場合、個々のコンポーネント信号を重みづけして時間シーケンスの近似のために加算する線形分解を実行可能である。これにより、高い計算効率を有する標準解が存在する、各観察領域に対して線形方程式の集合が得られる。コンポーネント信号の選択は、近似アルゴリズム、例えばＲＭＳ誤差最小化を用いて行うことができる。

好ましくは、各入力フレームは、種々の時間で対象物の種々の状態を表す。したがって、入力フレームの時系列により、時間に関する、観察領域での蛍光体の展開すなわちビルトアップおよびウォッシュアウトが記録される。

ただし、入力フレームは、例えばカメラ系、好ましくはマルチスペクトルカメラまたはハイパースペクトルカメラによって取得されるものであるため、単一画像に対応させる必要はない。むしろ、入力フレームは複数の静止画像の組合せから形成することができる。こうした組合せは、例えばＨＤＲ画像内のコントラストの増大により実行可能であり、対象物の種々の層画像を例えばｚ方向の積層体へ結合することにより、焦点の視野深度が増大される。さらに、入力フレームは、種々の周波数帯域でそれぞれ撮像された画像から取得することができ、かつ／または対象物の種々の部分を表すことができる。

計算負荷を低減させるために、蛍光強度が少なくとも１つの入力フレームの観察領域の下方の蛍光閾値であるかつ／またはこの下方の蛍光閾値を上回っている場合にのみ、反復プロセスステップを実行することが好ましい。当該アプローチを用いれば、蛍光体が到達しなかった観察領域または蛍光強度が弱すぎて信頼性の高い写像分解プロセスの実行が困難な観察領域での反復プロセスステップの実行に計算労力が消費されなくなる。

さらに、超過された場合に各観察領域に対する反復プロセスステップの実行を除外する上方の蛍光閾値を定めることができる。上方の蛍光閾値および／または下方の蛍光閾値をそれぞれ調整することにより、対象物のうち観察者にとって特別に関心ある部分に分解を制限することができる。上方の蛍光閾値は、カメラセンサが飽和にいたるかまたは飽和に近い程度に蛍光強度が強い場合に有意となりうる。

少なくとも１つの蛍光閾値は、時間に関して一定であってよく、または少なくとも１つの入力フレームの特性、例えば輝度、コントラスト、色、特に背景色、蛍光波長および／または他の観察領域もしくは全ての観察領域での蛍光強度または入力フレームを横断する蛍光強度に依存していてもよい。

例えば、反復プロセスステップは、予め定められた数の入力フレームにわたり、観察領域において蛍光閾値が超過される場合に開始させることができる。いったんこうした初期閾値基準が満たされると、反復プロセスステップは、蛍光強度が、当該または別の、予め定められた数のフレームに対するカットオフの蛍光閾値を下回って低下するまで実行可能となる。このことは、蛍光がウォッシュアウトされたかまたは物理的または化学的に分解されたことを表す。このことが生じた場合、写像分解を続行する必要はなくなる。

観察領域での反復プロセスステップを終了するための他のまたは付加的なカットオフ条件は、集合内のコンポーネント信号の収束、および／または組合せで使用されたコンポーネント信号の重みの収束であってよい。反復プロセスステップは、１回の反復プロセスステップから次回の反復プロセスステップへの重みの変化および／または予め定められた数の入力フレームにわたる重みの変化が予め定められた収束閾値を下回って低下すると、当該観察領域に対して停止させることができる。

時間シーケンスの形成が各反復プロセスステップを進行させると、幾つかのコンポーネント信号は組合せ内で強まるが、大多数のコンポーネント信号は組合せ内できわめて弱くなることが予測される。したがって、分解ステップにおいて使用されるコンポーネント信号の数を収束させるために、新たな集合内のコンポーネント信号の数が分解ステップで使用された集合内のコンポーネント信号の数よりも小さくなるようにするのが好ましい。こうした低減プロセスは、新たな集合が予め定められた数のコンポーネント信号のみを含むようになるまで行うことができる。ここでの予め定められた数は、特には３である。当該数により、各コンポーネント信号を３つの血液コンパートメントのいずれかに割り当てることができる。もちろん適切であれば他の数も使用可能である。

別の有利な実施形態によれば、１つの組合せにおける個々のコンポーネント信号を重みづけし、この組合せでの個々のコンポーネント信号の重みが重み閾値を超過する場合にのみ、次の入力フレームの分解に使用されるコンポーネント信号の新たな集合にコンポーネント信号を含めることができる。当該アプローチを用いれば、時間シーケンスへの近似の計算の考慮に必要なコンポーネント信号の数が低減される。きわめて小さな重みを有するコンポーネント信号は、ノイズまたはクロストーク、例えば２次蛍光すなわち隣接領域の蛍光によって誘起された蛍光から生じた可能性がある。予め定められた数の最も強いコンポーネント信号のみを新たな集合として考慮することができる。

重み閾値は一定であってよい。別のアプローチでは、新たな集合に許可されるコンポーネント信号の数が、予め定められた数に制限される。また、重み閾値は、入力フレーム特性、例えば、反復プロセスステップが実行される入力フレームの蛍光強度または複数の入力フレームの蛍光強度に依存していてもよい。

別の実施形態では、各入力フレームが複数の観察領域を含むことができ、各反復プロセスステップは少なくとも幾つかの観察領域に対して、好ましくは全ての観察領域に対して実行される。

各入力フレームの観察領域の実際の数とは関係なく、各観察領域は、時系列の入力フレーム内の一定位置にある。これは、当該時系列を通して観察領域が少なくとも１つの同じピクセルを含むことを意味する。

複数の観察領域は、好ましくは重畳せず、組み合わさって入力フレーム全体を形成することができる。入力フレームは、タイル状の複数の観察領域から成っていてよい。好ましい実施形態では、観察領域は単一のピクセルから成る。

ノイズから生じうるコンポーネント信号を間引く別のアプローチとして、観察領域、または観察領域の少なくとも１つの部分集合、例えば隣接する観察領域、または入力フレーム内の全ての観察領域における、コンポーネント信号の発生頻度を考慮することが挙げられる。予め定められた優勢度閾値を超過する発生頻度を有するコンポーネント信号のみが新たな集合に保持される。発生頻度は、幾つかまたは全ての観察領域を横断するように、かつ／または先行の複数の入力フレームを横断するように、測定可能である。

別の好ましい実施形態では、反復プロセスステップは、時系列の入力フレームが例えば直接にカメラ系またはイメージプロセッサ系から受信されている間、実行される。

さらに、反復プロセスステップはリアルタイムで実行されることが好ましい。特に、反復プロセスステップは、時系列の２つの後続の入力フレーム間で完了しうる。コンポーネント信号の集合の更新は、好ましくは、新たな入力フレームの受信と同じ速度で行われる。このコンテクストでは、２つの後続の入力フレームを受信する時点は、カメラ系の、入力フレームが導出されるフレームレートに相応させることができる。好ましくは、フレームレートはフリッカフレームレートよりも高速であって、典型的には２６Ｈｚよりも高速である。当該アプローチにより、蛍光が分解され、蛍光体がウォッシュアウトまたは減衰した直後に、分解結果の視覚化が可能となる。

出力フレームは、ユーザが分解プロセスを視覚的に制御し、コンポーネント信号の集合を調整できるよう、入力フレームと同じ速度で形成可能である。これにより、リアルタイムで、予測されない望ましくない効果、例えば対象物の運動も監視できる。出力フレームはモニタ上に表示可能である。

出力フレームにおいて、集合内のコンポーネント信号のそれぞれに１つずつ異なる色、好ましくは１つずつの原色が割り当てられる場合、種々のコンパートメントを出力フレームにおいてより容易に視覚的に識別することができる。

以下に、例示的実施形態を用いて、添付図を参照しながら本発明をさらに説明する。ここでの説明は、例示のためのみであって、限定と解されることを意図していない。上記の説明にしたがって、特定の用途に必要とされない技術的効果を有する特徴は、こうした用途において説明される実施形態から排除することができる。逆も同様であって、説明されている実施形態に含まれないが、特定の用途にとって有利な技術的効果を有する上述した特徴も、これに付加的に含めることができる。

各図を通して、同一の要素または機能および／または設計の点で類似の要素には、同じ参照番号を付してある。

本発明の医用観察装置を示す概略図である。 コンポーネント信号の集合を示す概略図である。 本発明の方法を示す概略図である。 蛍光強度の時間シーケンスの分解を示す概略図である。

最初に、図１および図２を参照して本発明を説明する。

図１には、医用観察装置１、例えば顕微鏡または内視鏡の概略図が示されている。例としてのみであるが、対象物４へ配向された、カメラ系２、特にマルチスペクトルカメラまたはハイパースペクトルカメラを備えた顕微鏡が示されている。カメラ系２は、視野６を捕捉し、入力フレーム１０の時系列８の基礎を形成する、電子的に符号化された静止画像を撮像する。入力フレーム１０は、２つ以上の電子的に符号化された静止画像の組合せから、または単一のこうした画像から形成することができる。複数の画像の組合せは、例えば対象物４の種々の層のピクチャを組み合わせてｚ方向の積層体とすることにより、コントラストまたは視野６の深度の増大に用いることができる。これに加えてまたはこれに代えて、隣接する画像のスティッチング、種々の波長で撮像された画像の組合せ、例えば可視光画像とＮＩＲ画像との組合せ、またはそれぞれ異なってフィルタリングされた画像の結合を含むこともできる。

対象物４は特に生体組織であってよい。対象物４には、適用後に対象物４を横断する拡散を開始する少なくとも１つの蛍光体１２のボーラスが投与されている。蛍光体１２は分解性であってよい。照明系１３は、少なくとも視野６を照明し、蛍光体１２の蛍光を励起する蛍光励起波長１４を含む。少なくとも１つの蛍光体１２の蛍光は、好ましくは可視光範囲の光に加えてカメラ系２によって撮像される蛍光放出波長１５で放出される。２つ以上の蛍光体１２が使用される場合、蛍光体１２がその色によって識別可能となるよう、少なくとも放出波長１５は重なってはならない。

入力フレーム１０の時系列８は、蛍光体１２と対象物４との、時間に関する相互作用を表している。生体組織では、蛍光体１２が特定の時間の後に視野６に到達する。蛍光体１２によって放出される蛍光強度は、ピークに達した後、減衰する。蛍光体１２のピークおよび減衰への到達時点は、組織のそれぞれ異なるタイプを表す。典型的には、３つのタイプの血液コンパートメント、すなわち動脈組織１６、毛細管組織１８および静脈組織２０を区別することができる。他の用途では、種々の数の組織が識別に必要となることもある。

各入力フレーム１０は、単一のピクセル２３または好ましくは接続されたピクセルアセンブリであってよい少なくとも１つの観察領域２２を含む。時系列８の各入力フレーム１０を横断して、観察領域２２が、好ましくは入力フレーム１０に対して相対的な位置に固定される。

入力フレーム１０の観察領域２２にマッピングされた組織１６，１８，２０のタイプに応じて、蛍光強度は時間に関して種々の変化を示す。このことは、図１の入力フレーム１０の円形領域および長方形領域によって略示されている。時間ｔにわたって、種々の領域が種々の時点でいっそう視認しやすくなり、その後に減衰する。

入力フレーム１０に２つ以上の観察領域２２が存在する場合、各観察領域２２は、好ましくは重ならない。各入力フレーム１０が自身の全体を覆うように傾けられた観察領域２２から成ることが好ましい。

時系列８は、医用観察装置１の一部であるイメージプロセッサ２６によって分析されるか、または既存の医用観察装置１のアップグレードに用いることができる。イメージプロセッサ２６は、有線、無線またはこれらの組合せであってよいデータ伝送線２８を介して、カメラ系２に接続されている。データ伝送線２８は、イメージプロセッサ２６の入力部３０に接続可能である。入力部３０は、時系列８を受信するように構成されている。

イメージプロセッサ２６はさらに、コンポーネント信号３６の集合３４を記憶したメモリ部３２を含む。集合３４は、対象物、蛍光体、照明条件および利用可能な計算出力に応じて、例えば１０個から２００個までのコンポーネント信号を含むことができる。

各コンポーネント信号３６は、特定のタイプの組織の蛍光強度Ｉの、時間ｔに関する展開を表す、離散的なまたは分析的な時間曲線である。少なくとも１つの時間ｔおよび強度Ｉは、無次元の量および／または正規化された量であってよい。各コンポーネント信号３６は、時点ｔ_０で投与された少なくとも１つの蛍光体１２のボーラスに対する、種々のタイプの組織の反応を表す。種々のコンポーネント信号３６は、例えば種々の直径の動脈を含む動脈組織、種々の直径の静脈を含む静脈組織、および種々の直径の毛細管を含む毛細管組織を表す。特定のコンパートメントにおける各血管の直径、血管の量、および組織の流れ断面積により、コンポーネント信号３６の形状、すなわち蛍光体１２が到達するまでの時間ひいては蛍光強度の増大の時間、ならびに蛍光体１２が組織からウォッシュアウトされる速度、すなわち蛍光強度の低下の速度が求められる。

各コンポーネント信号３６は、先行の測定によって実験として求めておくことができる。種々の集合３４は、種々の蛍光体および／または種々の対象物４に対して、例えば種々のタイプの器官に対して用いることができる。例えば、脳組織に対して、また筋組織に対して、異なる集合３４を用いることができる。

イメージプロセッサ２６は、さらに、計算部３８を含む。計算部３８は、各観察領域２２に対して、時系列８の現在の１つの入力フレーム１０の蛍光強度Ｉを求めるように構成されている。蛍光強度Ｉは、観察領域２２の蛍光体１２の少なくとも１つの蛍光放出波長１５について求められる。例えばインドシアニングリーンが蛍光体として用いられる場合、蛍光波長は７５０ｎｍから９５０ｎｍの間に位置する。蛍光強度は、当該領域のどの部分においても求めることができ、好ましくは蛍光が最も強くなる７８０ｎｍから８５０ｎｍの間の波長を含む。蛍光強度Ｉは、複数の放出波長１５について蛍光強度を加算または積分することによって計算可能である。その結果として、蛍光強度Ｉ_１が時点ｔ_１での入力フレーム１０に対して取得される。なお、蛍光強度は、図２にも示されているが、これは集合３４の部分ではない。

さらに、計算部３８は、現在の入力フレーム１０の蛍光強度、ここではＩ_１を、時系列８の少なくとも先行の入力フレーム１０の蛍光強度Ｉ_ｎに結合するように構成されている。先行のフレームおよび後の時点のフレームの蛍光強度Ｉ_ｎが図２に点線で示されているが、ここでもこれらは集合３４の部分ではない。先行のフレームの蛍光強度Ｉ_ｎは、より容易な識別のためのゴースト線４０によって包囲されている。計算部３８は、蛍光強度Ｉ_１を、観察領域２２において先行して求められた蛍光強度Ｉ_ｎに論理結合することにより、時間シーケンス４０を形成するように適応化されている。

計算部３８はさらに、時間シーケンス４０を、集合３４のコンポーネント信号３６の好ましくは線形の組合せに分解するように構成されている。よって、計算部３８は、観察領域２２内の時間シーケンス４０を形成するコンポーネント信号３６を求める。これらのコンポーネント信号３６は、観察領域２２内に位置している組織のタイプ１６，１８，２０を表す。

計算部３８はさらに、組合せのコンポーネント信号３６の少なくとも１つの部分集合から、コンポーネント信号３６の新たな集合３４を合成するように構成されており、ここから時間シーケンス４０が得られる。

これらのステップは、ついで、各観察領域２２に対して、コンポーネント信号３６の新たな集合を用いて次の入力フレーム１０で作業が開始されるまで、反復される。

各観察領域２２に個別の集合３４を割り当て可能であるか、または単一の集合３４を入力フレーム１０全体に対して用いることができる。これに代えて、集合３４を観察領域２２のグループとして共有し、各入力フレーム１０を複数のこうしたグループから形成することもできる。

反復プロセスの終了時、蛍光が対象物内で減衰する際に、最後の集合４２は、理想的には、対応する観察領域２２の組織のタイプ１６，１８，２０を表すコンポーネント信号３６のみを含む。特定の観察領域２２での時間シーケンス４０を形成するのに必要な最後の集合４２のコンポーネント信号３６の重みは、対応する観察領域２２での組織の各タイプ１６，１８，２０の優勢度を表している。

イメージプロセッサ２６はさらに、画像形成部４４を含み、画像形成部４４は、時系列８の少なくとも１つの入力フレーム１０、好ましくは計算部３８で分析されたばかりの入力フレーム１０と観察領域２２とから出力フレーム４６を形成するように構成されている。画像形成部４４により擬似色が観察領域２２に割り当てられるが、この擬似色は、各観察領域２２のコンポーネント信号３６の組合せまたはコンポーネント信号３６の各重みの組合せに依存する。例えば、ＲＧＢ色空間を利用して、動脈組織を指示するコンポーネント信号に赤色、毛細管組織を指示するコンポーネント信号に緑色、静脈組織を指示するコンポーネント信号に青色を用いることができる。この場合、観察領域の色は、３つのコンポーネント信号の各重みに対応するよう、赤、緑、青を混合することで定められる。

さらに、イメージプロセッサ２６は、出力フレーム４６を出力するための出力部４８を含むことができる。

医用観察装置１は、出力部４８に接続されておりかつ出力フレーム４６を表示可能なディスプレイ５０を含むことができる。ディスプレイ５０の出力フレーム４６には、組織のタイプ１６，１８，２０の異なる擬似色が、種々のフィリング部およびハッチング部として略示されている。

図３には、医用観察装置１の種々の要素によって実行可能な各ステップが示されている。

第１のステップ５４では、コンポーネント信号３６の集合３４が用意される。コンポーネント信号３６の集合３４は、方法の実行前または実行中に形成可能であり、好ましくは記憶可能である。

次に、ステップ５６において、入力フレーム１０の時系列８が順次にアクセスされる。当該アクセスは、上述したように、リアルタイムで実行可能である。

ステップ５８では、観察領域２２の蛍光強度Ｉが求められる。

プロセスは、一構成では、現在の入力フレーム１０の観察領域２２の蛍光強度Ｉが下方の蛍光閾値Ｉ_Ｔ１（図２）を上回った場合および／または上方の蛍光強度閾値Ｉ_Ｔ２（図２）を下回った場合にのみ次のステップ６０へ進行することができる。当該基準が満足されると、観察領域２２の蛍光強度Ｉが減衰閾値Ｉ_Ｔ２を下回るまで、この観察領域２２を反復プロセスにかけることができる。減衰閾値Ｉ_Ｔ２は、下方の強度閾値Ｉ_Ｔ１と同じであってもよいし、またはこれより高くてももしくは低くてもよい。閾値は、単一の入力フレームの、好ましくは後続する予め定められた数の先行の入力フレームの強度が閾値を上回るかまたは下回る場合に、かつ／または予め定められた数の入力フレームにわたって計算された観察領域の平均蛍光強度Ｉが各閾値を下回るかまたは上回る場合に、通過されたと見なすことができる。

Ｉ_Ｔ１およびＩ_Ｔ２に対する閾値の基準が満足された場合、時間シーケンス４０が形成されるよう、現在の入力フレーム１０の蛍光強度Ｉ_１が先行の入力フレーム１０の観察領域２２の蛍光強度Ｉ_ｎに結合される。時間シーケンス４０はステップ６２で後処理にかけることができる。例えば時間シーケンス４０は平滑化可能であり、カーブフィッティングによって計算可能であり、正規化および／またはバンドパスフィルタリングまたはローパスフィルタリングを実行可能である。

次の反復プロセスステップ６４では、時間シーケンス４０が集合３４のコンポーネント信号３６の最良あてはめの組合せに分解される。最良あてはめは例えばＲＭＳアルゴリズムを用いて計算可能である。

ステップ５４〜６４は、一変化形態では、次のステップが実行されるまで、入力フレーム１０の全てまたは複数の観察領域２２について反復可能である。これに代えて、入力フレーム１０の別の観察領域２２についての作業が行われる前に、プロセスをまず次のステップ６６へ移行させてもよい。

次のステップ６６では、入力フレーム１０の１つもしくは幾つかまたは全ての観察領域２２のコンポーネント信号３６の組合せが分析される。新たな集合３４は、単一の観察領域２２の特定の組合せまたは複数の観察領域２２の組合せにおいて最も強いコンポーネント信号３６のみから合成される。例えば、重み閾値を超過する重みを有するコンポーネント信号のみが保持される。２つ以上の観察領域が使用される場合、複数の観察領域を横断する平均重みを用いることができる。また平均は、先行の入力フレームから所定の時間にわたって計算することもできる。これに加えてまたはこれに代えて、予め定められた数の最も強いコンポーネント信号のみを保持してもよい。

さらに、新たな集合において、複数の観察領域２２、好ましくは全ての観察領域２２を横断する発生頻度Ｐが優勢度閾値Ｔ（図１）を上回るコンポーネント信号３６のみを保持してもよい。

当該ステップの狙いは、次の入力フレームに対する集合３４内のコンポーネント信号の数を低減することにある。当該ステップでは、弱いコンポーネント信号および／または頻繁には発生しないコンポーネント信号がノイズおよび誤差から生じていると見なされる。

新たな集合３４のコンポーネント信号３６の少なくとも最新の組合せにおける各コンポーネント信号３６の重みは、例えばメモリ部に記憶させることができる。

この場合、ステップ５４で供給された集合３４は、新たな集合３４によって置換され、プロセスは、次の入力フレームまたは現在の入力フレーム１０の次の観察領域２２によって再び開始される。

上述したように、当該方法により、種々の蛍光体１２および／または種々の観察領域２２に対してそれぞれ異なる集合３４を維持することができる。入力フレーム１０内の全ての観察領域２２に対して単一の集合３４が維持される場合、種々の組織が１つの入力フレーム１０内に含まれると予測できるため、コンポーネント信号３６の数が大きくなる。各コンポーネント信号３６がそれぞれ異なるタイプの組織を表すとき、対象物４の、入力フレーム１０にマッピングされた部分を表すために、多数のコンポーネント信号３６が必要となる。この場合、単一の観察領域２２において優勢の組織タイプを表すのは、この観察領域２２の種々のコンポーネント信号３６の重みである。当該方法に必要な計算労力は、単一の集合３４しか存在しないので、比較的低い。ただし、集合３４内のコンポーネント信号３６が多数であることにより、幾つかの観察領域２２においてコンポーネント信号３６の誤った組合せが計算されるおそれがある。

当該誤りの源は、入力フレーム１０に対して複数の集合３４が維持される場合、計算労力を犠牲にすれば回避することができる。極端なケースとしては、各観察領域２２が自身の集合３４を有することができる。この場合、集合３４のコンポーネント信号３６が各観察領域２２の組織のタイプ１６，１８，２０を表し、当該組合せの各コンポーネント信号３６の重みが観察領域２２の組織の優勢度を表す。

補償されたアプローチでは、観察領域２２の集合が共通の集合３４を共有しうる。こうしたグループの観察領域２２は、例えば蛍光強度閾値Ｉ_Ｔ１（図２）が上方超過された時点によって分類可能である。２つ以上の時間インターバルを定めることにより、当該グループは容易に識別可能である。

さらなる尺度量として、各観察領域２２に対し、ブレークオフ基準またはカットオフ基準を定めることもできる。こうした基準が満足されると、反復プロセスは当該特定の観察領域２２において停止され、コンポーネント信号の最後の組合せにおける、新たな集合のコンポーネント信号３６の最新の重みが、後の分析のために記憶される。

さらに、ステップ６８で出力フレーム４６を形成でき、ステップ７０でこれをディスプレイ５０に表示できる。

ステップ６８および７０は、反復プロセスステップ５８〜６６が計算されるたびに、つまり時系列８の各入力フレーム１０のたびに実行される必要はなく、予め定められた時間インターバルで実行することができる。ただし、好ましくは、反復プロセスステップ５８〜６６がリアルタイムで、つまり入力フレーム１０が受信されるのと同じ速度で実行される。ステップ５６での入力フレーム１０へのアクセスは、好ましくは、フリッカフレームレート、すなわち人間の目にとって滑らかな動画像シーケンスのレンダリングに要求されるフレームレートよりも高速なフレームレートで、発生する。典型的には、フリッカフレームレートは２６Ｈｚよりも高速である。出力フレーム４６は、好ましくは、フレームレートと同じ頻度で形成される。

もちろん、上述したプロセスは、撮像された動画像シーケンスの一括処理として動作させることもできる。

図４には、時間シーケンス４０を、離散的な時間関数ｇ（ｔ），ｈ（ｔ），ｘ（ｔ），ｙ（ｔ），ｚ（ｔ）として示されている２つ以上のコンポーネント信号３６に分解することが示されている。時間シーケンス４０は、当該関数の組合せ７２として表現することができる。

時間シーケンス４０の写像分解のために、
が保持されるように、ｆ（ｔ）の最も近い近似が計算される。時間シーケンス４０は複数の標本点５２から成るので、重みａ〜ｅは、種々の標準アルゴリズム、例えばＲＭＳ近似によって正確に求めることができる。図４の左方部分には、２つのコンポーネント信号ｇ（ｔ）およびｈ（ｔ）に有効に分解された、それぞれ等しい正規化重み、例えばａ＝ｂ＝１を有する時間シーケンス４０が示されている。コンポーネント信号ｙ（ｔ）およびｚ（ｔ）の関数は、時間シーケンスに寄与せず、すなわち、ｄ＝ｅ＝０であり、関数ｘ（ｔ）は、重み閾値Ｗを下回るきわめて小さな重みｃ＜Ｗしか有しないので、ノイズから生じたものと考えられる。

図４の中央部分では、関数ｆ（ｔ）を最良に近似するため、関数ｇ（ｔ）の重みが関数ｈ（ｔ）の重みの１／２となっている。当該状況は、図４の右方部分では反転されており、こちらでは関数ｈ（ｔ）の重みが関数ｇ（ｔ）の重みの１／２のみとなっている。

１ 医用観察装置
２ カメラ系
４ 対象物
６ 視野
８ 時系列
１０ 入力フレーム
１２ 蛍光体
１３ 照明系
１４ 蛍光励起波長
１５ 蛍光放出波長
１６ 動脈組織
１８ 毛細管組織
２０ 静脈組織
２２ 観察領域
２３ ピクセル
２６ イメージプロセッサ
２８ データ伝送線
３０ 入力部
３２ メモリ部
３４ コンポーネント信号の集合
３６ コンポーネント信号
３８ 計算部
４０ 時間シーケンス
４２ 入力部の最後の集合
４４ 画像形成部
４６ 出力フレーム
４８ 出力部
５０ ディスプレイ
５２ 標本点
５４，５６，５８，６０，６２，６４，６６，６８，７０ プロセスステップ
７２ コンポーネント信号の組合せ
ａ，ｂ，ｃ，ｄ，ｅ 重み
ｆ，ｇ，ｈ，ｘ，ｚ，ｙ 離散的な時間関数
Ｉ 蛍光強度
Ｉ_１ 特定の観察領域での時点ｔ_１の蛍光強度
Ｉ_Ｔ１，Ｉ_Ｔ２，Ｉ_Ｔ３ 蛍光強度閾値
Ｉ_ｎ 特定の観察領域での、時間に関する蛍光強度の時間シーケンス
Ｐ コンポーネント信号の発生頻度
Ｔ 優勢度（prevalence）閾値
ｔ 時間
ｔ_０ 対象物への蛍光体の投与時点
ｔ_１ 特定の時点
Ｗ 重み閾値

Claims (15)

1. 少なくとも１つの蛍光体（１２）のボーラスを含有する対象物（４）を観察する方法であって、前記方法は、
   ・時間（ｔ）に関する前記蛍光体（１２）の蛍光強度展開をそれぞれ表すコンポーネント信号（３６）の集合（３４）を供給するステップと、
   ・前記対象物（４）の、電子的に符号化された静止画像を表しており、かつ少なくとも１つのピクセル（２３）を含む少なくとも１つの観察領域（２２）をそれぞれ含む入力フレーム（１０）の時系列（８）にアクセスするステップと、
   を含み、
   前記方法はさらに、
   ・前記時系列（８）の１つの入力フレーム（１０）の観察領域（２２）における蛍光強度（Ｉ_１）を、前記蛍光体（１２）の少なくとも１つの蛍光放出波長（１５）について自動的に求める、反復プロセスステップと、
   ・前記蛍光強度（Ｉ_１）を、前記時系列（８）の先行の入力フレーム（１０）の観察領域（２２）の蛍光強度（Ｉ_ｎ）に自動的に結合して、観察領域（２２）の各蛍光強度（Ｉ_１，Ｉ_ｎ）の時間シーケンス（４０）を形成する、反復プロセスステップと、
   ・前記時間シーケンス（４０）を前記集合（３４）内の少なくとも幾つかのコンポーネント信号（３６）の組合せ（７２）に自動的に分解する、反復プロセスステップと、
   ・前記組合せ（７２）のコンポーネント信号（３６）の少なくとも１つの部分集合を、コンポーネント信号（３６）の新たな集合（３４）として自動的に供給する、反復プロセスステップと、
   を含み、
   前記コンポーネント信号（３６）の前記組合せ（７２）に依存して色空間からの１色を前記観察領域（２２）に割り当てた出力フレーム（４６）を形成する、
   方法。
2. 前記反復プロセスステップを、蛍光強度（Ｉ_１，Ｉ_ｎ）が少なくとも１つの入力フレーム（１０）の観察領域（２２）での蛍光閾値（Ｉ_Ｔ１）を上回る場合にのみ実行する、
   請求項１記載の方法。
3. １つの組合せ（７２）における個々のコンポーネント信号（３６）を重みづけし、前記組合せ（７２）における個々のコンポーネント信号の重み（ａ，ｂ，ｃ，ｄ，ｅ）が重み閾値（Ｗ）を超過する場合にのみ、コンポーネント信号（３６）が新たな集合（３４）に含まれるようにする、
   請求項１または２記載の方法。
4. 前記新たな集合（３４）内のコンポーネント信号（３６）の数は、分解に用いられる集合（３４）内のコンポーネント信号の数よりも小さい、
   請求項１から３までのいずれか１項記載の方法。
5. １つの組合せ（７２）における予め定められた数の最も強いコンポーネント信号（３６）を新たな集合（３４）に含めるように選択する、
   請求項１から４までのいずれか１項記載の方法。
6. 各入力フレーム（１０）は、複数の観察領域（２２）を含み、
   前記反復プロセスステップを、全ての観察領域（２２）に対して実行する、
   請求項１から５までのいずれか１項記載の方法。
7. 前記反復プロセスステップはさらに、観察領域（２２）での発生頻度（Ｐ）が優勢度閾値（Ｔ）を超過するコンポーネント信号（３６）のみを前記集合（３４）に自動的に含めるステップを含む、
   請求項６記載の方法。
8. 前記反復プロセスステップを、前記時系列（８）の入力フレーム（１０）が受信されている間、実行する、
   請求項１から７までのいずれか１項記載の方法。
9. 前記反復プロセスステップを、前記時系列（８）の後続の２つの入力フレーム（１０）の受信の間、実行する、
   請求項１から８までのいずれか１項記載の方法。
10. 前記入力フレーム（１０）と同じフレームレートで形成された出力フレーム（４６）を受信する、
    請求項１から９までのいずれか１項記載の方法。
11. 前記出力フレーム（４６）をモニタに表示する、
    請求項１から１０までのいずれか１項記載の方法。
12. 前記入力フレーム（１０）が受信されている際に、リアルタイムで、前記出力フレーム（４６）を表示する、
    請求項１から１１までのいずれか１項記載の方法。
13. 請求項１から１２までのいずれか１項記載の方法をコンピュータに実行させるためのプログラムを記憶している、非一時的なコンピュータ記憶媒体。
14. 医用観察装置（１）用、例えば顕微鏡用または内視鏡用のイメージプロセッサ（２６）であって、前記イメージプロセッサ（２６）は、入力部（３０）と、メモリ部（３２）と、計算部（３８）と、画像形成部（４４）と、出力部（４８）と、を含み、
    ‐前記入力部（３０）は、対象物（４）の、電子的に符号化された静止画像を表し、かつ少なくとも１つのピクセル（２３）を含む少なくとも１つの観察領域（２２）をそれぞれ含む入力フレーム（１０）の時系列（８）を受信するように構成されており、
    ‐前記メモリ部（３２）は、時間（ｔ）に関する、蛍光体（１２）の蛍光強度の過程を表すコンポーネント信号（３６）の集合（３４）を記憶するように構成されており、
    ‐前記計算部（３８）は、
    ・前記時系列（８）の１つの入力フレーム（１０）の観察領域（２２）における蛍光強度（Ｉ）を、前記観察領域（２２）における前記蛍光体（１２）の少なくとも１つの蛍光放出波長（１５）について求め、
    ・１つの入力フレーム（１０）の観察領域（２２）の前記蛍光強度（Ｉ_１）を前記時系列（８）の先行の入力フレーム（１０）の蛍光強度（Ｉ_ｎ）に結合して、観察領域（２２）の各蛍光強度（Ｉ_１，Ｉ_ｎ）の時間シーケンス（４０）を形成し、
    ・前記時間シーケンス（４０）を前記集合（３４）のコンポーネント信号（３６）の組合せ（７２）に分解し、
    ・前記組合せ（７２）のコンポーネント信号（３６）から、前記集合（３４）の置換物として、コンポーネント信号（３６）の新たな集合（３４）を合成する、
    ように構成されており、
    ‐前記画像形成部（４４）は、前記時系列（８）の少なくとも１つの入力フレーム（１０）を、前記組合せ（７２）に依存して色空間からの１つの擬似色を割り当てた観察領域（２２）に結合することによって、出力フレーム（４６）を形成するように構成されており、
    ‐前記出力部（４８）は、前記出力フレーム（４６）を出力するように構成されている、
    イメージプロセッサ（２６）。
15. 請求項１４記載のイメージプロセッサ（２６）と、入力フレーム（１０）を導出するカメラ系（２）と、を含む、医用観察装置（１）、例えば顕微鏡または内視鏡。