JP2016538542A - 蛍光画像処理装置及び方法 - Google Patents

Abstract

本発明は蛍光画像を増強するための蛍光画像処理装置１００に関する。蛍光画像処理装置１００は、画像セグメンテーションユニット１１０、バックグラウンド決定ユニット１２０、バックグラウンド低減ユニット１３０、及び画像増強ユニット１４０を有する。最初にガラススライドのバックグラウンドと関心エリアをセグメント化し、このセグメンテーションを用いて両者間のコントラストを増強することが提案される。それにより、増強後に画像データが依然として人のオペレータにとって快適なコントラストを持ちながら、スキャン及び染色時間が削減されることがきる。

Description

本発明は蛍光画像を増強するための蛍光画像処理装置及び方法、蛍光イメージングシステム及び方法、蛍光画像処理コンピュータプログラム、並びに蛍光イメージングコンピュータプログラムに関する。

生命科学において、蛍光顕微鏡法は関心のあるタンパク質若しくは他の分子の分布を検出するために標本の特異的及び感受性染色を可能にする強力なツールである。バックグラウンドは染色されないままであるため、典型的な蛍光画像は暗く、複数のエリアが照射される。

デジタル病理学の導入により、画像解析ツールを用いる支援が可能になっている。高スループットを実現するためには、低スキャン及び染色時間が必要である。この傾向は近い将来ますます応用されることになる蛍光顕微鏡法にも当てはまる。低スキャン及び染色時間は顕著な低ＳＮＲをもたらす。これは画像解析ツールにとって依然許容可能であるが、人のオペレータにとって快適なコントラストを得るために特殊な増強が要求される。これは人のオペレータが（依然として）責任を負うため必要である。

ＵＳ２００６１４９４７９Ａ１は、関心フルオロフォア以外のフルオロフォアからの不要な蛍光を選択的に除去若しくは低減することによって、生体組織などのオブジェクトの蛍光画像を増強するための方法を記載する。この方法は関心フルオロフォアの蛍光強度に関する情報を保存しながらフルオロフォアのライフタイムの測定に基づく。

蛍光画像を処理するときの改良された画像増強技術が必要である。

本発明の目的は、蛍光画像の処理のための改良された画像増強技術を特徴とする、蛍光画像を増強するための蛍光画像処理装置及び方法、蛍光イメージングシステム及び方法、蛍光画像処理コンピュータプログラム、並びに蛍光イメージングコンピュータプログラムを提供することである。

本発明の第一の態様において、蛍光画像を増強するための蛍光画像処理装置が提供される。蛍光画像処理装置は蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアにセグメント化するように構成される画像セグメンテーションユニットと；蛍光画像におけるバックグラウンド信号を測定するように構成されるバックグラウンド決定ユニットと；バックグラウンド信号の測定に応じて、一つ以上のバックグラウンドエリアにおけるバックグラウンド信号を低減するが、関心エリアにおいては低減しないように構成されるバックグラウンド低減ユニットと、一つ以上の関心エリアを増強するが、一つ以上のバックグラウンドエリアは増強しないように構成される画像増強ユニットとを有する。

本発明の重要なアイデアは、最初に単一画像をセグメント化し（単一画像に基づく）、そしてセグメンテーションに基づいてバックグラウンド信号を測定し、そして測定されたバックグラウンド信号に基づいてバックグラウンド信号を抑制（若しくは低減）し、最後にオブジェクト信号を増強することに関する。オブジェクトを増強するために、例えばバックグラウンド中のノイズの量を使用することが好適には提案される。従って、本発明は好適にはバックグラウンド信号の測定とオブジェクト信号の増強との間のリンクを利用する。バックグラウンド測定及び抑制とオブジェクト信号の増強の順序は、画像セグメンテーション後に、バックグラウンド信号が測定及び抑制される前に、オブジェクト信号が最初に増強されるように、入れ替えられることができる。さらに、バックグラウンド測定と抑制はオブジェクト信号増強と並行して実行されることができる。本発明はこのようにガラススライドのバックグラウンドと関心エリアを最初にセグメント化し、このセグメンテーションを用いて両者間のコントラストを増強することを提案する。それにより、増強後に画像データが人のオペレータにとって快適なコントラストを依然持ちながら、スキャン及び染色時間が削減されることができる。

本発明の好適な実施形態において、画像増強ユニットの出力は画像解析アルゴリズムのための入力として使用される。

本発明のさらなる好適な実施形態において、バックグラウンド信号は画像増強ユニットを制御するために使用される。

本発明のさらなる好適な実施形態において、蛍光画像処理装置は蛍光画像を受信するために適した入力と；増強された蛍光画像を出力するために適した出力とをさらに有する。蛍光画像を受信するために適した入力を提供することによって、蛍光画像処理装置は顕微鏡を修正する必要なく直接的な方法で一般的な蛍光顕微鏡とともに使用されることができる。さらに、増強された蛍光画像を出力するために適した出力を提供することによって、蛍光画像処理装置は本発明の蛍光画像処理装置とともに使用されるように更新される必要のない、モニタ若しくはスクリーンなどの一般的なディスプレイユニットとともに使用されることができる。

本発明のさらなる好適な実施形態において、蛍光画像処理装置は蛍光画像を保存するために適した画像保存ユニットをさらに有する。蛍光画像を保存するための画像保存ユニットを提供することによって、蛍光画像処理装置は後半段階でコントラスト増強手順を繰り返す可能性を提供する。同様に、蛍光画像処理装置は画像セグメンテーションの、バックグラウンド決定の、バックグラウンド抑制の、及び／又はオブジェクト画像増強の、それぞれ異なる選択のためのコントラスト増強を実行する可能性を提供する。

本発明のさらなる好適な実施形態において、画像保存ユニットに保存される蛍光画像は画像セグメンテーションユニットへの入力信号として使用され得る。それにより、品質改良アルゴリズムが保存された蛍光画像に適用されることができる。同様に、画質をさらに向上させるために画像処理が反復的に適用されることができる。

本発明のさらなる好適な実施形態において、蛍光画像処理装置は測定されたバックグラウンド信号を保存するために適したバックグラウンド保存ユニットをさらに有する。測定されたバックグラウンド信号を保存するために適したバックグラウンド保存ユニットを提供することによって、蛍光画像処理装置は決定されたバックグラウンド信号のために様々なバックグラウンド減算法をテストする可能性を提供する。好適には、様々なバックグラウンド減算法の最終結果は相互に比較される。好適には、比較の結果に基づいて一つのバックグラウンド減算法が選択される。

本発明のさらなる好適な実施形態において、バックグラウンド保存ユニットに保存されるバックグラウンド信号はバックグラウンド低減ユニットへの入力信号として使用され得る。それによって、品質改良アルゴリズムが保存されたバックグラウンド信号に適用されることができる。同様に、画質をさらに向上させるために画像処理が反復的に適用されることができる。

本発明のさらなる好適な実施形態において、蛍光画像処理装置は増強された蛍光画像をディスプレイユニットへ送信するための送信ユニットをさらに有する。増強された蛍光画像をディスプレイユニットへ送信するための送信ユニットを提供することによって、蛍光画像処理装置は本発明の蛍光画像処理装置とともに使用されるためにアップグレードされる必要のない、モニタ若しくはスクリーンなどの一般的なディスプレイユニットとともに使用されることができる。好適には、送信ユニットは例えばＷＬＡＮネットワークなどを介して、無線方式で増強された蛍光画像を送信するために適している。好適には、送信ユニットはアンテナである。そして、蛍光画像処理装置はディスプレイユニットに物理的に結合される必要さえない。実際、蛍光画像処理装置はディスプレイユニットとは別の部屋、別の建物、若しくは別の都市にさえあってもよい。これは蛍光顕微鏡法の専門家が遠隔から蛍光画像処理装置をモニタすることを可能にし、従って本発明の柔軟性を高める。

本発明のさらなる好適な実施形態において、蛍光画像処理装置は蛍光顕微鏡から収集された蛍光画像を受信するための受信ユニットをさらに有する。蛍光顕微鏡から収集された蛍光画像を受信するための受信ユニットを提供することによって、蛍光画像処理装置は本発明の蛍光画像処理装置とともに使用されるためにアップグレードされる必要のない、一般的な蛍光顕微鏡とともに使用されることができる。好適には、受信ユニットは例えばＷＬＡＮネットワークなどを介して、無線方式で収集された蛍光画像を受信するために適している。好適には、受信ユニットはアンテナである。そして、蛍光画像処理装置は蛍光顕微鏡に物理的に結合される必要さえない。実際、蛍光画像処理装置は蛍光顕微鏡とは別の部屋、別の建物、若しくは別の都市にさえあってもよい。これは例えば蛍光画像処理装置がまだ工場にある間など、遠隔から特定の蛍光顕微鏡で蛍光画像処理装置を訓練することを可能にする。

本発明のさらなる好適な実施形態において、画像セグメンテーションユニットは動的閾値処理を適用することによって及び／又は局所的ヒストグラムベース法を適用することによって、蛍光画像をセグメント化するように構成される。全ピクセルに大域的閾値を使用する従来の閾値処理法と対照的に、適応的若しくは動的閾値処理は閾値を画像全体にわたって動的に変化させる。それにより、方法は局所変動（例えば染色強度における局所変動に起因する）に対する感度が低くなる。

本発明のさらなる好適な実施形態において、バックグラウンド決定ユニットは蛍光画像から平滑化ヒストグラムを作り出すように構成される。平滑化ヒストグラムはバックグラウンド信号の特性（例えば平均及び分散）を測定するために使用される。この平滑化ヒストグラムは一般にバックグラウンド信号において潜在する変動をより正確に反映する。

本発明のさらなる好適な実施形態において、バックグラウンド低減ユニットは一つ以上のバックグラウンドエリアを平滑化することによって及び／又は一つ以上のバックグラウンドエリアをクリッピングすることによってバックグラウンド信号を低減するように構成される。バックグラウンド信号の平滑化はバックグラウンド信号におけるノイズを低減するために適用される。本質的に、信号の高周波数成分が低減及び／又は抑制されるが、低周波数成分は保持される。

本発明のさらなる好適な実施形態において、画像増強ユニットは一つ以上の関心エリアをブースティングすることによって及び／又は一つ以上の関心エリアをピーキングすることによって増強するように構成される。ピーキングはオブジェクト及び／又は関心エリアのエッジをより明確にするために、並びにオブジェクト及び／又は関心エリアをバックグラウンド信号からより区別するために適用され得る。ブースティングはオブジェクト及び／又は関心エリアのコントラストを増強するために適用され得る。

本発明の第二の態様において、蛍光画像を収集するために適した蛍光顕微鏡と；蛍光画像を増強するための蛍光画像処理装置と；増強された蛍光画像を表示するための表示ユニットとを有する蛍光イメージングシステムが提供され、蛍光画像処理装置は本発明の第一の態様にかかる蛍光画像処理装置である。

本発明の第三の態様において、蛍光画像を増強するための蛍光画像処理法が提供される。蛍光画像処理法は蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアへセグメント化するステップと；蛍光画像においてバックグラウンド信号を測定するステップと；バックグラウンド信号の測定に応じて、一つ以上のバックグラウンドエリアにおいてバックグラウンド信号を低減するが、一つ以上の関心エリアでは低減しないステップと；一つ以上の関心エリアを増強するが、一つ以上のバックグラウンドエリアは増強しないステップとを有する。

本発明の第四の態様において、蛍光画像を収集するステップと；本発明の第三の態様の蛍光画像処理法に従って蛍光画像を処理するステップと；増強された蛍光画像を表示するステップとを有する、蛍光イメージング法が提供される。

本発明の第五の態様において、蛍光画像を増強するための蛍光画像処理コンピュータプログラムが提供される。蛍光画像処理コンピュータプログラムは、蛍光画像処理コンピュータプログラムが蛍光画像処理装置を制御するコンピュータ上で実行されるときに、蛍光画像処理装置に蛍光画像処理法のステップを実行させるためのプログラムコード手段を有する。

本発明の第六の態様において、蛍光イメージングコンピュータプログラムが蛍光イメージングシステムを制御するコンピュータ上で実行されるときに、蛍光イメージングシステムに蛍光イメージング法のステップを実行させるためのプログラムコード手段を有する、蛍光イメージングコンピュータプログラムが提供される。

請求項１の蛍光画像処理装置、請求項１１の蛍光イメージングシステム、請求項１２の蛍光画像処理法、請求項１３の蛍光イメージング法、請求項１４の蛍光画像処理コンピュータプログラム、請求項１５の蛍光イメージングコンピュータプログラムは、従属請求項に定義される同様の及び／又は同一の好適な実施形態を持つことが理解されるものとする。

本発明の好適な実施形態は従属請求項若しくは上記実施形態と各独立請求項との任意の組み合わせでもあり得ることが理解されるものとする。

本発明のこれらの及び他の態様は以降に記載の実施形態から明らかとなり、それらを参照して解明される。

蛍光画像処理装置を概略的に例示的に示す。 オプションの保存ユニットとともに蛍光画像処理装置を概略的に例示的に示す。 オプションの送信及び受信ユニットとともに蛍光画像処理装置を概略的に例示的に示す。 蛍光イメージングシステムを概略的に例示的に示す。 蛍光画像処理法を概略的に例示的に示す。 蛍光イメージング法を概略的に例示的に示す。 典型的な蛍光画像を概略的に例示的に示す。 大域的増強の効果を概略的に例示的に示す。 図７の蛍光画像のセグメンテーションマップを概略的に例示的に示す。 本発明の一実施形態にかかる画像セグメンテーション後のバックグラウンド抑制及び局所的増強の効果を概略的に例示的に示す。 局所的増強のみの効果を概略的に例示的に示す。 バックグラウンド抑制のみの効果を概略的に例示的に示す。

図１は蛍光画像を増強するための蛍光画像処理装置１００の一実施形態を概略的に例示的に示す。蛍光画像処理装置１００は、蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアにセグメント化するように構成される画像セグメンテーションユニット１１０と；蛍光画像におけるバックグラウンド信号を測定するように構成されるバックグラウンド決定ユニット１２０と；バックグラウンド信号の測定に応じて、一つ以上のバックグラウンドエリアにおいてバックグラウンド信号を低減するが、一つ以上の関心エリアでは低減しないように構成されるバックグラウンド低減ユニット１３０と；一つ以上の関心エリアを増強するが、一つ以上のバックグラウンドエリアは増強しないように構成される画像増強ユニット１４０とを有する。オプションとして、バックグラウンド決定ユニット１２０と画像増強ユニット１４０の間のリンクもあり得る。言い換えれば、ノイズの量が測定され、この量は関心オブジェクトの増強を制御するための入力パラメータとして使用され得る。

本発明の重要なアイデアは、単一画像を最初にセグメント化し（単一画像に基づく）、そしてセグメンテーションに基づいてバックグラウンド信号を測定し、そして測定されたバックグラウンド信号に基づいてバックグラウンド信号を抑制（若しくは低減）し、最後にオブジェクト信号を増強させることに関する。バックグラウンド測定及び抑制と、オブジェクト信号の増強の順序は、画像セグメンテーション後に、バックグラウンド信号が測定及び抑制される前に、オブジェクト信号が最初に増強されるように、入れ替えられることができる。さらに、バックグラウンド測定及び抑制はオブジェクト信号増強と並行して実行されることができる。本発明はこのようにガラススライドのバックグラウンド及び関心エリアを最初にセグメント化し、このセグメンテーションを用いて両者間のコントラストを増強することを提案する。それにより、増強後に画像データが人のオペレータにとって快適なコントラストを依然持ちながら、スキャン及び染色時間が削減されることができる。

図１において、蛍光画像処理装置１００は蛍光画像を受信するために適した（オプションの）入力１００ａと、増強された蛍光画像を出力するために適した（オプションの）出力１００ｂとをさらに有する。蛍光画像を受信するために適した入力を提供することによって、蛍光画像処理装置は顕微鏡を修正する必要なしに直接的な方法で一般的な蛍光顕微鏡とともに使用されることができる。さらに、増強された蛍光画像を出力するために適した出力を提供することによって、蛍光画像処理装置は本発明の蛍光画像処理装置とともに使用されるために更新される必要のない、モニタ若しくはスクリーンなどの一般的なディスプレイユニットとともに使用されることができる。

図２はオプションの保存ユニット２１０，２２０とともに蛍光画像処理装置１００の一実施形態を概略的に例示的に示す。画像保存ユニット２１０は蛍光画像を保存するために適している。オプションとして、後続の処理ステップにおいて、画像保存ユニット２１０に保存される蛍光画像は画像セグメンテーションユニット１１０への入力信号として使用され得る。それにより、品質改良アルゴリズムが保存された蛍光画像に適用されることができる。同様に、画質をさらに向上させるために画像処理が反復的に適用されることができる。バックグラウンド保存ユニット２２０はバックグラウンド決定ユニット１２０から測定されたバックグラウンド信号を保存するために適している。オプションとして、後続の処理ステップにおいて、バックグラウンド保存ユニット２２０に保存されるバックグラウンド信号はバックグラウンド低減ユニット１３０への入力信号として使用され得る。それにより、品質改良アルゴリズムが保存されたバックグラウンド信号に適用されることができる。同様に、画質をさらに向上させるために画像処理が反復的に適用されることができる。

蛍光画像を保存するための画像保存ユニットを提供することによって、蛍光画像処理装置は後半段階においてコントラスト増強手順を繰り返す可能性を提供する。同様に、蛍光画像処理装置は画像セグメンテーション、バックグラウンド決定、バックグラウンド抑制、及び／又はオブジェクト画像増強の、それぞれ異なる選択のためのコントラスト増強を実行する可能性を提供する。

測定されたバックグラウンド信号を保存するために適したバックグラウンド保存ユニットを提供することによって、蛍光画像処理装置は決定されたバックグラウンド信号のために様々なバックグラウンド減算法をテストする可能性を提供する。好適には、様々なバックグラウンド減算法の最終結果は相互に比較される。好適には、比較の結果に基づいて一つのバックグラウンド減算法が選択される。

図３はオプションの送信及び受信ユニット３２０，３１０とともに蛍光画像処理装置１００の一実施形態を概略的に例示的に示す。受信ユニット３１０は蛍光顕微鏡から収集された蛍光画像を受信するために適している。送信ユニット３２０は増強された蛍光画像をディスプレイユニットへ送信するように構成される。

増強された蛍光画像をディスプレイユニットへ送信するための送信ユニットを提供することによって、蛍光画像処理装置は、本発明の蛍光画像処理装置とともに使用されるためにアップグレードされる必要のない、モニタ若しくはスクリーンなどの一般的なディスプレイユニットともに使用されることができる。好適には、送信ユニットは例えばＷＬＡＮネットワークなどを介して、無線方式で増強された蛍光画像を送信するために適している。好適には、送信ユニットはアンテナである。そして、蛍光画像処理装置はディスプレイユニットへ物理的に結合される必要さえない。実際、蛍光画像処理装置はディスプレイユニットとは別の部屋、別の建物、若しくは別の都市にさえあってもよい。これは蛍光顕微鏡法の専門家が遠隔から蛍光画像処理装置をモニタすることを可能にし、従って本発明の柔軟性を高める。

蛍光顕微鏡から収集された蛍光画像を受信するための受信ユニットを提供することによって、蛍光画像処理装置は、本発明の蛍光画像処理装置とともに使用されるためにアップグレードされる必要のない、一般的な蛍光顕微鏡とともに使用されることができる。好適には、受信ユニットは例えばＷＬＡＮネットワークなどを介して、無線方式で収集された蛍光画像を受信するために適している。好適には受信ユニットはアンテナである。そして、蛍光画像処理装置は蛍光顕微鏡へ物理的に結合される必要さえない。実際、蛍光画像処理装置は蛍光顕微鏡とは別の部屋、別の建物、若しくは別の都市にさえあってもよい。これは例えば蛍光画像処理装置がまだ工場にある間など、遠隔から特定の蛍光顕微鏡で蛍光画像処理装置を訓練することを可能にする。

図４は蛍光イメージングシステム４００の一実施形態を概略的に例示的に示す。蛍光イメージングシステム４００は蛍光画像を収集するために適した蛍光顕微鏡４１０と；蛍光画像を増強するための蛍光画像処理装置１００と；増強された蛍光画像を表示するためのディスプレイユニット４２０とを有する。このアプローチは例えばＦＩＳＨ（蛍光Ｉｎ Ｓｉｔｕハイブリダイゼーション）解析のための前処理ステップなど、画像解析ツールのための前処理ステップとしても使用されることができることに留意されたい。

図５は蛍光画像を増強するための蛍光画像処理法５００の一実施形態を概略的に例示的に示す。蛍光画像処理法５００は蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアにセグメント化するステップ５１０と；蛍光画像においてバックグラウンド信号を測定するステップ５２０と；バックグラウンド信号の測定に応じて、一つ以上のバックグラウンドエリアにおいてバックグラウンド信号を低減するが、一つ以上の関心エリアでは低減しないステップ５３０と；一つ以上の関心エリアを増強するが、一つ以上のバックグラウンドエリアは増強しないステップ５４０とを有する。

図６は蛍光イメージング法６００の一実施形態を概略的に例示的に示す。蛍光イメージング法６００は蛍光画像を収集するステップ６１０と；蛍光画像処理法５００に従って蛍光画像を処理するステップと；増強された蛍光画像を表示するステップ６２０とを有する。

蛍光顕微鏡は、有機物若しくは無機物の特性を研究するために反射及び吸収の代わりに、若しくは加えて、蛍光及びリン光を使用する光学顕微鏡である。標本は（一又は複数の）特異的波長の光で照射され、これはフルオロフォア（光励起により光を再発光することができる蛍光化合物）によって吸収され、それらにより長波長の（すなわち吸収光と異なる色の）光を発光させる。サンプルが蛍光顕微鏡に適するためには、蛍光性でなければならない。蛍光サンプルを作成するいくつかの方法がある；主な方法は蛍光染料で、又は生体サンプルの場合、蛍光タンパク質の発現でラベルすることである。生命科学において蛍光顕微鏡は関心のあるタンパク質若しくは他の分子の分布を検出するために標本の特異的及び感受性染色を可能にする強力なツールである。バックグラウンドは染色されないままであるため、図７に示す通り典型的な蛍光画像は暗く、複数のエリアが照射される。

現在、染色プロセスは主に視覚解析のために最適化されている。全プロセスはバックグラウンドと関心エリアの間のコントラストにフォーカスしている。信号対ノイズ比（ＳＮＲ）は人のオペレータによる即時かつ迅速な解釈のために十分大きくなければならない。

デジタル病理学の導入により、画像解析ツールを用いる支援が可能になっている。高スループットを実現するためには、低スキャン及び染色時間が必要である。典型的なスキャン時間は４０ｘの対物レンズ倍率と０．７５のＮＡに相当する分解能で１５ｘ１５ｍｍ^２のスキャンエリアを持つ一枚のガラススライドの場合およそ６０秒である。これは従来の（明視野）顕微鏡法に当てはまる。この傾向は近い将来ますます応用されることになる蛍光顕微鏡にも当てはまる。低スキャン及び染色時間は顕著な低ＳＮＲをもたらす。これは画像解析ツールにとって依然許容可能であるが、人のオペレータにとって快適なコントラストを得るために特殊な増強が要求される。これは人のオペレータが（依然）責任を負うため、必要である。

人の目は暗領域におけるわずかな照明差にあまり感度が高くない。標準的な（大域的）画像増強技術は、これらの技術が特定のコンテンツに対処しないので、（図８に見られる通り）機能しない。標準的な大域的画像増強技術を記載する参考文献については、例えばＧｏｎｚａｌｅｚ，Ｗｏｏｄｓ，Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｄｉｔｉｏｎ，ｔｈｉｒｄ ｅｄｉｔｉｏｎ，Ｐｅａｒｓｏｎ，２００８，ＩＳＢＮ‐１３：９７８０１３２３４５６３７を参照のこと。それにより、回避されるべきバックグラウンド信号におけるノイズも増強されることになる。

しかしながら、画像解析を用いることにより、画像中の特定エリアが増強若しくは低減され得る。関心エリアのセグメンテーションマップを作成することにより、及び関心エリアを増強してバックグラウンド信号を低減することにより、バックグラウンドと関心エリアの間のコントラストが増強され得る。そして、測定されるＳＮＲが著しく小さくなり得る。それにより、より短い染色及びスキャン時間が可能である。

大域的ノイズ低減法は典型的には関心エリアがまた平滑化されるように、完全な画像にローパスフィルタを適用する。

エッジ保存フィルタのような局所的ノイズ低減法は関連するエッジを保存しながら信号中のノイズを低減しようとする（エッジ保存フィルタを記載する参考文献については、例えばＧｏｎｚａｌｅｚ，Ｗｏｏｄｓ，Ｄｉｇｉｔａｌ Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ：Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｄｉｔｉｏｎ，ｔｈｉｒｄ ｅｄｉｔｉｏｎ，Ｐｅａｒｓｏｎ，２００８，ＩＳＢＮ‐１３：９７８０１３２３４５６３７における適応フィルタについてのセクション５．３．３．を参照のこと）。それにより、関心エリア内のわずかな差（例えば蛍光ドット）も平滑化される。さらに、問題は関連するエッジ（すなわち関心エリアの境界）とバックグラウンド信号におけるノイズによって生じるエッジとを区別する正確な閾値を決定する方法である。

本発明は最初にセグメンテーションを作成することによってこの問題を解決する。これは関心エリアを見つけるために例えばエッジを見るだけでなくコンテンツについての知識を用いることも適用し得る。次に、バックグラウンド信号が測定される。次に、この測定されたノイズレベルがバックグラウンドノイズを可能な限り抑制するために使用される。さらに、コントラストレベルをさらに増すためにセグメント化された関心エリアがブーストされる。

非局所的手段（画像中の全ピクセルの非局所的平均化に基づく画像ノイズ除去プロセス）のような局所的ノイズ低減法は、局所パッチとパッチのセットとの間の類似度に基づいてピクセルをフィルタする。再度、コンテンツ（例えば蛍光ドット）についての特定の知識は使用されないので、関心エリア内のわずかな差も平滑化されることになる。

以下のステップが提案される：
１．バックグラウンド及び関心エリアセグメンテーション（機械学習若しくは双方向フィルタリングを用いても可能）
２．バックグラウンド信号の測定
３．バックグラウンド信号の低減／抑制
４．関心エリアの増強

ステップ３及び４の順序は入れ替えられることができる。さらに、関心エリアとバックグラウンドの間の境界は複数の方法によって決定されることができる。第一に、バックグラウンド強度レベルに基づいて局所的閾値が決定されることができる。第二に、関心エリアの強度に基づいて生成されるシードを用いて領域拡張が適用されることができる。

第一のステップにおいて、バックグラウンドと関心エリアの間のセグメンテーションが要求される。画像セグメンテーションはデジタル画像を複数のセグメントへ分割することに関する。バックグラウンド信号における局所的差に対してロバストな動的閾値処理などの技術が適用可能である。付加的に若しくは代替的に、（局所的）ヒストグラムベース法が適用され得る。セグメンテーションの一実施例が図９に示される。動的閾値処理及び（局所的）ヒストグラムベース法は（デジタル病理学）画像処理アプリケーションの開発者に周知の標準的技術である。第二のステップにおいて、バックグラウンド信号が測定される。単純なアプローチは、バックグラウンド信号におけるノイズの量を決定するためにバックグラウンド信号の平滑化ヒストグラムを作成することである。そしてこの手段はバックグラウンド信号における信号低減及び関心エリアの増強の量を制御するために使用される。

第三のステップにおいて、ノイズ低減法（例えば平滑化、クリッピング）がバックグラウンドに適用される。本明細書で上述した通り、本発明は画像全体（大域的ノイズ低減）ではなく、"関心のない"エリア（例えば蛍光ドットなしのエリアなど）のみにノイズ低減を適用することを提案する。特に、画像全体へノイズ低減を適用することは、関心のある信号（すなわち蛍光ドット）も低減することになり、これはまさしく本発明が回避することを実現するものである。従って、本発明は画像を最初にセグメント化し、バックグラウンド信号のみを抑制することを提案する。さらに、バックグラウンド信号の測定は、バックグラウンドのみが選択される場合、より正確であることが留意される。

第四のステップにおいて、増強技術（例えばブースティング、ピーキング）が関心エリアに適用される。

図１０は本発明の好適な実施形態にかかる出力の一実施例を示す。特に、図１０はバックグラウンド低減と関心エリア増強の複合効果を示す。見られる通り、バックグラウンド信号は低減されるが、コントラストは改善される。さらに、関連エリアの微細な細部が依然として保存され、さらに増強される。バックグラウンド信号は平滑化ヒストグラムを用いて決定される。それにより、方法は何らかの局所的バックグラウンド変動にロバストである。図１１Ａ及び１１Ｂを参照すると、バックグラウンド低減と関心エリア増強を組み合わせて使用する利点が示される。すなわち、図１１Ａは関心エリア増強のみが適用されバックグラウンド低減が適用されない実施形態にかかる出力の一実施例を示し、一方図１１Ｂはバックグラウンド低減のみが適用され関心エリア増強が適用されない実施形態にかかる出力の一実施例を示す。

本発明の応用例は分子病理学及びデジタル病理学である。

上記実施形態において、蛍光画像処理装置は画像増強ユニットと並列に結合されるバックグラウンド決定ユニットとバックグラウンド低減ユニットを有するが、これらの実施形態は好適な実施形態に過ぎず、別の実施形態においてバックグラウンド決定ユニット、バックグラウンド低減ユニット、及び画像増強ユニットは直列に結合されてもよい。

開示の実施形態への他の変更は、図面、開示及び添付の請求項の考察から、請求される発明を実施する上で当業者によって理解されもたらされることができる。

請求項において、"有する"という語は他の要素若しくはステップを除外せず、不定冠詞"ａ"若しくは"ａｎ"は複数を除外しない。

単一のユニット若しくはデバイスが請求項に列挙される複数の項目の機能を果たしてもよい。特定の手段が相互に異なる従属請求項に列挙されるという単なる事実は、これら手段の組み合わせが有利に使用されることができないことを示さない。

一つ若しくは複数のユニット若しくはデバイスによって実行されるバックグラウンド決定などのような決定は任意の他の数のユニット若しくはデバイスによって実行されることができる。例えば、蛍光画像におけるバックグラウンド信号の決定は単一ユニットによって若しくは任意の他の数の異なるユニットによって実行されることができる。上記蛍光画像処理法にかかる蛍光画像処理装置の決定及び／又は制御はコンピュータプログラムのプログラムコード手段として及び／又は専用ハードウェアとして実現されることができる。

コンピュータプログラムは、他のハードウェアと一緒に若しくはその一部として提供される光学記憶媒体若しくはソリッドステート媒体などの適切な媒体上に格納／分散され得るが、インターネット又は他の有線若しくは無線通信システムなどを介して、他の形式で分散されてもよい。

請求項における任意の参照符号は範囲を限定するものと解釈されてはならない。

本発明は蛍光画像を増強するための蛍光画像処理装置に関する。蛍光画像処理装置は、画像セグメンテーションユニットと、バックグラウンド決定ユニットと、バックグラウンド低減ユニットと、画像増強ユニットとを有する。ガラススライドのバックグラウンドと関心エリアを最初にセグメント化し、このセグメンテーションを用いて両者間のコントラストを増強することが提案される。それにより、増強後に画像データが依然として人のオペレータにとって快適なコントラストを持ちながら、スキャン及び染色時間が削減されることができる。

Claims (15)

1. 蛍光画像を増強するための蛍光画像処理装置であって、
   前記蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアへセグメント化するように構成される画像セグメンテーションユニットと、
   前記蛍光画像においてバックグラウンド信号を測定するように構成されるバックグラウンド決定ユニットと、
   前記バックグラウンド信号の測定に応じて、前記一つ以上のバックグラウンドエリアにおいてバックグラウンド信号を低減するが、前記一つ以上の関心エリアにおいては低減しないように構成される、バックグラウンド低減ユニットと、
   前記一つ以上の関心エリアを増強するが、前記一つ以上のバックグラウンドエリアは増強しないように構成される、画像増強ユニットと
   を有する、蛍光画像処理装置。
2. 前記蛍光画像を受信するように構成される入力と、
   増強された蛍光画像を出力するように構成される出力と
   をさらに有する、請求項１に記載の蛍光画像処理装置。
3. 前記蛍光画像を保存するように構成される画像保存ユニットをさらに有する、請求項１に記載の蛍光画像処理装置。
4. 測定された前記バックグラウンド信号を保存するように構成されるバックグラウンド保存ユニットをさらに有する、請求項１に記載の蛍光画像処理装置。
5. 増強された前記蛍光画像をディスプレイユニットへ送信するための送信ユニットをさらに有する、請求項１に記載の蛍光画像処理装置。
6. 蛍光顕微鏡から収集された蛍光画像を受信するための受信ユニットをさらに有する、請求項１に記載の蛍光画像処理装置。
7. 前記画像セグメンテーションユニットが、動的閾値処理を適用することによって、及び／又は局所的ヒストグラムベース法を適用することによって、前記蛍光画像をセグメント化するように構成される、請求項１に記載の蛍光画像処理装置。
8. 前記バックグラウンド決定ユニットが前記蛍光画像から平滑化ヒストグラムを作成するように構成される、請求項１に記載の蛍光画像処理装置。
9. 前記バックグラウンド低減ユニットが、前記一つ以上のバックグラウンドエリアを平滑化することによって、及び／又は前記一つ以上のバックグラウンドエリアをクリッピングすることによって、前記バックグラウンド信号を低減するように構成される、請求項１に記載の蛍光画像処理装置。
10. 前記画像増強ユニットが、前記一つ以上の関心エリアをブースティングすることによって、及び／又は前記一つ以上の関心エリアをピーキングすることによって、増強するように構成される、請求項１に記載の蛍光画像処理装置。
11. 蛍光イメージングシステムであって、
    蛍光画像を収集するように構成される蛍光顕微鏡と、
    請求項１に記載の蛍光画像処理装置である、蛍光画像を増強するための蛍光画像処理装置と、
    増強された前記蛍光画像を表示するためのディスプレイユニットと
    を有する、蛍光イメージングシステム。
12. 蛍光画像を増強するための蛍光画像処理法であって、
    前記蛍光画像を一つ以上の関心エリアと一つ以上のバックグラウンドエリアへセグメント化するステップと、
    前記蛍光画像においてバックグラウンド信号を測定するステップと、
    前記バックグラウンド信号の測定に応じて、前記一つ以上のバックグラウンドエリアにおいてバックグラウンド信号を低減するが、前記一つ以上の関心エリアにおいては低減しないステップと、
    前記一つ以上の関心エリアを増強するが、前記一つ以上のバックグラウンドエリアは増強しないステップと
    を有する、方法。
13. 蛍光イメージング法であって、
    蛍光画像を収集するステップと、
    請求項１２に記載の蛍光画像処理法に従って前記蛍光画像を処理するステップと、
    増強された前記蛍光画像を表示するステップと
    を有する、方法。
14. 蛍光画像を増強するための蛍光画像処理コンピュータプログラムであって、蛍光画像処理コンピュータプログラムが蛍光画像処理装置を制御するコンピュータ上で実行されるときに、請求項１に記載の蛍光画像処理装置に、請求項１２に記載の蛍光画像処理法のステップを実行させるためのプログラムコード手段を有する、蛍光画像処理コンピュータプログラム。
15. 蛍光イメージングコンピュータプログラムであって、蛍光イメージングコンピュータプログラムが蛍光イメージングシステムを制御するコンピュータ上で実行されるときに、請求項１１に記載の蛍光イメージングシステムに、請求項１３に記載の蛍光イメージング法のステップを実行させるためのプログラムコード手段を有する、蛍光イメージングコンピュータプログラム。

Images