JP2023089968A - 画像処理システム - Google Patents

Abstract

【課題】広い範囲のサンプリング密度にわたって画像を改善することが可能な画像処理システム、方法及びプログラム並びに顕微鏡を提供する。【解決手段】顕微鏡１００において、画像処理システム１０６のロセッサ１０８は、顕微鏡の光結像光学系によって生成される画像ピクセルデータを取得し、取得した画像ピクセルデータに逆畳み込み処理を実行して、逆畳み込み画像ピクセルデータを生成し、取得した画像ピクセルデータにノイズ除去処理を実行して、ノイズ除去画像ピクセルデータを生成し、光結像系によって生成する画像ピクセルデータのサンプリング密度を取得し、密度がオーバサンプリング限界を上回る場合、ノイズ除去画像ピクセルデータに対する逆畳み込み画像ピクセルデータの比を変更するために、逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとを混合して、サンプリング密度に応じた重み付けを有する混合画像ピクセルデータを生成する。【選択図】図１

Description

本発明は、画像処理システムと、光結像系および画像処理システムを有する顕微鏡と、画像処理方法と、このような方法を実施するためのプログラムコードを有するコンピュータプログラムと、に関する。

逆畳み込みおよびノイズ除去は、例えば、蛍光顕微鏡法および共焦点ビーム走査顕微鏡法を含めた様々な画像モダリティに使用されるよく知られた画像最適化アルゴリズムである。通例、逆畳み込みおよびノイズ除去は、画像後処理の一部として、すなわち顕微鏡可視化処理の後にのみ実行される。

逆畳み込みは、イメージング対象の元の物体の空間構造を復元するために使用されるが、これらの構造は、顕微鏡の光結像系の空間解像度が限定されていることに起因してぼやけている。慣用の逆畳み込みアプローチでは、ぼやけた画像からの元の物体の復元は、可視化処理を仮想的に反転することによって達成される。この反転処理は、光結像系の画像投影動作の先験的知識に基づいている。画像投影動作のこの知識は、いわゆる点拡がり関数（ＰＳＦ：point-spread-function）によって表される。ＰＳＦは、光学系を通して像平面にイメージングされる、理想的な点状をした物体のぼやけた画像を表す。ＰＳＦの空間的な拡がりは、光結像系の空間解像度の尺度である。理想的な逆畳み込みアルゴリズムにより、ＰＳＦによって表される入力画像から、元の物体としての点が復元される。

前もって知られているＰＳＦに依拠しない逆畳み込みアルゴリズムも存在する。それらのいわゆるブラインド逆畳み込みアルゴリズムはむしろ、画像それ自体から未知のＰＳＦを復元するために使用される。２つのタイプのアルゴリズム、すなわち、ＰＳＦの先験的知識による慣用の逆畳み込みと、このような知識によらないブラインド逆畳み込みと、は、光結像系を介する不完全な画像投影によって生じる画像のぼやけおよび空間情報損失を反転するのに役立つ。

逆畳み込みの前提条件として、逆畳み込み対象の画像をオーパサンプリングしなければならない。オーバサンプリングとは、画像ピクセルデータが光結像系によって生成されるサンプリング密度が、ナイキスト基準によって表される閾値を上回ることを意味する。特に、画像検出器のピクセルサイズは、光結像系の空間解像度よりも小さくなければならない。好ましくは、画像検出器のピクセルサイズは、光結像系の空間解像度の半分よりも小さくなるべきである（ナイキスト基準）。換言すると、オーバサンプリングの場合、ＰＳＦは、複数のピクセルによって空間的に分解される。オーバサンプリングの前提条件が満たされない場合、意味のある逆畳み込みは不可能である。アンダーサンプリングされた画像の逆畳み込みを行う場合にはむしろ、逆畳み込みを無益にしてしまうかまたは不利にもしてしまうアーチファクトが発生する。

逆畳み込みとは異なり、ノイズ除去アルゴリズムにより、画像の空間解像度は増大しない。ノイズ除去アルゴリズムによってむしろ、ノイズを有する画像、すなわち信号が限られている画像および／または不完全な検出器によって取得される画像のそれぞれのピクセルの推定実強度が抽出される。さらに、逆畳み込みとの比較における大きな違いとして、ノイズ除去にはオーバサンプリングは不要である。例えば、典型的には携帯電話カメラにより、オーバサンプリングされていない画像にノイズ除去が適用される。

上述のように、慣用の顕微鏡システムにより、すでに記録した顕微鏡画像の品質を改善するために、後処理ステージにおいて逆畳み込みアルゴリズムおよびノイズ除去アルゴリズムが提供される。前提条件を逸脱していることを考慮すると、画像アーチファクトのリスクを低減するために埋め込みノイズ除去を利用するいくつかの逆畳み込みが存在するが、逆畳み込みとノイズ除去とは通例、交互に適用される。例は、S. K. Maji等による刊行物”Joint denoising-deconvolution approach for fluorescence microscopy”,2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI),２０１６、第１２８～１３１頁、doi: 10.1109/ISBI.2016.7493227およびPnevmatikakis等による”Simultaneous Denoising, Deconvolution, and Demixing of Calcium Imaging Data”, Neuron. 89. 10.1016/j.neuron.2015.11.037に開示されている。しかしながら、これらの例において、ノイズ除去は、逆畳み込みの埋め込みステップになり、逆畳み込みはなお、オーバサンプリングされた画像だけに限定されている。したがって、これらのアプローチは、アンダーサンプリングの領域内に含まれるサンプリング密度には適用することができない。

したがって課題は、広い範囲のサンプリング密度にわたって画像を改善することが可能な画像処理システムと、顕微鏡と、画像処理方法と、コンピュータプログラムと、を提供することである。

上述の課題は、独立請求項に記載事項によって達成される。有利な実施形態は、従属請求項および次の説明によって定められる。

画像処理システムは、プロセッサを有する。このプロセッサは、顕微鏡の光結像光学系によって生成される画像ピクセルデータを取得するように構成されている。このプロセッサはさらに、取得した画像ピクセルデータに逆畳み込み処理を実行して、逆畳み込み画像ピクセルデータを生成するように構成されている。このプロセッサは、取得した画像ピクセルデータにノイズ除去処理を実行して、ノイズ除去画像ピクセルデータを生成するように構成されている。プロセッサは、画像ピクセルデータが光結像系によって生成されるサンプリング密度を取得するように構成されている。プロセッサは、サンプリング密度がオーバサンプリング限界を上回る場合に、ノイズ除去画像ピクセルデータに対する、逆畳み込み画像ピクセルデータの比を変更する（特に増大する）ために、逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとを混合して、サンプリング密度に応じた重み付けを有する混合画像ピクセルデータを生成するように構成されている。

提案した解決手段は、逆畳み込みとノイズ除去とを組み合わせたアプローチのために構成されており、このアプローチは、顕微鏡画像が取得されるサンプリング密度とは無関係に画質を改善するために自動的に適用されることが可能である。特に、好ましい応用によると、この画像処理システムは、事前には未知でありかつ変化している可能性のある可視化パラメータによるリアルタイム記録中に、顕微鏡画像に逆畳み込みとノイズ除去とを組み合わせて適用するために使用可能である。ゆえに、リアルタイムにかつ顕微鏡のライブセットアップ中に、逆畳み込みおよびノイズ除去フィルタリングが行われる。

したがって、慣用の逆畳み込みアプローチの典型的な問題を回避することができる。ゆえに上で説明したように、慣用の逆畳み込みについての必要条件は、逆畳み込みによる空間解像度の増大をそもそも可能にするのはオーバサンプリングである。しかしながら、オーバサンプリングの条件は、リアルタイムセットアップ中には保証されない。むしろ、画像検出器のピクセル数が一定の場合、可視化パラメータ、例えば、ズームセットアップ、スキャンフィールド等をユーザーが変更すると、リアルタイム可視化中にサンプリング密度は変化することがある。可視化パラメータが変化すると、サンプリング密度は、オーバサンプリングからアンダーサンプリングに変化することがあり、意図した画像改善の信頼性にとって、逆畳み込みは、もはや有効でないかまたは有害でもある。結果として、慣用のシステムでは、サンプリング密度が変化するイメージング中のリアルタイム逆畳み込みは不可能である。

この問題は、逆畳み込みおよびノイズ除去によって補助されて、リアルタイム画像改善を可能する画像処理システムによって克服される。提案した解決手段の根底にある洞察は、顕微鏡セットアップ中、または例えば画像取得中に顕微鏡の関連する可視化パラメータが変化することにより、オーバサンプリング領域から非オーバサンプリング領域に画像パラメータが変化すると、逆畳み込みが技術的に妨げられるということである。このような状況では、画像データは、仮想的に可能な逆畳み込みからもはや恩恵を受けなくなってしまう。というのは、ピクセル解像度はいずれにせよ、もはやＰＳＦサイズ以下の構造を表すのには十分ではないからである。しかしながらノイズ除去は引き続いて可能であり、また望ましくもある。別の１つの洞察は、１つの画像改善アルゴリズムから別の画像改善アルゴリズムの自然発生的な変更（この問題に対するささいな解決手段と考えられ得る）は、このような変更が、ライブ画像ストリームにおける刺激的な変更を生じさせ得るため、回避されるべきであるということである。ゆえに、１つの画像改善技術から別の画像改善技術への単純な切り換えは、簡単であるが満足のいくものではない。

提案した解決手段は、光結像系のライブ可視化ストリームの取得中に好ましくはリアルタイムに実行される逆畳み込みとノイズ除去とを組み合わせたアプローチ、ならびに引き続いての逆畳み込み結果とノイズ除去結果との重み付きの混合である。一方では、この重み付きの混合は好ましくは、ライブ可視化ストリーム中の目下のイメージング条件によって生じるオーバサンプリング限界をサンプリング密度が上回る場合に、全体的な結果において逆畳み込みが優勢になるように実行される。他方では、イメージング条件がオーバサンプリング限界を下回る場合、実質的に純粋なノイズ除去は、出力画像に対して重み付け可能である。オーバサンプリング限界に近いパラメータ領域では、画像データストリームの自然発生的な変化を回避するために、一方の画像改善アプローチの他方に対する重み付けは、単調かつ連続に変更可能である。結果として、提案した画像処理システムにより、光学顕微鏡、特に蛍光顕微鏡におけるライブイメージング中の暗く、ノイズを有しかつ空間的に分解が困難な構造を視覚化することができる。

上記の画像処理システムは、上で説明したように、リアルタイム可視化における画像強調に有利に使用可能である。しかしながら、このことは、リアルタイム可視化における応用に限定されるわけではない。むしろ、逆畳み込みとノイズ除去とを組み合わせたアプローチは、画像後処理（オフライン）にも大いに役立てることが可能である。

さらに注意すべきであるのは、一方の画像改善アプローチの他方に対する重み付けはまた、画像パラメータにより、すなわちサンプリング密度だけでなく、他方によって影響を受け得ることがあることである。例えば、重み付けは、画像強度および／または信号対雑音比に応じて適合されることもある。ゆえに、ノイズの多い画像では、逆畳み込みは、より問題であることがあり、ノイズ除去結果を優先して、逆畳み込みとノイズ除去との混合物全体に重み付けを行うことが有利になることもある。

好ましい実施形態では、オーバサンプリング限界は、光結像系の空間解像度よりも小さいピクセルサイズによって定められる。より好ましい実施形態では、オーバサンプリング限界は、光結像系の空間解像度の半分以下であるピクセルサイズによって定められる。特に、ナイキスト基準によってオーバサンプリング限界を定めることができる。

プロセッサは、オーバサンプリング限界を含む少なくとも１つの範囲において、サンプリング密度が増大するのに伴い、単調かつ線形にまたは非線形に増大する逆畳み込み重み付け係数を表す特性に基づいて、重み付けを決定するように構成可能である。ゆえに、この特性は、サンプリング密度に影響を及ぼすパラメータの関数とみなされてよい。

プロセッサは、サンプリング密度がオーバサンプリング限界よりも小さい場合にゼロであり、サンプリング密度がオーバサンプリング限界以上である場合に、サンプリング密度が増大するのに伴って単調かつ非線形に増大する逆畳み込み重み付け係数を表す特性に基づいて、重み付けを決定するように構成可能である。ゆえに、アンダーサンプリング領域において、意味のないまたはアーチファクトによって有害でもある逆畳み込みを回避することができる。ゆえに、逆畳み込みは、アンダーサンプリングの条件下では全体的に省略可能である。逆に、オーバサンプリング領域において逆畳み込み処理を適用することにより、空間解像度を高めることができる。

好ましくは、特性の単調かつ線形の、または非線形の増大は主として、オーバサンプリング限界の周りの領域またはオーバサンプリング限界に限定される。この有利な実施形態は、オーバサンプリング限界に到達すると直ちに、逆畳み込みの解像度を高める作用が大きく増大するという洞察に基づいている。

いずれにせよ、上述の特性は、あらかじめ定められかつ静的であってよい重み付け関数を表すが、これには限定されない。むしろ重み付け関数は、目下のイメージング状況に適合されることも可能であり、これにより、重み付け関数は、例えば、信号対雑音比、検出光の強度、スキャン速度等に依存し得る。

上述の範囲は、以下、すなわち、（好ましくは）光結像系の空間解像度の７倍、５倍、３倍、２倍または１倍の１つである幅を有し得る。

プロセッサは、サンプリング密度が変化するのに伴って重み付けが変化する間に、混合画像ピクセルデータを生成するように構成可能である。重み付けの変化は、逆畳み込みおよびノイズ除去についての特定のアルゴリズムの特性を考慮して決定可能である。

プロセッサは、少なくとも１つの可視化パラメータに基づいてサンプリング密度を取得し、サンプリング密度にしたがって重み付けを決定するように構成可能である。画像パラメータは、例えば、共焦点顕微鏡におけるスキャンフィールド等の適切な関心領域（ＲＯＩ：region of interest）を探すためのズームセットアップに影響を及ぼすパラメータを含んでいてもよい。

好ましい実施形態によると、プロセッサは、光結像系の空間解像度を特徴付ける点拡がり関数（ＰＳＦ：point spread function）に基づいて逆畳み込み処理を実行するように構成可能である。ＰＳＦは、結像系の光学特性を考慮すると前もって知ることが可能である。択一的には、ＰＳＦは、先験的に未知でないこともあり、ブラインド逆畳み込み方式にしたがって画像から導出可能である。

逆畳み込み処理およびノイズ除去処理は、独立的あるいは同時的の少なくとも１つで実行可能である。特に、逆畳み込みおよびノイズ除去は好ましくは、別々の画像強調処理としてバックグラウンドで実行される。引き続き、これらの処理の結果は、サンプリング密度に応じた重み付けにしたがい、全体的な結果に合成される。画像データ混合は、ピクセル毎に実行可能であり、これにより、混合画像ピクセルデータは、サンプリング密度に応じた混合比で、逆畳み込み画像ピクセルデータおよびノイズ除去画像データに基づいて生成される。

逆畳み込み処理には、以下、すなわち、ウィーナー逆畳み込み、リチャードソン・ルーシー逆畳み込み、ＦＦＴベースの逆畳み込み、Agard-Sedat逆畳み込みおよびMeinel逆畳み込みの少なくとも１つが含まれていてもよい。

ノイズ除去処理は、以下、すなわち、スムージング、ぼやけ除去、複数画像の平均化および背景差分の少なくとも１つを有していてもよい。

プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application-Specific Integrated Circuit）およびＤＳＰ（Digital Signal Processor）の１つを有していてもよい。

画像処理システムは、広視野顕微鏡法、レーザ走査型顕微鏡法、蛍光顕微鏡法、透過型または反射型の光学顕微鏡法、多光子顕微鏡法、超解像顕微鏡法、干渉コントラストまたは偏光顕微鏡法に使用されるように構成可能である。

別の１つの態様によると、上で説明した光結像系および画像処理システムを有する顕微鏡が提供される。

別の１つの態様によると、画像処理方法が提供され、この方法は、以下のステップ、すなわち、顕微鏡の光結像系によって生成される画像ピクセルデータを取得するステップと、取得した画像ピクセルデータに逆畳み込み処理を実行して、逆畳み込み画像ピクセルデータを生成するステップと、取得した画像ピクセルデータにノイズ除去処理を実行して、ノイズ除去画像ピクセルデータを生成するステップと、画像ピクセルデータが光結像系によって生成されるサンプリング密度を取得するステップと、サンプリング密度がオーバサンプリング限界を上回る場合に、ノイズ除去画像ピクセルデータに対する、逆畳み込み画像ピクセルデータの比を変更する（特に増大する）ために、逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとを混合して、サンプリング密度に応じた重み付けを有する混合画像ピクセルデータを生成するステップと、を有する。

別の１つの態様によると、コンピュータプログラムがプロセッサ上で動作する場合に、上で説明した方法を実施するプログラムコードを備えたコンピュータプログラムが提供される。

以下では、図面を参照して特定の実施形態を説明する。

１つの実施形態による顕微鏡を示すブロック図である。 １つの実施形態にしたがい、サンプリング密度に応じた重み付け係数の特性を示す図である。 別の１つの実施形態にしたがい、サンプリング密度に応じた重み付け係数の特性を示す図である。 １つの実施例による、画像処理方法を示す流れ図である。 図４による方法を実施するためのシステムの概略図である。

図１は、１つの実施形態による顕微鏡１００を示すブロック図である。顕微鏡１００は、共焦点レーザ走査型顕微鏡であってよいが、これには限定されない。図１には、動作方式を理解するのに役立つ、顕微鏡１００のコンポーネントだけが示されている。いうまでもないのは、顕微鏡１００には、図１のブロック図に明示的に示されていない付加的なコンポーネント、例えば、照明光ビームを放出するための光源、点毎にサンプルを照明するためにサンプルにわたって光ビームをスキャンするスキャナ、形成の際に画像において焦点のあっていない光を除去するためのピンホール等を含んでいてもよいことである。

顕微鏡１００は、サンプルの照明された点から検出光を収集して、この検出光を光検出器１０４に向ける光結像系１０２を有する。光検出器１０４は、１つのピクセルに対応する電気画像信号に検出光を変換する光電子倍増管（ＰＭＴ：photomultiplier tube）またはアバランシェフォトダイオードであってもよい。結果として、光結像系１０２は、共焦点結像の方式にしたがって光検出器１０４と相互作用して、サンプルの光学画像を表す画像ピクセルデータを点毎に生成する。

顕微鏡１００にはさらに、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣおよび／またはＤＳＰを有し得るが、これらに限定されないプロセッサ１０８を備えた画像処理システム１０６が含まれている。画像処理システム１０６にはさらに、検出器１０４に接続され、そこから画像ピクセルデータを受け取るデータ収集モジュール１１０が含まれていてもよい。プロセッサ１０８は、データ収集モジュール１１０から画像ピクセルデータを取得して、データを以下に説明するように処理するように構成されている。

図１に示した実施形態によると、顕微鏡１００は、プロセッサ１０８に接続されておりかつプロセッサ１０８から受け取った命令にしたがって光結像系１０２を制御するように構成されているコントローラ１１２を有する。プロセッサ１０８は、ユーザー入力に応じて特定の可視化パラメータを設定するようにコントローラ１１２に指示することができる。例えば、ユーザーは、ズームインまたはズームアウトすることによってサンプルのＲＯＩを識別するために、また光結像系をＲＯＩに集束するために、イメージング中にスキャンフィールド等のパラメータを変更することができる。変更可能な別の可視化パラメータには、例えば、露光時間、スキャン速度、特定の検出器設定、ピンホール設定等が含まれる。

プロセッサ１０８は、光結像系１０２から取得した画像ピクセルデータに逆畳み込み処理とノイズ除去処理との両方を実行するように構成されている。したがって、光結像系１０２によって生成された画像ピクセルデータは、ｒａｗ画像データとみなされてよく、このｒａｗ画像データからプロセッサ１０８により、適切な逆畳み込みアルゴリズムおよびノイズ除去アルゴリズムがそれぞれ適用されることよって、逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとが導出される。例えば、プロセッサ１０８は、ｒａｗ画像データに逆畳み込みを行うために、アルゴリズム、例えば、ウィーナー逆畳み込み、リチャードソン・ルーシー逆畳み込み、ブラインド逆畳み込み（すなわちＰＳＦの先験的な知識のない逆畳み込み）、ＦＦＴベースの逆畳み込み、Agard-Sedat逆畳み込みおよびMeinel逆畳み込み等を適用することができる。ノイズ除去に関して、プロセッサ１０８は、アルゴリズム、例えば、スムージング、ぼやけ除去、複数画像の平均化および背景差分等を適用することができる。いうまでもないが、適切なアルゴリズムは、上述の例には限定されない。

上で説明したように、有効な逆畳み込みのための前提条件は、オーバサンプリングである。したがって、逆畳み込み用のｒａｗ画像データを表す画像ピクセルデータが光結像系１０２によって生成されるサンプリング密度は、オーバサンプリング限界を上回るべきである。検出器１０４のピクセルサイズが、光結像系１０２の空間解像度よりも小さい場合には、サンプリング密度は、オーバサンプリング限界よりも大きい。オーバサンプリング限界は、結果的に得られるデジタル画像の空間解像度を正確に維持するために、サンプルの最高空間周波数の２倍に等しいサンプリング間隔を必要とするナイキスト基準によって定めることができる。

上述の前提条件を考慮すると、プロセッサ１０８は、サンプリング密度に応じた重み付けを決定するように適合される。この重み付けに基づき、逆畳み込みの結果およびノイズ除去の結果は、逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとの混合物を表す全体的な結果に合成される。好ましくは、サンプリング密度がオーバサンプリング限界を上回る場合に、ノイズ除去画像ピクセルデータに対する、逆畳み込み画像ピクセルデータの比が増大するようにプロセッサによって重み付けが決定される。ゆえに、逆畳み込みを有効に行うのにサンプリング密度が低すぎる場合、結果的に得られる画像ピクセルデータにおいてノイズ除去が優勢になる。他方、逆畳み込みを有効に行うのにサンプリング密度が十分に高い場合、結果的に得られる画像ピクセルデータにおいて逆畳み込みが優勢になる。結果的に得られる画像ピクセルデータにおける逆畳み込みとノイズ除去との重み付けのこのような混合の２つの例が、図２および図３に示されている。

図２は、リアルタイム可視化中に変化し得るサンプリング密度に応じた、重み付け係数Ｗ＿ＤＥＣＯＮを定める特性を示す線図である。重み付け係数Ｗ＿ＤＥＣＯＮは、混合画像ピクセルデータにおいて、ノイズ除去画像ピクセルデータに対する、逆畳み込み画像ピクセルデータの比を決定する。重み付け係数Ｗ＿ＤＥＣＯＮは、ノイズ除去画像ピクセルデータの比を決定する重み付け係数Ｗ＿ＤＥＮＯＩＳＥとは相補的である。したがって、重み付け係数Ｗ＿ＤＥＣＯＮと重み付け係数Ｗ＿ＤＥＮＯＩＳＥとの和は１になる。

図２において、横座標はサンプリング密度を、縦座標は重み付け係数Ｗ＿ＤＥＣＯＮ（＝１－Ｗ＿ＤＥＮＯＩＳＥ）を示している。サンプリング密度の範囲は、アンダーサンプリングの領域Ａと、オーバサンプリングの領域Ｂと、に分かれている。領域Ａと領域Ｂとは、ナイキスト基準によって決定されるオーバサンプリング限界ＮＬによって分けられている。おおまかにいうと、逆畳み込みは領域Ａにおいて実質的に有効でないのに対し、逆畳み込みは領域Ｂにおいて実質的に有効である。図２の特性によると、逆畳み込み重み付け係数Ｗ＿ＤＥＣＯＮは、サンプリング密度の増大と共に非線形に増大する。オーバサンプリング限界Ｎの周りの、領域Ａと領域Ｂとの間の中間の範囲では、逆畳み込み重み付け係数Ｗ＿ＤＥＣＯＮは、非線形の特性にしたがって０に近い値から１に近い値に急峻に増大している。ゆえに、重み付け係数Ｗ＿ＤＥＣＯＮの最も顕著な変化が、オーバサンプリング限界Ｎにおいて生じており、ここでは、サンプリング密度の減少に伴って、逆畳み込みは引き続いて可能であるが、ますます有効でなくなる。さらに、図２に示した特性は、連続的に変化しており、これにより、ノイズ除去から逆畳み込みへの，またこの逆への突然の切り換え起因する、画像知覚における自然発生的な変化が回避される。このことは、１つまたは複数のパラメータの変更により、例えば、サンプルの適切なＲＯＩを見つけるためにズームインまたはズームアウトの動作の実行することにより、リアルタイム可視化中にサンプリング密度が変化する場合には特に有利である。

図３には、プロセッサ１０８により、逆畳み込み重み付け係数Ｗ＿ＤＥＣＯＮが決定される特性の別の例が示されている。図３の特性によると、逆畳み込み重み付け係数Ｗ＿ＤＥＣＯＮは、サンプリング密度がオーバサンプリング限界Ｎよりも小さい場合にゼロである。オーバサンプリング限界Ｎから始めると、重み付け係数Ｗ＿ＤＥＣＯＮは、非線形の特性にしたがい、１に近い値まで急峻に増大している。ゆえに、意味のない逆畳み込み、またはノイズの増幅によって生成されるアーチファクトに関してむしろ有害である逆畳み込みは、アンダーサンプリング領域Ａにおいて回避可能である。ゆえに、逆畳み込みは、アンダーサンプリング領域Ａで全体的に省略可能である。これに対し、逆畳み込みが有効かつ正確になるオーバサンプリング領域Ｂでは解像度改善が保証される。

逆畳み込み画像ピクセルデータとノイズ除去画像ピクセルデータとを混合するための適切な重み付けを決定するために、プロセッサ１０８は、画像ピクセルデータが生成されるときに目下設定されているサンプリング密度を取得するように構成されている。このために、プロセッサ１０８は、目下設定されておりかつサンプリング密度に影響を及ぼす１つまたは複数の可視化パラメータ、例えば、光結像系１０２の空間解像度、ピクセルサイズ、スキャンフィールド等を取得し、これらのパラメータに基づき、図２および図３において例示的に示した特性を使用して、対応するサンプリング密度を決定することができる。この特性は、あらかじめ定めることが可能である。択一的には、この特性は、目下の可視化状況を考慮してリアルタイムにプロセッサ１０８によって採用可能である。換言すると、この特性は、パラメータ、例えば、信号対雑音比、強度、スキャン速度等の関数として更新される。

図４には、１つの実施形態にしたがって、逆畳み込み画像ピクセルデータおよびノイズ除去画像ピクセルデータの重み付きの混合を生成するための、顕微鏡１００の画像処理システム１０６によって実施される方法を示す流れ図が示されている。この実施形態によると、この方法はリアルタイム可視化中に実行されるが、これには限定されない。

図４の方法は、ステップＳ１で始まり、ここでは、光結像系１０２によってサンプルの光学画像を取り込み、検出器１０４によってこの光学画像を電気画像信号に変換する。この画像信号は、デジタル画像ピクセルデータの形態でデータ収集モジュール１１０に格納される。さらに、プロセッサ１０８により、１つまたは複数の可視化パラメータを取得し、これらのパラメータに基づいて目下のサンプリング密度を決定する。これにしたがい、ステップＳ２では、引き続きの処理のために画像ピクセルデータおよびサンプリング密度が利用可能になる。

図４に示した実施形態によると、逆畳み込みとノイズ除去とを混合するために、図３に示した実施例による特性が適用されることが仮定されている。上述のように、この実施例では、サンプリング密度がアンダーサンプリング領域Ａにある場合に逆畳み込みを省略することができる。したがって、ステップＳ３では、プロセッサ１０８により、サンプリング密度がナイキスト限界ＮＬ以上であるか否かを決定する。イエス（Ｙ）の場合、サンプリング密度は、オーバサンプリング領域Ｂにあり、ステップＳ４でプロセッサ１０８により、画像ピクセルデータに逆畳み込み処理を実行する。ノー（Ｎ）の場合、ステップＳ４をスキップし、画像ピクセルデータに逆畳み込み処理を実行しない。したがって、ステップＳ５では、逆畳み込み処理が実行された場合に逆畳み込み画像ピクセルデータが利用可能である。

ステップＳ６では、プロセッサ１０８により、画像ピクセルデータにノイズ除去処理を実行する。したがって、ステップＳ７では、ノイズ除去画像ピクセルデータが利用可能である。

ステップＳ８では、プロセッサ１０８により、図３に示した特性に基づき、サンプリング密度の関数として逆畳み込み重み付けＷ＿ＤＥＣＯＮを決定する。Ｗ＿ＤＥＣＯＮが決定されると、Ｗ＿ＤＥＣＯＮとＷ＿ＤＥＮＯＩＳＥとの和は１であるため、相補的なノイズ除去重み付けＷ＿ＤＥＮＯＩＳＥも決定される。

ステップＳ９では、プロセッサにより、ステップＳ５で利用可能になった逆畳み込み画像ピクセルデータと逆畳み込み重み付けＷ＿ＤＥＣＯＮとを乗算する（サンプリング密度がナイキスト限界ＮＬ以上の場合）。したがって、ステップＳ１０では、重み付き逆畳み込み画像ピクセルデータが利用可能である。

ステップＳ１１では、プロセッサ１０８により、ステップＳ７で利用可能になったノイズ除去画像ピクセルデータとノイズ除去重み付けＷ＿ＤＥＮＯＩＳＥとを乗算する。したがって、ステップＳ１２では、重み付きノイズ除去画像ピクセルデータが利用可能である。

ステップＳ１３では、プロセッサ１０８により、ステップＳ１０およびステップＳ１２でそれぞれ利用可能になった重み付き逆畳み込み画像ピクセルデータと重み付きノイズ除去画像ピクセルとを加算する。したがって、ステップＳ１４では混合画像ピクセルデータが利用可能であり、このデータには、ステップＳ８において決定した重み付けにしたがう逆畳み込み結果およびノイズ除去結果が含まれている。特に、サンプリング密度がアンダーサンプリング領域Ａにある場合、混合画像ピクセルデータにはノイズ除去画像ピクセルデータだけが含まれ、この際に重み付けＷ＿ＤＥＮＯＩＳＥは１に等しい。これに対し、サンプリング密度がオーバサンプリング領域にある場合、混合画像ピクセルデータにはノイズ除去画像ピクセルデータおよび逆畳み込み画像ピクセルデータの両方が含まれ、この際に重み付けＷ＿ＤＥＣＯＮおよびＷ＿ＤＥＮＯＩＳＥの和は１になる。

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆるすべての組み合わせを含んでおり、「／」として略記されることがある。

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

いくつかの実施形態は、図１から図４のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図４のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図４のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図５は本明細書に記載された方法を実施するように構成されたシステム５００の概略図を示している。システム５００は、顕微鏡５１０とコンピュータシステム５２０とを含んでいる。顕微鏡５１０は、撮像するように構成されており、かつコンピュータシステム５２０に接続されている。コンピュータシステム５２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム５２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム５２０と顕微鏡５１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム５２０は、顕微鏡５１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム５２０は、顕微鏡５１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡５１０の従属部品の一部であってもよい。

コンピュータシステム５２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム５２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム５２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム５２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム５２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム５２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム５２０に情報を入力すること、およびコンピュータシステム５２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

１００ 顕微鏡
１０２ 光結像系
１０４ 検出器
１０６ 画像処理システム
１０８ プロセッサ
１１０ データ収集モジュール
１１２ コントローラ
Ａ アンダーサンプリング領域
Ｂ オーバサンプリング領域
ＮＬ ナイキスト限界

Claims (17)

1. 画像処理システム（１０６）であって、
   前記画像処理システム（１０６）は、プロセッサ（１０８）を有し、
   前記プロセッサ（１０８）は、
   顕微鏡（１００）の光結像系によって生成される画像ピクセルデータを取得し、
   取得した前記画像ピクセルデータに逆畳み込み処理を実行して、逆畳み込み画像ピクセルデータを生成し、
   取得した前記画像ピクセルデータにノイズ除去処理を実行して、ノイズ除去画像ピクセルデータを生成し、
   前記画像ピクセルデータが前記光結像系によって生成されるサンプリング密度を取得し、
   前記サンプリング密度がオーバサンプリング限界（ＮＬ）を上回る場合に、前記ノイズ除去画像ピクセルデータに対する、前記逆畳み込み画像ピクセルデータの比を変更する（特に増大する）ために、前記逆畳み込み画像ピクセルデータと前記ノイズ除去画像ピクセルデータとを混合して、前記サンプリング密度に応じた重み付けを有する混合画像ピクセルデータを生成するように構成されている、
   画像処理システム（１０６）。
2. 前記オーバサンプリング限界（ＮＬ）は、前記光結像系の空間解像度よりも小さいピクセルサイズによって定められるか、または、ナイキスト基準によって定められる、
   請求項１記載の画像処理システム（１０６）。
3. 前記プロセッサ（１０８）は、前記オーバサンプリング限界（ＮＬ）を含む少なくとも１つの範囲においてサンプリング密度が増大するのに伴い、単調かつ線形に、または、非線形に増大する逆畳み込み重み付け係数を表す特性に基づいて重み付けを決定するように構成されている、
   請求項１または２記載の画像処理システム（１０６）。
4. 前記プロセッサ（１０８）は、前記サンプリング密度が前記オーバサンプリング限界（ＮＬ）よりも小さい場合にゼロであり、前記サンプリング密度が前記オーバサンプリング限界（ＮＬ）以上である場合に前記サンプリング密度が増大するのに伴って単調かつ非線形に増大する逆畳み込み重み付け係数を表す特性に基づいて重み付けを決定するように構成されている、
   請求項１または２記載の画像処理システム（１０６）。
5. 前記特性の単調かつ非線形の前記増大は、主として、前記オーバサンプリング限界（ＮＬ）の周りの領域または前記オーバサンプリング限界（ＮＬ）に限定されている、
   請求項３または４記載の画像処理システム（１０６）。
6. 前記範囲は、以下、すなわち、前記光結像系の（好ましくは横方向の）空間解像度の７倍、５倍、３倍、２倍または１倍の１つである幅を有する、
   請求項３または５記載の画像処理システム（１０６）。
7. 前記プロセッサ（１０８）は、前記サンプリング密度が変化するのに伴って前記重み付けが変化する間に、前記混合画像ピクセルデータを生成するように構成されている、
   請求項１から６までのいずれか１項記載の画像処理システム（１０６）。
8. 前記プロセッサ（１０８）は、少なくとも１つの可視化パラメータに基づいて前記サンプリング密度を取得し、前記サンプリング密度にしたがって前記重み付けを決定するように構成されている、
   請求項１から７までのいずれか１項記載の画像処理システム（１０６）。
9. 前記プロセッサ（１０８）は、前記光結像系の空間解像度を特徴付ける点拡がり関数に基づいて前記逆畳み込み処理を実行するように構成されている、
   請求項１から８までのいずれか１項記載の画像処理システム（１０６）。
10. 前記プロセッサ（１０８）は、前記光結像系によってリアルタイム可視化が実行される間に、前記混合画像ピクセルデータを生成するように構成されている、
    請求項１から９までのいずれか１項記載の画像処理システム（１０６）。
11. 前記逆畳み込み処理および前記ノイズ除去処理は、独立的または同時的の少なくとも１つで実行される、
    請求項１から１０までのいずれか１項記載の画像処理システム（１０６）。
12. 前記逆畳み込み処理には、以下、すなわち、ウィーナー逆畳み込み、リチャードソン・ルーシー逆畳み込み、ブラインド逆畳み込み、ＦＦＴベースの逆畳み込み、Agard-Sedat逆畳み込みおよびMeinel逆畳み込みの少なくとも１つを有する、
    請求項１から１１までのいずれか１項記載の画像処理システム（１０６）。
13. 前記ノイズ除去処理は、以下、すなわち、スムージング、ぼやけ除去、複数画像の平均化および背景差分の少なくとも１つを有する、
    請求項１から１２までのいずれか１項記載の画像処理システム（１０６）。
14. 前記画像処理システム（１０６）は、広視野顕微鏡法、レーザ走査型顕微鏡法、蛍光顕微鏡法、透過型または反射型の光学顕微鏡法、多光子顕微鏡法、超解像顕微鏡法、干渉コントラストまたは偏光顕微鏡法に使用されるように構成されている、
    請求項１から１３までのいずれか１項記載の画像処理システム（１０６）。
15. 光結像系および請求項１から１４までのいずれか１項記載の画像処理システム（１０６）を有する顕微鏡（１００）。
16. 画像処理方法であって、前記画像処理方法は、
    顕微鏡（１００）の光結像系によって生成される画像ピクセルデータを取得するステップと、
    取得した前記画像ピクセルデータに逆畳み込み処理を実行して、逆畳み込み画像ピクセルデータを生成するステップと、
    取得した前記画像ピクセルデータにノイズ除去処理を実行して、ノイズ除去画像ピクセルデータを生成するステップと、
    前記画像ピクセルデータが前記光結像系によって生成されるサンプリング密度を取得するステップと、
    前記サンプリング密度がオーバサンプリング限界（ＮＬ）を上回る場合に、前記ノイズ除去画像ピクセルデータに対する、前記逆畳み込み画像ピクセルデータの比を変更する（特に増大する）するために、前記逆畳み込み画像ピクセルデータと前記ノイズ除去画像ピクセルデータとを混合して、前記サンプリング密度に応じた重み付けを有する混合画像ピクセルデータを生成するステップと、
    を有する画像処理方法。
17. コンピュータプログラムがプロセッサ（１０８）上で動作する場合に、請求項１６記載の方法を実施するプログラムコードを備えたコンピュータプログラム。

Images