JP2020035421A - 超解像顕微鏡のための画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像データから最大輝度の座標を抽出する装置を提供する。【解決手段】超解像顕微鏡１の画像データ用の画像処理装置１８は、画素ピッチよりも高い精度で輝度分布画像データの最大値の座標を決定するように画像データを処理する計算手段を有する。計算手段は、隣接画素に対する画素の輝度値の増加に基づいて、画像データの最大輝度値を決定する。画像処理装置は、隣接画素の輝度値の差分を求めることによって、最大輝度値の座標を決定し、これらの差を画素の空間シーケンスに従ってソートされた順序で連結する。計算手段は、座標値を有するテーブルを保存するメモリをさらに備え、連結された差分値によって決定されるアドレスに基づいて、テーブルから座標値を読み出す。【選択図】図１

Description

本発明は、画像処理のための方法及び装置に関する。より詳細には、本発明は、画像処理装置と、画像データから最大輝度の座標を抽出する装置を使った実施可能な画像処理方法とに関する。本発明は、超解像局在化顕微鏡の画像データの処理に適している。

超解像顕微鏡法によって、当業者は、Abbeの回折限界未満の解像度で画像情報を提供する光学顕微鏡法及び装置を理解するであろう。超解像顕微鏡法のための多数の様々な原理が知られており、これらは、とりわけ、十分に空間的に分離され且つサイズが光学系の回折限界よりも小さい発光体の検出に基づいている。このようにして、検査されるサンプルの発光体は、光学系自体が許容する精度よりも高い精度でその位置が特定される。

局在化顕微鏡法の原理の方法は、ＳＴＯＲＭ、ｄＳＴＯＲＭ、ＰＡＬＭ及びＳＰＤＭ（Spectral Precision Distance Microscopy）と称される。これらの方法では、選択的に励起され、又は放射する、十分に離れた発光体の蛍光が評価される。顕微鏡の点広がり関数によって伝播される光信号の最大値を正確に測定できるので、発光体は、正確に空間的に位置が特定される。

様々な超解像顕微鏡法は、現在、非常に高い空間分解能に到達しているが、それらの実用的な使用は、例えば組織学的研究の分野においては未だ非常に限られている。超解像局在化顕微鏡法の現時点での実現には、カメラから評価コンピューターへの非常に大量のデータの送信が含まれる。これらは、単一の超解像画像を再構成するのに必要な１００ギガバイトのデータを超える量になる。データの前処理が、評価されるべき画像セクション（いわゆる「対象領域」、ＲＯＩ）の決定と共に行われる場合であっても、結果として、それは、一画像当たり数百メガバイトの非常に大量のデータになる。このデータは、処理されるとともに、記憶されなければならない。このプロシージャが成功した場合、実験が終了して初めてそれを決定することができる。しかし、一般に、サンプルの構造及び局在化された蛍光信号に起因して、カメラ上に存在する画素の１０％未満の純粋に確率的に分布した部分のみが、データの取得に使用される。このため、送信され記憶されたデータの大部分は、情報内容がないが、大きな記憶容量を占有し、転送及び処理中に演算容量の大部分を使用する。ここでは、記憶要件が問題であるばかりではなく、むしろ、大量のデータが、その表現を含むデータの迅速な処理を妨げている。これは、超解像局在化顕微鏡法において、サンプルの画像が長い時間の後でのみ利用可能になるという事実をもたらす。

故に、本発明は、画像データの評価を加速する目的に基づいている。この目的は、独立請求項の特徴によって達成される。本発明の有利な実施形態及びさらなる変形例は、従属請求項に記載されている。

従って、本発明は、特に、画像データを処理する処理ユニットを有する超解像局在化顕微鏡の画像データ用であって、画素ピッチよりも高い精度で画像データ内の輝度分布の最大値の座標を決定するように構成されている画像処理装置を提供する。計算手段は、画像データにおいて、画素の隣接画素に対する輝度値の増加から輝度最大値を決定するように構成されている。画像処理装置は、隣接画素の輝度値の差分を求め、これらの差分を画素の空間シーケンスに従いソートされた順序で連結することによって、輝度最大値の座標を決定するように構成されている。計算手段は、さらに、座標値と共にテーブルが記憶されているメモリを備える。計算手段は、連結された差分値によって決定されるアドレスに基づいてテーブルから座標値を読み出すように構成されている。

換言すれば、連結され又はリンクされた差分は、アドレスを形成し、テーブルは、このアドレスを特定の座標に割り当てる。この割り当ては、適切なモデルを使用して計算される。例えば、輝度のガウス分布は、最大値で例えばローレンツ形状の分布とは異なる特定のパターンの差分になる。このテーブルは、予め計算して保存しておくことができる。従って、特に複雑な計算が測定の前に行われる。このようにしなければ生じるであろう、これらのモデルを用いた輝度最大値の座標の決定は、非常に単純な算術演算、すなわち、差分を求めること、差分値をアドレスに連結すること、及び位置、即ちテーブルの記憶位置におけるアドレスによって決定される座標を読み出すことによって置き換えられる。

一般に、２つの異なる空間的方向、すなわちｘ方向及びｙ方向に対して、そのような決定を実行することは意味がある。従って、この目的のために、２次元テーブルが記憶される。本発明の好ましい実施形態では、メモリは、２次元テーブルを含み、画像処理装置は、２つの異なる方向に沿って輝度値の差分を求め、差分を各方向のアドレスに連結し、２つのアドレスを介して決定された位置でテーブルから空間方向の座標を読み出すように構成されている。

本発明は、一般に、回折限界又は一般に光学収差に起因するぼけを有する画像データから、点状輝度最大値の位置の正確な決定に適している。上述したように、これは、超解像局在化顕微鏡からの画像データの処理において特に有利に使用することができる。１つの態様によれば、本発明は、顕微鏡の対物レンズの前に配置されて顕微鏡によって検査されるサンプル内にて蛍光を励起するための励起源と、サンプルの蛍光励起によって射出される光の顕微鏡画像を記録するためのオプトエレクトロニクスセンサを有するカメラと、を備えた超解像顕微鏡を提供する。本発明による画像処理装置は、センサに接続されて、センサから読み出した画像データを処理して、輝度最大値の座標を決定する。

本発明による画像処理装置は、少なくとも部分的にマイクロコントローラに組み込まれてもよい。これは、本発明が、画像データを超解像度で輝度最大の座標を含むデータに変換するための画像処理を、非常に簡単な計算で実行するために、可能である。従って、本発明の変形例では、画像処理装置は、少なくとも１つのマイクロコントローラを備えた評価電子機器を備えている。この画像処理装置は、隣接画素の輝度値の差分の計算を少なくとも実行するように設定されている。

送信されるデータ量を減らすために、本発明の特に好ましい実施の形態では、評価電子機器は、カメラ内に組み込まれている。このようにして、データのさらなる処理のためのカメラからコンピューターへのデータストリームを大幅に低減することができる。従って、本発明の実施形態によれば、画像処理装置は、評価電子機器に加えてコンピューターを備え、評価電子機器は、評価電子機器のデータを送信するためにコンピューターに接続されたカメラ内に組み込まれている。

本発明による画像処理装置を用いた画像処理、特に超解像顕微鏡の画像データ用の方法は、少なくとも１つのオプトエレクトロニクスセンサから画像データを読み出し、画像データを処理するためのコンピューターを用いて画像データ内の輝度分布の最大値の座標を決定することに基づいている。コンピューターは、隣接画素に対する画素の輝度値の増加によって画像データ内の輝度最大値を特定し、次に、隣接画素の輝度値の差分を求め、これらの差分を画素の空間シーケンスに従ってソートされた順序で連結することによって、輝度最大値の座標を決定する。計算手段は、さらに、座標値のテーブルをメモリに格納し、連結された差分値によって決定されるアドレスを使用してテーブルから座標値を読み出す。

本発明のさらなる概念によれば、カメラと、カメラを備えた画像処理装置と、超解像顕微鏡用にカメラに接続されたコンピューターとが提供される。これらの機器には、本発明による方法を実行するための適切な手段が備えられ、又は、本発明による超解像顕微鏡において使用される評価電子機器が備えられている。

本発明の実施形態による超解像顕微鏡のカメラは、評価されたデータが高解像度で局在化された検査サンプルの蛍光発光体の位置を含むように、画像データを評価するように構成される。このようにして生成されたデータは、本質的な画像情報を圧縮された形態で含む。マイクロコントローラを備えたカメラでの内部評価に起因して、高速計算速度を達成することができ、これにより、動作中に超解像度で蛍光発光体を測定することが可能になる。

本発明による画像処理装置を備えた超解像光学顕微鏡の概略構成を示す図である。 シリンドリカルレンズを備えた超解像光学顕微鏡の構成図を示す。 輝度値のマトリックスの部分を示す図である。 輝度値のマトリックスの部分を示す図である。 蛍光現象の位置座標を決定するために２行の画素を有する輝度値のマトリックスを示す図である。 一行の画素の輝度値によって表される輝度分布を示す図である。 蛍光現象の場所を有する画素を示す図である。 サブビニングを有する画素を示す図である。 ２つの輝度分布を示す図である。 光学顕微鏡の変形例を示す図である。

本発明は、添付の図面を参照してより詳細に以下に説明する。以下の説明において、図面内の同一の参照符号は、同一又は対応する構成要件を示す。

図１に、本発明による画像処理装置を備えた超解像光学顕微鏡１の一実施形態を概略的に示す。特に、局在化顕微鏡法の原理に基づいて動作する顕微鏡が、本発明のために用意される。蛍光を励起するための励起源として、レーザー５が、図示の実施例のように適している。また、一般に、例えば、複数のレーザー又はレーザービームを使用して、異なる波長の光をサンプル１１へと同時に又は順次照射することも考えられる。サンプル１１は、顕微鏡１の対物レンズ３の前に検査のために配置される。図示の実施例に限定されるものではないが、ダイクロイックミラー９を設けて、レーザービーム７を顕微鏡の光路内へと結合するか、より一般的には、蛍光とレーザー光とを顕微鏡の光路内で空間的に分離することもできる。顕微鏡１の対物レンズ３は、サンプル１１によって射出された蛍光１３の拡大された、即ち、顕微鏡画像を生成する。この画像は、カメラ１５のオプトエレクトロニクスセンサ１９によって記録される。図示の実施形態では、カメラ１５は、追加レンズ１６を有する。しかし、これは必須ではない。顕微鏡１の対物レンズ３は、センサ１９上に直接サンプル１１を結像することもできる。

カメラ１５の画像データを評価及び／又は表示するためのコンピューター１７が、カメラ１５に接続されている。しかし、データ評価は、本発明によるカメラ１５自体によっても実行される。カメラ１５は、好ましくは、センサ１９シグナルをビット値に、又はより一般的にはデジタルデータに変換するアナログ・デジタル変換器を含むが、カメラ１５の読出電子機器２１に加えて、カメラ１５は、この目的のために評価電子機器２３も有する。評価電子機器２３は、１つ以上のマイクロコントローラ２５を含む。これは、読出電子機器２１からの画像データの読み出しを制御し、輝度最大値の正確な位置座標を計算する。これらの輝度最大値は、一般に、局在化蛍光発光体に起因し、これは、超解像顕微鏡法において、特に、個々の蛍光分子でもある。従って、これらのサイズは、典型的には、顕微鏡の光学分解能よりもはるかに小さい。センサ上では、いくつかの画素に亘って分布された輝度分布が、サンプルによって射出された元の実質的に点状シグナルから生じ、次に、顕微鏡の点広がり関数によって測定される。評価装置は、特に、マイクロコントローラ２５によってセットアップされ、結果として輝度最大値の位置座標を決定するために、互いにいくつかの画素から読み出された輝度値を計算する。なお、マイクロコントローラ２５は、プログラムによって設定される。この決定は、いくつかの画素の輝度や明度を考慮する場合に、画素ピッチ、即ち、ピッチよりもより正確である。次に、これらの位置座標は、コンピューター１７に送信するためにデータとして提供される。カメラ１５及びコンピューター１７は、本発明による画像処理装置１８を形成する。カメラ１５は、通常、好ましくはユニットとして形成される。この場合、センサ１６、読出装置２１及び評価装置２３は、例えば、装置ユニット内でマイクロコントローラ２５と組み合わされ、例えば、これらは、カメラ１５の共通ハウジング５０内に配置することもできる。

一般に、ＦＰＧＡ（「フィールドプログラマブルゲートアレイ」）が、超解像顕微鏡のカメラ用のマイクロコントローラとして好ましい。ＦＰＧＡは、プログラミングの観点から、輝度最大値の位置座標を決定するための個々のルーチンを処理するために柔軟にセットアップすることができる。

本発明は、２つの本質的な機能的態様によっても区別される。第１に、ＦＰＧＡのような、マイクロコントローラ上での非常にフレキシブル且つ超高速ハードウェア関連データ処理が、これらの方法から生じる膨大な量のデータのリアルタイム解析を可能にする。現在利用可能な技術は、１ＭＨｚラインレート、及び／又は、１０００／ｓより大きなフレームレート、及び／又は、少なくとも１Ｇｂｉｔ／ｓのデータ転送速度において、１０，０００メガピクセルの処理容量を提供する。カメラ１５内のマイクロコントローラでのアルゴリズムの実行により、最大のフレキシビリティが、ハードウェア内のアルゴリズムの増分最適化を後で実現するために得られる。

第２に、ヒット識別（hit identification）の概念によって、又、目標とした、生データからの削減によって、必要メモリの大幅な低減が、データの損失を被ることなく達成された。このアプローチの重要性は、巨大な量のデータが生成される超解像顕微鏡法に対しては極めて高い。さらに、データの後処理におけるコンピューター負荷の低減は、データの減少によって達成され、それによって、データのリアルタイムの後処理が、コンピューター１７上で可能になる。

単一分子のような局所的な蛍光発光体の蛍光シグナルは、横方向にのみ位置することはできない。シリンドリカルレンズが顕微鏡の光路に配置されていれば、軸方向の位置決めも可能である。これによって、理想的には半径方向に対称なイメージング関数が、探している分子が対物レンズによって画定される焦点面よりも上にあるか或いは下にあるかの関数として楕円形に歪められる。図２に、対応する光学的配置を概略的に示す。ここで、対物レンズ３は、１以上の半径方向に対称的な集束光学素子２６に加えて、シリンドリカルレンズ２７を備える。シリンドリカルレンズ２７によって、蛍光発光体１２の画像に非点収差歪みが生じる。この図は、それ自身をオプトエレクトロニクスセンサ１９上の輝度分布３０として示す。蛍光発光体３０の軸方向座標は、輝度分布の非対称性に対応する。一般に、光学系の非点収差がどのように誘発されるかは重要ではない。従って、一般的なシリンドリカルレンズでは、少なくとも１つの非点収差歪曲光学素子が提供される。従って、本発明のさらなる変形例では、センサ１９上の輝度分布が、センサ面内の顕微鏡１の光路内の少なくとも１つの非点収差作用光学素子によって変形される。ここで、画像処理装置１８は、いくつかの画素の輝度値の計算と共に、輝度分布の変形から、顕微鏡１の軸方向、即ち、顕微鏡１の光軸に沿った方向における蛍光発光体１２の空間座標を決定するように形成されている。

本発明の好ましい実施形態によれば、画像処理は、輝度値の平滑化を含む。従って、画像処理装置、好ましくは、マイクロコントローラは、平滑化された輝度値が１画素について得られるように、複数の隣接画素の輝度値を互いに計算するように構成される。次に、平滑化された輝度値は、さらなる処理のために一時的に記憶される。例示的な実施形態として、図３に、輝度値のマトリックス３２の詳細を示す。各マトリックスエントリは、センサの１画素２０を表す。

関連画素３４の周りには、本発明の一実施形態によれば、領域３５が複数の画素と共に形成され、好ましくは、関連画素を含む。図示の例では、領域は、５×５のサブマトリックスであり、その中心には、関連画素３４、すなわち、平滑化された輝度値が計算されるべき画素が存在する。領域の特定の形状及び／又はサイズに限定されることなく、本発明の有利な実施形態によれば、関連画素の平滑化された輝度値の計算は、マイクロコントローラによる領域の画素の輝度値の加算を含んでも良い。加算値は、輝度の平均値に比例する。従って、実際に平均値を計算することは必ずしも必要ではない。しかし、使用される数字フォーマットにおけるオーバーフローや飽和を回避するために、ビットシフト演算をマイクロコントローラにて実行することができる。このような演算は、除算と比較して非常に高速で実行することができる。これを、特に、マイクロコントローラにおける画像処理の実行に当てはめる。従って、本発明の変形例によれば、画像処理装置、好ましくはマイクロコントローラは、いくつかの画素の輝度値を加算するときに、少なくとも１つのビットシフト演算を実行するように構成される。差分計算は、好ましくはマイクロコントローラによって実行されるので、この場合、マイクロコントローラを用いてアップストリームの平滑化を実行することは、目的にかなっている。

もちろん、様々な理由から、画像データも、サンプル中の発光体の蛍光に起因しない輝度変化を示す。画像データの効果的な減少を、実際の蛍光現象の最も信頼性の高い抽出によって達成するために、本発明のさらなる変形例では、画像処理装置、好ましくはマイクロコントローラは、蛍光現象用の画像データをチェックするように構成されている。このチェックは、平滑化された画像データに対して実行されることが好ましい。蛍光現象が画素で生じているか否かをチェックするために、画像処理装置は、観察画素の輝度値を、観察画素の近傍の複数のさらなる画素の輝度値と比較し、次に、観察画素の輝度値が、観察画素の近傍にある第１グループの画素の輝度値よりも第１所定量だけ高い場合、さらに、第１のグループの画素の輝度値が、第２グループの画素の輝度値よりも第２所定量だけ高い場合、蛍光発光体の位置を決定するように構成されている。この場合、第１グループの画素が、第２グループの画素よりも観察画素の近くに位置するように、画素は選択される。画素のグループが観察画素の周りにリング状に配置されているとき、特に確実な判定が得られる。一実施例として、図４に、輝度値のマトリックス３２の一部を示す。各マトリックスエントリは、図３に示した、センサの１つの画素２０を表す。

関連画素３４について、後者に蛍光現象があるか否か、すなわち、蛍光発光体がこの画素３４によって画像化されるサンプルの領域内にあるか否かが判別されるべきである。このため、画素の第１のグループ３６及び第２のグループ３７の輝度が、観察又は関連画素３４の輝度値と比較される。本発明の一実施形態によれば、図示の実施例のように、第１のグループの画素２０は、観察画素３４に直接に隣接する画素である。さらに、この実施形態のさらなる変形例によれば、第２のグループ３７の画素２０は、第１のグループ３６の画素２０に直接に隣接するものであってもよい。図４の表現とは異なり、関連画素の周りに環状に配置された第１のグループ３６及び第２のグループ３７の全ての画素の輝度値を計算することは、必ずしも必要ではない。例えば、第２グループの正方形状の四隅に配置された画素を省略することもできる。

少なくとも関連画素３４については、好ましくは、平滑化された輝度値が用いられる。第１のグループ３６及び第２のグループ３７の画素の輝度値の計算は平均化を含むので、輝度値に対して、オプトエレクトロニクスセンサ１９から読み出された非平滑化値を使用することも可能である。

蛍光現象を識別するための上述のフィルタリング方法は、以下の実施形態に従い進行する。蛍光現象は、画像処理装置によって、特にマイクロコントローラによって検出され、又は、観察画素３４の周囲の輝度分布が以下の条件を満たす場合、観察画素３４に割り当てられる。

ａ） 観察画素３４の輝度値が、隣接画素（すなわち、グループ３６の画素）の平均輝度値（平均強度）を所定の輝度値「BlobDifMinTop」だけ超えるので、以下が適用される。

int(center pixel) > average int(inner ring) + BlobDifMinTop

現象の輝度分布の形状及び強度は、サンプル又は使用される蛍光染料など実験条件に依存するので、BlobDifMinTopの値は、ユーザによって設定されたり調整されたりする。

ｂ） さらに、マイクロコントローラは、インナーリング、すなわち第１のグループ３６の画素の平均輝度値が、第２のグループ３７の隣接画素のアウターリングの平均輝度値を、所定値「BlobDifMinBottom」だけ超えるか否かをチェックする。

average int(inner ring) > average int(outer ring) + BlobDifMinBottom

値「BlobDifMinBottom」及び値「BlobDifMinTop」は、ユーザによって決定されたり、又は調整される。

現象、すなわち蛍光発光が検出されれば、現象の位置座標の決定を行うことができる。

蛍光現象の位置座標を決定するためのマイクロコントローラによるカメラ１５内の画像データの解析について以下に説明する。解析は、隣接画素の輝度値の差を形成し、これらの差を画素の空間シーケンスに従ってソートされた順序で連結することによる、輝度最大値の座標の決定に基づいている。計算手段は、内部に座標値のテーブルを記憶するメモリをさらに備える。計算手段は、連結された差分値によって決定されるアドレスに基づいて、テーブルから座標値を読み出すように構成されている。

本発明の一実施形態によれば、マイクロコントローラは、いくつかの画素の輝度値によって得られた輝度分布を、テーブル（以下、ルックアップテーブル又は変換テーブルとも称す）内のエントリと比較するように構成されている。ルックアップテーブルのエントリは、位置座標への輝度分布の割り当てを表す。マイクロコントローラは、ルックアップテーブル内のエントリの輝度分布を、複数画素の輝度分布と最も良く一致させ、テーブルエントリの位置座標を蛍光現象と関連付けるように構成されている。テーブルからの座標値の読出は、評価電子機器２３とは別のコンピューター１７内で行うことも可能である。この場合、評価電子機器によって計算された差分値、又は差分値からの連結によって形成されたアドレスを、コンピューター１７に送信することができる。本発明の好ましい実施例によれば、差分値は、マイクロコントローラによって計算されて、コンピューター１７に送信される。

この割当は、特に、蛍光現象を記述するデータ記録に記録される位置座標によって行うことができる。位置座標は、インデックスによって表すこともできる。この場合、ルックアップテーブル内の位置座標は、データ記録の順序によって簡単に与えられ、読み取り可能である。

さらに、画素の選択は、特に、蛍光現象が画素や画素の領域に割り当てられているという事実、すなわち、蛍光現象が、検討中の領域や画素によって画像化されたサンプル１１の領域にあるという事実に応じて行われる。

ルックアップテーブルによる位置座標の抽出の例示的な実施形態を、図５及び図６を参照して説明する。観察画素３４、又は、そこから画像化されたサンプルの領域に、蛍光現象が予め割り当てられている。この割当は、図４を参照して説明したように、マイクロコントローラ２５によって行われる。

高分解能で少なくとも１つの位置座標を決定するために、一般に、その輝度が輝度分布を表す画素２０が選択される。輝度分布の最大値は、探している位置座標を示す。多くの場合、２つの方向における蛍光現象の位置は、高い精度で決定される。このため、図５に示すように、２組の画素２０、すなわち、第１方向（ｘ方向）の画素の行３８と、平行でない、好ましくは垂直方向（ｙ方向）の画素の別の行とが選択される。図示の例のような集合が関連画素３４も含むことが好ましい。

図６は、一行、例えばｘ方向の行３８の画素の輝度値４２によって表される輝度分布４０を示す。最大輝度値４２は、図４に従い以前に実行された蛍光現象検出による観察画素３４の輝度値である。

一般に、図示された実施形態に限定されるものではなく、本発明の変形例によれば、輝度値４２の差分を考慮するのが好ましい。図６において、輝度値４２の差分を、diff.1、diff.2、diff.3、diff.4と示す。次に、これらの差分は、画像処理装置によって、ルックアップテーブルのエントリと比較される。

テーブルは、座標値がアドレスに連結された差分値に対応するテーブル位置で見つけられるように、構成されている。例えば、テーブルにおいて、ｘ値は列に配置され、且つｙ値は行に配置された場合、さらに差分値diff.1、diff.2、diff.3、diff.4はｘ方向に測定された場合、一実施例では、対応するｘ座標は、連結された値diff.1 | diff.2 | diff.3 | diff.4に対応する番号を有する列にある。テーブルエントリの読出しは、簡単な差分形成のように、コンピューターによって非常に迅速に実行されるプロシージャである。従って、本発明により、送信すべきデータ量を相当量減らすことができるだけでなく、プロシージャを大幅に高速化することができる。このようにして、特に、平滑化、蛍光現象の検出、及び隣接輝度値の差分を求めるステップを実行するマイクロコントローラが評価電子機器に設けられていれば、効果的な処理が達成される。実際の実施例では、２メガピクセルのサイズを有する顕微鏡画像において、送信されるべきデータは、既に、わずか６００バイトのオーダーの量に減らことができる。

ルックアップテーブルに記憶された値の基礎となる輝度分布のモデルは、変化できる。本発明の一実施形態によれば、ルックアップテーブルに記憶された輝度分布は、ガウス分布によって形成される。

一般に、本発明の一実施形態によるルックアップテーブルのエントリは、ユーザによって調整することができる。このため、本発明の一実施形態によれば、テーブルは、特徴のある輝度分布を適用し、分布の様々なオフセットに対し輝度分布に基づいた関連する差分値を計算し、それらを、差分値によって決定されるアドレスにてテーブルエントリとして入力することによって生成される。

輝度値４２の比較がルックアップテーブルを用いて実行された場合、ルックアップテーブルから読み取られた位置座標が利用可能である。図７は、実施例として、観察画素３４によって画像化されたサンプルの領域を示す。次に、ｘ方向及びｙ方向において読み出したオフセットは、蛍光現象の位置４５を、サンプルの対応する領域または画素の中心に対するオフセットとして示す。オフセット、即ち、一般的には位置座標は、インデックスの形式で読み出すこともできる。インデックスは、図８に示すように、サブピクセル４５のグリッド内の蛍光現象に関連するサブピクセル４８のフィールド位置を示す。

テーブルに基づいた座標の決定は、さらなる処理をせずに、減算後に行うことができる。特に、本発明のさらなる変形例による標準化は必要ではない。差分は、それ自体、光強度に依存する。２つの蛍光現象は、同じ位置であるが強度が異なるので、異なる差分をもたらし、これらの差分は、輝度ファクタ（brightness factor）によって異なる。差分の連結によって形成されるアドレスも異なる。図９は、明確性のために、全体強度に違いのある２つの輝度分布（ａ）、（ｂ）を示す。明確にするために、差diff1又はdiff1'のうちの１つだけが、各図において示されている。輝度分布４０は、全体強度によって異なる。図示の実施例では、図（ｂ）における輝度分布の全体輝度は、図（ａ）における全体輝度よりも１．５倍高い。その結果、差diff1'＝１．５×diff1も適用される。コンピューター的に高価な標準化又は比率の計算を回避するために、別のテーブルエントリを、これらの事例の各々に対して準備しても良い。一見すると、これは、テーブルがかなり大きくなるので、不利であるように思える。しかし、座標値の計算は、標準化された値を有する変更例と比較して、簡略化され、且つ、加速される。従って、一般に、特定の実施例に限定することなく、本発明の変形例において、このテーブルは、異なる差分値に対して、故に異なる位置に対して、同じ座標値を有する複数のテーブルエントリを有している。これらの同じ座標値は、特に、それらの全体的な輝度が異なる輝度分布に対応している。

本発明の一実施形態によれば、蛍光シグナルの時間情報の評価が行われる。この実施例は、図１０に示される局在化顕微鏡に示される。本実施形態は、レーザーパルスと蛍光シグナルとの間の時間差を測定するように構成されている画像処理装置１８に基づいている。このために、画像処理装置１８は、レーザー５と同期した信号線に接続されている。この接続は、レーザー５をスイッチングするためのトリガラインであってもよく、又はレーザー用のトリガ信号をタップしてもよい。同様に、接続部は、レーザー光を受け取る光検出器からの信号を搬送しても良い。更に、カメラ１５は、イメージインテンシファイア５１を有する。イメージインテンシファイア５１は、蛍光を電子カスケードに変換し、電子カスケードは、スクリーン上で光信号に変換され、次に、光信号は、オプトエレクトロニクスセンサ１９によって検出される。イメージインテンシファイア５１からは、電子カスケードによって生じる電気信号を取り出すことができる。画像処理装置１８は、時間測定装置５２を有する。時間測定装置５２は、２つの信号間の時間差、すなわち、レーザー５の光出力とイメージインテンシファイア５１の信号とに相関する信号を測定する。このような測定により、蛍光シグナルは、励起レーザーパルスと時間的に相関され、例えば、特徴的な蛍光寿命を測定する。特に好ましくは、時間測定装置５２は、図示のように、コンピューター１７とは別の評価電子機器２３の一部となっている。

一般に、図示された特定の実施例に限定されることなく、本発明のさらなる変形例において、画像処理装置は、励起光源の光パルスの時間と、顕微鏡１のカメラ１５内のイメージインテンシファイア５１の電子カスケードの信号との間の時間差を捉えるように構成された時間測定装置５２を備えている。

時間測定装置５１は、例えば、時間・デジタル変換器を含んでも良い。

時間信号は、画像データ、すなわち、顕微鏡画像において本発明により検出された最大輝度値と相関させることもできる。

１ 超解像顕微鏡
３ 超解像顕微鏡１のレンズ
５ レーザー
７ レーザー光
９ ダイクロイックミラー
１１ サンプル
１２ 蛍光発光体
１３ 蛍光
１５ カメラ
１６ カメラ１５の対物レンズ
１７ コンピューター
１８ 画像処理装置
１９ カメラ１５のセンサ
２０ 画素
２１ 読出電子機器
２３ 評価電子機器
２５ マイクロコントローラ
２６ 半径方向対称集束光学素子
２７ シリンドリカルレンズ
３０ センサ１９上の輝度分布
３２ 輝度値のマトリックス
３４ 関連画素
３５ 関連画素３４の周辺領域
３６ 画素２０の第１グループ
３７ 画素２０の第２グループ
３８ ｘ方向の一連の画素
３９ ｙ方向の一連の画素
４０ 輝度分布
４２ 輝度値
４５ 蛍光現象の位置
４７ サブピクセル
４８ 蛍光現象の位置４５に関連するサブピクセル
５０ カメラ１５のハウジング
５１ イメージインテンシファイア
５２ 時間測定装置

Claims (16)

1. 超解像顕微鏡の画像データ用の画像処理装置（１８）であって、
   画素ピッチよりも高い精度で輝度分布画像データの最大値の座標を決定するように構成された画像データを処理する計算手段を有し、
   前記計算手段は、隣接画素に対する画素の輝度値の増加に基づいて、前記画像データの最大輝度値を決定するように構成され、
   前記画像処理装置は、隣接画素の輝度値の差分を求めることによって、最大輝度値の座標を決定し、これらの差を前記画素の空間シーケンスに従ってソートされた順序で連結するように構成され、
   前記計算手段は、座標値を有するテーブルを保存するメモリをさらに備え、
   前記計算手段は、連結された差分値によって決定されるアドレスに基づいて、前記テーブルから座標値を読み出すように構成されている、
   ことを特徴とする画像処理装置（１８）。
2. 前記メモリは、２次元テーブルを含み、
   前記画像処理装置は、２つの異なる方向に沿って輝度値の差分を形成し、前記差分を各方向用のアドレスに連結し、２つのアドレスによって決定される位置で、前記テーブルから空間方向の前記座標を読み出すように構成されている、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置は、隣接画素の輝度値の差分の計算を少なくとも実行するように構成された少なくとも１つのマイクロコントローラ（２５）を備えた評価電子機器（２３）を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理装置は、前記評価電子機器（２３）に加えてコンピューター（１７）を備え、
   前記評価電子機器（２３）は、カメラ（１５）と一体化され、前記カメラは、前記評価電子機器（２３）のデータを送信するためにコンピューター（１７）に接続されていることを特徴とする請求項３に記載の画像処理装置。
5. 前記マイクロコントローラ（２５）は、ＦＰＧＡを含むことを特徴とする請求項１から４のいずれか一に記載の画像処理装置。
6. 前記画像処理装置は、１つの平滑化された輝度値が１つの画素（３４）に対して得られるように、複数の隣接画素（２０）の輝度値を計算するように構成されていることを特徴とする請求項１から５のいずれか一に記載の画像処理装置。
7. 前記マイクロコントローラ（２５）は、観察画素の輝度値を、前記観察画素の近傍の複数の画素の輝度値と比較することによって、蛍光現象用に前記画像データをチェックし、
   次に、前記観察画素の輝度値が、前記観察画素の近傍の第１グループの画素の輝度値よりも第１所定量だけ高い場合、且つ、前記第１グループの画素の輝度値が第２グループの画素の輝度値よりも第２所定量だけ高い場合、蛍光発光体の位置を決定するように構成され、
   前記画素は、前記第１グループの画素が、前記第２グループの画素よりも前記観察画素の近くに位置するように選択されることを特徴とする請求項１から６のいずれか一に記載の画像処理装置。
8. 前記テーブルは、異なる差分値に対して同じ座標値を有する複数のテーブルエントリを有する請求項１から７のいずれか一に記載の画像処理装置。
9. 超解像顕微鏡（１）であって、
   前記顕微鏡（１）のレンズ（３）の前に配置されて、前記顕微鏡（１）で検査されるサンプル（１１）中に蛍光を励起する励起源と、
   前記サンプルからの蛍光励起によって射出された光の顕微鏡像を記録するオプトエレクトロニクスセンサ（１９）を備えたカメラ（１５）と、
   前記センサに接続されて前記センサから読み出された画像データを処理し、最大輝度の座標を決定する請求項１から８のいずれか一に記載された画像処理装置と、
   を備えたことを特徴とする超解像顕微鏡（１）。
10. 前記顕微鏡（１）の光路内に配置されて、前記センサ（１９）上の輝度分布を変形させる少なくとも１つの非点収差用光学素子を有し、
    前記画像処理装置（１８）は、複数の画素の輝度値を計算することによって、前記輝度分布の変形から、前記顕微鏡（１）の軸方向における蛍光発光体（１２）の空間座標を決定するように構成されていることを特徴とする請求項９に記載の超解像顕微鏡（１）。
11. 前記画像処理装置（１８）は、時間測定装置（５２）を有し、
    前記時間測定装置は、前記顕微鏡（１）の前記カメラ（１５）内のイメージインテンシファイア（５１）の電子カスケードの信号と励起光源の光パルスの時間との時間差を取り込むように構成されていることを特徴とする請求項９又は１０に記載の超解像顕微鏡。
12. 特に、画像データが少なくとも１つのオプトエレクトロニクスセンサ（１９）によって読み出されて、前記画像データの輝度分布の最大値の座標が、前記画像データを処理する計算手段によって決定される超解像顕微鏡の前記画像データのための画像処理方法であって、
    前記計算手段は、隣接画素に対する画素の輝度値から前記画像データの最大輝度値を特定し、次に、隣接画素の輝度値の差分を求め、前記画素の空間シーケンスに従ってソートされた順序でこれらの差を連結することによって、最大輝度値の座標を決定し、
    前記計算手段は、メモリにテーブルを座標値と共に記憶して、連結された差分値によって決定されるアドレスに基づいて前記テーブルから座標値を読み出すことを特徴とする画像処理方法。
13. 前記画像処理装置は、前記センサ（１９）の複数の画素の輝度値を計算することにより、画素（３４）の輝度値の平滑化が行われることを特徴とする請求項１２に記載の方法。
14. 画素（３４）の平滑化された輝度値の計算は、複数の画素（２０）を有する領域（３５）の画素（２０）の輝度値の加算を含むことを特徴とする請求項１３に記載の方法。
15. 前記画像処理装置は、複数の画素の輝度値を加算するときに、少なくとも１つのビットシフト演算を行うことを特徴とする請求項１４に記載の方法。
16. 前記テーブルは、特性輝度分布を用いて作成され、
    関連差分値は、異なる輝度分布オフセットに対する輝度分布に基づいて計算され、前記差分値によって決定されたアドレスでテーブルエントリとしてエンターされることを特徴とする請求項１２から１５のいずれか一に記載の方法。