本発明は、図面を参照して、好ましい実施形態に基づき、以下に、より詳細に説明される。図面において、同一の参照記号は同一または類似の要素を示す。図面は、本発明の様々な実施形態の概略図である。図に示される要素は、必ずしも縮尺どおりに図示されていない。むしろ、図に示された様々な要素は、その機能および目的が当業者に理解可能となるようにされる。
図面に示されている機能ユニットと要素との間の接続および結合は、間接的な接続または結合として実施されてもよい。接続または結合は、有線または無線方式で実施されてもよい。
以下、被写体を3次元的に画像化する技術について説明する。この場合、少なくとも1つの振幅情報が3次元的に再構成される。3次元振幅情報の再構成とは、特に3次元の位置の関数としての被写体の吸光度または光学密度を表す3次元情報の決定を意味すると理解される。
以下により詳細に説明するように、本発明の実施形態では、被写体の複数の画像は逐次記録される。記録された画像は、それぞれの場合に輝度画像であってもよい。被写体を照明するための照明角度は、複数の画像を記録するための異なる値に設定される。画像を検出する検出器は静止していてもよい。被写体に対する検出器の位置は、複数の画像が検出されている間、一定のままでもよい。
被写体は、複数の画像から3次元的に再構成されてもよく、少なくとも振幅情報は空間的に分解され(spatially resolved)、3次元的に決定される。複数の画像は、図3から図14を参照してより詳細に説明するように、様々な方法で処理されてもよい。
複数の画像を組み合わせることにより、被写体の3次元情報を演算により推論することができるので、被写体の斜め照明は、イメージセンサの平面内の画像の変位をもたらす。個々の被写体の構造が画像内で表される変位から、それぞれ使用される照明角度に依存して、対応する構造の3次元位置を推定することができる。
3次元情報の再構成を含む検出された画像の処理は、画像記録装置の記憶媒体に不揮発的に記憶されたデータに基づいてもよい。データは、照明角度に依存した画像の画素と被写体の体積要素(ボクセル)との間の結像のための画像および/または情報のそれぞれの適用可能な変換を、異なる照明角度に対して含んでもよい。
図1は、一実施形態による被写体2の3次元画像化のための装置1の概略図である。装置1は、実施形態による方法を自動的に実行するように構成してもよい。装置1は、顕微鏡システムであってもよく、またはさらに詳細に説明される制御可能な照明装置、イメージセンサを有するカメラおよび反射を抑制する電子処理装置を備える顕微鏡を備えてもよい。
装置1は、光源11を有する照明装置を含む。集光レンズ12は、それ自体公知の方法で、光源11によって放射された光を画像化される被写体2に向けるものでもよい。照明装置は、複数の異なる照明角度4で被写体2に光が放射されるように構成されている。この目的のために、例えば、光源11は、複数の発光ダイオード(LED)を有する、LED装置(LED arrangement)であってもよく、そのLEDは個別に駆動できてもよい。LED装置は、LEDリング装置であってもよい。代替的に、制御可能な要素は、異なる照明角度を提供するために、従来の光源が拡大されて画像化される中間像面(intermediate image plane)に配置されてもよい。制御可能な要素は、可動ピンホールストップ(movable pinhole stop)、マイクロミラーアレイ、液晶マトリックスまたは空間光変調器(spatial light modulator)を含む。
照明装置は、光軸5で形成された照明角度4の絶対値が変化するように構成されてもよい。照明装置は、照明角度4で被写体を照明することができるビーム3の方向も、光軸5の周りで極方向(polar direction)に動くように構成してもよい。照明角度は、ここでは、θxとθyとして指定される角度の組み合わせを調整することで3次元的に決定してもよい。角度θxはxz平面上のビーム3の方向を決めてもよい。角度θyはyz平面上のビーム3の方向を決めてもよい。
装置1の検出器14は、いずれの場合にも、被写体2が照明されている複数の照明角度のそれぞれについて被写体2の少なくとも1つの画像を検出する。画像はいずれの場合にも輝度画像である。検出器14のイメージセンサ15は、例えばCCDセンサー、CMOSセンサー、又はTDI(「時間遅延積分方式(time delay and integration)」)CCDセンサーとして構成されてもよい。撮像光学ユニット(imaging optical unit)、例えば顕微鏡対物レンズ13(模式的にのみ図示)は、イメージセンサ15において被写体2の拡大画像を生成してもよい。イメージセンサ15は、輝度画像を記録するように構成されてもよい。
装置1は、電子処理装置20を備える。電子処理装置は、複数の照明角度に対して被写体2から検出された複数の画像をさらに処理する。電子処理装置20は複数の画像に依存して3次元画像を決定するように構成されている。図3から図13を参照してさらに詳細に説明するように、その処理は、ビーム3の方向に対する検出器の傾きを補償するための画像の変換を含んでもよい。変換画像(transformed images)は、被写体の3次元情報を再構成するために断層撮影法を用いてさらに処理されてもよい。その処理は、照明角度に対する3次元の被写体の推定が像面に演算により投影される逐次近似法を含んでもよく、その投影は、この照明角度に対して実際に検出された画像と比較され、その比較結果に依存して補正画像が決定される。補正画像は、その推定を更新するために、逆投影されてもよい。これらのステップは、異なる照明角度について繰り返されてもよい。この処理は、代替的に又は付加的に、画像スタックの計算、例えば、いわゆるz画像スタック又は画像スタックの画像が振幅情報を含む「zスタック」の計算を含んでもよい。
装置1は、複数の画像を処理するための情報を有する記憶媒体21を含んでもよい。電子処理装置20は、記憶媒体に接続されるか、または記憶媒体を含んでもよい。電子処理装置20は、それぞれの照明角度について、記録媒体の情報によりその照明角度で記録された画像ごとに適用される変換を決定することができる。
実施形態による装置の機能は、図2から図15を参照して、より詳細に説明される。
図2は、一実施形態による方法30の流れ図である。この方法は、画像記録装置1によって自動的に行われてもよい。
ステップ31において、被写体は、第1の照明角度で照射される。照明装置は、例えば、電子処理装置20によって駆動され、被写体は第1の照明角度で照射される。イメージセンサ15は、第1の画像を検出する。第1の画像は、第1の輝度画像であってもよい。
ステップ32において、被写体は、第1の照明角度とは異なる第2の照明角度で照明される。この目的のために、照明装置は、対応する方法で駆動されてもよい。イメージセンサ15は、第2の画像を検出する。第2の画像は、第2の輝度画像であってもよい。
異なる照明角度での被写体の連続照明と画像記録が繰り返されてもよい。
ステップ33において、被写体はN番目の照明角度で照明される(Nは2より大きい整数である)。この目的のために照明器具はそれに対応した方法で駆動されてもよい。イメージセンサ15はN番目の画像を検出する。画像の番号Nは1より大きくてもよい。また、1つの照明角度に対して複数の画像を取り込むことも可能である。
ステップ34において、複数の画像に依存して、被写体の3次元情報が再構成される。振幅情報が再構成されてもよい。位相情報は選択的に再構成されてもよい。図3から図14を参照してより詳細に説明するように、複数の画像を処理するために様々な技術を使用することができる。
下記に詳細に説明するように、被写体の3次元情報を再構成するために、様々な方法で、被写体の体積要素が、異なる照明角度ごとにイメージセンサ15の画素にどのように結像されるかを利用することが可能である。3次元情報の再構成は、被写体が配置されるボリュームの複数の体積要素(当該技術分野ではボクセルとも呼ばれる)のそれぞれの振幅値(amplitude value)を決定することを含んでもよい。振幅値は、体積要素の対応する位置での被写体の吸光度または光学密度を表してもよい。体積要素は、規則格子(regular lattice)または不規則格子(irregular lattice)に配置されてもよい。
この分野の用語によれば、短い表現では、「体積要素が演算される」または「体積要素が再構成される」と述べられるが、それは、例えば、対応する位置における被写体の吸光度または光学密度を示す少なくとも一つの振幅値が前記体積要素ごとに演算されるとの意味だと理解される。
複数の照明方向ごとに体積要素がそれぞれの場合にイメージセンサの画素にどのように結像されるかの情報は、図3から図13を参照して詳細に説明されるように、様々な方法で利用され得る。
図3から図8を参照して説明するように、3次元振幅情報は、イメージセンサの画像平面から体積要素への逆投影を含む技術を用いて演算されることができる。逆投影は、照明角度に依存して実行され、異なる照明角度で記録された画像に対応して異なるものである。逆投影は、ビーム3が光軸に沿って異なる平面に配置された複数の体積要素を通過してから、イメージセンサのピクセルに衝突するという事実を考慮する。
逆投影は、ビーム3に対するイメージセンサの傾きを補償するために、最初に記録された画像が照明角度に依存して変換されるように実行されてもよい。変換画像は、体積要素に逆投影されてもよい。
逆投影は、3次元振幅情報の推定のイメージセンサへの投影を逐次近似法により演算するような方法により行われてもよい。補正画像は、推定の投影と対応する照明角度で実際に検出された画像の比較に依存する。推定を更新するために、補正画像が体積要素に逆投影されてもよい。これらのステップは、収束基準(convergence criterion)が満たされるまで、異なる照明角度に対して繰り返して反復されてもよい。
図3は、実施形態による方法および装置における3次元情報の再構成を示す。被写体2の3次元情報を決定するために、格子40の体積要素41、42には、それぞれ複数の検出画像51−53に依存して決定される少なくとも1つの値が割り当てられる。格子40の頂点41、42は体積要素を表し、この場合、例えばそれぞれの体積要素の中点(midpoint)、角(corner)またはエッジの中点(edge midpoint)を構成してもよい。
異なる照明角度での照明のために順次使用されるビーム46−48の場合、斜めの照明は、イメージセンサの平面上における被写体の結像の歪み(distortion of the imaging)をもたらす。この歪みは、照明角度に依存するビーム46−48の方向に対するイメージセンサの平面の可変の傾きに起因する。
被写体の体積要素41は、照明方向に依存してイメージセンサ15の異なる画素に対応して結像される。異なる画像51−53内の構造50は、異なる画像領域(image regions)内で表現されてもいいが、体積要素41および追加の体積要素のイメージセンサ15の像面への投影により生成されてもよい。
逆に、イメージセンサの各画素54は、ビーム46−48の異なる照明方向に対する輝度情報を検出し、前記輝度情報は、ビーム46−48に沿って並んで配置された複数の体積要素の吸光度または光学密度に依存する。
実施形態において、複数の画像51−53の照明角度に依存する歪みを組み合わせることによって、被写体の3次元情報を再構成することが可能である。
図4は、一実施形態における被写体の3次元情報の再構成の機能を示す。
ビーム3は、xz平面および/またはxy平面に対して傾斜していてもよい。ビーム3の方向は3次元における角度を決定し、この角度は、例えばxz平面に対する傾きおよびxy平面に対する傾きを示す2つの角度座標(angle coordinates)によって表されてもよい。
検出器14の中心軸は、少なくともいくつかの照明角度におけるビーム3の方向に対して傾斜している。これは、光源とイメージセンサが共に被写体2に対して移動する従来の断層撮影法とは対照的である。傾きは、ビーム3の中心軸がイメージセンサ15の感知面に対して垂直でないという効果を有する。これは照明角度に依存する歪みをもたらす。
被写体情報を再構成するために、以下の手順が採用されてもよい。第1に、検出された画像の少なくとも一部が変換される。変換は、それぞれの画像を検出した間の照明角度に依存してもよい。変換は、検出器14によって検出された画像を、仮想的に傾斜した位置(virtually tilted position)61において検出器14によって検出されるであろう変換画像に画像化するように選択されてもよい。実際に検出される画像の座標が変換画像の座標に画像化される変換行列(transformation matrix)は、例えば、少なくとも2つのオイラー行列の積(a product of at least two Euler matrices)を含んでもよい。2つのオイラー行列は、検出器14の中心軸がビーム3に対して角度θxとθyだけ傾いていることを表してもよい。
各照明角度に対して、変換は事前に演算され、装置1の記憶媒体に不揮発的に記憶されてもよい。変換は、検出された画像を変換画像に結像させる照明角度のそれぞれについて、例えば行列(matrix)またはその他の画像化の仕様(imaging specification)として、記憶されてもよい。この場合、変換画像は、検出器14の中心軸とビーム3との間の傾きを補償し、検出器14がビーム3と共に被写体2の周りを動かされたなら検出器14によって検出されたであろう画像を近似(approximate)する。
そして、変換画像は格子40の体積要素に逆投影される。変換画像は、検出器14とビーム3との間の傾きを補償するので、従来の断層撮影法から知られている逆投影技術が使用されてもよい。
変換画像は、フィルタ逆投影法(filtered back−projection)によって体積要素に投影されてもよい。変換画像は、被写体の3次元情報を決定するために、逆ラドン変換(inverse Radon transformation)によって処理されてもよい。
一例として、変換画像の処理の間に、変換画像のピクセル値(the value of a pixel)は、対応する照明角度で変換画像の画素に結像する各体積要素の値に加算されてもよい。これは、異なる照明角度に対して繰り返されてもよい。このようにして、体積要素の振幅情報の値は、異なる照明角度ごとに対応する体積要素が結像する別の画像のピクセル値の合計(sum)として決定されてもよい。前記合計は、対応する位置での被写体の吸光度または光学密度の尺度である。加算(summation)の代わりに、他の線形結合(linear combination)が行われてもよく、線形結合における別の変換画像についての係数は異なっていてもよい。
図5は、検出器14の光軸とビーム方向との間の傾きが少なくとも部分的には補償されるように、検出された画像51−53が変換される装置および方法の動作方法を示す。変換T1、T3は、画像51、53に対し決定され、画像51、53についてのビーム3は検出器14の光軸と平行でなく、イメージセンサの感知面(sensitive plane)に対して垂直でない。変換T1、T3は、いずれの場合も歪み場(distortion field)であってもよい。歪み場は、検出器とビームの間の傾きを理由とする歪みを表す。検出器の光軸がビーム3と平行である場合の画像52について、変換T2は恒等変換(identity transformation)であってもよい。複数の画像51、53について、検出画像51、53は、変換によって取り替えられ(displaxed)、および/または修正(rectified)される。
それぞれの照明角度に割り当てられた変換は、各画像51−53に適用される。このようにして、変換画像54−56が決定される。変換画像54−56は、照明角度に依存して動かされる検出器によって検出されたであろう画像を近似する。変換画像54−56は、従来の断層撮影法で3次元情報を再構成するために使用される任意のアルゴリズムを使用して処理することができる。一例として、逆ラドン変換またはフィルタ逆投影法を使用することができる。
変換画像54−56の処理は、3次元情報57を再構成することを可能にする。この場合、振幅値は、ボクセル格子の各体積要素について決定されてもよい。振幅値は、対応する位置での被写体2の吸光度または光学密度に依存してもよい。振幅値は、対応する位置での被写体2の吸光度または光学密度を示してもよい。図5を参照すると、再構成によって決定される、異なる光学密度が、ボクセル格子40の頂点が異なるように充填されることによって概略的に示されている。
図6は、一実施形態による装置によって自動的に実行される方法60の流れ図である。この方法では、画像はまず、検出器14の光軸とビーム方向との間の傾きを少なくとも部分的に補償するために変換される。変換画像は、断層撮影アルゴリズム(tomography algorithm)の入力変数(input variables)として使用される。
ステップ61では、被写体のN個の画像が記録される。N個の画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度について検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明ビームと検出器の光軸は互いに平行ではない。
ステップ62において、N個の画像の全てまたは少なくとも一部が変換される。変換は、それぞれの照明角度に依存する。変換は、照明ビームのビーム軸に対する検出器の傾きを補償してもよい。この変換により、照明ビームとともに動かされる検出器によって検出されたであろう画像を近似することが可能になる。変換は、検出された画像の座標を、変換画像の座標に画像化して、検出器の傾きが補償されるようにしてもよい。
ステップ63において、変換画像から被写体の情報の断層撮影再構成(tomographic reconstruction)が実行される。再構成は、それ自体既知の多数の断層撮影アルゴリズム、例えば、逆ラドン変換またはフィルタ逆投影を使用することができる。しかしながら、従来の断層撮影法とは対照的に、ステップ62の変換画像は入力変数として使用され、変換画像は、たとえ照明が被写体2に異なる角度で入射したとしても、検出器14は被写体2に対する位置を維持するという事実を考慮する。
ステップ63では、少なくとも被写体の振幅情報が再構成されてもよく、その振幅情報は、位置の関数としての吸光度または光学密度に依存する。検出された画像の差を逆投影と組み合わせて形成することによって、位相情報を任意に3次元的に再構成されてもよい。
方法60は、反復を含まないように実行されてもよい。これにより、3次元情報を特に効率的かつ迅速に決定することができる。あるいは、逐次近似法による再構成技術(iterative reconstruction techniques)が使用されてもよい。一例として、方法60に従って得られた3次元振幅情報は、反復ステップによってさらに改善されてもよく、その目的のために、3次元情報は、図7および図8を参照してさらに詳細に記載されるような、逐次近似法の初期推定(initial estimation)として使用されてもよい。
図7および図8は、一実施形態による装置によって実行されてもよい逐次近似法の流れ図である。
一般に、これらの方法では、3次元振幅情報の初期推定から進み、推定が繰り返し改善される。各反復は、ある照明角度について、演算により、推定を像面に順投影もしくは順方向伝搬することを含んでもよい。体積要素が結像される画素は、照明角度に依存する。推定の投影または順方向伝搬は、推定が被写体2の振幅情報を正しく再現した場合に得られる画像を表す。補正画像は、このように推定から演算によって決定された、イメージセンサにおける輝度と、この照明角度において現実に検出された画像を比較することによって決定されてもよい。補正画像は、例えば、差分画像であってもよいし、商画像であってもよい。
補正画像は、画像平面からボクセル格子の体積要素に逆投影(be projected back)されてもよい。この場合、補正画像は、z軸に沿った固定位置を有する単一の平面だけでなく、ボクセル格子のすべての平面に逆投影されるかまたは逆伝搬される。このz軸は光軸5によって決められてもよい。逆投影は、例えば、フィルタ逆投影または逆ラドン変換として実行されてもよい。逆伝搬は、回折(diffraction)のような非幾何学的効果(non−geometric effects)も考慮に入れてもよい。推定は、補正画像の逆投影または逆伝搬に依存して更新されてもよい。
これらのステップは、異なる照明方向が使用されるように反復して繰り返されてもよい。投影を決定するための体積要素からイメージセンサの平面への伝搬と、イメージセンサの平面から体積要素への補正画像の逆伝搬の両方は、それぞれ照明角度に依存する。3次元情報は、異なる照明角度にわたる反復によって再構成されてもよい。
図7は、方法70の流れ図である。ステップ71では、複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度のそれぞれに対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ72において、3次元振幅情報の推定、例えばボクセル格子の頂点の値がイメージセンサの平面に順方向伝搬される。体積要素と画素との間の結像は、照明角度に依存する。ボクセル格子の体積要素と画素の間の結像は、予め決定され、装置1の記憶媒体に不揮発的に記憶されてもよい。ボクセル格子の体積要素と画素の間の結像は、例えば、幾何学的投影法を用いて、電子処理装置によって、それぞれの照明角度に対して自動的に決定されてもよい。
ステップ73では、補正画像が演算される。ここで、補正画像は、一般に、順方向伝搬の推定と、この照明角度に対して記録された画像との間のずれに関する空間分解情報(spatially resolved information)であると理解される。補正画像は、演算による像面への順方向伝搬の推定が、実際に検出された画像を得るためには、どのように修正されなければならないかを規定する値を有する関数であってもよい。
一例として、補正画像は、以下に与えられる補正の関数でもよい。
ここで、qおよびrはセンサーの像面内の座標、例えば画素座標を示す。I(q,r,θx,θy)は、画素(q,r)で、角度座標(angle coordinates)θxおよびθyを用いた照明のために、検出された画像の輝度である。Iprop(q,r,θx,θy)[Eobj]は、位置(q,r)の画像平面に対して角度座標θxとθyを持つ照明角度による被写体Eobjの3次元情報の順方向伝搬の推定の輝度である。C(q,r,θx,θy)は、位置(q,r)における補正画像の値を示す。
例えば、検出された輝度と、推定の順方向伝搬によって決定される輝度の商のような、他の補正画像の定義が使用されてもよい。この場合、補正情報は、Iprop(q,r,θx,θy)[Eobj]≠0を満たす全ての画素について下記のように定義されてもよい。
ステップ74では、補正画像は逆伝搬されてもよい。逆伝搬は、検出器の光学系(optical system)に依存して演算により決定されてもよく、例えば、回折のような非幾何学的効果も考慮してもよい。逆伝搬は、イメージセンサの画素を被写体の複数の平面の体積要素に結像させる画像化であってもよい。逆伝搬を規定する結像は、予め決定され、装置1の記憶媒体に不揮発的に記憶されてもよい。
逆伝搬された補正画像に従って被写体の推定が更新される。一例として、更新は下記の式に従って行われてもよい。
ここで、Bは角度座標θx、θyに依存する逆変換の操作を示し、C(θx,θy)は補正画像を示す。
図8は方法80の流れ図である。
ステップ81では、複数の画像が検出される。これは、ステップ71について説明したようにして実行することができる。
ステップ82では、少なくとも3次元被写体の振幅情報の推定が初期化される。初期化は、例えば、相同な被写体に対応するボクセル格子の各頂点に同じ値を割り当ててもよい。ランダムな値が割り当てられてもよい。初期推定は繰り返し改善される。被写体に関する事前の情報が使用されてもよいが、反復的な改善が行われるので必要不可欠ではない。
ステップ83では、反復が初期化される。反復の実行インデックスは、ここではnで指定される。例えば、異なる画像または異なる照明角度に異なるnが割り当てられてもよい。
以後、nは、異なる画像記録角度にインデックスをつけるためにも使用され、他の実行変数が使用されてもよい。
ステップ84では、推定が順方向伝搬される。これはイメージセンサの平面に対する推定の体積要素の投影または他の伝搬を含んでもよい。順方向伝搬は、照明角度に依存する。結像は、例えば、ベクトルに結合されたボクセル値をイメージセンサのピクセル値に結像するイメージングマトリクス(imaging matrix)の形態で、それぞれの照明角度に対して不揮発的に格納されてもよい。
ステップ85では、補正画像が決定されてもよい。補正画像は、推定の順方向伝搬と、この照明角度に対して実際に検出された画像とに左右される。補正画像は、推定の順方向伝搬が実際に検出された画像に画像化されることができる位置依存関数(location−dependent function)を定義してもよい。補正画像は、式(1)または式(2)を参照して決定されてもよい。
ステップ86では、補正画像が逆伝搬されてもよい。逆伝搬は順方向伝搬について演算された照明角度に依存する。逆伝搬は、ボクセル格子の複数の平面への結像を規定する。逆伝搬は、例えば、フィルタ逆投影または逆ラドン変換として実施されてもよい。
ステップ87では、推定が更新されてもよい。この場合、ボクセル格子の体積要素ごとに、割り当てられた値が更新されてもよい。この目的のために、一例として、ボクセルごとに、補正情報の逆投影を現在の値に加えられてもよい。
ステップ88では、推定が収束しているかどうかを決定するためのチェックが行われてもよい。この目的のために、連続した反復における推定の間の違いを計算し、それを計測することによって評価することが可能である。任意の適切な計測方法、例えば、エントロピーベースの計測方法が使用されてもよい。ステップ88の収束チェックは、画像検出が行われた各照明角度に対して少なくとも1回の反復が実行されるまで遅れさせられてもよい。
収束基準が満たされている場合、ステップ89において、現在の推定が、この方法によって再構成された被写体の3次元情報として使用される。
収束基準が満たされない場合、ステップ90において、反復にまだ含まれていないさらなる画像が存在するかどうかを判定するためのチェックが実行されてもよい。そのような画像が存在する場合、ステップ91で実行変数nの値を増加させてもよい。この方法はステップ84に戻ってもよい。この場合、推定の順方向伝搬とそれに続く逆伝搬は異なる照明角度で行われる。
方法70および80はまた、複雑な画像に拡張されてもよい。これにより、振幅情報に加えて、被写体の位相情報を求めることができる。
図3から図8を参照してより詳細に説明した技術では、ボクセル格子の異なる面の体積要素が同時に再構成される。逆投影は、ボクセル格子の光軸(z軸)に沿って互いに並んで配置された複数の平面に規則的に実行される。
代替的または追加的に、実施形態による装置および方法は、被写体2が層ごとに再構成されるように構成されてもよい。この目的のために、画像の画像スタックを計算されてもよい。画像スタックの画像は、光軸に沿って前後に配置された被写体2を通る断面を表してもよい。
図9から図13を参照してより詳細に説明するように、これらの技術は、対物面と検出器14の焦点面との間の距離が違うことが、イメージセンサ14の像面において異なる歪みをもたらすという事実を利用することができる。
図9は、一実施形態による装置1を概略的に示す。複数の被写体の面101、102は、光軸により決定されるz軸105に沿って検出器14の焦点面100から離れていてもよい。光軸105に沿った被写体2の寸法は、検出器14の焦点深度(depth of focus)16よりも小さくてもよい。すなわち、光軸105に対して横方向に点像分布関数(the point spread function)を広げることは無視できる程度である。
被写体2の構造は、照明方向3、103に依存し、かつ、それらが配置される被写体の面に依存して、画像内で歪む。異なる照明角度に対応するビーム3、103を用いた照明に対する被写体の面101内の構造は、それぞれ検出された画像内の異なる位置に現れてもよい。同様に、異なる照明角度に対応するビーム3、103を用いた照明に対する被写体の面102内の構造は、それぞれ検出された画像内の異なる位置に現れてもよい。照明方向3、103では、被写体内の構造の位置は、焦点面100までの距離に依存して変化してもよい。画像内の位置は、構造が焦点の内側(intrafocally)または焦点の外側(extrafocally)に移動したかどうかによって異なっていてもよい。
照明方向に依存するこの歪みおよび被写体内の構造物と検出器の焦点面との間の距離に依存するこの歪みは、3次元情報の再構成のために使用されてもよい。この目的のために、一例として、図10から図13を参照して説明するように、図12と図13を参照して説明するように、画像スタック(例えば、いわゆる「zスタック」)が決定されてもよい。図12と図13を参照して説明するように、照明角度に依存した動きに依存して複数の画像に結像される被写体構造のz位置を決定するために、特に複数の画像内の構造同定を使用することが可能である。
画像スタックを演算するために、複数の画像の各画像に変換が適用されてもよく、この変換は、それぞれの画像の照明角度と、z軸に沿って再構成しようとする平面の位置との両方に依存する。この変換は、平面と検出器の焦点面との間の距離およびこの照明角度を原因とする歪みが再び反転されるように選択されてもよい。
変換によって修正された画像は、被写体の平面の振幅情報を再構成するために、例えば、加算または他の線形結合によって、組み合わされてもよい。層の位置に依存して決定される変換を用いて歪みを反転させることにより、変換によって変更された画像の加算または他の線形結合を行う間に、被写体の所定の層内に配置された構造に対して具体的な推定的合計を得ることが可能である。
この手順は、異なる層について繰り返されてもよい。このようにして画像スタックが生成されてもよく、画像スタックの各画像は、例えば、ボクセル格子の層に対応してもよい。画像スタックの各画像は、z軸に垂直な平面内の被写体を通る断面に対応してもよい。
図10は、実施形態による方法および装置における当該処理を示す。異なる照明角度に対して複数の画像51―53が検出される。zデフォーカスによって焦点面100に対して動かされる被写体の構造は、照明角度に依存した位置での異なる画像51−53の構造50として画像化される。構造50の画像の位置は、照明角度によって変化し、照明角度に依存した位置の変化は照明角度およびzデフォーカスに依存する。
変換S1−S3は画像51−53に適用される。変換S1−S3は、現在再構成されている平面の特定のzデフォーカスについて、照明角度に依存して生じる歪みを反転させる。
1つの簡単な実施形態では、例えば、画像51―53の変位、または画像51―53の画像領域の変位といった、変換S1−S3は、以下の式により、x方向、y方向につき、それぞれ補正されてもよい。
値Δzは、zデフォーカス、すなわち、再構成される被写体面と検出器の焦点面との間の距離を示す。係数sfは倍率(scaling factor)である。倍率は、検出器によってイメージセンサの平面内に結像される中間像平面内の距離から、イメージセンサの平面内の距離への変換を実行するために使用されてもよい。倍率に負の符号が付いていてもよい。
図5に示す変換T1−T3とは異なり、変換S1−S3は、照射角だけでなく、現在再構成されている平面のzデフォーカスにも依存する。
例えば、収差の結果として生成される位置に依存する歪み(field point−dependent distortions)を補正するために、より複雑な形態の変換が選択されてもよい。
変換S1−S3を適用することにより、イメージセンサの平面内で、現在再構成されることが意図され、zデフォーカスを有する特定の面を原因とする歪みが反転される。変換S1−S3によって生成された修正された画像104−106は、現在再構成された面に配置された構造50が、すべての修正された画像104−106のほぼ同じ位置に結像されるものである。被写体の他の被写体の面に配置された他の構造は、修正された画像104−106において、互いに変位したままである。
例えば、照明角度に依存して変化する係数を有する線形結合の演算などの、修正された画像104−106の加算または他の処理によって、画像スタックの画像107が生成される。画像スタックの画像107において、画像51〜53の構造50の画像情報は、構造的に重ね合わされ、被写体の対応する平面に配置されていた構造は、画像スタックの画像107内の干渉しない背景(incoherent background)に対して再構成される。
画像スタックの画像107は、例えば、ボクセル格子108の層109に含まれる情報を表す。
この処理は、画像スタックの複数の画像を生成し、被写体に関する情報でボクセル格子108全体を充填するために、異なる層に対して繰り返されてもよい。
図11は、一実施形態による装置によって実行可能な方法110の流れ図である。
ステップ111において、被写体の複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度に対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ112では、再構成しようとする平面が選択される。一例として、光軸に沿って互いに均一に離間して配置された複数の面が順次選択されてもよい。選択された平面は焦点平面から距離Δzにあり、これはゼロとは異なってもよい。
ステップ113では、再構成される平面の位置と、特に前記平面と検出器の焦点面との間の距離に依存する変換が各画像に適用される。変換はさらに照明角度に依存する。変換は、イメージセンサ15への結像中にステップ111で選択された平面内の被写体の構造を原因として生じるひずみが反転されるように決定される。
ステップ114において、変換によって修正された画像が結合される。修正された画像は、例えば、画素ごとに合計されてもよく、または何らかの他の方法で線形的に結合されてもよい。組み合わせのための他の技術が使用されてもよい。一例として、フィルタリング(filtering)は、選択された平面に配置されていない被写体の構造によって引き起こされる干渉しない背景が抑制されるように実行されてもよい。
ステップ112、113および114は、画像スタックの複数の画像を生成するために、被写体の複数の層に対して繰り返されてもよい。
実施形態では、異なる画像間での同じ構造の構造同定および変位の分析によって、zデフォーカスおよび照明角度に依存する変位は、z位置を決定することに使用されてもよい。このように決定された位置は、複数の画像の対応する構造に結像される被写体の構造が、光軸に沿ったどの位置において配置されるかを示す。図12と図13を参照して、このような技術をさらに詳細に説明する。
図12は、構造同定を用いた再構成を説明するための図である。
同じ被写体構造50の画像は、複数の画像の異なる画像51、52において、照明角度に依存して互いに対して変位してもよい。対応する歪みは、デフォーカスおよび照明角度に依存する。画像52内の被写体の構造50の画像は、別の画像51内の同一の被写体の構造50の画像に対して、2次元ベクトル121によって変位してもよい。ベクトル121は、画像51、52の記録中の照明角度と、被写体のz軸に沿った被写体の構造の位置を規定するzデフォーカスに依存する。
異なる画像51、52における被写体の構造50の画像を同定する構造同定と、異なる画像における同じ被写体構造50の画像の相対変位を決定するために使用される歪み解析(distortion analysis)とによって、被写体の構造が配置されているのは、どのz軸に垂直な面かを決定することが可能である。
3次元情報の再構成は、照明角度およびzデフォーカスに依存する歪みによって補正された、対応する画像50が、ボクセル格子108の層109内の体積要素に割り当てられるように実行されてもよい。この場合、層109は決定された変位121に依存する。
一例として、zデフォーカスは、x軸、y軸につき、それぞれ以下の変位によって決定される。
ここで、ΔxrelおよびΔyrelは、画像間の、被写体の構造の画像の相対変位を示し、θx,1とθy,1は第1の画像の記録中の照明角度を規定する角度座標であり、θx,2とθy,2は、第2の画像の記録中の照明角度を規定する角度座標である。式(6)および(7)は、ΔxrelおよびΔyrelによって2つの画像内で変位した被写体の構造が、ボクセル格子のどの平面において配置されるかを決定するために、zデフォーカスΔzに関して解かれてもよい。
図13は、一実施形態による装置によって実行され得る方法130の流れ図である。
ステップ131において、被写体の複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度に対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ132において、構造同定が行われる。この場合、少なくとも2つの画像において、互いに対応する被写体構造の画像を同定するために、複数の画像が分析される。対応する構造を決定するためには、エントロピーベースの類似度測定方法(entropy−based measures of similarity)または他の類似性測定基準など、異なる技術が使用されてもよい。
ステップ133において、変位解析(displacement analysis)が実行される。これは、少なくとも2つ以上の画像について、像面内でどのようなベクトルによって被写体の構造の画像が変位するかを決定することを含んでもよい。被写体の構造の画像の相対的な変位に依存して、被写体の構造が焦点面からどの距離に配置されるかを決定することが可能である。このようにして、対応する振幅情報が割り当てられなければならないボクセル格子の層を決定することが可能である。
ステップ134において、3次元振幅情報が、1つまたは複数の画像内の被写体の構造の画像およびステップ133で決定されたz座標に依存して決定される。この場合、そのz座標がステップ133で決定されるzデフォーカスに対応し、x座標、y座標が、少なくとも1つの画像中の構造の画像の座標に基づき決定される体積要素の振幅値が少なくとも1つの画像のピクセル値に依存して設定されてもよい。一例として、同定された構造50は、ボクセル格子108の1つの平面だけに投影されてもよく、その平面は、画像間の被写体の構造の画像の間の変位121に依存する。
ステップ134はまた、zデフォーカスおよび照明角度に依存し、画像51、52内の被写体の構造の変位または歪みを少なくとも部分的に補償する歪み補正(distortion correction)を含んでもよい。このようにして、x方向およびy方向に正しいボクセル格子108内の被写体の構造の位置決定を確実にすることも可能である。
3次元振幅情報を再構成するための様々な方法は、互いに組み合わせることができる。例えば、図12と図13を参照して説明したような変位分析によるz位置の決定および/または図3から図6を参照して説明したような断層撮影再構成を3次元振幅および/または被写体の位相情報の推定を決定するために使用してもよい。図7と図8を参照して説明したように、これはさらに逐次近似法を用いて改良してもよい。
図14は、一実施形態による装置によって実行され得る方法140の流れ図である。
ステップ141では、複数の画像が検出される。ステップ142において、構造同定および変位分析によって、複数の画像に結像された被写体の構造を、光軸に沿った異なる位置に割り当てることが可能かどうかのチェックが行われる。一例として、被写体の密度(object density)がこの目的のために評価されてもよい。
構造同定および変位分析によってz位置を決定することが可能である場合、それぞれの場合に少なくとも2つの画像において相互に対応する構造がステップ143で同定されてもよい。対応する構造は、異なる画像における同じ被写体の構造の画像である。この目的のために、例えば、形状比較のための従来のアルゴリズムおよび/または複数の画像にわたる被写体の照明角度依存トラッキング(illumination angle−dependent tracking)を使用することが可能である。z位置は、異なる画像における同じ被写体の構造の画像の変位から決定されてもよい。ステップ143は、例えば、図12と図13を参照して説明したように実施されてもよい。
例えば、画像内の構造の密度が高すぎるために、構造同定よび変位分析によってz位置を決定することができない場合、断層撮影再構成がステップ144で選択的に実行されてもよい。断層撮影再構成は、検出器とビーム方向との間の傾きを補償するために使用される画像の変換を含んでもよい。断層撮影再構成は、図3と図6を参照して説明したように実行されてもよい。
選択的に、ステップ143またはステップ144で決定された3次元情報は、逐次近似法の初期推定として使用されてもよい。この目的のために、例えば図7と図8で説明したように、ステップ145において、3次元情報は、順方向伝搬および逆伝搬のシーケンスによって、より高い精度で再構成されてもよい。
図15は、一実施形態による装置のブロック図表示150である。
画像記録装置は、制御可能な照明装置151を備えている。照明装置151によって、被写体が複数の異なる照明角度で順次照明されてもよい。照明コントローラ152は、順次設定された照明角度を制御してもよい。照明装置151は、LED装置を備えてもよい。照明装置151は、中間像面内に制御可能な光学要素を含んでもよく、その要素は、例えば、可動ピンホールストップ、マイクロミラーアレイ、液晶マトリクスまたは空間光変調器を含んでもよい。
イメージセンサ153は、被写体が照明された照明角度のそれぞれについて少なくとも1つの画像を検出する。画像は、複数のカラーチャネル(coloe channels)の情報を含んでもよい。イメージセンサ153は、少なくとも1つのCCDまたはCMOSチップを含んでもよい。
3D再構成用モジュール154は、複数の画像から被写体に関する情報を決定してもよい。再構成は、被写体の体積要素が複数の照明角度に対してそれぞれ画像化されるピクセルに依存して実行されてもよい。再構成は、図1から図14を参照して説明したように、様々な方法で実行されてもよい。たとえば、逆投影が実行される前に、照明のビームに対する検出器の光軸の傾きを補償してもよい。代替的にまたは追加的に、演算により被写体の推定が像面に順方向伝搬され、演算により補正関数が像面から逆伝搬される逐次近似法を使用してもよい。代替的または追加的に、画像スタックの画像が再構成されてもよい。代替的または追加的に、変位分析と組み合わせた構造同定を、複数の画像に含まれる被写体の構造にz位置を割り当てるために使用してもよい。
3D再構成のための情報を有する記憶媒体は、様々な形態の情報を記憶してもよく、その情報は、3D再構成のためのモジュール154によって使用される。3D再構成のための情報は、例えば変換行列の形式で、線形イメージング(linear imaging)を定義してもよい。変換行列は、例えば、照明ビームに対する検出器の傾きを補償するために、複数の照明角度について、画像の変換画像の結像を定義してもよい。変換行列は、複数の照明角度について、被写体が再構成されるボクセル格子の体積要素と、イメージセンサのピクセルの間の結像を定義してもよい。
実施形態につき図面を参照しつつ説明したが、さらなる実施形態において変更を加えてもよい。
実施形態による装置および方法では、検出器の焦点深度がその情報が光軸に沿って3次元的に再構成されることが意図されている被写体の寸法よりも大きくなるように、装置を構成してもよい。
実施形態による装置および方法は、被写体の光学密度または吸光度に依存する3次元振幅情報を再構成するように構成されてもよいが、位相情報もまた空間分解方法で決定されてもよい。この目的のために、例えば、説明した技法を複素数体(complex fields)に拡張してもよい。制御可能な照明のために、位相情報は、異なる照明角度に割り当てられた画像間の差分形成によって決定されてもよい。
実施形態による装置は、特に顕微鏡システムであってもよいが、記載された技術は、他の撮像システムにおいても使用され得る。
代替的または追加的に、投影法(projection method)が使われてもよい。これらは、被写体のボリューム(a volume of the subject)からイメージセンサ平面(image sensor plane)への順投影(forward projections)と、イメージセンサ平面から被写体のボリュームへの逆投影(backward projections)のシーケンスを含んでもよい。3次元情報は反復して再構成されてもよい。
3D再構成用モジュール154は、複数の画像から被写体に関する情報を決定してもよい。再構成は、被写体の体積要素が複数の照明角度に対してそれぞれ画像化されるピクセルに依存して実行されてもよい。再構成は、図1から図14を参照して説明したように、様々な方法で実行されてもよい。たとえば、逆投影が実行される前に、照明のビームに対する検出器の光軸の傾きを補償してもよい。代替的にまたは追加的に、演算により被写体の推定が像面に順方向伝搬され、演算により補正関数が像面から逆伝搬される逐次近似法を使用してもよい。代替的または追加的に、画像スタックの画像が再構成されてもよい。代替的または追加的に、変位分析と組み合わせた構造同定を、z位置を複数の画像に含まれる被写体の構造に割り当てるために使用してもよい。