JP2017533450A - 被写体の3次元画像を生成する装置と方法 - Google Patents

被写体の3次元画像を生成する装置と方法 Download PDF

Info

Publication number
JP2017533450A
JP2017533450A JP2017511598A JP2017511598A JP2017533450A JP 2017533450 A JP2017533450 A JP 2017533450A JP 2017511598 A JP2017511598 A JP 2017511598A JP 2017511598 A JP2017511598 A JP 2017511598A JP 2017533450 A JP2017533450 A JP 2017533450A
Authority
JP
Japan
Prior art keywords
image
subject
images
illumination
electronic processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017511598A
Other languages
English (en)
Other versions
JP6490197B2 (ja
Inventor
シュトッペ,ラース
フーゼマン,クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2017533450A publication Critical patent/JP2017533450A/ja
Application granted granted Critical
Publication of JP6490197B2 publication Critical patent/JP6490197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/4795Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785Three dimensional
    • G01N2021/1787Tomographic, i.e. computerised reconstruction from projective measurements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00Image generation
    • G06T2211/40Computed tomography
    • G06T2211/436Limited angle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本発明は、被写体の3次元画像を生成する装置と方法に関する。3次元画像化のため、被写体は複数の照明角度で照明される。検出器は複数の照明角度について被写体の複数の画像(51−53)を検出する。電子処理装置は、被写体(57)の3次元情報の再構成のため、複数の画像(51−53)を処理する。【選択図】図3

Description

本発明の実施形態は、被写体の3次元画像化(three−dimensional imaging of an object)のための装置および方法に関する。実施形態は、特に、被写体の少なくとも1つの振幅情報(amplitude information)が複数の画像から3次元的に再構成されるような装置および方法に関する。
例えば生物または非生物の顕微鏡検査のような、非常に多くの使用例では、被写体を3次元的に再構成することが望ましい。これは、被写体から検出された複数の画像の演算処理によって達成することができる。少なくとも振幅情報を含み、被写体の空間的に変動する光学密度(spatially variable optical density)に関する情報を提供する3次元画像化は、被写体に関する追加情報を提供することができる。
複数の2次元画像の処理によって被写体の3次元画像を得るには、様々な技術を使用することができる。
断層撮影法では、その光源およびその検出器を備えた画像装置は、画像化される被写体に対して制御された態様で回転されることができる。3次元画像は複数の画像から生成されることができる。しかしながら、被写体に対する光源と検出器の両方の回転は、例えば顕微鏡検査の場合、複雑な機構を必要とすることがある。これにより、技術的実装がより困難になり、常に実現するとは限らない。光源および検出器に対する被写体の回転は、接触に敏感な(touch−sensitive)被写体の場合、実現不可能か、実現には困難が伴わざるを得ない。被写体を異なる位置に回転させるには、被写体を担体(carrier)に固定する必要がある場合があり、これは望ましくないことがある。
3Dタイコグラフィー(ptychography)のような技術は、演算が複雑になることがある。これは、例えば、3次元画像化が時間的制約(time conditions)を受けている場合には望ましくないことがある。一例として、3Dタイコグラフィーを使用してリアルタイム性(real−time capability)を有する被写体の3次元画像化を実施することは難題である。
被写体の3次元画像化のための改善された技術の必要がある。特に、効率的な方法で、複数の2次元画像から3次元情報が決定されることができる、被写体の3次元画像化を可能にする装置および方法の必要がある。被写体の周りの検出器の機械的移動を必要としない装置および方法の必要がある。
実施形態によれば、被写体が複数の照明角度で照明され、それぞれの場合に画像が記録される装置および方法が特定される。画像は、それぞれの場合に輝度画像(intensity image)であってもよい。複数の画像はさらに演算処理される。処理中、被写体は、複数の画像から3次元的に再構成される。ここでは、画像記録中、それぞれの場合において使用される照明角度に関する情報が使用されることができる。
被写体が複数の照明角度ごとに斜めに照射されることにより、被写体の3次元情報が複数の画像内の構造の変位(displacement of structures)に変換される。これは、複数の画像および割り当てられた照明角度から3次元的に被写体を再構成するために使用されることができる。この場合、被写体の再構成は、少なくとも振幅情報の再構成を含んでもよい。いくつかの実施形態では、振幅情報および位相情報(phase information)の両方が再構成されてもよい。
複数の検出された画像は、2つ以上の画像を含んでもよい。複数の画像に含まれる画像の数は、2よりはるかに大きくてもよい。
複数の画像が検出されている間、検出器の位置は被写体に対して変化しないままであってもよい。
3次元情報を再構成するために、様々な技術が使用されてもよい。従来の断層撮影法と同様の処理が用いられてもよく、そこでは、固定されたカメラのため、照明ビームの方向に対するカメラの傾きが補償(compensated)される。
代替的または追加的に、投影法(projection method)が使われてもよい。これらは、被写体のボリューム(a volume of the subject)からイメージセンサ平面(image sensor plane)への順投影(forward projections)と、イメージセンサ平面から被写体のボリュームへの逆投影(backward projections)のシーケンスによって構成されてもよい。3次元情報は反復して再構成されてもよい。
代替的または追加的に、被写体を通過する、異なる断面に対応する画像スタック(image stack)の画像は、演算により決定されてもよい。この目的のため、イメージセンサ上での異なる断面のzデフォーカス(z−defocus)によって引き起こされる変位は、演算により反転(inverted)されてもよい。この方法により修正された画像は、3次元の振幅情報を得るために、他の方法で合計され(summed)、または組み合わされても(combined)よい。あるいは、複数の画像における構造同定に基づいて、少なくとも2つの画像の間の構造の照明角度に依存した変位を同定することができ、そのzデフォーカス、すなわち光軸に沿った位置が推定される。
様々な技術が組み合わされてもよい。これに関して、一例として、まず、構造同定によって、光軸に沿った位置を複数の画像に含まれる構造に割り当てる試みがなされてもよい。この割り当ては、異なる画像間の照明角度に依存した変位(illumination angle−dependent displacement)に依存して実行されてもよい。この方法により決定された3次元振幅情報は、更なる技術、例えば逐次近似法(iterative techniques)又は断層撮影技術(tomographic techniques)の入力変数(input variable)として使用されてもよい。
実施形態による装置および方法の場合、被写体の3次元情報の決定は、演算上効率的な方法で行われてもよい。複数の照明角度での照明および画像の演算処理における照明角度の考慮により、従来の断層撮影法における検出器および光源の移動に関連する問題を低減することができる。複数の画像の演算による組み合わせ(computational combination)は演算上効率的に実行できる操作により実現することができ、リアルタイム条件を満たすことができる。
一実施形態による被写体の3次元画像化のための装置は、被写体を照明するための複数の照明角度を設定するために制御可能な照明装置を含む。この装置は、イメージセンサを有する検出器を備え、そのイメージセンサは、複数の照明角度における被写体の複数の画像を取り込む(capture)ように構成される。この装置は、イメージセンサに接続した、複数の画像を処理するための電子処理装置を含む。電子処理装置は、複数の画像に依存して被写体の3次元振幅情報を再構成するように構成されてもよい。
装置は、複数の画像の記録中、被写体に対する検出器の位置が変化しないように構成されてもよい。
複数の画像の各画像は、輝度画像であってもよい。
電子処理装置は、被写体の体積要素(volume element)が複数の照明角度について画像化されるイメージセンサの画素に依存して3次元振幅情報を再構成するように構成されてもよい。
電子処理装置は、体積要素と検出器の焦点面(focal plane)の間の距離に依存して、複数の照明角度に対して被写体の体積要素がそれぞれ画像化されるイメージセンサの画素を決定するように構成されてもよい。この方法によれば、斜め方向からの照明の場合に焦点面からの距離が変換される変位を3次元再構成のために目標とする方法で使用することができる。
電子処理装置は、異なる照明角度において、イメージセンサの画素によって検出された輝度に依存して、複数の異なる平面に配置された被写体の複数の体積要素の振幅情報を再構成するように構成されてもよい。これにより、被写体のどの体積要素の発光が、被写体の異なる断面において照明装置から検出器までの経路上を通過するかを考慮することが可能となる。
電子処理装置は、複数の照明角度の各照明角度について、照明角度に割り当てられた変換を、対応する照明角度に対して検出された画像に適用するように構成されてもよい。変換は、被写体に対する検出器の仮想傾斜(virtual tilting)に対応するものでもよい。これにより、照明角度に依存して検出器が照明ビームに対して傾いていることがあるという事実を補償することが可能となる。
電子処理装置は、複数の修正された画像を生成するために、複数の画像の少なくとも一部にそれぞれの照明角度に割り当てられた変換を適用するように構成されてもよい。電子処理装置は、複数の修正された画像から3次元振幅情報を再構成するように構成してもよい。
電子処理装置は、被写体から画像平面への順方向伝搬(forward propagation)および/または逆伝搬(back−propagation)によって3次元振幅情報を決定するように構成されていてもよい。3次元振幅情報に基づくイメージセンサ上の輝度分布の演算による決定は、例えば投影(projection)または光照射野の伝搬(propagation of a light field)によって決定される。イメージセンサから被写体の体積要素への画像化は、像面から被写体の体積要素への投影、または光照射野の逆伝搬によって決定されてもよい。電子処理装置は、順方向伝搬と逆伝搬のシーケンスを反復して実行するように構成されてもよい。
電子処理装置は、複数の照明角度のうちの1つの照明角度に対する3次元振幅情報の推定のため、イメージセンサ上でどのような輝度分布が生じるかを演算により決定するように構成されてもよい。電子処理装置は、演算により決定された輝度分布とその照明方向について検出された画像の比較に依存する補正画像を決定するように構成されてもよい。電子処理装置は、補正画像を逆投影するか(project the correction image backward)、または逆伝搬をする(propagate it backward)ように構成されてもよい。この場合、補正画像は、被写体の体積要素に画像化されてもよい。
電子処理装置は、推定および照明角度に依存して異なる方法で輝度分布を決定してもよい。非幾何学的効果も考慮した順方向伝搬が行われてもよい。イメージセンサへの順方向投影が演算されてもよい。
補正画像は、差分画像(difference image)であってもよいし、商画像(quotient image)であってもよい。
電子処理装置は、複数の異なる平面に配置された体積要素に逆投影または逆伝搬を実行するように構成されてもよい。異なる平面は、装置の光軸に沿って離れていてもよく、それぞれの場合に光軸に対して垂直であってもよい。
電子処理装置は、逆投影に依存して推定を更新するように構成されてもよい。
電子処理装置は、少なくとも1つの更なる照明角度に対して補正画像および逆投影又は逆伝搬の決定を反復して繰り返すように構成されてもよい。電子処理装置は、少なくとも1つの更なる照明角度に対する補正画像の決定、逆投影又は逆伝搬および推定の更新を反復して繰り返すように構成されてもよい。
電子処理装置は、3次元振幅情報を再構成する目的で、複数の画像の少なくとも一部に対して、画像記録中の照明角度に依存した歪みを反転させるように構成されてもよい。
電子処理装置は、3次元振幅情報を再構成するため、複数の画像から被写体の画像スタックを演算するように構成されてもよい。この画像スタックの画像は、それぞれの場合に振幅情報を含んでもよい。
電子処理装置は、断層面に沿って被写体を通る断面を表す画像スタックの画像を演算する目的で、複数の画像の少なくとも一部に変換を適用するように構成されてもよく、変換は対応する画像を記録する際の照明角度と断層面の位置に依存する。
電子処理装置は、異なる照明角度に対して検出された少なくとも2つの画像において、相互に対応する構造を同定するように構成されてもよい。
電子処理装置は、少なくとも2つの画像内の相互に対応する構造間の変位に依存して、被写体内の相互に対応する構造の位置を決定するように構成されてもよい。電子処理装置は、少なくとも2つの画像内の相互に対応する構造間の変位に依存して、装置の光軸に沿った少なくとも1つの座標(coordinate)を決定するように構成されてもよい。
電子処理装置は、複数の画像に依存して被写体の3次元位相情報(three−dimensional phase information)を再構成するように構成されてもよい。
装置は顕微鏡システムであってもよい。
装置は、デジタル顕微鏡であってもよい。
一実施形態による被写体の3次元記録の方法は、被写体が複数の照明角度で照明されるときに複数の画像を記録するステップを含む。この方法は、複数の画像を処理することを含む。この場合、被写体は3次元的に再構成される。被写体の3次元振幅情報の少なくとも1つは、複数の画像から再構成される。
この方法は、一実施形態による装置によって自動的に実行されてもよい。
この方法では、複数の画像の記録中、被写体に対する検出器の位置は不変であってもよい。
複数の画像の各画像は、輝度画像であってもよい。
この方法では、3次元振幅情報は、複数の照明角度に対して被写体の体積要素がそれぞれ画像化されるイメージセンサの画素に依存して再構成されてもよい。
この方法では、体積要素と検出器の焦点面との間の距離に依存して、複数の照明角度について、被写体の体積要素がそれぞれ画像化されるイメージセンサの画素を決定することが可能である。このようにして、斜めの照明(oblique illumination)の場合に焦点面からの距離が変換される変位を、3次元再構成のために目標通りに使用することができる。
この方法では、複数の異なる平面に配置された被写体の複数の体積要素の振幅情報を、異なる照明角度において、イメージセンサの画素において検出される輝度に依存して再構成されてもよい。これにより、それぞれの場合に、被写体のうち、どの体積要素が、被写体の異なる断面において照明装置から検出器までの経路上を通過するかを考慮することが可能となる。
この方法では、複数の照明角度の各照明角度について、照明角度に割り当てられた変換が、対応する照明角度について検出された画像に適用されてもよい。変換は、被写体に対する検出器の仮想傾斜に対応するものでもよい。これにより、照明角度に依存して検出器が照明ビームに対して傾いていることがあるという事実を補償することができる。
この方法では、複数の修正された画像を生成するために、それぞれの照明角度に割り当てられた変換を、複数の画像の少なくとも一部に適用してもよい。3次元振幅情報は、複数の修正された画像から再構成されてもよい。
この方法では、3次元振幅情報は、順投影および逆投影のシーケンスによって決定されてもよい。3次元振幅情報からのイメージセンサ上の輝度分布の演算による決定は、例えば投影又は光照射野の伝搬によって決定される。イメージセンサから被写体の体積要素への画像化は、像面から被写体の体積要素への投影、または光照射野の逆伝搬によって決定されてもよい。電子処理装置は、順方向伝搬と逆伝搬のシーケンスを反復して実行するように構成されてもよい。
3次元情報の再構成は、複数の照明角度のうちの1つの照明角度に対する3次元振幅情報の推定からのイメージセンサ上の輝度分布の計算を含んでもよい。3次元情報の再構成は、演算による輝度分布と、その照明方向について検出された画像との比較に依存する補正画像の決定を含んでもよい。3次元画像の再構成は、補正画像の逆投影または逆伝搬を含んでもよい。
補正画像は、差分画像であってもよいし、商画像であってもよい。
補正画像の逆投影または逆伝搬は、複数の異なる平面に配置された体積要素に実行されてもよい。異なる平面は、装置の光軸に沿って離れていてもよく、それぞれの場合に光軸に対して垂直であってもよい。
3次元情報の再構成は、逆投影に依存して推定を更新することを含んでもよい。
3次元情報の再構成は、少なくとも1つの更なる照明角度に対する補正画像および逆投影又は逆伝搬の決定を反復して繰り返す(iterative repetition)ことを含んでもよい。3次元情報の再構成は、補正画像の決定、逆投影または逆伝搬、および少なくとも1つの別の照明角度に対する推定の更新の反復した繰り返しを含んでもよい。
3次元振幅情報の再構成は、対応する画像の記録中、照明角度に依存する歪みが反転されるという事実を含んでもよい。
3次元振幅情報を再構成する目的で、複数の画像から被写体の画像スタックを演算することが可能である。
断面を通る被写体を通る断面を表す画像スタックの画像を計算するために、複数の画像の少なくとも一部に変換が適用されてもよい。変換は、対応する画像の記録中の照明角度および断層面の位置に依存してもよい。
この方法は、異なる照明角度に対して検出された、少なくとも2つの画像における相互に対応する構造を同定するための構造同定を含んでもよい。相互に対応する構造は、異なる画像における同じ被写体の構造の画像であってもよい。
3次元振幅情報を再構成する目的で、少なくとも2つの画像内の相互に対応する構造間の変位に依存して被写体内の相互に対応する構造の位置を決定してもよい。少なくとも2つの画像における相互に対応する構造間の変位に依存して、光軸に沿った少なくとも1つの座標を決定してもよい。
この方法は、複数の画像に依存する被写体の3次元位相情報の再構成を含んでもよい。
装置は顕微鏡システムであってもよい。
この装置は、デジタル顕微鏡であってもよい。
装置および方法では、複数の画像を伝送装置(transmission arrangement)で検出してもよい。画像は、反射装置(reflection arrangement)で検出してもよい。
本件実施形態による装置および方法は、被写体に対する検出器の制御された移動を必要とせずに、被写体の3次元画像化を可能にする。3次元振幅情報を再構成するための複数の画像の処理を効率的な方法で実行されてもよい。
上述の特徴および以下に説明する特徴は、本発明の保護の範囲から逸脱することなく、明示的に設定された対応する組み合わせだけでなく、さらなる組み合わせまたは単独で使用されてもよい。
本発明の上述の特性、特徴および利点、ならびにそれらが達成される方法は、図面と関連してより詳細に説明される実施形態の以下の説明に伴って、より明白となり、より明確に理解される。
一実施形態による装置の概略図である。 一実施形態による方法の流れ図である。 実施形態による装置および方法における複数の画像の処理を示す図である。 照明の方向に対する検出器の傾きが少なくとも部分的に補償される実施形態による装置および方法による複数の画像の処理を示す図である。 照明の方向に対する検出器の傾きが少なくとも部分的に補償される実施形態による装置および方法による複数の画像の処理を示す図である。 一実施形態による方法の流れ図である。 一実施形態による方法の流れ図である。 一実施形態による方法の流れ図である。 画像スタックが決定される実施形態による装置および方法による複数の画像の処理を示す図である。 画像スタックが決定される実施形態による装置および方法による複数の画像の処理を示す図である。 一実施形態による方法の流れ図である。 構造同定がz位置を決定するために実行される実施形態による装置および方法による複数の画像の処理を示す。 一実施形態による方法の流れ図である。 一実施形態による方法の流れ図である。 一実施形態による装置のブロック図である。
本発明は、図面を参照して、好ましい実施形態に基づき、以下に、より詳細に説明される。図面において、同一の参照記号は同一または類似の要素を示す。図面は、本発明の様々な実施形態の概略図である。図に示される要素は、必ずしも縮尺どおりに図示されていない。むしろ、図に示された様々な要素は、その機能および目的が当業者に理解可能となるようにされる。
図面に示されている機能ユニットと要素との間の接続および結合は、間接的な接続または結合として実施されてもよい。接続または結合は、有線または無線方式で実施されてもよい。
以下、被写体を3次元的に画像化する技術について説明する。この場合、少なくとも1つの振幅情報が3次元的に再構成される。3次元振幅情報の再構成とは、特に3次元の位置の関数としての被写体の吸光度または光学密度を表す3次元情報の決定を意味すると理解される。
以下により詳細に説明するように、本発明の実施形態では、被写体の複数の画像は逐次記録される。記録された画像は、それぞれの場合に輝度画像であってもよい。被写体を照明するための照明角度は、複数の画像を記録するための異なる値に設定される。画像を検出する検出器は静止していてもよい。被写体に対する検出器の位置は、複数の画像が検出されている間、一定のままでもよい。
被写体は、複数の画像から3次元的に再構成されてもよく、少なくとも振幅情報は空間的に分解され(spatially resolved)、3次元的に決定される。複数の画像は、図3から図14を参照してより詳細に説明するように、様々な方法で処理されてもよい。
複数の画像を組み合わせることにより、被写体の3次元情報を演算により推論することができるので、被写体の斜め照明は、イメージセンサの平面内の画像の変位をもたらす。個々の被写体の構造が画像内で表される変位から、それぞれ使用される照明角度に依存して、対応する構造の3次元位置を推定することができる。
3次元情報の再構成を含む検出された画像の処理は、画像記録装置の記憶媒体に不揮発的に記憶されたデータに基づいてもよい。データは、照明角度に依存した画像の画素と被写体の体積要素(ボクセル)との間の結像のための画像および/または情報のそれぞれの適用可能な変換を、異なる照明角度に対して含んでもよい。
図1は、一実施形態による被写体2の3次元画像化のための装置1の概略図である。装置1は、実施形態による方法を自動的に実行するように構成してもよい。装置1は、顕微鏡システムであってもよく、またはさらに詳細に説明される制御可能な照明装置、イメージセンサを有するカメラおよび反射を抑制する電子処理装置を備える顕微鏡を備えてもよい。
装置1は、光源11を有する照明装置を含む。集光レンズ12は、それ自体公知の方法で、光源11によって放射された光を画像化される被写体2に向けるものでもよい。照明装置は、複数の異なる照明角度4で被写体2に光が放射されるように構成されている。この目的のために、例えば、光源11は、複数の発光ダイオード(LED)を有する、LED装置(LED arrangement)であってもよく、そのLEDは個別に駆動できてもよい。LED装置は、LEDリング装置であってもよい。代替的に、制御可能な要素は、異なる照明角度を提供するために、従来の光源が拡大されて画像化される中間像面(intermediate image plane)に配置されてもよい。制御可能な要素は、可動ピンホールストップ(movable pinhole stop)、マイクロミラーアレイ、液晶マトリックスまたは空間光変調器(spatial light modulator)を含む。
照明装置は、光軸5で形成された照明角度4の絶対値が変化するように構成されてもよい。照明装置は、照明角度4で被写体を照明することができるビーム3の方向も、光軸5の周りで極方向(polar direction)に動くように構成してもよい。照明角度は、ここでは、θxとθyとして指定される角度の組み合わせを調整することで3次元的に決定してもよい。角度θxはxz平面上のビーム3の方向を決めてもよい。角度θyはyz平面上のビーム3の方向を決めてもよい。
装置1の検出器14は、いずれの場合にも、被写体2が照明されている複数の照明角度のそれぞれについて被写体2の少なくとも1つの画像を検出する。画像はいずれの場合にも輝度画像である。検出器14のイメージセンサ15は、例えばCCDセンサー、CMOSセンサー、又はTDI(「時間遅延積分方式(time delay and integration)」)CCDセンサーとして構成されてもよい。撮像光学ユニット(imaging optical unit)、例えば顕微鏡対物レンズ13(模式的にのみ図示)は、イメージセンサ15において被写体2の拡大画像を生成してもよい。イメージセンサ15は、輝度画像を記録するように構成されてもよい。
装置1は、電子処理装置20を備える。電子処理装置は、複数の照明角度に対して被写体2から検出された複数の画像をさらに処理する。電子処理装置20は複数の画像に依存して3次元画像を決定するように構成されている。図3から図13を参照してさらに詳細に説明するように、その処理は、ビーム3の方向に対する検出器の傾きを補償するための画像の変換を含んでもよい。変換画像(transformed images)は、被写体の3次元情報を再構成するために断層撮影法を用いてさらに処理されてもよい。その処理は、照明角度に対する3次元の被写体の推定が像面に演算により投影される逐次近似法を含んでもよく、その投影は、この照明角度に対して実際に検出された画像と比較され、その比較結果に依存して補正画像が決定される。補正画像は、その推定を更新するために、逆投影されてもよい。これらのステップは、異なる照明角度について繰り返されてもよい。この処理は、代替的に又は付加的に、画像スタックの計算、例えば、いわゆるz画像スタック又は画像スタックの画像が振幅情報を含む「zスタック」の計算を含んでもよい。
装置1は、複数の画像を処理するための情報を有する記憶媒体21を含んでもよい。電子処理装置20は、記憶媒体に接続されるか、または記憶媒体を含んでもよい。電子処理装置20は、それぞれの照明角度について、記録媒体の情報によりその照明角度で記録された画像ごとに適用される変換を決定することができる。
実施形態による装置の機能は、図2から図15を参照して、より詳細に説明される。
図2は、一実施形態による方法30の流れ図である。この方法は、画像記録装置1によって自動的に行われてもよい。
ステップ31において、被写体は、第1の照明角度で照射される。照明装置は、例えば、電子処理装置20によって駆動され、被写体は第1の照明角度で照射される。イメージセンサ15は、第1の画像を検出する。第1の画像は、第1の輝度画像であってもよい。
ステップ32において、被写体は、第1の照明角度とは異なる第2の照明角度で照明される。この目的のために、照明装置は、対応する方法で駆動されてもよい。イメージセンサ15は、第2の画像を検出する。第2の画像は、第2の輝度画像であってもよい。
異なる照明角度での被写体の連続照明と画像記録が繰り返されてもよい。
ステップ33において、被写体はN番目の照明角度で照明される(Nは2より大きい整数である)。この目的のために照明器具はそれに対応した方法で駆動されてもよい。イメージセンサ15はN番目の画像を検出する。画像の番号Nは1より大きくてもよい。また、1つの照明角度に対して複数の画像を取り込むことも可能である。
ステップ34において、複数の画像に依存して、被写体の3次元情報が再構成される。振幅情報が再構成されてもよい。位相情報は選択的に再構成されてもよい。図3から図14を参照してより詳細に説明するように、複数の画像を処理するために様々な技術を使用することができる。
下記に詳細に説明するように、被写体の3次元情報を再構成するために、様々な方法で、被写体の体積要素が、異なる照明角度ごとにイメージセンサ15の画素にどのように結像されるかを利用することが可能である。3次元情報の再構成は、被写体が配置されるボリュームの複数の体積要素(当該技術分野ではボクセルとも呼ばれる)のそれぞれの振幅値(amplitude value)を決定することを含んでもよい。振幅値は、体積要素の対応する位置での被写体の吸光度または光学密度を表してもよい。体積要素は、規則格子(regular lattice)または不規則格子(irregular lattice)に配置されてもよい。
この分野の用語によれば、短い表現では、「体積要素が演算される」または「体積要素が再構成される」と述べられるが、それは、例えば、対応する位置における被写体の吸光度または光学密度を示す少なくとも一つの振幅値が前記体積要素ごとに演算されるとの意味だと理解される。
複数の照明方向ごとに体積要素がそれぞれの場合にイメージセンサの画素にどのように結像されるかの情報は、図3から図13を参照して詳細に説明されるように、様々な方法で利用され得る。
図3から図8を参照して説明するように、3次元振幅情報は、イメージセンサの画像平面から体積要素への逆投影を含む技術を用いて演算されることができる。逆投影は、照明角度に依存して実行され、異なる照明角度で記録された画像に対応して異なるものである。逆投影は、ビーム3が光軸に沿って異なる平面に配置された複数の体積要素を通過してから、イメージセンサのピクセルに衝突するという事実を考慮する。
逆投影は、ビーム3に対するイメージセンサの傾きを補償するために、最初に記録された画像が照明角度に依存して変換されるように実行されてもよい。変換画像は、体積要素に逆投影されてもよい。
逆投影は、3次元振幅情報の推定のイメージセンサへの投影を逐次近似法により演算するような方法により行われてもよい。補正画像は、推定の投影と対応する照明角度で実際に検出された画像の比較に依存する。推定を更新するために、補正画像が体積要素に逆投影されてもよい。これらのステップは、収束基準(convergence criterion)が満たされるまで、異なる照明角度に対して繰り返して反復されてもよい。
図3は、実施形態による方法および装置における3次元情報の再構成を示す。被写体2の3次元情報を決定するために、格子40の体積要素41、42には、それぞれ複数の検出画像51−53に依存して決定される少なくとも1つの値が割り当てられる。格子40の頂点41、42は体積要素を表し、この場合、例えばそれぞれの体積要素の中点(midpoint)、角(corner)またはエッジの中点(edge midpoint)を構成してもよい。
異なる照明角度での照明のために順次使用されるビーム46−48の場合、斜めの照明は、イメージセンサの平面上における被写体の結像の歪み(distortion of the imaging)をもたらす。この歪みは、照明角度に依存するビーム46−48の方向に対するイメージセンサの平面の可変の傾きに起因する。
被写体の体積要素41は、照明方向に依存してイメージセンサ15の異なる画素に対応して結像される。異なる画像51−53内の構造50は、異なる画像領域(image regions)内で表現されてもいいが、体積要素41および追加の体積要素のイメージセンサ15の像面への投影により生成されてもよい。
逆に、イメージセンサの各画素54は、ビーム46−48の異なる照明方向に対する輝度情報を検出し、前記輝度情報は、ビーム46−48に沿って並んで配置された複数の体積要素の吸光度または光学密度に依存する。
実施形態において、複数の画像51−53の照明角度に依存する歪みを組み合わせることによって、被写体の3次元情報を再構成することが可能である。
図4は、一実施形態における被写体の3次元情報の再構成の機能を示す。
ビーム3は、xz平面および/またはxy平面に対して傾斜していてもよい。ビーム3の方向は3次元における角度を決定し、この角度は、例えばxz平面に対する傾きおよびxy平面に対する傾きを示す2つの角度座標(angle coordinates)によって表されてもよい。
検出器14の中心軸は、少なくともいくつかの照明角度におけるビーム3の方向に対して傾斜している。これは、光源とイメージセンサが共に被写体2に対して移動する従来の断層撮影法とは対照的である。傾きは、ビーム3の中心軸がイメージセンサ15の感知面に対して垂直でないという効果を有する。これは照明角度に依存する歪みをもたらす。
被写体情報を再構成するために、以下の手順が採用されてもよい。第1に、検出された画像の少なくとも一部が変換される。変換は、それぞれの画像を検出した間の照明角度に依存してもよい。変換は、検出器14によって検出された画像を、仮想的に傾斜した位置(virtually tilted position)61において検出器14によって検出されるであろう変換画像に画像化するように選択されてもよい。実際に検出される画像の座標が変換画像の座標に画像化される変換行列(transformation matrix)は、例えば、少なくとも2つのオイラー行列の積(a product of at least two Euler matrices)を含んでもよい。2つのオイラー行列は、検出器14の中心軸がビーム3に対して角度θxとθyだけ傾いていることを表してもよい。
各照明角度に対して、変換は事前に演算され、装置1の記憶媒体に不揮発的に記憶されてもよい。変換は、検出された画像を変換画像に結像させる照明角度のそれぞれについて、例えば行列(matrix)またはその他の画像化の仕様(imaging specification)として、記憶されてもよい。この場合、変換画像は、検出器14の中心軸とビーム3との間の傾きを補償し、検出器14がビーム3と共に被写体2の周りを動かされたなら検出器14によって検出されたであろう画像を近似(approximate)する。
そして、変換画像は格子40の体積要素に逆投影される。変換画像は、検出器14とビーム3との間の傾きを補償するので、従来の断層撮影法から知られている逆投影技術が使用されてもよい。
変換画像は、フィルタ逆投影法(filtered back−projection)によって体積要素に投影されてもよい。変換画像は、被写体の3次元情報を決定するために、逆ラドン変換(inverse Radon transformation)によって処理されてもよい。
一例として、変換画像の処理の間に、変換画像のピクセル値(the value of a pixel)は、対応する照明角度で変換画像の画素に結像する各体積要素の値に加算されてもよい。これは、異なる照明角度に対して繰り返されてもよい。このようにして、体積要素の振幅情報の値は、異なる照明角度ごとに対応する体積要素が結像する別の画像のピクセル値の合計(sum)として決定されてもよい。前記合計は、対応する位置での被写体の吸光度または光学密度の尺度である。加算(summation)の代わりに、他の線形結合(linear combination)が行われてもよく、線形結合における別の変換画像についての係数は異なっていてもよい。
図5は、検出器14の光軸とビーム方向との間の傾きが少なくとも部分的には補償されるように、検出された画像51−53が変換される装置および方法の動作方法を示す。変換T1、T3は、画像51、53に対し決定され、画像51、53についてのビーム3は検出器14の光軸と平行でなく、イメージセンサの感知面(sensitive plane)に対して垂直でない。変換T1、T3は、いずれの場合も歪み場(distortion field)であってもよい。歪み場は、検出器とビームの間の傾きを理由とする歪みを表す。検出器の光軸がビーム3と平行である場合の画像52について、変換T2は恒等変換(identity transformation)であってもよい。複数の画像51、53について、検出画像51、53は、変換によって取り替えられ(displaxed)、および/または修正(rectified)される。
それぞれの照明角度に割り当てられた変換は、各画像51−53に適用される。このようにして、変換画像54−56が決定される。変換画像54−56は、照明角度に依存して動かされる検出器によって検出されたであろう画像を近似する。変換画像54−56は、従来の断層撮影法で3次元情報を再構成するために使用される任意のアルゴリズムを使用して処理することができる。一例として、逆ラドン変換またはフィルタ逆投影法を使用することができる。
変換画像54−56の処理は、3次元情報57を再構成することを可能にする。この場合、振幅値は、ボクセル格子の各体積要素について決定されてもよい。振幅値は、対応する位置での被写体2の吸光度または光学密度に依存してもよい。振幅値は、対応する位置での被写体2の吸光度または光学密度を示してもよい。図5を参照すると、再構成によって決定される、異なる光学密度が、ボクセル格子40の頂点が異なるように充填されることによって概略的に示されている。
図6は、一実施形態による装置によって自動的に実行される方法60の流れ図である。この方法では、画像はまず、検出器14の光軸とビーム方向との間の傾きを少なくとも部分的に補償するために変換される。変換画像は、断層撮影アルゴリズム(tomography algorithm)の入力変数(input variables)として使用される。
ステップ61では、被写体のN個の画像が記録される。N個の画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度について検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明ビームと検出器の光軸は互いに平行ではない。
ステップ62において、N個の画像の全てまたは少なくとも一部が変換される。変換は、それぞれの照明角度に依存する。変換は、照明ビームのビーム軸に対する検出器の傾きを補償してもよい。この変換により、照明ビームとともに動かされる検出器によって検出されたであろう画像を近似することが可能になる。変換は、検出された画像の座標を、変換画像の座標に画像化して、検出器の傾きが補償されるようにしてもよい。
ステップ63において、変換画像から被写体の情報の断層撮影再構成(tomographic reconstruction)が実行される。再構成は、それ自体既知の多数の断層撮影アルゴリズム、例えば、逆ラドン変換またはフィルタ逆投影を使用することができる。しかしながら、従来の断層撮影法とは対照的に、ステップ62の変換画像は入力変数として使用され、変換画像は、たとえ照明が被写体2に異なる角度で入射したとしても、検出器14は被写体2に対する位置を維持するという事実を考慮する。
ステップ63では、少なくとも被写体の振幅情報が再構成されてもよく、その振幅情報は、位置の関数としての吸光度または光学密度に依存する。検出された画像の差を逆投影と組み合わせて形成することによって、位相情報を任意に3次元的に再構成されてもよい。
方法60は、反復を含まないように実行されてもよい。これにより、3次元情報を特に効率的かつ迅速に決定することができる。あるいは、逐次近似法による再構成技術(iterative reconstruction techniques)が使用されてもよい。一例として、方法60に従って得られた3次元振幅情報は、反復ステップによってさらに改善されてもよく、その目的のために、3次元情報は、図7および図8を参照してさらに詳細に記載されるような、逐次近似法の初期推定(initial estimation)として使用されてもよい。
図7および図8は、一実施形態による装置によって実行されてもよい逐次近似法の流れ図である。
一般に、これらの方法では、3次元振幅情報の初期推定から進み、推定が繰り返し改善される。各反復は、ある照明角度について、演算により、推定を像面に順投影もしくは順方向伝搬することを含んでもよい。体積要素が結像される画素は、照明角度に依存する。推定の投影または順方向伝搬は、推定が被写体2の振幅情報を正しく再現した場合に得られる画像を表す。補正画像は、このように推定から演算によって決定された、イメージセンサにおける輝度と、この照明角度において現実に検出された画像を比較することによって決定されてもよい。補正画像は、例えば、差分画像であってもよいし、商画像であってもよい。
補正画像は、画像平面からボクセル格子の体積要素に逆投影(be projected back)されてもよい。この場合、補正画像は、z軸に沿った固定位置を有する単一の平面だけでなく、ボクセル格子のすべての平面に逆投影されるかまたは逆伝搬される。このz軸は光軸5によって決められてもよい。逆投影は、例えば、フィルタ逆投影または逆ラドン変換として実行されてもよい。逆伝搬は、回折(diffraction)のような非幾何学的効果(non−geometric effects)も考慮に入れてもよい。推定は、補正画像の逆投影または逆伝搬に依存して更新されてもよい。
これらのステップは、異なる照明方向が使用されるように反復して繰り返されてもよい。投影を決定するための体積要素からイメージセンサの平面への伝搬と、イメージセンサの平面から体積要素への補正画像の逆伝搬の両方は、それぞれ照明角度に依存する。3次元情報は、異なる照明角度にわたる反復によって再構成されてもよい。
図7は、方法70の流れ図である。ステップ71では、複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度のそれぞれに対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ72において、3次元振幅情報の推定、例えばボクセル格子の頂点の値がイメージセンサの平面に順方向伝搬される。体積要素と画素との間の結像は、照明角度に依存する。ボクセル格子の体積要素と画素の間の結像は、予め決定され、装置1の記憶媒体に不揮発的に記憶されてもよい。ボクセル格子の体積要素と画素の間の結像は、例えば、幾何学的投影法を用いて、電子処理装置によって、それぞれの照明角度に対して自動的に決定されてもよい。
ステップ73では、補正画像が演算される。ここで、補正画像は、一般に、順方向伝搬の推定と、この照明角度に対して記録された画像との間のずれに関する空間分解情報(spatially resolved information)であると理解される。補正画像は、演算による像面への順方向伝搬の推定が、実際に検出された画像を得るためには、どのように修正されなければならないかを規定する値を有する関数であってもよい。
一例として、補正画像は、以下に与えられる補正の関数でもよい。
Figure 2017533450
ここで、qおよびrはセンサーの像面内の座標、例えば画素座標を示す。I(q,r,θx,θy)は、画素(q,r)で、角度座標(angle coordinates)θxおよびθyを用いた照明のために、検出された画像の輝度である。Iprop(q,r,θx,θy)[Eobj]は、位置(q,r)の画像平面に対して角度座標θxとθyを持つ照明角度による被写体Eobjの3次元情報の順方向伝搬の推定の輝度である。C(q,r,θx,θy)は、位置(q,r)における補正画像の値を示す。
例えば、検出された輝度と、推定の順方向伝搬によって決定される輝度の商のような、他の補正画像の定義が使用されてもよい。この場合、補正情報は、Iprop(q,r,θx,θy)[Eobj]≠0を満たす全ての画素について下記のように定義されてもよい。
Figure 2017533450

ステップ74では、補正画像は逆伝搬されてもよい。逆伝搬は、検出器の光学系(optical system)に依存して演算により決定されてもよく、例えば、回折のような非幾何学的効果も考慮してもよい。逆伝搬は、イメージセンサの画素を被写体の複数の平面の体積要素に結像させる画像化であってもよい。逆伝搬を規定する結像は、予め決定され、装置1の記憶媒体に不揮発的に記憶されてもよい。
逆伝搬された補正画像に従って被写体の推定が更新される。一例として、更新は下記の式に従って行われてもよい。
Figure 2017533450

ここで、Bは角度座標θx、θyに依存する逆変換の操作を示し、C(θx,θy)は補正画像を示す。
図8は方法80の流れ図である。
ステップ81では、複数の画像が検出される。これは、ステップ71について説明したようにして実行することができる。
ステップ82では、少なくとも3次元被写体の振幅情報の推定が初期化される。初期化は、例えば、相同な被写体に対応するボクセル格子の各頂点に同じ値を割り当ててもよい。ランダムな値が割り当てられてもよい。初期推定は繰り返し改善される。被写体に関する事前の情報が使用されてもよいが、反復的な改善が行われるので必要不可欠ではない。
ステップ83では、反復が初期化される。反復の実行インデックスは、ここではnで指定される。例えば、異なる画像または異なる照明角度に異なるnが割り当てられてもよい。
以後、nは、異なる画像記録角度にインデックスをつけるためにも使用され、他の実行変数が使用されてもよい。
ステップ84では、推定が順方向伝搬される。これはイメージセンサの平面に対する推定の体積要素の投影または他の伝搬を含んでもよい。順方向伝搬は、照明角度に依存する。結像は、例えば、ベクトルに結合されたボクセル値をイメージセンサのピクセル値に結像するイメージングマトリクス(imaging matrix)の形態で、それぞれの照明角度に対して不揮発的に格納されてもよい。
ステップ85では、補正画像が決定されてもよい。補正画像は、推定の順方向伝搬と、この照明角度に対して実際に検出された画像とに左右される。補正画像は、推定の順方向伝搬が実際に検出された画像に画像化されることができる位置依存関数(location−dependent function)を定義してもよい。補正画像は、式(1)または式(2)を参照して決定されてもよい。
ステップ86では、補正画像が逆伝搬されてもよい。逆伝搬は順方向伝搬について演算された照明角度に依存する。逆伝搬は、ボクセル格子の複数の平面への結像を規定する。逆伝搬は、例えば、フィルタ逆投影または逆ラドン変換として実施されてもよい。
ステップ87では、推定が更新されてもよい。この場合、ボクセル格子の体積要素ごとに、割り当てられた値が更新されてもよい。この目的のために、一例として、ボクセルごとに、補正情報の逆投影を現在の値に加えられてもよい。
ステップ88では、推定が収束しているかどうかを決定するためのチェックが行われてもよい。この目的のために、連続した反復における推定の間の違いを計算し、それを計測することによって評価することが可能である。任意の適切な計測方法、例えば、エントロピーベースの計測方法が使用されてもよい。ステップ88の収束チェックは、画像検出が行われた各照明角度に対して少なくとも1回の反復が実行されるまで遅れさせられてもよい。
収束基準が満たされている場合、ステップ89において、現在の推定が、この方法によって再構成された被写体の3次元情報として使用される。
収束基準が満たされない場合、ステップ90において、反復にまだ含まれていないさらなる画像が存在するかどうかを判定するためのチェックが実行されてもよい。そのような画像が存在する場合、ステップ91で実行変数nの値を増加させてもよい。この方法はステップ84に戻ってもよい。この場合、推定の順方向伝搬とそれに続く逆伝搬は異なる照明角度で行われる。
方法70および80はまた、複雑な画像に拡張されてもよい。これにより、振幅情報に加えて、被写体の位相情報を求めることができる。
図3から図8を参照してより詳細に説明した技術では、ボクセル格子の異なる面の体積要素が同時に再構成される。逆投影は、ボクセル格子の光軸(z軸)に沿って互いに並んで配置された複数の平面に規則的に実行される。
代替的または追加的に、実施形態による装置および方法は、被写体2が層ごとに再構成されるように構成されてもよい。この目的のために、画像の画像スタックを計算されてもよい。画像スタックの画像は、光軸に沿って前後に配置された被写体2を通る断面を表してもよい。
図9から図13を参照してより詳細に説明するように、これらの技術は、対物面と検出器14の焦点面との間の距離が違うことが、イメージセンサ14の像面において異なる歪みをもたらすという事実を利用することができる。
図9は、一実施形態による装置1を概略的に示す。複数の被写体の面101、102は、光軸により決定されるz軸105に沿って検出器14の焦点面100から離れていてもよい。光軸105に沿った被写体2の寸法は、検出器14の焦点深度(depth of focus)16よりも小さくてもよい。すなわち、光軸105に対して横方向に点像分布関数(the point spread function)を広げることは無視できる程度である。
被写体2の構造は、照明方向3、103に依存し、かつ、それらが配置される被写体の面に依存して、画像内で歪む。異なる照明角度に対応するビーム3、103を用いた照明に対する被写体の面101内の構造は、それぞれ検出された画像内の異なる位置に現れてもよい。同様に、異なる照明角度に対応するビーム3、103を用いた照明に対する被写体の面102内の構造は、それぞれ検出された画像内の異なる位置に現れてもよい。照明方向3、103では、被写体内の構造の位置は、焦点面100までの距離に依存して変化してもよい。画像内の位置は、構造が焦点の内側(intrafocally)または焦点の外側(extrafocally)に移動したかどうかによって異なっていてもよい。
照明方向に依存するこの歪みおよび被写体内の構造物と検出器の焦点面との間の距離に依存するこの歪みは、3次元情報の再構成のために使用されてもよい。この目的のために、一例として、図10から図13を参照して説明するように、図12と図13を参照して説明するように、画像スタック(例えば、いわゆる「zスタック」)が決定されてもよい。図12と図13を参照して説明するように、照明角度に依存した動きに依存して複数の画像に結像される被写体構造のz位置を決定するために、特に複数の画像内の構造同定を使用することが可能である。
画像スタックを演算するために、複数の画像の各画像に変換が適用されてもよく、この変換は、それぞれの画像の照明角度と、z軸に沿って再構成しようとする平面の位置との両方に依存する。この変換は、平面と検出器の焦点面との間の距離およびこの照明角度を原因とする歪みが再び反転されるように選択されてもよい。
変換によって修正された画像は、被写体の平面の振幅情報を再構成するために、例えば、加算または他の線形結合によって、組み合わされてもよい。層の位置に依存して決定される変換を用いて歪みを反転させることにより、変換によって変更された画像の加算または他の線形結合を行う間に、被写体の所定の層内に配置された構造に対して具体的な推定的合計を得ることが可能である。
この手順は、異なる層について繰り返されてもよい。このようにして画像スタックが生成されてもよく、画像スタックの各画像は、例えば、ボクセル格子の層に対応してもよい。画像スタックの各画像は、z軸に垂直な平面内の被写体を通る断面に対応してもよい。
図10は、実施形態による方法および装置における当該処理を示す。異なる照明角度に対して複数の画像51―53が検出される。zデフォーカスによって焦点面100に対して動かされる被写体の構造は、照明角度に依存した位置での異なる画像51−53の構造50として画像化される。構造50の画像の位置は、照明角度によって変化し、照明角度に依存した位置の変化は照明角度およびzデフォーカスに依存する。
変換S1−S3は画像51−53に適用される。変換S1−S3は、現在再構成されている平面の特定のzデフォーカスについて、照明角度に依存して生じる歪みを反転させる。
1つの簡単な実施形態では、例えば、画像51―53の変位、または画像51―53の画像領域の変位といった、変換S1−S3は、以下の式により、x方向、y方向につき、それぞれ補正されてもよい。
Figure 2017533450
Figure 2017533450

値Δzは、zデフォーカス、すなわち、再構成される被写体面と検出器の焦点面との間の距離を示す。係数sfは倍率(scaling factor)である。倍率は、検出器によってイメージセンサの平面内に結像される中間像平面内の距離から、イメージセンサの平面内の距離への変換を実行するために使用されてもよい。倍率に負の符号が付いていてもよい。
図5に示す変換T1−T3とは異なり、変換S1−S3は、照射角だけでなく、現在再構成されている平面のzデフォーカスにも依存する。
例えば、収差の結果として生成される位置に依存する歪み(field point−dependent distortions)を補正するために、より複雑な形態の変換が選択されてもよい。
変換S1−S3を適用することにより、イメージセンサの平面内で、現在再構成されることが意図され、zデフォーカスを有する特定の面を原因とする歪みが反転される。変換S1−S3によって生成された修正された画像104−106は、現在再構成された面に配置された構造50が、すべての修正された画像104−106のほぼ同じ位置に結像されるものである。被写体の他の被写体の面に配置された他の構造は、修正された画像104−106において、互いに変位したままである。
例えば、照明角度に依存して変化する係数を有する線形結合の演算などの、修正された画像104−106の加算または他の処理によって、画像スタックの画像107が生成される。画像スタックの画像107において、画像51〜53の構造50の画像情報は、構造的に重ね合わされ、被写体の対応する平面に配置されていた構造は、画像スタックの画像107内の干渉しない背景(incoherent background)に対して再構成される。
画像スタックの画像107は、例えば、ボクセル格子108の層109に含まれる情報を表す。
この処理は、画像スタックの複数の画像を生成し、被写体に関する情報でボクセル格子108全体を充填するために、異なる層に対して繰り返されてもよい。
図11は、一実施形態による装置によって実行可能な方法110の流れ図である。
ステップ111において、被写体の複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度に対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ112では、再構成しようとする平面が選択される。一例として、光軸に沿って互いに均一に離間して配置された複数の面が順次選択されてもよい。選択された平面は焦点平面から距離Δzにあり、これはゼロとは異なってもよい。
ステップ113では、再構成される平面の位置と、特に前記平面と検出器の焦点面との間の距離に依存する変換が各画像に適用される。変換はさらに照明角度に依存する。変換は、イメージセンサ15への結像中にステップ111で選択された平面内の被写体の構造を原因として生じるひずみが反転されるように決定される。
ステップ114において、変換によって修正された画像が結合される。修正された画像は、例えば、画素ごとに合計されてもよく、または何らかの他の方法で線形的に結合されてもよい。組み合わせのための他の技術が使用されてもよい。一例として、フィルタリング(filtering)は、選択された平面に配置されていない被写体の構造によって引き起こされる干渉しない背景が抑制されるように実行されてもよい。
ステップ112、113および114は、画像スタックの複数の画像を生成するために、被写体の複数の層に対して繰り返されてもよい。
実施形態では、異なる画像間での同じ構造の構造同定および変位の分析によって、zデフォーカスおよび照明角度に依存する変位は、z位置を決定することに使用されてもよい。このように決定された位置は、複数の画像の対応する構造に結像される被写体の構造が、光軸に沿ったどの位置において配置されるかを示す。図12と図13を参照して、このような技術をさらに詳細に説明する。
図12は、構造同定を用いた再構成を説明するための図である。
同じ被写体構造50の画像は、複数の画像の異なる画像51、52において、照明角度に依存して互いに対して変位してもよい。対応する歪みは、デフォーカスおよび照明角度に依存する。画像52内の被写体の構造50の画像は、別の画像51内の同一の被写体の構造50の画像に対して、2次元ベクトル121によって変位してもよい。ベクトル121は、画像51、52の記録中の照明角度と、被写体のz軸に沿った被写体の構造の位置を規定するzデフォーカスに依存する。
異なる画像51、52における被写体の構造50の画像を同定する構造同定と、異なる画像における同じ被写体構造50の画像の相対変位を決定するために使用される歪み解析(distortion analysis)とによって、被写体の構造が配置されているのは、どのz軸に垂直な面かを決定することが可能である。
3次元情報の再構成は、照明角度およびzデフォーカスに依存する歪みによって補正された、対応する画像50が、ボクセル格子108の層109内の体積要素に割り当てられるように実行されてもよい。この場合、層109は決定された変位121に依存する。
一例として、zデフォーカスは、x軸、y軸につき、それぞれ以下の変位によって決定される。
Figure 2017533450
Figure 2017533450

ここで、ΔxrelおよびΔyrelは、画像間の、被写体の構造の画像の相対変位を示し、θx,1とθy,1は第1の画像の記録中の照明角度を規定する角度座標であり、θx,2とθy,2は、第2の画像の記録中の照明角度を規定する角度座標である。式(6)および(7)は、ΔxrelおよびΔyrelによって2つの画像内で変位した被写体の構造が、ボクセル格子のどの平面において配置されるかを決定するために、zデフォーカスΔzに関して解かれてもよい。
図13は、一実施形態による装置によって実行され得る方法130の流れ図である。
ステップ131において、被写体の複数の画像が検出される。画像は、異なる照明角度に対して順次記録されてもよい。それぞれの場合において、少なくとも1つの輝度画像が、複数の照明角度の各照明角度に対して検出されてもよい。複数の照明角度に対して、被写体は斜めに照明され、照明のビームと検出器の光軸は互いに平行ではない。
ステップ132において、構造同定が行われる。この場合、少なくとも2つの画像において、互いに対応する被写体構造の画像を同定するために、複数の画像が分析される。対応する構造を決定するためには、エントロピーベースの類似度測定方法(entropy−based measures of similarity)または他の類似性測定基準など、異なる技術が使用されてもよい。
ステップ133において、変位解析(displacement analysis)が実行される。これは、少なくとも2つ以上の画像について、像面内でどのようなベクトルによって被写体の構造の画像が変位するかを決定することを含んでもよい。被写体の構造の画像の相対的な変位に依存して、被写体の構造が焦点面からどの距離に配置されるかを決定することが可能である。このようにして、対応する振幅情報が割り当てられなければならないボクセル格子の層を決定することが可能である。
ステップ134において、3次元振幅情報が、1つまたは複数の画像内の被写体の構造の画像およびステップ133で決定されたz座標に依存して決定される。この場合、そのz座標がステップ133で決定されるzデフォーカスに対応し、x座標、y座標が、少なくとも1つの画像中の構造の画像の座標に基づき決定される体積要素の振幅値が少なくとも1つの画像のピクセル値に依存して設定されてもよい。一例として、同定された構造50は、ボクセル格子108の1つの平面だけに投影されてもよく、その平面は、画像間の被写体の構造の画像の間の変位121に依存する。
ステップ134はまた、zデフォーカスおよび照明角度に依存し、画像51、52内の被写体の構造の変位または歪みを少なくとも部分的に補償する歪み補正(distortion correction)を含んでもよい。このようにして、x方向およびy方向に正しいボクセル格子108内の被写体の構造の位置決定を確実にすることも可能である。
3次元振幅情報を再構成するための様々な方法は、互いに組み合わせることができる。例えば、図12と図13を参照して説明したような変位分析によるz位置の決定および/または図3から図6を参照して説明したような断層撮影再構成を3次元振幅および/または被写体の位相情報の推定を決定するために使用してもよい。図7と図8を参照して説明したように、これはさらに逐次近似法を用いて改良してもよい。
図14は、一実施形態による装置によって実行され得る方法140の流れ図である。
ステップ141では、複数の画像が検出される。ステップ142において、構造同定および変位分析によって、複数の画像に結像された被写体の構造を、光軸に沿った異なる位置に割り当てることが可能かどうかのチェックが行われる。一例として、被写体の密度(object density)がこの目的のために評価されてもよい。
構造同定および変位分析によってz位置を決定することが可能である場合、それぞれの場合に少なくとも2つの画像において相互に対応する構造がステップ143で同定されてもよい。対応する構造は、異なる画像における同じ被写体の構造の画像である。この目的のために、例えば、形状比較のための従来のアルゴリズムおよび/または複数の画像にわたる被写体の照明角度依存トラッキング(illumination angle−dependent tracking)を使用することが可能である。z位置は、異なる画像における同じ被写体の構造の画像の変位から決定されてもよい。ステップ143は、例えば、図12と図13を参照して説明したように実施されてもよい。
例えば、画像内の構造の密度が高すぎるために、構造同定よび変位分析によってz位置を決定することができない場合、断層撮影再構成がステップ144で選択的に実行されてもよい。断層撮影再構成は、検出器とビーム方向との間の傾きを補償するために使用される画像の変換を含んでもよい。断層撮影再構成は、図3と図6を参照して説明したように実行されてもよい。
選択的に、ステップ143またはステップ144で決定された3次元情報は、逐次近似法の初期推定として使用されてもよい。この目的のために、例えば図7と図8で説明したように、ステップ145において、3次元情報は、順方向伝搬および逆伝搬のシーケンスによって、より高い精度で再構成されてもよい。
図15は、一実施形態による装置のブロック図表示150である。
画像記録装置は、制御可能な照明装置151を備えている。照明装置151によって、被写体が複数の異なる照明角度で順次照明されてもよい。照明コントローラ152は、順次設定された照明角度を制御してもよい。照明装置151は、LED装置を備えてもよい。照明装置151は、中間像面内に制御可能な光学要素を含んでもよく、その要素は、例えば、可動ピンホールストップ、マイクロミラーアレイ、液晶マトリクスまたは空間光変調器を含んでもよい。
イメージセンサ153は、被写体が照明された照明角度のそれぞれについて少なくとも1つの画像を検出する。画像は、複数のカラーチャネル(coloe channels)の情報を含んでもよい。イメージセンサ153は、少なくとも1つのCCDまたはCMOSチップを含んでもよい。
3D再構成用モジュール154は、複数の画像から被写体に関する情報を決定してもよい。再構成は、被写体の体積要素が複数の照明角度に対してそれぞれ画像化されるピクセルに依存して実行されてもよい。再構成は、図1から図14を参照して説明したように、様々な方法で実行されてもよい。たとえば、逆投影が実行される前に、照明のビームに対する検出器の光軸の傾きを補償してもよい。代替的にまたは追加的に、演算により被写体の推定が像面に順方向伝搬され、演算により補正関数が像面から逆伝搬される逐次近似法を使用してもよい。代替的または追加的に、画像スタックの画像が再構成されてもよい。代替的または追加的に、変位分析と組み合わせた構造同定を、複数の画像に含まれる被写体の構造にz位置を割り当てるために使用してもよい。
3D再構成のための情報を有する記憶媒体は、様々な形態の情報を記憶してもよく、その情報は、3D再構成のためのモジュール154によって使用される。3D再構成のための情報は、例えば変換行列の形式で、線形イメージング(linear imaging)を定義してもよい。変換行列は、例えば、照明ビームに対する検出器の傾きを補償するために、複数の照明角度について、画像の変換画像の結像を定義してもよい。変換行列は、複数の照明角度について、被写体が再構成されるボクセル格子の体積要素と、イメージセンサのピクセルの間の結像を定義してもよい。
実施形態につき図面を参照しつつ説明したが、さらなる実施形態において変更を加えてもよい。
実施形態による装置および方法では、検出器の焦点深度がその情報が光軸に沿って3次元的に再構成されることが意図されている被写体の寸法よりも大きくなるように、装置を構成してもよい。
実施形態による装置および方法は、被写体の光学密度または吸光度に依存する3次元振幅情報を再構成するように構成されてもよいが、位相情報もまた空間分解方法で決定されてもよい。この目的のために、例えば、説明した技法を複素数体(complex fields)に拡張してもよい。制御可能な照明のために、位相情報は、異なる照明角度に割り当てられた画像間の差分形成によって決定されてもよい。
実施形態による装置は、特に顕微鏡システムであってもよいが、記載された技術は、他の撮像システムにおいても使用され得る。
代替的または追加的に、投影法(projection method)が使われてもよい。これらは、被写体のボリューム(a volume of the subject)からイメージセンサ平面(image sensor plane)への順投影(forward projections)と、イメージセンサ平面から被写体のボリュームへの逆投影(backward projections)のシーケンスを含んでもよい。3次元情報は反復して再構成されてもよい。
ここで、qおよびrはセンサーの像面内の座標、例えば画素座標を示す。I(q,r,θx,θy)は、画素(q,r)で、角度座標(angle coordinates)θxおよびθy において、照明のために検出された画像の輝度である。Iprop(q,r,θx,θy)[Eobj]は、位置(q,r)の画像平面に対して角度座標θxとθyを持つ照明角度による被写体Eobjの3次元情報の順方向伝搬の推定の輝度である。C(q,r,θx,θy)は、位置(q,r)における補正画像の値を示す。
1つの簡単な実施形態では、例えば、画像51−53の変位、または画像51−53の画像領域の変位は、x方向、y方向につき、変換S 1 −S 3 によって、それぞれ以下の式によって補正されてもよい。
3次元情報の再構成は、照明角度およびzデフォーカスに依存する歪みによって補正された、対応する被写体構造50の画像が、ボクセル格子108の層109内の体積要素に割り当てられるように実行されてもよい。この場合、層109は決定された変位121に依存する。
3D再構成用モジュール154は、複数の画像から被写体に関する情報を決定してもよい。再構成は、被写体の体積要素が複数の照明角度に対してそれぞれ画像化されるピクセルに依存して実行されてもよい。再構成は、図1から図14を参照して説明したように、様々な方法で実行されてもよい。たとえば、逆投影が実行される前に、照明のビームに対する検出器の光軸の傾きを補償してもよい。代替的にまたは追加的に、演算により被写体の推定が像面に順方向伝搬され、演算により補正関数が像面から逆伝搬される逐次近似法を使用してもよい。代替的または追加的に、画像スタックの画像が再構成されてもよい。代替的または追加的に、変位分析と組み合わせた構造同定を、z位置を複数の画像に含まれる被写体の構造に割り当てるために使用してもよい。

Claims (20)

  1. 被写体(2)を照明する複数の照明角度(4)を設定するために制御可能な照明装置と、
    前記複数の照明角度(4)について前記被写体(2)の複数の画像(51−53)を取り込むイメージセンサを有する検出器(14)と、
    前記イメージセンサ(15;143)と接続され、前記複数の画像(51−53)を処理するように構成された電子処理装置(20;144)とを備え、
    前記電子処理装置(20;144)は、前記複数の画像(51−53)に依存して前記被写体(2)の3次元振幅情報(57;107,108)を再構成するように構成されていることを特徴とする被写体(2)の3次元画像化のための装置。
  2. 前記電子処理装置(20;144)は、前記複数の照明角度(4)のそれぞれの照明角度(4)ごとに、前記照明角度(4)に割り当てられた変換(T1−T3)を、対応する照明角度(4)で検出された画像(51−53)に適用するように構成され、
    前記変換(T1−T3)は、前記検出器(14)の照明ビーム(3)に対する傾きを補償することを特徴とする請求項1に記載の装置。
  3. 前記電子処理装置(20;144)は、複数の修正された画像(54−56)を生成するため、および前記複数の修正された画像(54−56)から前記3次元振幅情報(57)を再構成するため、前記照明角度(4)ごとに割り当てられた前記変換(T1−T3)が前記複数の画像(51−53)の少なくとも一部に適用されることを特徴とする請求項2に記載の装置。
  4. 前記電子処理装置(20;144)は、前記複数の照明角度(4)について前記被写体(2)の体積要素(41,42)がそれぞれ画像化される前記イメージセンサ(15;143)のピクセルに依存して前記3次元振幅情報(57;107,108)を再構成するように構成されていることを特徴とする先行する請求項のいずれかに記載の装置。
  5. 前記電子処理装置(20;144)は、前記複数の照明角度(4)について前記被写体(2)の体積要素(41,42)がそれぞれ画像化される前記イメージセンサ(15;143)のピクセルを、前記体積要素(41,42)と検出器(14)の焦点面(100)の間の距離に依存して決定するように構成されていることを特徴とする請求項4に記載の装置。
  6. 前記電子処理装置(20;144)は、異なる照明角度(4)について、前記イメージセンサ(15;143)のピクセル(54)で検出された輝度に依存して、異なる複数の平面に配置された、被写体(2)の複数の体積要素の振幅情報(57;107,108)を再構成するように構成されることを特徴とする請求項4または請求項5に記載の装置。
  7. 前記電子処理装置(20;144)は、
    前記複数の照明角度(4)のうちの1つの照明角度(4)について、3次元振幅情報の推定により、前記イメージセンサ(15;143)上の輝度の分布を演算により決定し、
    前記演算により決定された輝度の分布と前記照明方向について検出された画像の比較に依存した補正画像を決定し、
    補正画像の逆投影または逆伝搬を行うことを特徴とする先行する請求項のいずれかに記載の装置。
  8. 前記電子処理装置(20;144)は、光軸(5)に垂直な異なる複数の面に配列された体積要素に、逆投影または逆伝搬を行うように構成されることを特徴とする請求項7に記載の装置。
  9. 前記電子処理装置(20;144)は、
    逆投影または逆伝搬により推定を更新し、
    少なくともさらにもう一つの照明角度(4)に対して、補正画像の決定と、逆投影または逆伝搬を繰り返すように構成されることを特徴とする請求項7または8に記載の装置。
  10. 前記電子処理装置(20;144)は、対応する画像(51−53)の記録中の歪みが照明角度(4)に依存している場合に、3次元振幅情報(108)を再構成する目的で、前記複数の画像(51−53)の少なくとも一部を反転させることを特徴とする先行する請求項のいずれかに記載の装置。
  11. 前記電子処理装置(20;144)は、3次元振幅情報を再構成するため、前記複数の画像(51−53)から被写体(2)の画像スタックを計算するように構成されることを特徴とする請求項10に記載の装置。
  12. 前記電子処理装置(20;144)は、被写体(2)の断層面(101,102)に沿った断面を表す画像スタックの画像(107)を演算する目的で、変換(S1−S3)を複数の画像(51−53)の少なくとも一部に適用するように構成され、
    前記変換(S1−S3)は、画像を記録している間の照明角度(4)と断層面(101,102)の位置に依存することを特徴とする請求項11に記載の装置。
  13. 前記電子処理装置(20;144)は、
    異なる照明角度(4)について検出された少なくとも2つの画像において、相互に対応する被写体の構造(50)の画像を同定し、
    前記少なくとも2つの画像において、相互に対応する被写体の構造(50)の画像の間の変位(121)に依存して、被写体(2)における前記被写体の構造の位置を決定するように構成されることを特徴とする請求項11または請求項12に記載の装置。
  14. 前記電子処理装置(20;144)は、前記複数の画像(51−53)に依存して被写体(2)の3次元位相情報を再構成するように構成されることを特徴とする先行する請求項のいずれかに記載の装置。
  15. 前記装置は、顕微鏡システムであることを特徴とする、先行する請求項のいずれかに記載の装置。
  16. 被写体(2)が複数の照明角度(4)で照明されたときに複数の画像(51−53)を検出し、
    前記複数の画像(51−53)から前記被写体(2)の3次元振幅情報を再構成することを特徴とする被写体(2)の3次元画像化方法。
  17. 複数の照明角度(4)のそれぞれの照明角度(4)ごとに再構成する目的で前記照明角度(4)に割り当てられた変換(T1−T3)が対応する前記照明角度(4)で検出された画像(51−53)に適用され、
    前記変換(T1−T3)は検出器(14)の照明ビーム(3)に対する傾きを補償することを特徴とする請求項16に記載の方法。
  18. 前記照明角度(4)ごとに割り当てられた前記変換(T1−T3)が、前記複数の修正された画像(54−56)を生成するため、前記複数の画像(51−53)の少なくとも一部に適用され、
    前記3次元振幅情報(57)は複数の修正された画像(54−56)から再構成されることを特徴とする請求項17に記載の方法。
  19. 前記3次元振幅情報(108)を再構成する目的で、前記複数の画像(51−53)の少なくとも一部について、対応する画像(51−53)の記録中の照明角度(4)に依存する歪みが反転されるように構成されることを特徴とする請求項16から18のいずれか1項に記載の方法。
  20. 請求項1から請求項15のいずれか1項に記載の装置で行うことができる、請求項16から19のいずれか1項に記載の方法。
JP2017511598A 2014-09-17 2015-09-08 被写体の3次元画像を生成する装置と方法 Active JP6490197B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014113433.8 2014-09-17
DE102014113433.8A DE102014113433B4 (de) 2014-09-17 2014-09-17 Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
PCT/EP2015/070460 WO2016041813A1 (de) 2014-09-17 2015-09-08 Vorrichtung und verfahren zur dreidimensionalen abbildung eines objekts

Publications (2)

Publication Number Publication Date
JP2017533450A true JP2017533450A (ja) 2017-11-09
JP6490197B2 JP6490197B2 (ja) 2019-03-27

Family

ID=54151252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017511598A Active JP6490197B2 (ja) 2014-09-17 2015-09-08 被写体の3次元画像を生成する装置と方法

Country Status (6)

Country Link
US (2) US20170301101A1 (ja)
EP (1) EP3195264B1 (ja)
JP (1) JP6490197B2 (ja)
CN (1) CN107076669A (ja)
DE (1) DE102014113433B4 (ja)
WO (1) WO2016041813A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019515348A (ja) * 2016-05-02 2019-06-06 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 角度選択照明に対するアーティファクト低減
JP2019207403A (ja) * 2018-05-18 2019-12-05 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh オーバービュー画像を提供する方法
JP7491667B2 (ja) 2016-05-02 2024-05-28 カール ツァイス マイクロスコピー ゲーエムベーハー 角度選択照明に対するアーティファクト低減

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
WO2016193554A1 (fr) * 2015-06-02 2016-12-08 Centre National De La Recherche Scientifique - Cnrs - Procedes et systemes d'imagerie acousto-optique
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016116309A1 (de) 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
EP3413033B1 (en) * 2017-06-09 2020-09-23 Roche Diagnostics GmbH Method and apparatus for determining properties of a laboratory sample contained in a laboratory sample container
US10572989B2 (en) * 2018-06-06 2020-02-25 The Boeing Company Chopped fiber additive manufacturing void detection
CN109520969B (zh) * 2018-10-26 2021-03-09 中国科学院国家空间科学中心 一种基于大气介质自调制的分布式散射成像方法
DE102018133188A1 (de) 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224128A (ja) * 1992-02-14 1993-09-03 Olympus Optical Co Ltd 走査型顕微鏡
US20070258122A1 (en) * 2004-10-06 2007-11-08 Bc Cancer Agency Computer-Tomography Microscope and Computer-Tomography Image Reconstruction Methods
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749107B2 (ja) * 1999-11-05 2006-02-22 ファブソリューション株式会社 半導体デバイス検査装置
US8848199B2 (en) * 2007-07-10 2014-09-30 Massachusetts Institute Of Technology Tomographic phase microscopy
JP2011019633A (ja) * 2009-07-14 2011-02-03 Toshiba Corp X線診断装置及び被曝線量低減用制御プログラム
EP2465436A4 (en) * 2009-07-30 2016-08-17 Takara Telesystems Corp RADIATION IMAGE CAPTURE DEVICE AND RADIATION IMAGE CAPTURE METHOD
US8615118B2 (en) * 2010-05-28 2013-12-24 The University Of Maryland, Baltimore Techniques for tomographic image by background subtraction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224128A (ja) * 1992-02-14 1993-09-03 Olympus Optical Co Ltd 走査型顕微鏡
US20070258122A1 (en) * 2004-10-06 2007-11-08 Bc Cancer Agency Computer-Tomography Microscope and Computer-Tomography Image Reconstruction Methods
JP2014507645A (ja) * 2011-01-06 2014-03-27 ザ・リージェンツ・オブ・ザ・ユニバーシティー・オブ・カリフォルニア 無レンズ断層撮影装置及び方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JAEDUCK JANG ET AL.: "MULTI-VIEW OPTICAL TOMOGRAPHY USING L1 DATA FIDELITY AND SPARSITY CONSTRAINT", PROCEEDINGS OF SPIE, vol. 6861, JPN5017007761, 7 February 2008 (2008-02-07), US, pages 68610 - 1, ISSN: 0003790842 *
KAWATA S: "OPTICAL MICROSCOPE TOMOGRAPHY. I. SUPPORT CONSTRAINT", JOURNAL OF THE OPTICAL SOCIETY OF AMERICA A, vol. VOL:4, NR:1, JPN5017007762, January 1987 (1987-01-01), US, pages 292 - 297, ISSN: 0003790843 *
河田聡: "トモグラフィック光学顕微鏡イメージング", 光学, vol. 14巻5号, JPN6018016137, October 1985 (1985-10-01), JP, pages 333 - 342, ISSN: 0003790844 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019515348A (ja) * 2016-05-02 2019-06-06 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 角度選択照明に対するアーティファクト低減
JP7491667B2 (ja) 2016-05-02 2024-05-28 カール ツァイス マイクロスコピー ゲーエムベーハー 角度選択照明に対するアーティファクト低減
JP2019207403A (ja) * 2018-05-18 2019-12-05 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh オーバービュー画像を提供する方法
JP7246249B2 (ja) 2018-05-18 2023-03-27 カール ツァイス マイクロスコピー ゲーエムベーハー オーバービュー画像を提供する方法

Also Published As

Publication number Publication date
WO2016041813A1 (de) 2016-03-24
DE102014113433A1 (de) 2016-03-17
US20170301101A1 (en) 2017-10-19
EP3195264B1 (de) 2020-05-27
EP3195264A1 (de) 2017-07-26
DE102014113433B4 (de) 2016-07-14
US20200082557A1 (en) 2020-03-12
JP6490197B2 (ja) 2019-03-27
CN107076669A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
JP6490197B2 (ja) 被写体の3次元画像を生成する装置と方法
US9952422B2 (en) Enhancing the resolution of three dimensional video images formed using a light field microscope
US9014433B2 (en) Measurement apparatus, information processing apparatus, information processing method, and storage medium
JP4915859B2 (ja) 物体の距離導出装置
US11169367B2 (en) Three-dimensional microscopic imaging method and system
JP2014140158A (ja) オクルージョンを意識した明視野像からの3次元シーンの再構成
JP5881960B2 (ja) テレセントリック焦点ぼかしを使用した3dイメージング
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
Mahmood et al. Optimal depth estimation by combining focus measures using genetic programming
CN112219104A (zh) 用于确定介质中的三维颗粒分布的方法
US10277884B2 (en) Method and apparatus for acquiring three-dimensional image, and computer readable recording medium
WO2020075252A1 (ja) 情報処理装置、プログラム及び情報処理方法
Ichimaru et al. Unified underwater structure-from-motion
JP5645963B2 (ja) 3次元フロー測定のための光学イメージング関数の組を求める方法
US20070206847A1 (en) Correction of vibration-induced and random positioning errors in tomosynthesis
JP2018054412A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN108961378B (zh) 一种多目点云三维重建方法、装置及其设备
Sahay et al. Shape extraction of low‐textured objects in video microscopy
KR101827847B1 (ko) 삼차원 영상 복원 장치 및 삼차원 영상 복원 방법
WO2023002978A1 (ja) 画像生成処理装置、3次元形状の復元システム、画像生成処理方法およびプログラム
Garcia et al. A generic synthetic image generator package for the evaluation of 3D Digital Image Correlation and other computer vision-based measurement techniques
JP2013037012A (ja) 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム
KR102499494B1 (ko) 서로 다른 파장을 갖는 레이저 광원을 이용하여 3차원 영상을 재구성하기 위한 회절 격자 이미징 시스템
Singh High dynamic range 3D scanning using fringe projection profilometry
Wong Development of a calibration pipeline for a monocular-view structured illumination 3D sensor utilizing an array projector

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190226

R150 Certificate of patent or registration of utility model

Ref document number: 6490197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250