CN107076669A - 用于产生物体的三维图像的装置及方法 - Google Patents

用于产生物体的三维图像的装置及方法 Download PDF

Info

Publication number
CN107076669A
CN107076669A CN201580050288.6A CN201580050288A CN107076669A CN 107076669 A CN107076669 A CN 107076669A CN 201580050288 A CN201580050288 A CN 201580050288A CN 107076669 A CN107076669 A CN 107076669A
Authority
CN
China
Prior art keywords
image
light angle
electronic processing
processing device
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580050288.6A
Other languages
English (en)
Inventor
L.斯托普
C.胡泽曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Carl Zeiss AG
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN107076669A publication Critical patent/CN107076669A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N21/4795—Scattering, i.e. diffuse reflection spatially resolved investigating of object in scattering medium
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G01N2021/1785—Three dimensional
    • G01N2021/1787—Tomographic, i.e. computerised reconstruction from projective measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/436—Limited angle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)

Abstract

为进行三维成像，以多个照明角度对物体进行照明。检测器针对所述多个照明角度而检测所述物体的多个图像(51‑53)。电子处理装置处理所述多个图像(51‑53)，以重建物体的三维信息(57)。

Description

用于产生物体的三维图像的装置及方法
技术领域
本发明的实施例涉及用于对物体进行三维成像的装置及方法。具体来说，实施例涉及可用以根据多个图像三维地重建物体的至少一个振幅信息项的装置及方法。
背景技术
在众多应用(例如，对生物或非生物物体的显微镜检查)中，需要三维地重建物体。此可通过对从所述物体检测到的多个图像进行计算处理来实现。含有至少振幅信息且因此提供关于物体的空间可变光学密度的信息的三维成像可提供关于物体的额外信息。
可使用各种技术来通过处理多个二维图像而获得物体的三维成像。
在断层摄影(tomography)方法中，可以受控方式使成像装置与其光源及其检测器一起相对于将要被成像的物体旋转。可根据多个图像产生三维图像。然而，举例来说，在显微镜检查中，使光源及检测器两者相对于物体旋转可需要复杂的机构。此使得技术性实施方案更困难且不能始终实现。使物体相对于光源及检测器旋转是无法实现的、或者可只有在触敏物体的情况下才能困难地实现。使物体旋转至不同位置中也可需要将物体固定至载体，而这可能是不利的。
例如3D叠层成像法(ptychography)等技术在计算上可能是复杂的。举例来说，在三维成像受时间条件约束时，这便可能是不利的。举例来说，使用3D叠层成像法实时地对物体进行三维成像这一实施方案代表了一项挑战。
发明内容
需要改进用于对物体进行三维成像的技术。具体来说，需要能够对物体进行三维成像的装置及方法，其中可根据多个二维图像以有效的方式确定三维信息。需要无需使检测器围绕物体进行任何机械移动的装置及方法。
根据实施例，详细说明其中以多个照明角度对物体进行照明并在每种情况下记录图像的装置及方法。在每种情况下，所述图像可以是强度图像。进一步以计算方式来处理所述多个图像。在处理期间，根据所述多个图像三维地重建所述物体。此处可使用关于在图像记录期间在每种情况下所使用的照明角度的信息。
通过针对多个照明角度对物体进行斜照明，将物体的三维信息转换成结构在多个图像中的位移。此可用于根据多个图像及所指派照明角度来三维地重建物体。在此种情况下，对物体的重建可包括至少对振幅信息的重建。在一些实施例中，可重建振幅信息及相位信息两者。
所述多个所检测图像可包括多于两个图像。所述多个图像中的图像数目可远大于2。
在检测所述多个图像时，检测器的位置可保持相对于物体不变。
可使用各种技术来重建三维信息。可使用类似于传统断层摄影方法的处理，其中照相机相对于照明光束方向的倾斜会由于照相机是固定的而得以补偿。
另一选择为或另外，可使用投影方法。这些投影方法可包括经由一系列的从物体的体积向图像传感器平面上的正向投影及从图像传感器平面向物体的体积中的反向投影。可迭代地重建三维信息。
另一选择为或另外，可以计算方式确定图像堆叠中的与穿过物体的不同横截平面对应的图像。出于此种目的，可以计算方式使由不同横截平面的z散焦量在图像传感器上引起的位移反转。可对以此种方式修改的图像进行求和或以某种其他方式进行组合，以获得三维振幅信息。另一选择为，基于多个图像中的结构识别，可识别在至少两个图像之间结构的照明角度相关位移，且因此，可推导出所述结构的z散焦量，即，沿着光学轴的位置。
可将各种技术进行组合。就这一点而言，举例来说，首先可通过结构识别来尝试将沿着光学轴的位置指派给多个图像中所含有的结构。可依据不同图像之间的照明角度相关位移来实施此指派。可使用以此种方式确定的三维振幅信息作为其他技术(例如迭代技术或断层摄影技术)的输入变量。
在根据实施例的装置及方法的情况下，可以计算上有效的方式来执行对物体三维信息的确定。通过以多个照明角度进行照明并在以计算方式对图像进行处理时将所述照明角度考虑在内，可减少与传统断层摄影方法中检测器及光源的移动相关联的问题。以计算方式对多个图像的组合可通过可在计算上有效执行的运算来实现，且可满足实时条件。
根据一个实施例，一种用于对物体进行三维成像的装置包括照明装置，所述照明装置是可控的，以设定用于对所述物体进行照明的多个照明角度。所述装置包括具有图像传感器的检测器，所述图像传感器用以针对所述多个照明角度而捕获物体的多个图像。所述装置包括用于处理所述多个图像的电子处理装置，所述电子处理装置耦合至所述图像传感器。所述电子处理装置可用以依据所述多个图像来重建所述物体的三维振幅信息。
所述装置可被配置成使得检测器相对于物体的位置在记录所述多个图像期间不变。
所述多个图像中的每一图像可以是强度图像。
所述电子处理装置可用以依据所述图像传感器中的分别针对所述多个照明角度将所述物体的体积元素成像至其中的那些像素来重建所述三维振幅信息。
所述电子处理装置可用以依据所述体积元素与所述检测器的焦平面之间的距离来确定所述图像传感器中的分别针对所述多个照明角度将所述物体的所述体积元素成像至其中的那些像素。这样一来，在以三维重建为目标时，可使用在斜照明情况下将距焦平面的距离转换成的位移。
所述电子处理装置可用以依据由所述图像传感器针对不同的所述照明角度在像素处检测到的强度来重建所述物体的被排列在多个不同平面中的多个体积元素的所述振幅信息。此使得可将在每种情况下辐射在从照明装置至检测器的路径上在物体的不同横截平面中穿过物体的哪些体积元素考虑在内。
所述电子处理装置可用以针对所述多个照明角度中的每一照明角度而对图像应用被指派给所述照明角度的变换，所述图像是针对所述对应照明角度而检测到的。所述变换可对应于检测器相对于物体的虚拟倾斜。此使得可补偿如下事实：检测器可依据照明角度而相对于照明光束倾斜。
所述电子处理装置可用以至少对所述多个图像的一部分应用被指派给所述相应照明角度的所述变换，以产生多个经修改图像。所述电子处理装置可用以根据所述多个经修改图像来重建所述三维振幅信息。
所述电子处理装置可用以通过从物体至图像平面的正向传播及/或反向传播来确定三维振幅信息。可例如通过投影或通过光场的传播来根据三维振幅信息以计算方式确定图像传感器上的强度分布。可通过从图像平面至物体的体积元素中的投影或通过光场的反向传播来确定从图像传感器至物体的体积元素中的成像。所述电子处理装置可用以迭代地执行一系列的正向传播及反向传播。
对于多个照明角度中的一个照明角度，所述电子处理装置可用以针对三维振幅信息的估测值以计算方式确定图像传感器上将出现何种强度分布。所述电子处理装置可用以确定校正图像，所述校正图像取决于以计算方式所确定的强度分布与针对照明方向所检测到的图像的比较。所述电子处理装置可用以对校正图像进行反向投影或对校正图像进行反向传播。在此种情况下，所述校正图像可被成像至物体的体积元素中。
所述电子处理装置可依据估测值及照明角度而以不同方式确定强度分布。可实施也将非几何效应考虑在内的正向传播。可计算向图像传感器上的正向投影。
所述校正图像可以是差图像或商图像。
所述电子处理装置可用以向被排列在多个不同平面中的体积元素中执行反向投影或反向传播。所述不同平面可沿着装置的光学轴间隔开，且在每种情况下可垂直于光学轴。
所述电子处理装置可用以依据反向投影来更新估测值。
所述电子处理装置可用以针对至少一个其他照明角度迭代地重复对校正图像的确定、以及反向投影或反向传播。所述电子处理装置可用以针对至少一个其他照明角度迭代地重复对校正图像的确定、反向投影或反向传播、以及对估测值的更新。
出于重建三维振幅信息的目的，所述电子处理装置可用以针对所述多个图像的至少一部分在每种情况下使取决于在记录所述对应图像期间的照明角度的失真反转。
出于重建三维振幅信息的目的，所述电子处理装置可用以根据所述多个图像来计算所述物体的图像堆叠。此处，在每种情况下，所述图像堆叠中的图像可含有振幅信息。
出于计算所述图像堆叠中的图像的目的，所述电子处理装置可用以对所述多个图像的至少一部分应用变换，所述图像表示沿着横截平面穿过所述物体的截面，其中所述变换取决于在记录所述对应图像期间的照明角度、以及所述横截平面的位置。
所述电子处理装置可用以识别至少两个图像中相互对应的结构，所述至少两个图像是针对不同照明角度而检测到的。
所述电子处理装置可用以依据所述至少两个图像中相互对应的结构之间的位移来确定所述相互对应的结构在物体中的位置。所述电子处理装置可用以依据所述至少两个图像中相互对应的结构之间的位移来确定沿着装置光学轴的至少一个坐标。
所述电子处理装置可用以依据所述多个图像来重建所述物体的三维相位信息。
所述装置可以是显微镜系统。
所述装置可以是数字显微镜。
根据一个实施例，一种用于对物体进行三维记录的方法包括：当以多个照明角度对物体进行照明时，检测多个图像。所述方法包括处理所述多个图像。在此种情况下，所述物体是三维地被重建。可根据所述多个图像来重建所述物体的至少一个三维振幅信息项。
根据一个实施例，所述方法可由所述装置自动地执行。
在所述方法中，在记录所述多个图像期间，检测器相对于物体的位置可不变。
所述多个图像中的每一图像可以是强度图像。
在所述方法中，可依据图像传感器中的针对所述多个照明角度分别将物体的体积元素成像至其中的那些像素来重建所述三维振幅信息。
在所述方法中，依据体积元素与检测器的焦平面之间的距离，可确定图像传感器中的针对多个照明角度分别将物体的体积元素成像至其中的那些像素。这样一来，在以三维重建为目标时，可使用在斜照明情况下将距焦平面的距离转换成的位移。
在所述方法中，可依据由所述图像传感器针对不同的所述照明角度在像素处检测到的强度来重建所述物体的被排列在多个不同平面中的多个体积元素的振幅信息。此使得可将在每种情况下辐射在从照明装置至检测器的路径上在物体的不同横截平面中穿过物体的哪些体积元素考虑在内。
在所述方法中，针对所述多个照明角度中的每一照明角度，可对图像应用被指派给所述照明角度的变换，所述图像是针对所述对应照明角度而检测到的。所述变换可对应于检测器相对于物体的虚拟倾斜。此使得可补偿如下事实：检测器可依据照明角度而相对于照明光束倾斜。
在所述方法中，可至少对所述多个图像的一部分应用被指派给所述相应照明角度的变换，以产生多个经修改图像。可根据所述多个经修改图像来重建所述三维振幅信息。
在所述方法中，可通过一系列的正向投影及反向投影来确定三维振幅信息。可例如通过投影或通过光场的传播来根据三维振幅信息以计算方式确定图像传感器上的强度分布。可通过从图像平面至物体的体积元素中的投影或通过光场的反向传播来确定从图像传感器至物体的体积元素中的成像。所述电子处理装置可用以迭代地执行一系列的正向传播及反向传播。
对三维信息的重建可包括针对多个照明角度中的一个照明角度依据对三维振幅信息的估测值来计算图像传感器上的强度分布。对三维信息的重建可包括对校正图像的确定，所述校正图像取决于所计算强度分布与针对照明方向所检测到的图像的比较。对三维图像的重建可包括对校正图像的反向投影或反向传播。
所述校正图像可以是差图像或商图像。
可向被排列在多个不同平面中的体积元素中执行对校正图像的反向投影或反向传播。所述不同平面可沿着装置的光学轴间隔开，且在每种情况下可垂直于光学轴。
对三维信息的重建可包括依据反向投影来更新估测值。
对三维信息的重建可包括迭代地重复针对至少一个其他照明角度对校正图像的确定、以及反向投影或反向传播。对三维信息的重建可包括迭代地重复针对至少一个其他照明角度对校正图像的确定、反向投影或反向传播、以及对估测值的更新。
对三维振幅信息的重建可包括以下事实：针对多个图像的至少一部分，在每种情况下，使取决于在记录对应图像期间的照明角度的失真反转。
出于重建三维振幅信息的目的，可根据所述多个图像来计算物体的图像堆叠。
出于计算图像堆叠中的图像的目的，可对所述多个图像的至少一部分应用变换，所述图像表示沿着横截平面穿过物体的截面。所述变换可取决于在记录对应图像期间的照明角度以及横截平面的位置。
所述方法可包括进行结构识别，以识别至少两个图像中相互对应的结构，所述至少两个图像是针对不同照明角度而检测到的。相互对应的结构可以是同一物体结构在不同图像中的成像。
出于重建三维振幅信息的目的，可依据所述至少两个图像中相互对应的结构之间的位移来确定所述相互对应的结构在物体中的位置。可依据至少两个图像中相互对应的结构之间的位移来确定沿着光学轴的至少一个坐标。
所述方法可包括依据所述多个图像来重建物体的三维相位信息。
所述装置可以是显微镜系统。
所述装置可以是数字显微镜。
在所述装置及方法中，可以透射构造来检测多个图像。可以反射构造来检测所述图像。
根据实施例的装置及方法能够对物体进行三维成像，而无需使检测器相对于物体进行受控移动。可以有效方式来实施对多个图像的处理，以重建至少三维振幅信息。
上文所述的特征及下文所述的特征不仅可以明确陈述的对应组合形式使用，而且可以其他组合形式或以独立形式使用，此并不背离本发明的保护范围。
附图说明
结合以下对实施例的说明，本发明的上述性质、特征及优点以及实现这些性质、特征及优点的方式将变得更加清楚且被更清楚地理解，将结合图式来更详细地解释这些实施例。
图1是根据一个实施例的装置的示意图；
图2是根据一个实施例的方法的流程图；
图3例示在根据实施例的装置及方法中对多个图像的处理；
图4例示通过根据实施例的装置及方法对多个图像的处理，其中检测器相对于照明方向的倾斜至少部分地得以补偿；
图5例示通过根据实施例的装置及方法对多个图像的处理，其中检测器相对于照明方向的倾斜至少部分地得以补偿；
图6是根据一个实施例的方法的流程图；
图7是根据一个实施例的方法的流程图；
图8是根据一个实施例的方法的流程图；
图9例示通过根据实施例的装置及方法对多个图像的处理，其中确定出图像堆叠；
图10例示通过根据实施例的装置及方法对多个图像的处理，其中确定出图像堆叠；
图11是根据一个实施例的方法的流程图；
图12例示通过根据实施例的装置及方法对多个图像的处理，其中执行结构识别以确定z位置；
图13是根据一个实施例的方法的流程图；
图14是根据一个实施例的方法的流程图；以及
图15是根据一个实施例的装置的框图。
具体实施方式
下文将参照图式基于优选实施例来更详细地解释本发明。在各图中，相同的参考符号标示相同或类似的元件。各图均是本发明各种实施例的示意图。各图中所示的元件未必是按照真实比例进行例示。而是，各图中所示的各种元件是以使得其功能及其用途变得可由所属领域的技术人员理解的方式进行重现。
如图中所示各功能单元及元件之间的连接及耦合也可被实施为间接连接或耦合。可以有线或无线方式来实施连接或耦合。
下文给出对用以三维地对物体进行成像的技术的说明。在此种情况下，三维地重建至少一个振幅信息项。对三维振幅信息的重建应被理解为意指对可具体表示物体随三维位置而变的消光度或光学密度的三维信息的确定。
如下文将更全面地进行描述，在本发明的实施例中，循序地记录物体的多个图像。在每种情况下，所记录图像可以是强度图像。将用于对物体进行照明的照明角度设定成不同值，以记录多个图像。用于检测图像的检测器可以是固定的。在检测多个图像时，检测器相对于物体的位置可保持恒定。
可根据所述多个图像三维地重建所述物体，其中至少振幅信息是以空间解析方式且三维地被确定。可以各种方式来处理多个图像，如将参照图3至图14更全面地进行描述。
将多个图像进行组合使得能够以计算方式推断出物体的三维信息，因此对物体进行斜照明会使得图像在图像传感器的平面中移位。根据个别物体结构在各图像中的表示所发生的位移，可依据分别使用的照明角度而推导出对应结构的三维位置。
对所检测图像的处理(包括对三维信息的重建)可基于以非易失性方式存储在图像记录装置的存储媒体中的数据。所述数据可包括针对不同照明角度分别对图像的适用变换及/或依据照明角度关于图像的像素与物体的体积元素(体素(voxel))之间的成像的信息。
图1是根据一个实施例用于对物体2进行三维成像的装置1的示意图。装置1可用以自动地执行根据实施例的方法。装置1可以是显微镜系统或者可包括显微镜，并且具备可控照明装置(下文将更加全面地进行描述)、照相机及电子处理装置，所述照相机具有图像传感器，所述电子处理装置用于抑制反射。
装置1包括照明装置，所述照明装置具有光源11。聚光透镜12可以本身公知的方式将由光源11发射的光引导至将要被成像的物体2上。所述照明装置被配置成使得光可以多个不同照明角度4辐射至物体2上。出于此种目的，举例来说，光源11可包括具有多个发光二极管(LED)的LED构造，所述多个LED可以是可个别驱动的。所述LED构造可以是LED环形构造。另一选择为，可在传统光源被以放大方式成像至其中的中间图像平面中布置可控元件，以提供不同的照明角度。所述可控元件可包括可移动针孔光阑、微镜构造、液晶矩阵、或空间光调制器。
所述照明装置可被配置成使得与光学轴5所形成的照明角度4的绝对值可变化。所述照明装置可被配置成使得可用于以照明角度4对物体进行照明的光束3的方向也可在极方向上围绕光学轴5移动。可通过一对角度坐标(此处也被标示为θx及θy)在三个维度上确定照明角度。角度θx可界定光束3在x-z平面中的定向。角度θy可界定光束3在y-z平面中的定向。
在每种情况下，装置1的检测器14针对物体2被照明的多个照明角度中的每一个而检测物体2的至少一个图像。在每种情况下，所述图像是强度图像。检测器14的图像传感器15可例如被配置为CCD传感器、CMOS传感器、或TDI(“时间延迟与积分”)CCD传感器。成像光学单元(例如，显微镜物镜13(仅示意性地例示))可在图像传感器15处产生物体2的被放大图像。图像传感器15可用以捕获强度图像。
装置1包括电子处理装置20。所述电子处理装置进一步处理针对所述多个照明角度而从物体2检测到的多个图像。电子处理装置20用以依据所述多个图像来确定物体的三维信息。如参照图3至图13更详细地描述，所述处理可包括对图像进行变换，以补偿检测器相对于光束3的方向的倾斜。可使用断层摄影方法来进一步处理经变换图像，以重建物体的三维信息。所述处理可包括迭代技术，在所述迭代技术中，将针对一个照明角度对三维物体的估测值以计算方式投影至图像平面中，将投影与针对此照明角度实际上检测到的图像进行比较，并依据所述比较来确定校正图像。可对所述校正图像进行反向投影，以更新所述估测值。可针对不同的照明角度来重复这些步骤。另一选择为或另外，所述处理也可包括计算图像堆叠，例如所谓的z图像堆叠或“z堆叠”，其中所述图像堆叠中的图像含有振幅信息。
装置1可包括存储媒体，所述存储媒体具有用于处理多个图像21的信息。电子处理装置20耦合至所述存储媒体、或者可包括所述存储媒体。电子处理装置20可依据所述存储媒体中的信息针对每一照明角度来确定将要对分别针对所述照明角度所记录的图像所应用的变换。
将参照图2至图15更详细地描述根据实施例的装置的操作。
图2是根据一个实施例的方法30的流程图。所述方法可由图像记录装置1自动地执行。
在步骤31中，以第一照明角度对物体进行照明。照明装置可例如由电子处理装置20驱动成使得物体被以第一照明角度进行照明。图像传感器15检测第一图像。所述第一图像可以是第一强度图像。
在步骤32中，以不同于第一照明角度的第二照明角度对物体进行照明。出于此种目的，可对应地驱动照明装置。图像传感器15检测第二图像。所述第二图像可以是第二强度图像。
可重复以不同照明角度对物体的循序照明、以及图像记录。
在步骤33中，以第N照明角度对物体进行照明，其中N是>2的整数。出于此种目的，可对应地驱动照明装置。图像传感器15检测第N图像。图像数目N可以是>1。也可针对一个照明角度捕获多个图像。
在步骤34中，依据所述多个图像来重建物体的三维信息。可重建振幅信息。也可视需要重建相位信息。可使用各种技术来处理多个图像，如将参照图3至图14更全面地进行描述。
为重建物体的三维信息，可以各种方式利用关于针对不同照明角度在每种情况下如何将物体的体积元素成像至图像传感器15的像素中的信息，如下文将更全面地进行描述。三维信息的重建可包括针对物体所位于的体积的多个体积元素(在此项技术中，其也被称为体素)来确定相应振幅值。振幅值可表示物体在体积元素的对应位置处的消光度或光学密度。体积元素可被排列成规格点阵或不规则点阵。
根据此领域中的用语，以缩略表达方式，也可陈述成对体积元素进行计算或对体积元素进行重建，应理解，针对所述体积元素来计算可例如指示物体在对应位置处的消光度或光学密度的至少一个振幅值。
可以各种方式利用关于针对多个照明方向在每种情况下如何将体积元素成像至图像传感器的像素中的信息，如将参照图3至图13更全面地进行描述。
如将参照图3至图8进行描述，可使用涉及从图像传感器的图像平面向体积元素中进行反向投影的技术来计算三维振幅信息。所述反向投影是以照明角度相关方式来实施且对于以不同照明角度记录的图像是对应地不同的。所述反向投影将光束3在其照射在图像传感器的像素上之前先穿过沿着光学轴排列在不同平面中的多个体积元素这一事实考虑在内。
所述反向投影可被实施成使得首先依据照明角度来对所记录图像进行变换，以补偿图像传感器相对于光束3的倾斜。随后，可将经变换图像反向投影至体积元素中。
所述反向投影也可被实施成使得以迭代方法来计算对三维振幅信息的估测值在图像传感器上的投影。校正图像取决于估测值的投影与针对对应照明角度实际上检测到的图像的比较。可将校正图像反向投影至体积元素中，以更新所述估测值。可针对不同照明角度迭代地重复这些步骤，直至满足收敛准则为止。
图3例示在根据实施例的方法及装置中对三维信息的重建。为确定物体2的三维信息，在每种情况下，给点阵40的体积元素41、42指派依据多个所检测图像51-53而确定的至少一个值。点阵40的顶点41、42表示体积元素且在此种情况下可例如构成相应体积元素的中点、隅角、或边缘中点。
对于在以不同照明角度进行照明时循序使用的光束46-48，斜照明会使得物体在图像传感器的平面上的成像失真。所述失真起因于图像传感器的平面相对于光束46-48的方向出现可变倾斜，此可变倾斜取决于照明角度。
视照明方向而定，物体的体积元素41被对应地成像至图像传感器15的不同像素中。结构50在不同图像51-53中可被表示在不同图像区域中，但在每种情况下均可由体积元素41及其他体积元素在图像传感器15的图像平面中的投影产生。
相反地，图像传感器的每一像素54针对光束46-48的不同照明方向而检测强度信息，所述强度信息取决于沿着光束46-48一个接一个地排列的多个体积元素的消光度或光学密度。
在各实施例中，通过将多个图像51-53的照明角度相关失真进行组合，可重建物体的三维信息。
图4例示在一个实施例中对物体的三维信息进行重建的操作。
光束3可相对于x-z平面及/或相对于x-y平面倾斜。光束3的方向以三个维度来界定角度，所述角度可由两个角度坐标表示，所述两个角度坐标可例如指示相对于x-z平面及相对于x-y平面的倾斜度。
对于照明角度中的至少一些，检测器14的中心轴相对于光束3的方向倾斜。此与传统的断层摄影方法形成对比，在传统的断层摄影方法中，光源及图像传感器共同地相对于物体2移动。所述倾斜具有如下效应：光束3的中心轴不垂直于图像传感器15的敏感平面。此引起照明角度相关失真。
为重建物体信息，可采用以下程序：首先，使所检测图像的至少一部分经受变换。所述变换可取决于在检测相应图像期间的照明角度。所述变换可被选择成使得其将由检测器14检测到的图像成像为原本将由检测器14在实际上倾斜的位置61处检测到的经变换图像。用以将实际上检测到的图像的坐标成像至经变换图像的坐标中的变换矩阵可例如包括至少两个欧拉(Euler)矩阵的乘积。所述两个欧拉矩阵可表示检测器14的中心轴相对于光束3成角度θx及θy的倾斜。
对于每一照明角度，可预先计算所述变换并将其以非易失性方式存储在装置1的存储媒体中。可针对照明角度中的每一个将所述变换例如作为矩阵或某一其他成像规格来存储，以用于将所检测图像成像为经变换图像。在此种情况下，经变换图像补偿了检测器14的中心轴与光束3之间的倾斜，且因此近似于原本将由检测器14在检测器14已结合光束3在物体2周围被定向的情况下检测到的图像。
随后，可将经变换图像反向投影至点阵40的体积元素中。由于经变换图像补偿了检测器14与光束3之间的倾斜，因而可使用在传统断层摄影方法中已知的反向投影技术。
可通过滤波反向投影法将经变换图像反向投影至体积元素中。可通过拉东(Radon)逆变换法来处理经变换图像，以确定物体的三维信息。
在处理经变换图像期间，举例来说，可将经变换图像的像素的值加至针对对应照明角度被成像至所述经变换图像的所述像素中的每一体积元素的值。可针对不同照明角度来重复此操作。可因此将体积元素的振幅信息的值作为对应体积元素针对不同照明角度所成像至其中的不同图像的各像素值之和来确定。所述和是物体在对应位置处的消光度或光学密度的量度。也可实施某一其他线性组合来替代求和，其中在所述线性组合中，不同经变换图像的系数可不同。
图5例示装置及方法的操作方式，其中所检测图像51-53被变换成使得检测器14的光学轴与光束方向之间的倾斜至少部分地得以补偿。为其中使光束3不与检测器14的光学轴对准且不与图像传感器15的敏感平面垂直的图像51、53确定变换T1、T3。在每种情况下，变换T1、T3可以是失真场。所述失真场表示由检测器与光束之间的倾斜而引起的失真。对于其中使检测器的光学轴与光束3对准的图像52而言，变换T2可以是恒等变换。对于多个图像51、53，通过所述变换来对所记录图像51、53进行移位及/或纠正。
对每一图像51-53应用指派给相应照明角度的变换。这样一来，便确定了经变换图像54-56。经变换图像54-56近似于原本将由以照明角度相关方式被载运的检测器检测到的图像。可使用在传统断层摄影方法中用于重建三维信息的任一算法来处理经变换图像54-56。举例来说，可使用拉东逆变换法或滤波反向投影法。
对经变换图像54-56的处理使得能够重建三维信息57。在此种情况下，可为体素点阵的每一体积元素确定振幅值。所述振幅值可取决于物体2在对应位置处的消光度或光学密度。所述振幅值可表示物体2在对应位置处的消光度或光学密度。在图5中，由体素点阵40的顶点的不同填充形式来示意性例示通过重建所确定的不同光学密度。
图6是根据一个实施例，可由所述装置自动执行的方法60的流程图。在所述方法中，首先对图像进行变换，以至少部分地补偿检测器14的光学轴与光束方向之间的倾斜。使用经变换图像作为断层摄影算法的输入变量。
在步骤61中，记录物体的N个图像。可针对不同照明角度循序地记录所述N个图像。在每种情况下，可针对多个照明角度中的每一照明角度而检测至少一个强度图像。对于多个照明角度，对物体进行斜照明，且照明的光束与检测器的光学轴不彼此平行。
在步骤62中，对N个图像中的全部或至少一部分进行变换。所述变换取决于相应照明角度。所述变换可补偿检测器相对于照明光束的光束轴的倾斜。所述变换使得可近似出原本将由随着照明光束被载运的检测器检测到的图像。所述变换可将所检测图像的坐标成像至经变换图像的坐标中，使得检测器的倾斜得以补偿。
在步骤63中，根据经变换图像来实施对物体信息的断层摄影重建。所述重建可使用本身公知的大量断层摄影算法中的每一个，例如，拉东逆变换法或滤波反向投影法。然而，与传统断层摄影方法形成对比，使用来自步骤62的经变换图像来作为输入变量，所述经变换图像将如下事实考虑在内：即使照明是以不同角度入射在物体2上，检测器14也维持其相对于物体2的位置。
在步骤63中，可重建物体的至少振幅信息，所述振幅信息取决于随位置而变的消光度或光学密度。通过形成所检测图像之差并结合反向投影法，也可视需要三维地重建相位信息。
方法60可被执行成使得其不包括任何迭代法。此使三维信息能够被特别有效且快速地确定。另一选择为，也可使用迭代重建技术。举例来说，根据方法60而获得的三维振幅信息可通过迭代步骤来进一步改进，且为此可用作将参照图7及图8更详细地进行描述的迭代技术的初始估测值。
图7及图8是根据一个实施例，可由装置执行的迭代方法的流程图。
一般来说，在这些方法中，从对三维振幅信息的初始估测值开始来迭代地改进估测值。每次迭代可包括针对一个照明角度将估测值以计算方式正向投影或正向传播至图像平面中。体积元素被成像至其中的像素取决于照明角度。估测值的投影或正向传播表示原本将在所述估测值正确地重现物体2的振幅信息的情况下获得的图像。可通过将图像传感器处根据估测值以计算方式如此确定的强度与针对此照明角度实际上检测到的图像进行比较来确定校正图像。举例来说，所述校正图像可以是差图像或商图像。
可将所述校正图像从图像平面反向投影至体素点阵的体积元素中。在此种情况下，将校正图像反向投影或反向传播至体素点阵的所有平面中而非仅反向投影或反向传播至沿着z轴具有固定位置的单个平面中，所述z轴可由光学轴5界定。可将所述反向投影例如实施为滤波反向投影法或拉东逆变换法。所述反向传播还可将例如衍射等非几何效应考虑在内。可依据校正图像的反向投影或反向传播来更新估测值。
可迭代地重复所述步骤，其中使用不同的照明方向。在每种情况下，为确定投影而从体积元素向图像传感器的平面中进行的传播以及使校正图像从图像传感器的平面向体积元素中的反向传播这两者均取决于照明角度。可通过在不同照明角度内进行迭代来重建三维信息。
图7是方法70的流程图。在步骤71中，检测多个图像。可针对不同照明角度循序地记录所述图像。在每种情况下，可针对多个照明角度中的每一照明角度来检测至少一个强度图像。对于多个照明角度，对物体进行斜照明，且照明的光束与检测器的光学轴不彼此平行。
在步骤72中，将对三维振幅信息的估测值(例如，体素点阵的顶点的值)正向传播至图像传感器的平面上。体积元素与像素之间的成像取决于照明角度。可预先确定体素点阵的体积元素与像素之间的成像并将其以非易失性方法存储在装置1的存储媒体中。还可由电子处理装置20针对相应照明角度自动地确定体素点阵的体积元素与像素之间的成像，例如，通过几何投影方法。
在步骤73中，计算校正图像。此处，所述校正图像被笼统地理解为关于经正向传播的估测值与针对此照明角度所记录的图像之间的偏差的空间解析信息。所述校正图像可以是函数，所述函数的值界定了为获得实际上检测到的图像而将必须如何修改以计算方式被正向传播至图像平面上的估测值。
举例来说，所述校正图像可以是如下表示的校正函数
C(q,r,θx,θy)＝I(q,r,θx,θy)-Iprop(q,r,θx,θy)[Eobj] (1)
其中，q及r表示传感器的图像平面中的坐标，例如像素坐标。I(q,r,θx,θy)是在像素(q,r)处针对通过角度坐标为θx及θy的照明所检测到的图像强度。Iprop(q,r,θx,θy)[Eobj]是针对角度坐标为θx及θy的照明角度，被正向传播至图像平面中的物体三维信息估测值Eobj在位置(q,r)处的强度。C(q,r,θx,θy)表示校正图像在位置(q,r)处的值。
可使用校正图像的其他定义，例如，所检测强度与通过对估测值的正向传播而确定的强度之间的商。在此种情况下，对于其中Iprop(q,r,θx,θy)[Eobj]≠0的所有像素，校正信息可被界定为
C(q,r,θx,θy)＝I(q,r,θx,θy)/Iprop(q,r,θx,θy)[Eobj] (2)
在步骤74中，可对校正图像进行反向传播。所述反向传播可依据检测器的光学系统而以计算方式确定，且例如可将例如衍射等非几何效应考虑在内。所述反向传播可以是将图像传感器的像素成像至物体多个平面中的体积元素中的成像法。可预先确定用于界定反向传播的成像并将其以非易失性方式存储在装置1的存储媒体中。
根据经反向传播的校正图像来更新对物体的估测值。举例来说，可根据以下来实施更新
Eobj→Eobj+B(C(θx,θy),θx,θy) (3)
其中B表示逆变换运算，其取决于角度坐标θx、θy，且其中C(θx,θy)表示校正图像。
图8是方法80的流程图。
在步骤81中，检测多个图像。此可以针对步骤71所解释的方式来执行。
在步骤82中，将至少对物体在三个维度上的振幅信息的估测值初始化。所述初始化可例如将同一值分配给体素点阵中与同质物体对应的每一顶点。可分配随机值。迭代地改进初始估测值。关于物体的先前信息可被使用，但并非是必需的，因为会实施迭代改进。
在步骤83中，将迭代初始化。迭代的运行索引在此处由n标示。可例如给不同图像或不同照明角度指派不同的n值。下文中，也使用n作为不同图像记录角度的索引，其中可使用其他运行变量。
在步骤84中，对估测值进行正向传播。此可包括将估测值的体积元素投影或以其他方式传播至图像传感器的平面上。所述正向传播取决照明角度。可针对相应照明角度以非易失性方式存储所述成像，例如，以成像矩阵的形式，所述成像矩阵将组合在向量中的体素值成像至图像传感器的像素值中。
在步骤85中，可确定校正图像。所述校正图像取决于估测值的正向传播及针对此照明角度实际上检测到的图像。所述校正图像可界定可用以将估测值的正向传播成像至实际上检测到的图像中的位置相关函数。可参照方程式(1)或方程式(2)来确定所述校正图像。
在步骤86中，可对校正图像进行反向传播。所述反向传播取决于也已被计算了正向传播的照明角度。所述反向传播界定向体素点阵的多个平面中的成像。可将所述反向传播例如实施为反向投影法或拉东逆变换法。
在步骤87中，可更新估测值。在此种情况下，对于体素点阵中的每一体积元素，可更新指派给此体积元素的值。出于此种目的，举例来说，可将校正信息的反向投影逐体素地加至当前值。
在步骤88中，可实施检查，以判断估测值是否为收敛的。出于此种目的，可计算连续迭代中各估测值之间的差并通过某一度量来对其进行评定。可使用任何适合的度量，例如，基于熵的度量。也可将步骤88中的收敛性检查延迟至已针对被执行了图像检测的每一照明角度执行迭代至少一次为止。
如果满足收敛性准则，则在步骤89中，使用当前估测值作为通过所述方法重建的物体的三维信息。
如果未满足收敛准则，则在步骤90中，可实施检查以判断是否存在尚未被包含在迭代中的其他图像。如果存在此类其他图像，则可在步骤91中使运行变量n递增。所述方法可返回至步骤84。在此种情况下，随后针对不同照明角度执行对估测值的正向传播以及随后对校正图像的反向传播。
如果在步骤90中判定所有图像均已被使用，但仍不存在收敛，则可从当前估测值重新开始迭代，且方法可返回至步骤83。因此，也可在不同照明角度内多重地实施迭代。
方法70及80也可扩展到复杂图像。此使得除振幅信息以外也可确定物体的相位信息。
在已参照图3至图8更详细描述的技术中，体素点阵的不同平面中的体积元素是同时被重建。定期地向体素点阵的沿着光学轴(z轴)一个接一个地排列的多个平面中实施反向投影。
另一选择为或另外，根据实施例的装置及方法也可被配置成使得物体2被逐层地重建。出于此种目的，可计算由多个图像而成的图像堆叠。图像堆叠中的图像可表示穿过物体2的沿着光学轴一个接一个地排列的截面。
如将参照图9至图13更详细地进行描述，这些技术可利用如下事实：各物体平面与检测器14的焦平面之间的不同距离会在图像传感器14的图像平面中引起不同失真。
图9示意性地显示根据一个实施例的装置1。多个物体平面101、102可沿着z轴105相对于检测器14的焦平面100移位，z轴105由光学轴界定。物体2沿着光学轴105的尺寸可小于检测器14的焦深16。也就是说，点扩展函数相对于光学轴105的横向展宽可忽略不计。
物体2的结构在各图像中会失真，此视照明3、103的方向以及所述结构所排列于其中的物体平面而定。在以对应于不同照明角度的光束3、103进行照明时，处于物体平面101中的结构可在分别检测到的图像中显现为处于不同位置。类似地，在以对应于不同照明角度的光束3、103进行照明时，处于物体平面102中的结构可在分别检测到的图像中显现为处于不同位置。对于照明方向3、103，物体中结构的位置可依据距焦平面100的距离而变化。图像中的位置可依据结构是向焦内移位还是向焦外移位而变化。
可使用此种取决于照明方向以及取决于物体中的结构与检测器的焦平面之间的距离的失真来重建三维信息。出于此种目的，举例来说，可确定图像堆叠(例如，所谓的“z堆叠”)，如将参照图10至图13进行描述。具体来说，可在多个图像中使用结构识别，以依据照明角度相关位移来确定被成像至多个图像中的物体结构的z位置，如将参照图12及图13进行描述。
为计算图像堆叠，可对多个图像中的每一图像应用变换，所述变换取决于相应图像的照明角度以及打算被重建的平面沿着z轴的位置这两者。所述变换可被选择成使得针对所述平面与检测器的焦平面之间的此距离以及此照明角度而产生的失真被再次反转。
可例如通过求和或某一其他线性组合来组合通过所述变换修改的各图像，以为物体的平面重建振幅信息。通过以依据层的位置而界定的变换来使失真反转，可在对由所述变换修改的各图像进行求和或某一其他线性组合期间专门针对位于物体的所需层中的那些结构实现相长性求和。
可针对不同层重复此程序。如此一来，可产生图像堆叠，其中所述图像堆叠中的每一图像可例如对应于体素点阵的一层。图像堆叠中的每一图像可对应于处于与z轴垂直的平面中的穿过物体的截面。
图10例示在根据实施例的方法及装置中进行的此种处理。针对不同照明角度而检测多个图像51-53。物体的相对于焦平面100移位达z散焦量的结构作为结构50被成像在不同图像51-53中的照明角度相关位置处。结构50的图像位置随着照明角度而变化，其中所述位置的照明角度相关变化取决于照明角度及z散焦量。
对图像51-53应用变换S1-S3。变换S1-S3使针对当前要被重建的平面的特定z散焦量而以照明角度相关方式出现的失真反转。
在一个简单实施方案中，变换S1-S3，例如可通过下式来校正图像51-53或图像51-53中各图像区域的位移
在x方向上：
Δx＝sf·tan(θx)·Δz (4)
以及
在y方向上：
Δy＝sf·tan(θy)·Δz (5)
值Δz表示z散焦量，即，将要被重建的物体平面与检测器的焦平面之间的距离。因数sf是换算因数。所述换算因数可用于实施从中间图像平面(其由检测器成像至图像传感器的平面中)中的距离向图像传感器的平面中的距离的转换。所述换算因数可具有负号。
不同于图5中所示的变换T1-T3，变换S1-S3不仅取决于照明角度，而且取决于当前正被重建的平面的z散焦量。
可选择变换的更复杂形式，例如，以校正可因像差而产生的场点相关失真。
应用变换S1-S3会使针对当前打算被重建且具有z散焦量的特定平面在图像传感器的平面中产生的失真反转。通过变换S1-S3而产生的经修改图像104-106使得位于当前所重建平面中的结构50在近似相同位置处被成像在所有经修改图像104-106中。排列在物体的其他物体平面中的其他结构在经修改图像104-106中仍保持相对于彼此移位。
通过对经修改图像104-106进行求和或其他处理(例如，通过以可依据照明角度而变化的系数来计算线性组合)，产生图像堆叠中的图像107。在图像堆叠中的图像107中，图像51-53中结构50的图像信息被相长性地叠加，使得可对照图像堆叠的图像107中的非相干背景来重建排列在物体对应平面中的结构。
图像堆叠中的图像107例如表示体素点阵108的层109中所含有的信息。
可针对不同层重复所述处理，以产生图像堆叠中的多个图像且因此以关于物体的信息来填充整个体素点阵108。
图11是根据一个实施例，可由装置执行的方法110的流程图。
在步骤111中，检测物体的多个图像。可针对不同照明角度循序地记录所述图像。在每种情况下，可针对多个照明角度中的每一照明角度而检测至少一个强度图像。对于多个照明角度，对物体进行斜照明，且照明的光束与检测器的光学轴不彼此平行。
在步骤112中，选择打算被重建的平面。举例来说，可循序地选择以沿着光学轴彼此均匀间隔开的方式排列的多个平面。所选平面位于距焦平面可不等于0的距离Δz处。
在步骤113中，对每一图像应用变换，所述变换取决于将要被重建的平面的位置且具体来说取决于所述平面与检测器的焦平面之间的距离。此外，所述变换取决于照明角度。所述变换被界定成使得在向图像传感器15上成像期间针对处于在步骤111中所选的平面中的物体结构而产生的失真由此被反转。
在步骤114中，将通过所述变换修改的各图像进行组合。可例如将经修改图像逐像素地进行求和或以某种其他方式进行线性组合。可使用其他组合技术。举例来说，可实施滤波，使得由不位于所选平面中的物体结构引起的非相干背景得以抑制。
可针对物体的多个层重复步骤112、113及114，以产生图像堆叠中的多个图像。
在实施例中，可使用取决于z散焦量及照明角度的位移、通过结构识别以及对同一结构在不同图像之间的位移的分析来确定z位置。如此确定的位置指示在多个图像中被成像为相互对应的结构的物体结构沿着光学轴排列在哪一位置。将参照图12及图13更详细地描述此类技术的实施方案。
图12是用于解释使用结构识别的重建的图解。
对同一物体结构50的各次成像可在多个图像的不同图像51、52中以照明角度相关方式相对于彼此移位。对应失真取决于散焦量及照明角度。在图像52中对物体结构50的成像可相对于同一物体结构50在另一图像51中的成像移位达二维向量121。向量121取决于在记录图像51、52期间的照明角度、以及界定物体结构沿着z轴在物体中的位置的z散焦量。
通过进行结构识别以识别出物体结构50在不同图像51、52中的成像并使用失真分析来确定出同一物体结构50在不同图像中的成像的相对位移，可确定物体结构处于与z轴垂直的哪一平面中。
可实施对三维信息的重建，以便将通过取决于照明角度及z散焦量的失真而校正的对应成像50指派给处于体素点阵108的层109中的体积元素。在此种情况下，层109取决于所确定位移121。举例来说，可根据以下位移来确定z散焦量
在x方向上：
Δxrel＝sf·[tan(θx,1)-tan(θx,2)]·Δz (6)
以及
在y方向上：
Δyrel＝sf·[tan(θy,1)-tan(θy,2)]·Δz (7)
其中Δxrel及Δyrel表示在各图像之间物体结构的成像的相对位移，θx,1及θy,1是界定记录第一图像期间的照明角度的角度坐标，且θx,2及θy,2是界定记录第二图像期间的照明角度的角度坐标。可根据z散焦量Δz来求解方程式(6)及(7)，以确定在两个图像中移位达xrel及Δyrel的物体结构被排列在体素点阵的哪一平面中。
图13是根据一个实施例，可由装置执行的方法130的流程图。
在步骤131中，检测物体的多个图像。可针对不同照明角度循序地记录所述图像。在每种情况下，可针对多个照明角度中的每一照明角度而检测至少一个强度图像。对于多个照明角度，对物体进行斜照明，且照明的光束与检测器的光学轴不彼此平行。
在步骤132中，执行结构识别。在此种情况下，对多个图像进行分析，以在所述图像中的至少两个中识别出彼此对应的物体结构的成像。可使用不同技术来确定彼此对应的结构，例如基于熵的相似度量度或其他相似度度量。
在步骤133中，实施位移分析。此可涉及在至少两个图像中确定物体结构的成像在图像平面中相对于彼此移位了多大向量。可依据物体结构的成像的相对位移来确定物体中的物体结构被排列成距焦平面多大距离。这样一来，可确定体素点阵中须被指派对应振幅信息的层。
在步骤134中，依据物体结构在一个或多个图像中的成像且依据在步骤133中所确定的z坐标来确定三维振幅信息。在此种情况下，可根据至少一个图像的像素值来设定z坐标对应于在步骤133中所确定的z散焦量且x坐标及y坐标是基于结构在至少一个图像中的成像的坐标而确定的体积元素处的振幅值。举例来说，可将所识别结构50投影至体素点阵108的仅一个平面中，所述平面取决于各图像之间物体结构的成像之间的位移121。
步骤134还可包括失真校正，所述失真校正取决于z散焦量及照明角度且用于至少部分地补偿物体结构在图像51、52中的位移或失真。这样一来，还可确保在体素点阵108中对物体结构进行x方向及y方向上均正确的位置确定。
可将各种用于重建三维振幅信息的方法彼此组合。举例来说，可使用如参照图12及图13所述通过位移分析进行的z位置确定及/或如参照图3至图6所述的断层摄影重建来确定对物体的三维振幅及/或相位信息的估测值。此可使用迭代方法来进一步加以改善，如例如参照图7及图8所述。
图14是根据一个实施例，可由装置执行的方法140的流程图。
在步骤141中，检测多个图像。在步骤142中，进行检查，以判断是否可通过结构识别及位移分析来将被成像至多个图像中的物体结构指派给沿着光学轴的不同位置。举例来说，出于此种目的，可评估物体密度。
如果可通过结构识别及位移分析确定z位置，则在每种情况下，可在步骤143中识别在至少两个图像中相互对应的结构。对应的结构是同一物体结构在不同图像中的成像。出于此种目的，可例如使用传统算法在多个图像内对物体进行形状比较及/或照明角度相关跟踪。可根据同一物体结构在不同图像中的成像的位移来确定z位置。例如，可如参照图12及图13所述来实施步骤143。
如果不能通过结构识别及位移分析来确定z位置(例如，由于图像中结构的密度过高)，则可视需要在步骤144中实施断层摄影重建。所述断层摄影重建可包括对图像进行变换，所述变换用于补偿检测器与光束方向之间的倾斜。可如参照图3至图6所述来执行断层摄影重建。
视需要，可使用在步骤143或步骤144中所确定的三维信息来作为迭代方法的初始估测值。出于此种目的，在步骤145中，可通过一系列正向传播及反向传播而以较高准确度重建三维信息，例如，如参照图7及图8所述。
图15是根据一个实施例的装置的框图表示150。
图像记录装置包括可控的照明装置151。通过照明装置151，可以多个不同照明角度循序地对物体进行照明。照明控制器152可控制循序设定的照明角度。照明装置151可包括LED构造。照明装置151可包括处于中间图像平面中的可控光学元件，所述元件可例如包括可移动针孔光阑、微镜阵列、液晶矩阵、或空间光调制器。
图像传感器153针对物体被照明的照明角度中的每一个而检测至少一个图像。所述图像可包括多个色彩通道中的信息。图像传感器153可包括至少一个CCD或CMOS芯片。
3D重建模块154可根据所述多个图像来确定关于物体的信息。可依据物体的体积元素针对多个照明角度分别被成像至其中的那些像素来实施重建。可以各种方式来实施重建，如参照图1至图14所述。举例来说，可在实施反向投影之前补偿检测器的光学轴相对于照明光束的倾斜。另一选择为或另外，可使用迭代方法，在所述迭代方法中，将对物体的估测值以计算方式正向传播至图像平面中，且根据所述图像平面以计算方式对校正函数进行反向传播。另一选择为或另外，可重建图像堆叠中的图像。另一选择为或另外，可使用结构识别与位移分析的组合来将z位置指派给多个图像中所含有的物体结构。
具有3D重建信息的存储媒体可以各种形式来存储信息，所述信息由3D重建模块154使用。3D重建信息可界定线性成像，例如以变换矩阵的形式。所述变换矩阵可界定针对多个照明角度使图像成为经变换图像的成像，例如以补偿检测器相对于照明光束的倾斜。所述变换矩阵可针对多个照明角度界定用于重建物体的体素点阵的体积元素与图像传感器的像素之间的成像。
尽管已参照各图描述了实施例，但可在其他实施例中实现修改形式。
在根据实施例的装置及方法中，在每种情况下，装置可被配置成使得检测器的焦深大于打算三维地重建其信息的物体沿着光学轴的尺寸。
尽管根据实施例的装置及方法可用以三维地重建取决于物体光学密度或消光度的振幅信息，但也可以空间解析方式来确定相位信息。出于此种目的，举例来说，所述技术可扩展到复杂场。由于可控照明，也可通过被指派给不同照明角度的图像间差异构形来确定相位信息。
尽管根据实施例的装置具体来说可以是显微镜系统，但所述技术也可用于其他成像系统中。

Claims (20)

1.一种用于对物体(2)进行三维成像的装置，包括：
照明装置，是可控的，以设定用于对所述物体(2)进行照明的多个照明角度(4)；
检测器(14)，具有图像传感器，所述图像传感器用以针对所述多个照明角度(4)而捕获所述物体(2)的多个图像(51-53)；
电子处理装置(20；144)，耦合至所述图像传感器(15；143)且用以处理所述多个图像(51-53)，其中所述电子处理装置(20；144)用以依据所述多个图像(51-53)来重建所述物体(2)的三维振幅信息(57；107、108)。
2.如权利要求1所述的装置，
其中所述电子处理装置(20；144)用以针对所述多个照明角度(4)中的每一照明角度(4)而对图像(51-53)应用被指派给所述照明角度(4)的变换(T1-T3)，所述图像(51-53)是针对所述对应照明角度(4)而检测到的，其中所述变换(T1-T3)补偿所述检测器(14)相对于照明光束(3)的倾斜。
3.如权利要求2所述的装置，
其中所述电子处理装置(20；144)用以至少对所述多个图像(51-53)的一部分应用被指派给所述相应照明角度(4)的所述变换(T1-T3)，以产生多个经修改图像(54-56)并根据所述多个经修改图像(54-56)来重建所述三维振幅信息(57)。
4.如前述权利要求中任一项所述的装置，
其中所述电子处理装置(20；144)用以依据所述图像传感器(15；143)中的分别针对所述多个照明角度(4)将所述物体(2)的体积元素(41、42)成像至其中的那些像素来重建所述三维振幅信息(57；107、108)。
5.如权利要求4所述的装置，
其中所述电子处理装置(20；144)用以依据所述体积元素(41、42)与所述检测器(14)的焦平面(100)之间的距离来确定所述图像传感器(15；143)中的分别针对所述多个照明角度(4)将所述物体(2)的所述体积元素(41、42)成像至其中的那些像素。
6.如权利要求4或权利要求5所述的装置，
其中所述电子处理装置(20；144)用以依据由所述图像传感器(15；143)针对不同的所述照明角度(4)在像素(54)处检测到的强度来重建所述物体(2)的被排列在多个不同平面中的多个体积元素的所述振幅信息(57；107、108)。
7.如前述权利要求中任一项所述的装置，
其中所述电子处理装置(20；144)用以
针对所述多个照明角度(4)中的一个照明角度(4)，根据对所述三维振幅信息的估测值以计算方式确定所述图像传感器(15；143)上的强度分布，
确定校正图像，所述校正图像取决于所述以计算方式所确定的强度分布与针对所述照明方向所检测到的所述图像的比较，以及
对所述校正图像执行反向投影或反向传播。
8.如权利要求7所述的装置，
其中所述电子处理装置(20；144)用以向排列在与光学轴(5)垂直的多个不同平面中的体积元素中执行所述反向投影或所述反向传播。
9.如权利要求7或权利要求8所述的装置，
其中所述电子处理装置(20；144)用以依据所述反向投影或所述反向传播而更新所述估测值，且针对至少一个其他照明角度(4)迭代地重复所述对所述校正图像的确定及所述反向投影或所述反向传播。
10.如前述权利要求中任一项所述的装置，
其中出于重建所述三维振幅信息(108)的目的，所述电子处理装置(20；144)用以针对所述多个图像(51-53)的至少一部分在每种情况下使取决于在记录所述对应图像(51-53)期间的所述照明角度(4)的失真反转。
11.如权利要求10所述的装置，
其中出于重建所述三维振幅信息的目的，所述电子处理装置(20；144)用以根据所述多个图像(51-53)来计算所述物体(2)的图像堆叠。
12.如权利要求11所述的装置，
其中出于计算所述图像堆叠中的图像(107)的目的，所述电子处理装置(20；144)用以对所述多个图像(51-53)的至少一部分应用变换(S1-S3)，所述图像(107)表示沿着横截平面(101、102)穿过所述物体(2)的截面，其中所述变换(S1-S3)取决于在记录所述对应图像期间的所述照明角度(4)、以及所述横截平面(101、102)的位置。
13.如权利要求11或权利要求12所述的装置，
其中所述电子处理装置(20；144)用以
识别物体结构(50)在至少两个图像中相互对应的成像，所述至少两个图像是针对不同照明角度(4)而检测到的，以及
依据所述物体结构(50)在所述至少两个图像中相互对应的所述成像之间的位移(121)来确定所述物体结构在所述物体(2)中的位置。
14.如前述权利要求中任一项所述的装置，
其中所述电子处理装置(20；144)用以依据所述多个图像(51-53)来重建所述物体(2)的三维相位信息。
15.如前述权利要求中任一项所述的装置，
其中所述装置是显微镜系统。
16.一种用于对物体(2)进行三维成像的方法，包括：
当以多个照明角度(4)对物体(2)进行照明时，捕获多个图像(51-53)，以及
根据所述多个图像(51-53)来重建所述物体(2)的三维振幅信息。
17.如权利要求16所述的方法，
其中出于重建的目的，针对所述多个照明角度(4)中的每一照明角度(4)，对图像(51-53)应用被指派给所述照明角度(4)的变换(T1-T3)，所述图像(51-53)是针对所述对应照明角度(4)而检测到的，其中所述变换(T1-T3)补偿检测器(14)相对于照明光束(3)的倾斜。
18.如权利要求17所述的方法，
其中至少对所述多个图像(51-53)的一部分应用被指派给所述相应照明角度(4)的所述变换(T1-T3)，以产生多个经修改图像(54-56)，以及
其中所述三维振幅信息(57)是根据所述多个经修改图像(54-56)而重建。
19.如权利要求16至18中任一项所述的方法，
其中出于重建所述三维振幅信息(108)的目的，针对所述多个图像(51-53)的至少一部分，使取决于在记录所述对应图像(51-53)期间的所述照明角度(4)的相应失真反转。
20.如权利要求16至19中任一项所述的方法，
其是由如权利要求1至15中任一项所述的装置(1)执行。
CN201580050288.6A 2014-09-17 2015-09-08 用于产生物体的三维图像的装置及方法 Pending CN107076669A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102014113433.8A DE102014113433B4 (de) 2014-09-17 2014-09-17 Vorrichtung und Verfahren zur dreidimensionalen Abbildung eines Objekts
DE102014113433.8 2014-09-17
PCT/EP2015/070460 WO2016041813A1 (de) 2014-09-17 2015-09-08 Vorrichtung und verfahren zur dreidimensionalen abbildung eines objekts

Publications (1)

Publication Number Publication Date
CN107076669A true CN107076669A (zh) 2017-08-18

Family

ID=54151252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580050288.6A Pending CN107076669A (zh) 2014-09-17 2015-09-08 用于产生物体的三维图像的装置及方法

Country Status (6)

Country Link
US (2) US20170301101A1 (zh)
EP (1) EP3195264B1 (zh)
JP (1) JP6490197B2 (zh)
CN (1) CN107076669A (zh)
DE (1) DE102014113433B4 (zh)
WO (1) WO2016041813A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109030425A (zh) * 2017-06-09 2018-12-18 豪夫迈·罗氏有限公司 用于确定容纳在实验室样品容器中的实验室样品的性质的方法和设备
CN109520969A (zh) * 2018-10-26 2019-03-26 中国科学院国家空间科学中心 一种基于大气介质自调制的分布式散射成像方法
CN110569705A (zh) * 2018-06-06 2019-12-13 波音公司 切碎的纤维加料制造空隙检测

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102015107517B3 (de) 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
US20180217051A1 (en) * 2015-06-02 2018-08-02 Centre National De La Recherche Scientifique - Cnrs Acoustic-optical imaging methods and systems
DE102015122712B4 (de) 2015-12-23 2023-05-04 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Bildaufnahme
DE102016108079A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Artefaktreduktion bei der winkelselektiven beleuchtung
DE102016116309A1 (de) 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
EP3538941A4 (en) 2016-11-10 2020-06-17 The Trustees of Columbia University in the City of New York METHODS FOR FAST IMAGING OF HIGH RESOLUTION LARGE SAMPLES
DE102018207821A1 (de) * 2018-05-18 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zur Bereitstellung eines Übersichtsbildes
DE102018133188A1 (de) 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
EP4087228A4 (en) * 2019-12-09 2022-11-30 Ars Techne Corporation IMAGE PROCESSING METHOD, PROGRAM AND IMAGE PROCESSING DEVICE
DE102020126737A1 (de) 2020-10-12 2022-04-14 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1296287A (zh) * 1999-11-05 2001-05-23 日本电气株式会社 半导体器件检查装置
US20070258122A1 (en) * 2004-10-06 2007-11-08 Bc Cancer Agency Computer-Tomography Microscope and Computer-Tomography Image Reconstruction Methods
CN101953691A (zh) * 2009-07-14 2011-01-26 株式会社东芝 X射线诊断装置以及x射线照射区域控制方法
CN102469977A (zh) * 2009-07-30 2012-05-23 株式会社电视系统 放射线摄像装置及其放射线摄像方法
US20130280752A1 (en) * 2011-01-06 2013-10-24 The Regents Of The University Of California Lens-free tomographic imaging devices and methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224128A (ja) * 1992-02-14 1993-09-03 Olympus Optical Co Ltd 走査型顕微鏡
WO2009009081A2 (en) * 2007-07-10 2009-01-15 Massachusetts Institute Of Technology Tomographic phase microscopy
US8615118B2 (en) * 2010-05-28 2013-12-24 The University Of Maryland, Baltimore Techniques for tomographic image by background subtraction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1296287A (zh) * 1999-11-05 2001-05-23 日本电气株式会社 半导体器件检查装置
US20070258122A1 (en) * 2004-10-06 2007-11-08 Bc Cancer Agency Computer-Tomography Microscope and Computer-Tomography Image Reconstruction Methods
CN101953691A (zh) * 2009-07-14 2011-01-26 株式会社东芝 X射线诊断装置以及x射线照射区域控制方法
CN102469977A (zh) * 2009-07-30 2012-05-23 株式会社电视系统 放射线摄像装置及其放射线摄像方法
US20130280752A1 (en) * 2011-01-06 2013-10-24 The Regents Of The University Of California Lens-free tomographic imaging devices and methods

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
，国家食品药品监督管理局高级研修学院组织: "《医学成像设备 医疗器械部分》", 31 October 2010, 北京：中国医药科技出版社 *
JAEDUCK JANG 等: "Multi-view optical tomography using L1 data fidelity and sparsity constraint", 《SPIE PROCEEDINGS》 *
STEFFEN REMMELE 等: "Reconstruction of High-resolution Fluorescence Microscopy Images based on Axial Tomography", 《SPIE PROCEEDINGS》 *
裴纯礼: "《最新计算机培训教程 多媒体篇》", 30 April 2002, 北京：北京邮电学院出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109030425A (zh) * 2017-06-09 2018-12-18 豪夫迈·罗氏有限公司 用于确定容纳在实验室样品容器中的实验室样品的性质的方法和设备
CN110569705A (zh) * 2018-06-06 2019-12-13 波音公司 切碎的纤维加料制造空隙检测
CN110569705B (zh) * 2018-06-06 2024-04-05 波音公司 切碎的纤维加料制造空隙检测
CN109520969A (zh) * 2018-10-26 2019-03-26 中国科学院国家空间科学中心 一种基于大气介质自调制的分布式散射成像方法
CN109520969B (zh) * 2018-10-26 2021-03-09 中国科学院国家空间科学中心 一种基于大气介质自调制的分布式散射成像方法

Also Published As

Publication number Publication date
DE102014113433A1 (de) 2016-03-17
DE102014113433B4 (de) 2016-07-14
US20170301101A1 (en) 2017-10-19
EP3195264A1 (de) 2017-07-26
JP2017533450A (ja) 2017-11-09
JP6490197B2 (ja) 2019-03-27
EP3195264B1 (de) 2020-05-27
US20200082557A1 (en) 2020-03-12
WO2016041813A1 (de) 2016-03-24

Similar Documents

Publication Publication Date Title
CN107076669A (zh) 用于产生物体的三维图像的装置及方法
US9189856B1 (en) Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
Genovese et al. Stereo-camera calibration for large-scale DIC measurements with active phase targets and planar mirrors
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US9117269B2 (en) Method for recognizing objects in a set of images recorded by one or more cameras
CN106052646B (zh) 信息处理装置及信息处理方法
US10846885B2 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
CN103649674B (zh) 测量设备以及信息处理设备
EP3644281A1 (en) Calibration device, calibration chart, chart pattern generation device, and calibration method
JP7218435B2 (ja) キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
CN106056587A (zh) 全视角线激光扫描三维成像标定装置及方法
CN103299343A (zh) 距离图像像素匹配方法
KR20110073386A (ko) 형태의 불변 어파인 인식을 위한 방법 및 장치
CN110398215A (zh) 图像处理装置和方法，系统，物品制造方法，存储介质
Greenbaum et al. Monocular computer vision method for the experimental study of three-dimensional rocking motion
CN115272080A (zh) 基于图像拼接的全局变形测量方法和系统
CN107680035A (zh) 一种参数标定方法和装置、服务器及可读存储介质
CN104596486B (zh) 基于目标旋转对称特征的位姿测量方法
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
Sun et al. Scheimpflug Camera‐Based Stereo‐Digital Image Correlation for Full‐Field 3D Deformation Measurement
Zhang et al. Non-rigid registration of mural images and laser scanning data based on the optimization of the edges of interest
Riou et al. Calibration and disparity maps for a depth camera based on a four-lens device
JP4196784B2 (ja) カメラ位置測定装置および方法並びにカメラ位置制御方法
Shahbazi Hybrid 3D dynamic measurement by particle swarm optimization and photogrammetric tracking
Kozuka et al. Rectification of 3D data obtained from moving range sensors by using multiple view geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication