CN117930497A - 用于光场显微术的方法和设备 - Google Patents
用于光场显微术的方法和设备 Download PDFInfo
- Publication number
- CN117930497A CN117930497A CN202311384925.6A CN202311384925A CN117930497A CN 117930497 A CN117930497 A CN 117930497A CN 202311384925 A CN202311384925 A CN 202311384925A CN 117930497 A CN117930497 A CN 117930497A
- Authority
- CN
- China
- Prior art keywords
- sub
- dataset
- image
- steps
- method comprises
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 215
- 238000000386 microscopy Methods 0.000 title claims abstract description 39
- 230000006870 function Effects 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 21
- 230000005284 excitation Effects 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 8
- 238000005315 distribution function Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/082—Condensers for incident illumination only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及用于光场显微术的方法和设备。本发明提出一种用于光场显微术的方法,其中,执行以下方法步骤:a)利用光场组件测量试样的图像数据集;b)从图像数据集产生至少一个子数据集;c)根据步骤b)中产生的子数据集重建三维对象。
Description
技术领域
在第一方面,本发明涉及一种用于光场显微术的方法。在第二方面,本发明涉及一种根据权利要求31的前序部分所述的用于光场显微术的设备。
背景技术
按类属的用于光场显微术的设备至少包含以下部件:光源,其用于发出激发光;照明光路,其用于将激发光引导到试样上或试样内;二维空间分辨式探测器,其用于检测从试样射出的光;至少具有显微镜物镜和多透镜阵列的探测光路,其用于将从试样射出的光成像到探测器上;以及控制和评估单元,其用于驱控光源和探测器以及用于评估从探测器获得的测量数据。控制和评估单元被设立成用于驱控光源和探测器用来记录试样的至少一个图像数据集。
在生物医学研究中,对器官、组织和生物体中的过程的研究越来越多。为了进行快速图像记录,越来越多地使用到光场显微术(LFM)。光场显微术具有的优势在于,根据通常在几分之一秒的时间内完成的唯一的相机记录,可以重建具有几十到几百个断面图像/z平面的体积。所观测的体积在z方向上的可能的延展范围在此很大程度上与所使用的显微镜物镜有关并且尤其是与其数值孔径有关。
在光场显微术方面可能有多种设计方案。在所谓的空间域光场显微术中,在探测光路中的与物平面共轭的平面内布置有多透镜阵列(MLA)。然后,在其与显微镜物镜的后焦平面(BFP,back focal plane)光学共轭的后焦平面中,使用相机传感器进行探测。
针对显微术的更直观的措施是所谓的傅立叶光场显微术,在其中,多透镜阵列(MLA)被布置在与物镜的光瞳平面共轭的平面中。再次地在多透镜阵列的后焦平面(BFP)中实现探测。在这种情况下,试样体积的真实成像作为所记录的相机图像之内的子图像被采集,但这些子图像分别属于试样的不同视差的观察方向。由于视差,使得进行发射的荧光分子在物空间中的(假想的)轴向移动导致信号依赖于分别进行观察的透镜的定位地在相机传感器上横向移动。
在本申请中,使用了点分布函数这一术语。该点分布函数指的是平行的射束被透镜(例如多透镜阵列的透镜)转换后的光的强度分布。该函数的常用术语也被称为点扩散函数、点成像函数或英文术语Point-Spread-Function(PSF)。
为了根据原始数据重建结构体积信息有各种算法可供使用。
在第一种算法中,首先从相机图像将所有子图像数据分离成图像堆栈,其中,该堆栈的每个子图像都对应于朝试样的一个观察方向。为了计算某个轴向的试样平面的图像内容,该堆栈中的每个子图像现在都移动了针对所选的轴向平面而言所期望的视差移动。然后,将以这种方式产生的堆栈相加成z平面的一个图像。为了获得三维图像(其也被称为3D堆栈),然后针对另外的轴向的试样平面重复此方法,并然后将这些各个z平面的图像组成一个三维图像。
这种也被称为移动求和法(Shift&Sum-Verfahren,S&S)的方法的缺点是,尤其是在试样密集的情况下细节信息可能会被背景信号严重覆盖。
在类似的方法中,图像堆栈的子图像分别以与在移动求和法中相同的方式移动了针对所选的轴向平面而言所期望的视差移动。但随后,以这种方式产生的堆栈的图像并不像移动求和法那样针对z平面进行相加,而是相乘。这种被称为移动求积法(Shift&Multiply-Verfahren)的方法对于在试样体积中具有相对较少发射体的试样来说同样提供了很好的结果。
借助移动求和法或移动求积法获得的试样的三维图像必要时可以通过如下方式被更进一步改进,即,执行对多透镜阵列的整个点分布函数(PSF)的反卷积。多透镜阵列的整个点分布函数(PSF)由多透镜阵列的各个透镜的点分布函数组成。
用于重建试样的三维图像的另一类重要的方法基于对成像函数的观察,该成像函数描述了成像光学系统(此处为:光场显微术)的效果,并且该成像函数将所搜索的辐射发射体的空间上(即三维)的分布转化为可观测的图像。现在的评估任务在于,找到该图像函数的反函数,以便从所观测到的图像数据中获得辐射发射体的所搜索的空间分布。该方法尤其包括反卷积法。在迭代的反卷积方法中,例如通过使用理查德森-露西迭代方案(Richardson-Lucy-Iterationsschemas),使得反图像函数并不直接获知,而是迭代搜索在应用成像函数的情况下最适合所观测的图像数据的辐射发射体的分布。
另外的措施使用了联合反卷积方案(jDCV)。为此同样需要了解关于每个微透镜的例如形式为点分布函数(PSF)的图像函数,并且计算时间明显长于例如在使用移动求和法时的计算时间。对此,人们将获得对比度明显更高的图像。
此外,在重建方法中可以使用所谓的维纳反卷积法(Wiener-Deconvolution),以便减少在空间频率较高时的噪声。
按类属的用于图像重建的方法和设备在Vol.27,No.18/2September 2019/OpticsExpress 25573(光学快报25573,2019年9月2日/第27卷第18期)中被描述。
在用于根据所测得的图像数据集重建三维图像的方法中存在困难的是,在某些试样条件下,重建的对象中可能会出现伪影。
例如,具有较低的空间频率的后景信号,尤其是均匀后景信号可能会造成问题。这种后景信号例如可能来自试样本身,例如,其形式为组织的自发荧光和/或其中嵌入有待检查的试样的嵌入介质的自发荧光。此外,某些测量架构也可能会易于提供较高的后景信号。
此外,图像数据中的强烈的亮度梯度也会给重建方法带来困难。于是,利用所使用的光场组件无法明确采集到的结构也会导致重建方法提供了伪影。对此的示例尤其是,由于光场组件中的光学传递函数中缺少某些空间频率范围而造成图像数据模糊不清。例如可能存在某些状况,在其中,针对空心球的图像数据与针对实心球获得的图像数据并无不同。
此外,位于重建的体积之外的试样结构例如由于从这些位于外部的结构射到重建的体积的区域上的散射光也可能导致伪影。
显然,在存在多个所给出的条件的状况下也会出现问题。
尤其是在x、y和z方向上的陡峭的强度边缘处的下冲和上冲现象被视为伪影。这种现象也被称为“振铃”。于是,在聚焦区域中也会发现明亮结构分裂。最后,观测到的伪影是其由于被成像的对象的在该对象中实际上位于可能被有限重建的体积之外的结构所造成。
发明内容
被认为是本发明的任务的是,说明一种用于光场显微术的方法和设备,利用它们来改善重建分别表示所检查的试样的三维对象。
该任务通过具有权利要求1的特征的方法和具有权利要求31的特征的设备来解决。
在根据本发明的用于光场显微术的方法中执行以下方法步骤:
a)利用光场组件测量试样的图像数据集;
b)从该图像数据集产生至少一个子数据集;
c)根据步骤b)中产生的子数据集重建三维对象。
根据本发明,具有上述特征的用于光场显微术的设备通过如下方式得到改进,即,此外,控制和评估单元还被设立成用于执行根据本发明的方法。
因此,根据本发明的用于光场显微术的设备适用且被设立成用于执行根据本发明的方法。
根据本发明的方法的优选变体在下文中将尤其结合从属权利要求和附图加以解释。
光场显微术的一般性目的是,根据用相机获得的图像数据集重建被检查的试样的三维图像。在本说明书和权利要求中,为了从术语方面与用相机所获得的图像数据区分开来,重建的三维图像一般被称为对象、尤其被称为三维对象。如果重建的对象只表示被检查的试样的一部分或者只表示被检查的试样中人们感兴趣的区域中的一部分,那么它也可以被称为子对象。可以被视为重建方法的最终结果并因此也可以被视为对被检查试样的表示的重建的对象被称为试样对象,或者当它由多个子对象组成时也被称为整体对象。
可以视为本发明的第一主要认知是,为了避免在重建中出现伪影适宜的是,不将通过测量获得的图像数据直接输送用于重建,而是从所获得的图像数据集中产生、分割或分离出至少一个子数据集,然后对其进行对象重建。
例如,重建的对象可以是子对象。通过使用在步骤c)重建的三维对象,可以产生表示待检查的试样的最终三维对象。该最终三维对象可以被称为试样对象、最终试样对象或被称为整体对象。
也有可能的是,在步骤c)重建的三维对象已经被视为或评价为被检查试样的表示,即被视为或评价为重建的最终结果并因此被视为或评价为最终试样对象。
术语“子数据集”应理解为图像数据集的所有子集,以及由图像数据集或其部分通过例如滤波的处理后得知的数据集。
子数据集尤其可以按照如下条件从图像数据集中产生,即在重建表示被检查试样的最终三维对象时减少伪影。
利用根据本发明的方法,可以明显减少伪影。此外,可供使用的计算机资源可以更有效地用于试样对象的重建。
激发光是电磁辐射,其尤其是在可见光谱范围和邻近范围内。对于本发明而言,只有当试样由于用被激发光照射而射出发射光和/或将激发光进行偏转、散射或反射时才需要提供对比原理。典型地,发射光是试样、尤其是存在于那里的染料分子由于被激发光照射而射出的荧光。
为了提供激发光可以存在至少一个光源,例如激光器。激发光的光谱组成是能调整的,尤其是能在两种或多种颜色之间调整。激发光也可以同时是多色的,例如当要同时检测不同的染料时。
照明光路这一术语是指所有在光学上进行射束传导和进行射束改变的部件,例如是透镜、反射镜、棱镜、光栅、滤光片、光阑、分束器、调制器,如空间光调制器(SLM),光源的激发光利用这些部件并经由这些部件被引导直至待检查的试样上。
对试样的照明可以经由光学系统、尤其是不属于探测光路的一部分的显微镜物镜来实现。
替选地,也可以经由同样属于探测光路的显微镜物镜对试样进行照明。
从待检查的试样由于被激发光照射而射出和/或偏转的光,例如散射光,被称为发射光,并经由探测光路到达相机。探测光路这一术语是指所有进行射束传导和进行射束改变的光学部件,例如物镜、透镜、反射镜、棱镜、光栅、滤光片、光阑、分束器、调制器,例如空间光调制器(SLM),来自待检查的试样的发射光利用这些部件并经由这些部件被引导直至探测器上。
探测器是具有二维空间分辨式传感器表面的足够快速的光学探测器。尤其地,探测器可以是相机,尤其是CCD、sCMOS、CMOS或SPAD相机芯片。
多透镜阵列用于将从试样射出的光成像到探测器上。探测器在此可以虽然优选地被布置在多透镜阵列的透镜的焦平面中或至少可以被布置在该焦平面附近。但是,这对于本发明的实现并非绝对必要。从这个意义上讲,图像还可能是不清晰的。只需将多透镜阵列布置在限定的且已知的与二维空间分辨式探测器的相对定位中即可。
控制单元这一术语是指与根据本发明的显微镜的部件进行协同作用以用于实现其按规定的功能的所有硬件和软件部件。尤其地,控制单元可以具有计算装置(例如PC)和能够快速读取测量信号的相机控制部。
控制和评估单元的计算机资源可以分布到多台计算机上,并且必要时也可以分布在计算机网络上,尤其是经由互联网分布。控制和评估单元尤其可以具有常见的操作仪器和外围仪器,如鼠标、键盘、屏幕、存储介质、操纵杆、互联网连接部。控制和评估单元尤其可以读入来自探测器的图像数据。
根据被检查的试样的记录到的图像重建三维对象在利用光场组件的参数,如显微镜物镜的数值孔径、多透镜阵列的光学参数的情况下通过控制和评估单元来实施。
对显微镜物镜没有特别要求。尤其地,它可以是浸没式物镜。
根据本发明的方法和根据本发明的设备原则上适用于任何类型的试样,这些试样对于利用光场显微术进行检查是能接近的。
利用光场显微术记录的图像分别包括一组子图像。这些子图像是由多透镜阵列中的各个透镜在二维空间分辨式探测器上产生的图像。因此,子图像的数量与多透镜阵列中使用的透镜数量相对应。例如,多透镜阵列可以具有37或89个透镜。
由探测器在测量中获得的图像数据虽然可以被理解为数量上与多透镜阵列中使用的透镜数量相应的子图像并以此进行评估。然而,整体的由探测器测得的图像(其可以被称为整体图像)也可以被理解为具有相应数量的图像区域的单图像。对图像信息的评估和对试样的体积结构的重建可以基于其中一些子图像或全部的子图像来进行,或者可以基于整体图像进行。也有可能的是,评估时只考虑全部子图像的或只有一些子图像的片段。
光场显微术可以作为荧光显微术来执行,并且优选将适用于对制备待检查试样的染料进行荧光激发的光源、尤其是激光器作为光源。
在根据本发明的设备的一个特别有利的实施方式中,多透镜阵列被布置在与显微镜物镜的后焦平面光学共轭的平面(光瞳平面)中。属于各个透镜的子图像对应于来自不同视差角度的试样图像。在这种被称为傅立叶光场显微术的变体中,子图像生动易懂。然而,本发明并不局限于傅立叶光场显微术。相反,对于根据本发明的方法和根据本发明的设备而言可以使用被称为空间域光场显微术的变体,在其中,多透镜阵列被布置在与试样的平面光学共轭的平面(中间像平面)中。
此外,多透镜阵列既不位于中间像平面也不位于光瞳平面的布置和方法变体也是可能的。利用这种布置获得的图像数据原则上包含与空间域光场显微术和傅立叶光场显微术相同的信息。重建试样三维图像的方法必须在使用成像系统现有的几何参数,尤其是多透镜阵列与中间像平面和/或光瞳平面的相对位置的情况下进行适应性调整。
在重建时能否避免伪影以及避免的程度如何具体依赖于被用于产生子数据集的方法。原则上,在步骤b)中产生的子数据集可以如下这样地产生,即,它就感兴趣的试样区域方面基本上包含了所期望的分量。然后对这样的子数据集进行的重建就提供了与最终试样对象比较相似的对象或者有可能的话甚至已经可以被评价为最终试样对象的对象。然而也有可能的是,首先如下这样地产生子数据集,即,它就感兴趣的试样区域方面基本上包含了不期望的分量。在重建最终试样对象的过程中,除了重建这种子数据集之外,还需要进一步的处理步骤。最后也有可能的是,如下这样地在步骤b)中生成子数据集,即,它就感兴趣的试样区域方面必要时以相同或相似的数量级包含了期望和不期望的分量。
在本发明方法的优选变体中,至少一个子数据集的产生通过将图像数据集拆分成多个子数据集来完成。在实践中被已经证明将图像数据集正好拆分成两个子数据集就足够了。
例如,所测得的图像数据集可以表示为子数据集的总和或其他关系。
当数据从测得的图像数据集中分离出来时,无论是在空间域中,例如当从图像数据集中减去数据时,还是在空间频率域中,例如在滤波时,剩余的子图像数据集都可以被称为残余图像数据集。
当试样显示出例如恒定的后景或背景时,尤其出现振铃式伪影。在导致本发明的工作的范围内可能已经证明如果在使用重建方法之前将测得的图像数据集的背景从总信号中分离出来,那么重建结果(即重建的对象)将具有明显更少的振铃式伪影。为了分离出背景信号,例如可以对图像数据集或残余图像数据集执行滤波。滤波在此被理解为对图像数据集的空间频率的频谱进行加工整理,即在空间频率域中对图像数据集或残余图像数据集进行加工整理。采用其他方法也是可行的,尤其也可以直接在空间域内对数据进行加工整理。
例如,可以通过如下方式产生子数据集,即,对所测得的图像数据集或残余图像数据集应用以下方法中的至少一种方法:
·高通滤波
·低通滤波
·带通滤波
·滚球算法;
·利用小波滤波器进行滤波;
·用于在空间域中确定恒定或位置变化的背景信号的算法。
例如,可以将图像数据集或残余图像数据集拆分成空间频率的至少两个(若有可能的话是部分重叠的)频带。实践证明,将图像数据集拆分成两个频带就足够了。
替选或补充地,为了产生子数据集,也可以从图像数据集或残余图像数据集中减去偏移量函数。这种方法同样特别适用于去除背景。
偏移量函数尤其会在图像中局部具有不同的值,也就是说可以依赖于x坐标和y坐标减去不同的偏移量。
例如,对于至少两个子图像来说,尤其是对于所测得的图像数据集或残余图像数据集的多个或所有子图像来说,偏移量函数可以具有恒定值。偏移量的值可以通过图像评估尤其是针对其中每个子图像独特地确定。
原则上,必须注意的是,在每次滤波和/或减去偏移量时,会丢失源自试样的测量信息。根据被检查的试样是哪种性质而定地,这可能是不期望的。
用于重建三维对象的不同算法针对不同的试样条件,对于在重建的对象中的某些图像伪影的敏感性分别不同。例如已证明,具有均匀后景的试样比没有后景信号的试样产生的伪影更多。另一方面,在对比度相对较低的图像数据中,基本上与后景信号水平无关地往往却很少构成伪影。
因此可以适宜的是,将测得的图像数据集拆分成多个子数据集,这些子数据集分别具有不同的图像对比度。
一般来说重要的是,在此描述的全部的用于产生子数据集和将测得的图像数据集拆分成多个子数据集的方法都可以相互组合,并在适当的情况下可以并行或按顺序执行。
原则上,从唯一的子数据集重建三维对象就可以足够了,然后将该三维对象评价为最终试样对象。在根据本发明的方法的一个变体中,因此至少根据一个子数据集且尤其是所有子数据集来分别重建三维的子对象。
通过如下方式可以获得三维的整体对象,尤其是表示被检查的试样的最终试样对象,即,将根据两个从测得的图像数据集产生的不同的子数据集重建的至少两个子对象彼此组合。在此,可以减少试样信息的丢失,并同时还可以减少伪影,例如振铃式伪影。
原则上,可以使用同一种重建方法根据其中每个子数据集来重建子对象。然而可以适宜的是,依赖于各自的子数据集选出分别供使用的重建方法。因此,根据本发明的方法的优选的变体的特征在于,针对至少两个子数据集的重建、尤其是针对所有子数据集的重建分别利用不同的重建方法或利用同一种重建方法在使用不同的参数(例如不同的空间分辨率)的情况下来执行。
在根据本发明的方法的另外的优选的设计方案中,根据至少两个子数据集或从所有子数据集按顺序或并行地分别重建三维的子对象。
在根据本发明的方法的特别优选的变体中,各自的子数据集中包含的空间频率越高,对某个子数据集执行重建时的空间分辨率就越高。空间分辨率也被称为采样。选择的空间分辨率越低,计算量就越小。
为了从子数据集重建三维对象,可以使用以下方法中的至少一种方法:
·移动求和法;
·移动求积法;
·结合移动求和法或移动求积法的维纳反卷积或露西-理查德森反卷积;
·露西-理查德森反卷积;
·联合露西-理查德森反卷积或多视角露西-理查德森反卷积;
·奇异值分解法,尤其是与正则化(如使用吉洪诺夫(Tikhonov)正则化的反滤波)相结合;
·使用点扩散函数的反卷积,点扩散函数尤其可以含有散射光分量。
这些方法也可以通过使用人工智能和神经网络来使用。
在此描述的所有用于从子数据集重建三维对象的方法都可以相互组合。
将三维的子对象组合成三维的整体对象尤其可以通过叠加至少两个三维的子对象来完成,这些三维的子对象分别通过图像数据集中的不同子数据集重建而得。
例如,可以执行以下方法中的至少一种方法来叠加子对象以形成整体对象:
·在空间域中将子对象相加;
·在空间域中将子对象加权相加;
·在空间域中将子对象相乘;
·在空间域中将子对象进行加权相乘;
·在空间频率域中将子对象相加;
·在空间频率域中将子对象加权相加。
在空间频率域中将子对象相加相当于将频带叠加或叠化。在实践中已证明,在此利用两个频带就已经达到了很好的效果。尤其地,频带可以部分重叠。子对象相加可以是加权相加,其中,各个加数分别以独特的加权因子进行加权。这些因子可以如下这样地选择,即,使其总和等于1。
在从测得的图像数据集产生子数据集时或在将其分拆成多个子数据集时重要的事实情况是,子数据集可能不一致,这是因为光场图像提供相关子数据集的真实三维对象并不存在。
在根据本发明的方法的另一组有利的实施变体中,通过如下方式可以减少这种不一致性的影响,即,在维持一致性的情况下分别产生子数据集。尤其地,于是还有可能的是,让整体对象从分别是根据一致的子数据集重建而成的子对象中组成或组合出。以该方式就可以明显减少伪影。
优选地,可以执行以下方法步骤:在步骤c)中,根据子数据集重建子对象,为该子对象模拟出光场图像数据集,将模拟出的光场图像数据集与该子数据集进行比较,然后执行以下步骤中的至少一个步骤:
·保存比较结果;
·向用户输出和/或显示比较结果;
·依赖于比较结果,向用户产生关于重建对象的进一步步骤的建议;
·改变步骤b)中的子数据集的产生。
子数据集的可能的不一致导致模拟出的光场图像数据集与从中得知模拟出的滤光片图像数据集的子数据集不完全相符。最初的子数据集与模拟出的光场图像数据集之间的差别在比较过程中被获知,并可以被用作衡量各自的子数据集一致性或不一致性的指标。
由于光学传递函数,尤其是显微镜物镜和多透镜阵列透镜的点扩散函数是众所周知的,因此光场图像数据集的模拟精度非常高是可能的。重要的是,如果模拟所针对的对象至少在理论上是可能的,那么通过这种模拟所形成的光场图像数据集就是一致的。但是,如果该对象在理论上虽然是可能的,但例如由于其具有在自然界中并不存在的结构,而并不那么可信,这也不会伤害模拟出的数据集的一致性。
为了进行比较,原则上可以使用已知的方法,如例如图像相关性、偏差平方和。向用户提出的建议可以尤其涉及到就子对象的重建方面且尤其是就最终试样对象的重建方面提出用于改变方法变体或方法参数的提议。尤其地,这些建议可能涉及在步骤b)中进行的子数据集的产生,从而在子对象的重建且尤其是最终试样对象的重建方面实现了改善。
在根据本发明的方法的另外的优选的实施例中以下步骤被相继多次执行直到获得为与模拟出的光场图像数据集的比较提供了足够好的相符度的结果子数据集:
·产生子数据集;
·根据所产生的子数据集重建对象;
·根据重建的对象模拟出光场图像数据集;
·将模拟出的光场图像数据集与该子数据集进行比较;
·改变步骤b)中的子数据集的产生。
然后,可以针对以这种方式获知的结果子数据集和/或针对与最初的图像数据集减去结果子数据集后相应的子数据集来重建对象。
如果待重建的子数据集产生得当或者被用于产生子数据集的方法选择得当,就已经可以明显减少伪影。然而也有可能的是,有针对性地就伪影方面对子数据集和/或重建的对象进行检查。在此,所获得的信息一方面可以被用于改变各自的子数据集的产生。然而,也可以对子数据集和/或重建的对象进行有针对性改变或修正。在根据本发明的方法的一个有利的变体中,例如执行以下方法步骤:在根据子数据集重建的三维对象中,搜索指出重建中的伪影的对象区域,并然后执行以下步骤中的至少一个步骤:
·存储找到的对象区域;
·向用户输出和/或显示找到的对象区域;
·依赖于找到的对象区域,产生并向用户输出和/或显示有关用于重建对象或最终试样对象的进一步步骤的建议;
·修正找到的指出重建中的伪影的对象区域。
根据所输出或显示的对象区域,用户可以手动修正对象。所找到的对象区域的输出和/或显示还可以为用户提供相关信息,借此使用户可以改变用于产生子数据集和/或重建子数据集的方法参数,以用于改善对最终试样对象的最终重建。同样,向用户提出的建议可能涉及修正找到的对象区域、改变用于产生子数据集的方法和/或用于重建这些子数据集的方法的参数,以用于改善对最终试样对象的重建。也有可能的是,自动进行对方法参数的改变和/或对对象的修正。
例如,可以将其图像值位于能指定的值区间之外的对象像素评价为指出伪影的对象区域。例如有可能的是,将图像值小于零或大于阈值的对象像素评价为指出伪影的对象区域。
例如,可以通过如下方式产生修正后的对象,即,将三维对象中其图像值位于能指定的值区间之外的像素,尤其是图像值为负的像素设为能指定的值,尤其是设为零。这可以自动执行,或者必要时可以只对所找到的其中一些对象区域通过用户手动执行。
适宜地还可以的是,对必要时经修正的对象应用另外的算法,以用于减少不可信的结构,例如特别锐利的边缘,从而进一步修正有关对象。例如可以应用柔焦功能。
在根据本发明的方法的另外优选的设计方案中,可以执行以下方法步骤:首先,从测得的图像数据集产生子数据集,其中,原则上可以在使用本文所述的任意方法的情况下来执行。根据所产生的子数据集重建三维对象。必要时可以对该对象执行上述修正。然后,针对该尤其是经修正的三维对象模拟出光场图像数据集。出于上述原因,该光场图像数据集始终是一致的。然后通过形成测得的图像数据集与模拟出的光场图像数据集之间的差异来计算出差异数据集。由于光场图像是线性图像,并且由于模拟出的光场图像数据集是一致的,因此当最初测得的图像数据集是一致的时,差异数据集也将是一致的。
优选地,可以在差异数据集中再次搜索指出重建中的伪影的图像区域,随后实施以下步骤中的至少一个步骤:
·存储找到的图像区域;
·向用户输出和/或显示找到的图像区域;
·依赖于所找到的对象区域,产生并向用户输出和/或显示有关用于重建对象、尤其是最终试样对象的进一步步骤的建议;
·修正所找到的指出重建中的伪影的图像区域。
根据所输出或显示的差异数据集的区域,用户可以手动修正差异数据集。输出和/或显示所找到的差异数据集的区域还可以为用户提供相关信息,结合这些信息可以改变用于产生子数据集和/或重建子数据集的方法参数,以用于改善对最终试样对象的最终重建。同样,向用户提出的建议可能涉及:对所找到的差异数据集的区域进行可能的修正、改变用于产生子数据集的方法和/或用于重建子数据集的方法的参数,以用于改善对最终试样对象的重建。也有可能的是,这种方法参数改变和/或差异数据集修正自动进行。
可以将那些其图像值位于能指定的值区间之外的、例如大于阈值或小于零的差异数据集像素评价为指出伪影的图像区域。
例如,可以通过如下方式产生修正后的差异数据集,即,将差异数据集中其图像值位于能指定的值区间之外的像素,尤其是图像值为负的像素手动或自动地设为能指定的值,尤其是设为零。
在此以与对重建的对象进行修正类似的方式也可以是适宜的,对必要时经修正的差异数据集应用另外的算法,以用于减少不可信的结构,例如特别锐利的边缘,从而进一步修正有关的差异数据集。例如可以对差异数据集应用柔焦功能。
然后,可以根据必要时经修正的差异数据集重建子对象,该子对象可以被称为残余子对象。残余子对象表示了最初的图像数据集的在最初产生子数据集时未被分割掉的残余分量。为了根据差异数据集重建子对象,原则上可以使用在此描述的所有重建方法。
上文描述的方法变体,其中从测得的图像数据集中产生或分割出唯一的子数据集,然后根据该子数据集重建子对象,并随后根据表示残余图像信息的残余图像数据集重建另外的子对象。然而也有可能的是从一开始就产生多个子数据集,其中,用于产生子数据集的各自的方法可以不仅应用于最初测得的图像数据集而且也可以用于分别剩余的残余图像数据集。
如果在重建子对象之后,要从最初测得的图像数据集或残余图像数据集中扣除由模拟获得的光场图像数据集,那么为了避免伪影适宜的是,首先根据包含较低空间频率的子数据集重建子对象,并随后再逐渐根据包含越来越高的空间频率的子数据集重建子对象。事实证明,从测得的图像数据集中减去高频的图像信息会很容易产生伪影,以至于在低频后景上由于差异形成而出现了人为的孔洞结构。
根据光场图像数据重建三维对象需要大量计算。所需的计算时间尤其依赖于所选的需要重建的体积有多大。如果选择的待重建的体积在光轴方向上小于实际成像的对象,那么在重建中在重建的体积(其也可以被称为目标区域)中可能会得到由于重建体积之外的实际结构而造成的伪影。
在根据本发明的方法的以下变体中可以减少这种伪影,其中执行以下方法步骤:
·针对包含试样的感兴趣区域的体积以缩减的空间分辨率、根据图像数据集或由其产生的子数据集重建对象;
·通过在其中存在试样的感兴趣区域的目标区域内针对所有像素将对象的图像值设为能指定的值、尤其是设为零,来产生缩减的子对象;
·针对该缩减的子对象模拟出光场图像数据集;
·通过形成最初测得的图像数据集与针对缩减的子对象模拟出的光场图像数据集之间的差异产生差异数据集;
·根据该差异数据集重建子对象。
通过评估以缩减的空间分辨率来重建的子对象可以获知目标区域。这可以由用户目测完成,但也可以完全或部分自动化进行。
由于首先针对相对较大的体积进行对象重建,使得在该方法变体中还采集到离焦的对象结构的影响。相对较大的待重建的体积本身就导致计算时间明显提高。然而,在该方法变体中通过以缩减的空间分辨率来重建大体积抵消了这一影响。因此,可以减少计算时间。为此适宜的是,通过去除来自图像数据集的背景信号,尤其是通过对测得的图像数据集应用低通滤波器或滚球算法,从测得的图像数据产生在第一方法步骤中重建对象的子数据集。此外,还可以缩减子数据集的也被称为像素采样的空间分辨率。例如,数据集可以在x坐标和y坐标中分别以因数4来缩减,并因此总共以因数16来缩减。
现在,缩减的子对象只包含目标区域外的离焦结构。
然后,可以将缩减的子对象的空间分辨率和/或为缩减的对象模拟出的光场图像数据集的像素采样重新提高,并且如上所述地可以针对差异数据集现在以针对目标区域的体积提高了的空间分辨率来计算对象。
由于在光场显微术中焦点之外的空间分辨率被降低,因此可以以明显缩减的空间分辨率(即明显缩减的采样)来重建离焦的对象结构。如果使用迭代反卷积法(例如理查德森-露西法)进行重建,则在重建大体积对象时可以使用相对较少的迭代步骤来工作。由于空间分辨率缩减(采样缩减)和/或迭代次数缩减,使得重建大体积对象所需的计算时间还是相对较少。
在该方法变体中也有利的是,如上所述,差异数据集是一致的数据集。可选地,在第一方法步骤中重建的对象可以如上所述进行修正。补充和/或替选地,可以在根据该差异数据集重建试样对象之前对该差异数据集进行修正。
在这些方法中,目标区域,即其中存在人们感兴趣的试样结构的区域,将以获得子数据集一致性的方式从测得的图像数据集中裁切出来。
附图说明
下面将参照附图解释本发明的另外的优点和特征。其中:
图1:示出根据本发明的用于光场显微术的设备的示意性概图;
图2:示出根据本发明的方法的第一实施例及其变体的流程图;
图3:示出根据本发明的方法的第二实施例的流程图;
图4:示出根据本发明的方法的第三实施例的流程图;以及
图5:示出根据本发明的方法的第四实施例的流程图。
具体实施方式
参照图1解释了根据本发明的用于光场显微术的设备100的示例,该设备适用且被设立成用于执行根据本发明的方法,在此所示的设备100的主要部件包含:光源1,典型是一个或多个激光器,其用于发出激发光2;具有显微镜物镜4的照明光路,其用于将激发光2引导到试样5上或试样5中;二维空间分辨式探测器11,其用于检测从试样5射出的光6;以及具有显微镜物镜4和多透镜阵列9的探测光路,其用于将从试样5射出的光6引导到探测器11上。探测器11被布置在多透镜阵列9的焦平面内或附近,并且典型地可以是sCMOS、CMOS、CCD或SPAD相机。多透镜阵列9也可以是物镜4的一部分,并被布置在该物镜的后焦平面中。
最后,为了驱控光源1和探测器11并为了评估从探测器11获得的测量数据,还存在控制和评估单元12,它尤其可以是原则上已知性质的计算机。
控制和评估单元原则上可以由唯一的计算机来实现。然而也有可能的是,控制和评估单元具有多个计算机,这些计算机上分别执行不同的任务,尤其是重建方法,例如当使用神经网络进行重建方法以评估和处理图像数据集时。在这方面,术语控制和评估单元也可以包括布置在不同地点并且可能相距较远并经由云彼此连接的功能单元。为了与用户进行交互,控制和评估单元12可以具有原则上已知的功能部件,例如鼠标、操纵杆、键盘、屏幕、扬声器、相机、互联网连接部。
从光源1发出的光2,尤其是针对荧光染料(用该荧光染料制备试样5)的激发光通过二向色分束器3到达显微镜物镜4,并由该显微镜物镜聚焦到试样5上的或试样5中的试样平面中。从试样5射出的发射光、尤其是由荧光染料射出的荧光,经由显微镜物镜4回到二向色分束器3,并在该二向色分束器处朝中继光学器件8的方向反射。中继光学器件8由至少两个以能相对彼此伸缩放方式布置的透镜构成。在定位7处存在中间像平面,即与试样平面光学共轭的平面。发射光在穿过中继光学器件8后到达多透镜阵列9,该多透镜阵列布置在与显微镜物镜4的后焦平面(物镜光瞳BFP)光学共轭的平面中。多透镜阵列9的各个透镜在布置于多透镜阵列9的焦平面内的探测器11上生成子图像,这些子图像是从不同角度,更准确地说从不同视差角度记录的试样5的单图像。因此,利用用于光场显微术的设备100记录的图像数据集分别包括一组子图像。
在图1中所示的具有布置在光瞳平面中的多透镜阵列9是傅立叶光场显微术的组件。替选地,所谓的空间域光场显微术也能用于实现本发明,其中,多透镜阵列布置在探测光路中的与物平面(而不是显微镜物镜4的后焦平面)光学共轭的平面中。利用空间域光场显微术获得的原图信息与利用傅立叶光片显微镜经由傅立叶变换获得的原图信息相关联。然而,这两种措施的结果最终原则上是相同的。多透镜阵列位于中间像平面与光瞳平面之间的中间形式也是可能的。
在实际构造中,根据本发明的设备100还可以具有大量的另外的光学部件,尤其是反射镜、透镜、彩色滤光片和光阑,它们的功能本身是已知的并因此在本说明书中不做具体描述。此外,还可能存在影响传播光的波前沿的能被驱控的部件,例如空间光调制器和/或可变形反射镜。图1中也未示出这些部件。
根据本发明,控制和评估单元12被设立成用于驱控光源1和探测器11用以记录试样5的至少一个图像数据集,并执行根据权利要求1至30中任一项所述的方法。
在图2的流程图中所解释的变体中,在第一方法步骤中,利用光场组件(例如图1中所示的类型)记录试样的图像数据集。在第二方法步骤中,将该图像数据集拆分成第一子数据集和第二子数据集,第一子数据集主要包含试样的图像信息(前景),而第二子数据集主要包含背景信号。然后根据第一子数据集重建对象1。必要时可以对该对象1进行鉴定并已经可以将其视为最终试样对象。
可选地,也可以根据主要包含背景信号的第二子数据集重建第二对象2。对象1和对象2也可以被称为子对象1和子对象2。同样可选地,将子对象1和子对象2组合或叠加成整体对象,其表示了被检查的试样。
图3中所示的变体与图2所示的变体的不同之处在于,图3具体指出,通过应用滤波器或修正算法从第一方法步骤中测得的图像数据集中得到子数据集,从而使子数据集主要包含无背景信号的图像数据。例如,滤波器可以是低通滤波器。
在图4中所解释的变体中,通过对第一方法步骤中测得的图像数据集应用滚球算法产生子数据集。滚球算法的效果类似于低通滤波器,即从图像数据中去除低频分量,但滚球滤波器对图像数据的作用是局部的,而像低通滤波器则是全局的。然后,在该变体中,通过使用理查德森-露西反卷积算法,根据获得的子数据集重建最终试样对象。也可以使用其他重建方法。
最后,参照图5中的图表对根据本发明的方法的另外的优选的变体进行描述。符号#在这里应分别被理解为“编号”。
对应权利要求1的方法步骤a)地,该方法在步骤1中利用例如在图1中所示的类型的光场组件测量试样的图像数据集。
如下文所述,在图5中所解释的方法中,方法步骤2、3、6、7和10以及可选的步骤4、5、8和9中的一个、多个或每个步骤可以以循环方式运行多次。因此,在方法步骤1之后,计数器n开始被设为1。
此外重要的是,在图5中解释的根据本发明的方法的变体中,以尚要解释的方式形成差异数据集。在此使用的专业语言中,最初记录的图像数据集是差异数据集#0。在方法步骤2中,从该最初的图像数据集(即差异数据集#0)产生子数据集#1。例如可以通过应用低通滤波器,将低频分量从差异数据集#0(即最初测得的图像数据集)分离出来作为子数据集#1。
然后,在步骤3中,根据子数据集#1(按照权利要求1的方法步骤c))重建子对象#1。
在可选的方法步骤4中,可以对子对象#1进行评估和/或鉴定。必要时,可以在此步骤后结束方法,并将子对象#1作为最终试样对象输出。
然而,在对对象#1进行评估后紧接着还可以对对象#1进行修正(可选的方法步骤5)。例如,可以将子对象#1的典型地由于在步骤3中的重建中的伪影造成具有负值的像素设为0。在步骤5之后,如果有必要,也可以结束方法,并将修正后的子对象#1作为最终试样对象输出。修正可以自动进行,或者也可以通过用户交互进行。
在方法步骤6中,根据子对象#1或修正后的子对象#1产生模拟出的图像数据集#1。
在方法步骤7中,通过形成最初的图像数据集(即差异数据集#0)与模拟出的图像数据集#1之间的差异产生差异数据集#1。
随后可以对差异数据集#1进行评估(可选的方法步骤8),并且必要时还可以对差异数据集#1进行修正(可选的方法步骤9)。例如,可以将差异数据集#1具有负值的像素设为零。作为可选的步骤9的结果是修正后的差异数据集#1。在这里,修正也可以自动进行或通过用户交互进行。
对对象的图像数据集的模拟总是提供一致的图像数据集,即使当模拟该图像数据集的对象不可信或不可能真实存在也如此。如果最初的图像数据集(=差异数据集#0)是一致的数据集,那么差异数据集也将是一致的图像数据集。
在方法步骤2中产生的子数据集#1是最初的图像数据集的低频分量的示例中,差异数据集#1与最初的图像数据集(=差异数据集#0)的中频和高频分量相应。
在方法步骤10中作出是否应从差异数据集#1产生另外的子数据集的决定。
如果该决定在方法步骤10中回答“是”,则在方法步骤11中首先将计数器n提高1,并随后(方法步骤12)重复方法步骤2、3、6、7和10,以及可选的步骤4、5、8和9中的一个、多个或每个步骤。例如,在方法步骤2的第二轮(n=2)中,可以通过应用滤波器将差异数据集#1的中频分量分割为子数据集#2。然后,在方法步骤7中的第二轮中产生的差异数据集#2与最初的图像数据集(即差异数据集#0)的高频分量基本相应。
在方法步骤7中以大于0的n产生的差异数据集分别是在权利要求书和上述的意义下的残余图像数据集和子数据集。模拟出的图像数据集是在权利要求书和上述意义下的模拟出的光场图像数据集。
如果方法步骤10中的问题得到否的回答,则可以在方法步骤13中根据差异数据集#1重建最终子对象,该最终子对象可选地被再次进行评估、鉴定和/或修正。
最后,在方法步骤14中,根据至少2个、尤其是所有的迄今为止已重建的子对象,必要时还根据修正后的子对象通过组合产生整体对象。例如,可以将子对象在频域中叠加以组合成整体对象。
如果选择低通滤波器来分割子数据集#1使得基本上分割掉背景信号,即低空间频率(不期望的分量),那么在方法步骤14中,就例如可能从图像数据集的所期望的分量,即高空间频率和中空间频率中组合出整体对象。具体来说,最终试样对象将由子数据集#2重建的并包含中空间频率的子对象#2和由差异数据集#2重建的并包含高空间频率的最终子对象组合而成。
这里描述的方法是,首先分割出包含低空间频率的子数据集,从中重建子对象,并然后逐渐分割出更高的空间频率。其原因是,在颠倒的方法中,即在从测得的图像数据集中减去针对具有高空间频率的子对象模拟出的图像数据集的情况下将相对频繁地形成伪影。
附图标记列表
1 光源(激光器)
2 激发光
3 二向色分束器
4 显微镜物镜
5 试样
6 发射光
7 中间像平面
8 中继光学器件
9 多透镜阵列
10 傅立叶平面(与显微镜物镜4的BFP光学共轭)
11 探测器(相机,在图像平面内)
12 控制和评估单元
100 用于光场显微术的设备
BFP 后物镜光瞳(后焦平面)
LFM 光场显微术
LSM 激光扫描显微镜
MLA 多透镜阵列
PSF 点分布函数
Claims (31)
1.用于光场显微术的方法,其中,执行以下方法步骤:
a)利用光场组件测量试样(5)的图像数据集;
b)从所述图像数据集产生至少一个子数据集;
c)根据步骤b)中产生的子数据集重建三维对象。
2.根据权利要求1所述的方法,
其特征在于,
在步骤b)中产生的子数据集就感兴趣的试样区域方面要么基本上包含了所期望的分量要么基本上包含了不期望的分量。
3.根据权利要求1或2所述的方法,
其特征在于,
所述至少一个子数据集的产生通过将所述图像数据集拆分成多个子数据集来实现。
4.根据权利要求1至3中任一项所述的方法,
其特征在于,
所测得的图像数据集能表示为子数据集的总和或其他关系。
5.根据权利要求1至4中任一项所述的方法,
其特征在于,
通过如下方式产生子数据集,即,对所测得的图像数据集或残余图像数据集应用以下方法中的至少一种方法:
·高通滤波
·低通滤波
·带通滤波
·滚球算法;
·利用小波滤波器进行滤波;
·用于确定部分或完全均匀的背景的算法。
6.根据权利要求1至5中任一项所述的方法,
其特征在于,
通过从图像数据集或残余图像数据集中减去偏移量函数产生子数据集。
7.根据权利要求6所述的方法,
其特征在于,
所述偏移量函数具有局部不同的值。
8.根据权利要求1至7中任一项所述的方法,
其特征在于,
将所述图像数据集拆分成空间频率的至少两个频带。
9.根据权利要求1至8中任一项所述的方法,
其特征在于,
将所述图像数据集拆分成分别具有不同的图像对比度的多个子数据集。
10.根据权利要求1至9中任一项所述的方法,
其特征在于,
根据至少两个子数据集、尤其是根据所有子数据集分别重建三维的子对象。
11.根据权利要求1至10中任一项所述的方法,
其特征在于,
针对至少两个子数据集的重建,尤其是针对所有子数据集的重建,分别利用不同的重建方法,或利用同一种重建方法在使用不同的参数的情况下来执行。
12.根据权利要求1至11中任一项所述的方法,
其特征在于,
根据至少两个子数据集或根据所有子数据集按顺序或并行地分别重建三维的子对象。
13.根据权利要求1至12中任一项所述的方法,
其特征在于,
各自的子数据集中包含的空间频率越高,对某个子数据集执行重建时的空间分辨率就越高。
14.根据权利要求1至13中任一项所述的方法,
其特征在于,
首先根据包含较低空间频率的子数据集重建子对象,并
随后再逐渐根据包含越来越高的空间频率的子数据集重建子对象。
15.根据权利要求1至14中任一项所述的方法,
其特征在于,
为了重建使用以下方法中的至少一种方法:
·移动求和法;
·移动求积法;
·结合移动求和法或移动求积法的维纳反卷积或露西-理查德森反卷积;
·联合露西-理查德森反卷积或多视角露西-理查德森反卷积;
·奇异值分解法,尤其是与正则化,尤其是使用吉洪诺夫正则化的反滤波,相结合;
·使用点扩散函数的反卷积,点扩散函数尤其含有散射光分量。
16.根据权利要求1至15中任一项所述的方法,
其特征在于,
将根据两个从测得的图像数据集产生的不同的子数据集重建的至少两个子对象组合成三维的整体对象。
17.根据权利要求16所述的方法,
其特征在于,
三维的整体对象的组合通过叠加至少两个分别通过图像数据集的不同子数据集重建而得的子对象来完成。
18.根据权利要求16或17所述的方法,
其特征在于,
为了将子对象叠加成整体对象,执行以下方法中的至少一种方法:
·在空间域中将子对象相加;
·在空间域中将子对象加权相加;
·在空间域中将子对象相乘;
·在空间域中将子对象加权相乘;
·在空间频率域中将子对象相加;
·在空间频率域中将子对象加权相加。
19.根据权利要求1至18中任一项所述的方法,
其特征在于,
在步骤c)中,根据子数据集重建子对象,
针对所述子对象模拟出光场图像数据集,
将模拟出的光场图像数据集与所述子数据集进行比较,
然后执行以下步骤中的至少一个步骤:
·保存比较结果;
·向用户输出和/或显示所述比较结果;
·依赖于所述比较结果,向用户产生关于重建对象的进一步步骤的建议;
·改变步骤b)中的子数据集的产生。
20.根据权利要求1至19中任一项所述的方法,
其特征在于,
以下步骤被相继多次执行直到获得为与模拟出的光场图像数据集的比较提供了足够好的相符度的结果子数据集:
·产生子数据集;
·根据所产生的子数据集重建对象;
·根据重建的对象模拟出光场图像数据集;
·将所述模拟出的光场图像数据集与所述子数据集进行比较;
·改变在步骤b)中的子数据集的产生。
21.根据权利要求20所述的方法,
其特征在于,
针对结果子数据集和/或针对与最初的图像数据集减去结果子数据集相应的子数据集来重建对象。
22.根据权利要求1至21中任一项所述的方法,
其特征在于,
在根据子数据集重建的三维对象中,搜索指出重建中的伪影的对象区域,
然后执行以下步骤中的至少一个步骤:
·存储找到的对象区域;
·向用户输出和/或显示找到的对象区域;
·依赖于找到的对象区域,产生并向用户输出和/或显示有关用于重建对象的进一步步骤的建议;
·修正找到的指出重建中的伪影的对象区域。
23.根据权利要求22所述的方法,
其特征在于,
将其图像值位于能指定的值区间之外的对象像素评价为指出伪影的对象区域。
24.根据权利要求22或23所述的方法,
其特征在于,
通过如下方式产生修正后的对象,即,将对象中其图像值位于能指定的值区间之外的像素,尤其是图像值为负的像素设为能指定的值,尤其是设为零。
25.根据权利要求1至24中任一项所述的方法,
其特征在于,
通过形成测得的图像数据集与针对三维对象、尤其是修正后的三维对象模拟出的光场图像数据集之间的差异计算出差异数据集。
26.根据权利要求25所述的方法,
其特征在于,
在所述差异数据集中搜索指出重建中的伪影的图像区域,并且
实施以下步骤中的至少一个步骤:
·存储找到的图像区域;
·向用户输出和/或显示找到的图像区域;
·依赖于找到的图像区域,产生并向用户输出和/或显示有关用于重建对象的进一步步骤的建议;
·修正找到的指出重建中的伪影的图像区域。
27.根据权利要求25或26所述的方法,
其特征在于,
将其图像值位于能指定的值区间之外的差异数据集像素评价为指出伪影的图像区域。
28.根据权利要求25至27中任一项所述的方法,
其特征在于,
通过如下方式产生修正后的差异数据集,即,将所述差异数据集中其图像值位于能指定的值区间之外的像素,尤其是图像值为负的像素设为能指定的值,尤其是设为零。
29.根据权利要求1至28中任一项所述的方法,
其特征在于,
执行以下方法步骤:
·针对包含所述试样(5)的感兴趣区域的体积以缩减的空间分辨率、根据所述图像数据集或由所述图像数据集产生的子数据集重建对象;
·通过在其中存在试样(5)的感兴趣区域的目标区域内针对所有像素将对象的图像值设为能指定的值、尤其是设为零,来产生缩减的子对象;
·针对所述缩减的子对象模拟出光场图像数据集;
·通过形成最初测得的图像数据集与针对所述缩减的子对象模拟出的光场图像数据集之间的差异产生差异数据集;
·根据所述差异数据集重建子对象。
30.根据权利要求29所述的方法,
其特征在于,
通过评估以缩减的空间分辨率重建的子对象获知所述目标区域。
31.用于光场显微术的设备(100),所述设备具有:
光源(1),所述光源用于发出激发光(2),
照明光路,所述照明光路用于将所述激发光(2)引导到试样(5)上或试样内,
二维空间分辨式探测器(11),所述二维空间分辨式探测器用于检测从所述试样(5)射出的光(6),
至少具有显微镜物镜(4)和多透镜阵列(9)的探测光路,所述探测光路用于将从所述试样(5)射出的光(6)成像到所述探测器(11)上,以及
控制和评估单元(12),所述控制和评估单元用于驱控所述光源(1)和所述探测器(11),并用于评估从所述探测器(11)获得的测量数据,其中,所述控制和评估单元(12)被设立成用于驱控所述光源(1)和所述探测器(11),以用于记录所述试样(5)的至少一个图像数据,
其特征在于,
所述控制和评估单元(12)还被设立成用于执行权利要求1至30中任一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102022128079.9A DE102022128079A1 (de) | 2022-10-25 | 2022-10-25 | Verfahren und vorrichtung zur lichtfeldmikroskopie |
DE102022128079.9 | 2022-10-25 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117930497A true CN117930497A (zh) | 2024-04-26 |
Family
ID=90572861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311384925.6A Pending CN117930497A (zh) | 2022-10-25 | 2023-10-24 | 用于光场显微术的方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240233158A9 (zh) |
CN (1) | CN117930497A (zh) |
DE (1) | DE102022128079A1 (zh) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020122605A1 (de) | 2020-08-28 | 2022-03-03 | Abberior Instruments Gmbh | Verfahren, Bildverarbeitungseinheit und Laserscanningmikroskop zum hintergrundreduzierten Abbilden einer Struktur in einer Probe |
-
2022
- 2022-10-25 DE DE102022128079.9A patent/DE102022128079A1/de active Pending
-
2023
- 2023-10-24 CN CN202311384925.6A patent/CN117930497A/zh active Pending
- 2023-10-25 US US18/494,175 patent/US20240233158A9/en active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102022128079A1 (de) | 2024-04-25 |
US20240135565A1 (en) | 2024-04-25 |
US20240233158A9 (en) | 2024-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110274877B (zh) | 一种基于散射介质的3d光谱成像系统及方法 | |
Mandracchia et al. | Fast and accurate sCMOS noise correction for fluorescence microscopy | |
Forster et al. | Complex wavelets for extended depth‐of‐field: A new method for the fusion of multichannel microscopy images | |
Smith et al. | Structured illumination microscopy with noise-controlled image reconstructions | |
US20240004176A1 (en) | Quantitative phase image generating method, quantitative phase image generating device, and program | |
CN111656246B (zh) | 用于定位显微的方法和系统、计算机可读存储介质 | |
CN113383225A (zh) | 使用深度学习将二维荧光波传播到表面上的系统和方法 | |
US8160379B2 (en) | Methods and devices for image processing with higher harmonics of an illumination grating | |
JP2002531840A (ja) | コンピュータを使用した適応画像形成装置及び方法 | |
JP6770951B2 (ja) | 結果画像を生成する方法及び光学装置 | |
CN112161953B (zh) | 一种基于散射介质的宽光谱单帧散射成像方法 | |
US20200033580A1 (en) | Device for observing a sample and method for observing a sample | |
JP4883936B2 (ja) | 走査型サイトメータの画像処理方法及び装置 | |
JP2010156612A (ja) | 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム | |
Li et al. | Rethinking resolution estimation in fluorescence microscopy: from theoretical resolution criteria to super-resolution microscopy | |
WO2021099127A1 (en) | Device, apparatus and method for imaging an object | |
CN109489816B (zh) | 一种显微高光谱成像平台及大区域数据立方体采集的方法 | |
CN117930497A (zh) | 用于光场显微术的方法和设备 | |
Du et al. | Retrospective shading correction of confocal laser scanning microscopy beef images for three-dimensional visualization | |
JP4951528B2 (ja) | パターン認識システムと方法 | |
CN115775224A (zh) | 评估光场显微镜测量数据的方法和用于光场显微术的设备 | |
JP5752985B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびバーチャル顕微鏡システム | |
KR102686707B1 (ko) | 고스트 이미지 획득 방법 및 이를 이용한 전자 장치 | |
US20240168272A1 (en) | Method and device for microscopy | |
Zelenka et al. | Single image plankton 3D reconstruction from extended depth of field shadowgraph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |