CN111612884B - 一种透射式无透镜三维显微重构方法及系统 - Google Patents
一种透射式无透镜三维显微重构方法及系统 Download PDFInfo
- Publication number
- CN111612884B CN111612884B CN202010275949.8A CN202010275949A CN111612884B CN 111612884 B CN111612884 B CN 111612884B CN 202010275949 A CN202010275949 A CN 202010275949A CN 111612884 B CN111612884 B CN 111612884B
- Authority
- CN
- China
- Prior art keywords
- light field
- sample
- object plane
- image
- image samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000005540 biological transmission Effects 0.000 title claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000011084 recovery Methods 0.000 claims description 7
- 238000012804 iterative process Methods 0.000 claims description 5
- 238000000386 microscopy Methods 0.000 abstract description 9
- 239000011159 matrix material Substances 0.000 description 18
- 238000003384 imaging method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 206010036618 Premenstrual syndrome Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一种透射式无透镜三维显微重构方法及系统，涉及无透镜显微领域，其中，所述方法包括：获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；对获取的所有图像样本进行图像对齐；基于图像对齐后的所有图像样本计算物平面预测光场；使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场。解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
Description
技术领域
本发明涉及无透镜显微领域，更具体地，涉及一种透射式无透镜三维显微重构方法及系统。
背景技术
在显微领域，传统的光学显微镜往往必须借助高倍率的镜片来获取更清晰的图像。而传统的光学显微镜在为了获得更清晰、大视场的图像，通常需要占用较多的图像处理资源或计算资源，进一步地使得光学显微镜的硬件要求较高。
现有技术更多是通过提高镜头倍率或者提高分辨率的方式来提高透镜的使用效率及重构结果，但这种图像获取方式对硬件的要求较高，同时其价格也相对高昂。在较多应用场景下，人们更倾向于选择在满足其使用需求的基础上，价格更为低廉的重构器械。
无透镜显微成像(Lensless Microscopic Imaging,LMI)技术是一种不需要光学透镜，直接将微观物体的投影记录到传感器上的技术。该技术由于具有便携，价格低廉，大视场等优点，在生物医疗等方面具有广泛的应用前景，是传统显微镜的简单和廉价替代品。
光场的空间分布由复函数表示，包含光强与相位信息。目前的光学成像器件如电荷耦合器件(Charge-coupled Device,CCD)或光电倍增管(Photo multiplier tube,PMT)等只能记录光场的光强信息，造成了其中相位信息的丢失。因此如何从易于测量的强度信息反算出相位信息，从而完成光场的完整重构成为光学领域的一个经典研究问题，进一步的，如何通过无透镜系统对透明样本进行光场的三维重构的是现有技术中所存在的一个问题。
发明内容
本发明旨在克服上述现有技术中存在的问题，提供了一种透射式无透镜三维显微重构方法及系统，解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
一种透射式无透镜三维显微重构方法，所述方法包括：
获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；
对获取的所有图像样本进行图像对齐；
基于图像对齐后的所有图像样本计算物平面预测光场；
使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场。
在无透镜显微领域，对图像样本的重构方式或者重构算法往往对于其最终重构出的结果而言是影响巨大的，本发明提出了一种区别于现有技术且精度更高的重构方法。
在本发明所述方法中，所述图像样本为数字图像，通过数字图像所述方法可以清晰且直观地在不同采集位置获取到重构对象的不同图像样本的振幅及相位。进一步的，通过所述图像样本的振幅及相位，可以通过衍射方程计算并得到所述图像样本衍射到物平面位置时的相位及样本，此时根据其所衍射的结果已经可以通过均值计算重构出重构对象对应的大视场物平面光场了，但若在此时进行重构，往往会导致最终结果出现光信息的不对应或是细节轮廓丢失的问题，进而使得所述结果不具备参考价值，因此若需进一步得到更好的图像，则需要对图像样本进行进一步地处理。
本发明所述方法基于更高的重构需求还设计了以下步骤，首先是基于图像样本衍射至物平面的光场信息进行图像对齐处理，通过图像对齐可以克服由于图像传感器的CMOS或CCD平面与样本平面不是完全平行的问题，并以此提升不同采集位置所对应的图像样本之间的关联性以及样本信息的可靠性。在执行初始化步骤之后，本发明所述方法使用迭代对重构对象的相位进行恢复，进而重构出重构对象的物面实际光场。
基于上述步骤，所述方法可以在不借助光学透镜的情况下，重构出重构对象的可用于三维显示的物面实际光场，可以有效去除重构结果中的孪生像、改善信噪比，进而解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
优选的，所述获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅包括：
设置图像采集平面在不同水平高度获取完整样本的至少两副数字图像；
根据采集位置的不同将采集的数字图像对应为不同采集位置的图像样本并计算其所对应的样本振幅。
优选的，所述对获取的所有图像样本进行图像对齐：
根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的。
优选的，所述基于图像对齐后的所有图像样本计算物平面预测光场包括：
根据图像对齐的结果确认每个图像样本对应的物平面光场；
将所有图像样本对应的物平面光场进行均值计算得到物平面预测光场。
优选的，所述使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场包括：
根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
将均值计算结果记录为新的物平面预测光场；
重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
优选的，所述使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面的具体计算方式为：
其中，
为新的测算面的衍射结果，l表示第l个样本，i表示虚数，
表示当前物平面预测光场的包裹相位，k表示当前迭代的次数。
优选的，其中，所述迭代停止条件为：计算新的测算面的振幅相对于图像样本的振幅的均方误差，当所述均方误差的值小于预设阈值时，停止迭代。
一种透射式无透镜三维显微重构系统，所述系统包括：图像传感器、对齐模块、初始化模块及重构模块；
所述图像传感器用于在不同的采集位置上获取到完整样本的数字图像作为图像样本并计算其所对应的振幅；
所述对齐模块用于执行图像对齐以校准图像样本；
所述初始化模块通过校准后的图像样本计算物平面预测光场；
所述重构模块使用图像样本的样本振幅通过迭代恢复的方式将物平面预测光场重构为物平面实际光场。
优选的，其中，所述对齐模块、初始化模块及重构模块都被布置在GPU上运行。
与现有技术相比，本发明的有益效果为：在不使用高倍率的光学透镜的情况下，实现了对样本的高精度显微重构；通过对数字图像的分析及处理，对多个图像样本的相位及振幅信息进行了有效地整合及使用；而且提出了一种用于终止重构迭代的停止算法；同时，设置了一种迭代终止条件使得本发明所述方法在重构效果上优于现有技术。
附图说明
图1为本发明所述的一种透射式无透镜三维显微重构方法的流程图。
图2为本发明所述的一种透射式无透镜三维显微重构系统的框架图。
图3为本发明所述的一种透射式无透镜三维显微重构系统的结构实体图。
图4为本发明所述的一种透射式无透镜三维显微重构方法及系统的效果图。
图5为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
图6为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
图7为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示，本实施例提供了一种透射式无透镜三维显微重构方法，所述方法包括：
S1：获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；
S2：对获取的所有图像样本进行图像对齐；
S3：基于图像对齐后的所有图像样本计算物平面预测光场；
S4：使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场。
在无透镜显微领域，对图像样本的重构方式或者重构算法往往对于其最终重构出的结果而言是影响巨大的，本发明提出了一种区别于现有技术且精度更高的重构方法。
在本发明所述方法中，所述图像样本为数字图像，通过数字图像所述方法可以清晰且直观地在不同采集位置获取到重构对象的不同图像样本的振幅及相位。进一步的，通过所述图像样本的振幅及相位，可以通过衍射方程计算并得到所述图像样本衍射到物平面位置时的相位及样本，此时根据其所衍射的结果已经可以通过均值计算重构出重构对象对应的大视场物平面光场了，但若在此时进行重构，往往会导致最终结果出现光信息的不对应或是细节轮廓丢失的问题，进而使得所述结果不具备参考价值，因此若需进一步得到更好的图像，则需要对图像样本进行进一步地处理。
本发明所述方法基于更高的重构需求还设计了以下步骤，首先是基于图像样本衍射至物平面的光场信息进行图像对齐处理，通过图像对齐可以克服由于图像传感器的CMOS或CCD平面与样本平面不是完全平行的问题，并以此提升不同采集位置所对应的图像样本之间的关联性以及样本信息的可靠性。在执行初始化步骤之后，本发明所述方法使用迭代对重构对象的相位进行恢复，进而重构出重构对象的物面实际光场。
基于上述步骤，所述方法可以在不借助光学透镜的情况下，重构出重构对象的可用于三维显示的物面实际光场，可以有效去除重构结果中的孪生像、改善信噪比，进而解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
在一种可选的实施方式中，所述获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅包括：
S101：设置图像采集平面在不同水平高度获取完整样本的至少两副数字图像；
S102：根据采集位置的不同将采集的数字图像对应为不同采集位置的图像样本并计算其所对应的样本振幅。
具体的，图像传感器可通过调整其用于采集图像样本的CMOS或CCD平面来采集图像样本，如果是通过调整样本面的水平高度来采集图像样本，那么会导致每一次采集的物平面相互之间都不一定平行，这会导致无法通过本方法所述的衍射方式重构对其进行图像对齐，而对应本发明通过调节图像传感器的高度以获取不同图像样本的方式获取到的图像样本，由于物平面的位置是固定的，因此可以通过将图像样本的衍射至物平面的位置进行图像对齐，同时，通过相位相关法的图像对齐可以有效地将不同位置的图像样本的光学信息关联起来。
具体的，设不同采集位置之间的水平高度差为△z，通过不同采集位置获取到的数字图像的图像样本可被记录为I1,I2,I3,…In，其表示为获取到的图像样本的像素信息所对应二维矩阵，所述二维矩阵的元素取值在0到255之间，进一步的，所述二维矩阵的物理意义为图像样本所对应的强度矩阵，因此可以将图像样本In的振幅矩阵记为
所述
由In中的每个元素开方得到，其中，n表示图像样本的样本数量。
在一种可选的实施方式中，所述对获取的所有图像样本进行图像对齐：
S201：根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
S202：使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的。
具体来说，物平面位置是样本平面的平面位置，由于本发明所述方法的图像采集方式为通过移动图像传感器的方式进行采集的，因此样本平面的位置是可以被确定或固定的。同时，由于样本平面的位置被确定，在图像对齐时便可以通过将图像样本的光场信息通过衍射计算衍射至物平面以计算其所对应的物平面光场信息。另一方面，所述方法是将多个图像样本I1,I2,I3,…In反传到样本平面然后进行对齐，而由于无法保证CCD平面和样本平面不是完全水平，因此通过CCD向下移动采集得到的多幅图像之间会有错位，进而使得本发明通过计算它们之间的相对位(△x,△y)并进行对齐，其中，(x,y)表示离散二维图像的坐标，(△x,△y)表示不同样本的坐标之间的坐标差。
在一种可选的实施方式中，所述基于图像对齐后的所有图像样本计算物平面预测光场包括：
S301：根据图像对齐的结果确认每个图像样本对应的物平面光场；
S302：将所有图像样本对应的物平面光场进行均值计算得到物平面预测光场。
其中，所述物平面光场的确定由图像对齐结果及角谱衍射方程确定，所述角谱衍射方程为：
表示振幅矩阵，l表示对应第l个样本，且l<n，FT表示傅里叶变换，IFT为逆傅里叶变换，I′l(x,y)为衍射结果，(fx,fy)表示衍射传递函数的频域坐标，H(fx,fy)表示物平面到第l个测量面的衍射传递函数，且H(fx,fy)以二维矩阵形式表示，其计算方式为：
λ表示光源波长，d表示用于衍射的小孔孔径，exp()表示e()；所述均值计算即是将对应的强度矩阵进行相加后每个元素分别进行均值计算，其中，均值计算是对复振幅矩阵矩阵进行的，其计算包括振幅部分及相位部分，具体的均值计算方式为：设i表示虚数，对复振幅矩阵中的h行j列的元素pzu＝azu+bzui求
即得到该元素对应的像素点的振幅，求
即得到该元素对应的像素点的相位，对多个测量面分别衍射到物平面的复振幅矩阵求均值，振幅均值为
相位均值为
在一种可选的实施方式中，所述使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场包括：
S401：根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
S402：使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
S403：通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
S404：将均值计算结果记录为新的物平面预测光场；
S405：重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
在无透镜显微领域，重构方案往往存在不同，其效果亦不相同，本发明所述方法通过对样本进行迭代修正的方式进行恢复，其优点在于使得样本信息可以以一定条件无限趋近于实际样本。在所述方法执行前述步骤得到物面预测光场的初值后，物面预测光场的光场信息中的相位信息可以被认为是重构完成的，在后续重构过程中，所述方法使用相位解包裹的方式对相位信息进行处理：由于计算得到的物平面预测光场相位
为包裹相位，取值范围在[-π,π]间，因此采用四向剪切最小二乘法进行相位解包裹，从而获得物平面真实相位信息。本方法通过执行步骤S401至S404来进行迭代恢复，其迭代过程具体为：步骤S401中，物平面预测光场通过角谱衍射方程将光场信息传至不同的采集位置以获取不同采集位置所对应的测算面，测算面的光场信息是区别于实际的图像样本的光场信息的，其过程为：
k表示迭代轮次，l表示对应第l个测量面且l≤n，
表示新的测算面，(fx,fy)表示衍射传递函数的频域坐标，FT和IFT分别表示傅里叶变换和逆傅里叶变换，
表示第k-1次迭代后的物平面预测光场
的复振幅矩阵；步骤S402中，保留新测算面的相位信息并使用步骤S101到S102得到的样本振幅来替代测算面的振幅，其目的在于提高测算面的真实性；步骤S403中，衍射结果所得的离散光场信息是二维复数矩阵，矩阵中的每一个元素都是复数a+bi，而迭代开始时每一个测算面都只有振幅信息，即二维实数矩阵，矩阵中的每一个元素都是a，而b为零，经过衍射计算后可得到对应的二维复数矩阵，多个测量面分别进行衍射计算后就得到多个复数矩阵；步骤404确认新的物平面预测光场以使所述方法进入下一个迭代或者输出；步骤405在于终止迭代以输出物平面实际光场作为结果。
在一种可选的实施方式中，所述步骤S402的计算方式具体可表示为：
即可获得
的a+bi的复数矩阵形式；
在恢复迭代中，迭代的初始物平面预测光场
记为
而新的物平面预测光场则记为
相比于现有技术，本发明所述的迭代方式是通过不断的迭代计算，使计算得到的相位值不断接近真实的相位值，从而使用相位值表征相位物体的三维信息。相比于PIE和ePIE等相位恢复方法，本发明所述方法对硬件移动精度要求更低，且其所用算法的特点能更易使用多进程加速。
在一种可选的实施方式中，其中，所述迭代停止条件为：计算新的测算面的振幅相对于图像样本的振幅的均方误差，当所述均方误差的值小于预设阈值时，停止迭代。
所述均方误差的计算方式具体为：
现有技术中，迭代的终止通常是由迭代次数决定的，这便导致了重构结果实际上是不可控的，其重构质量也会随着重构场景的不同而参差不齐，进而使得重构后的结果无法符合使用需求。本法明通过计算所述均方误差的目的在于使物平面预测光场的迭代趋向于实际的物平面预测光场，由于本发明的迭代方式是基于最开始所获取到的图像样本的样本振幅的，因此本发明所述的重构方法对迭代次数能够基于需求较为灵活地变更，且其迭代恢复次数在正常情况下都不会太高。
实施例2
如图2所示，本实施例提供了一种透射式无透镜三维显微重构系统，所述系统包括：图像传感器、对齐模块、初始化模块及重构模块；
所述图像传感器用于在不同的采集位置上获取到完整样本的数字图像作为图像样本并计算其所对应的振幅；
所述对齐模块用于执行图像对齐以校准图像样本；
所述初始化模块通过校准后的图像样本计算物平面预测光场；
所述重构模块使用图像样本的样本振幅通过迭代恢复的方式将物平面预测光场重构为物平面实际光场。
其中，图像传感器通过采集平面采集图像样本。
在一种可选的实施方式中，其中，所述对齐模块、初始化模块及重构模块都被布置在GPU上运行。通过采用GPU计算傅里叶变换以及采用多线程方法加速算法，缩短算法实际耗时，使该方法更具实用性。
在一种可选的实施方式中，所述重构模块还包括迭代单元及终止单元；
所述迭代单元在获取到物平面预测光场的初始值的情况下，执行迭代计算，其迭代公式具体为：
所述终止单元对迭代的结果进行校验，具体为检测当前的物平面预测光场与图像样本的样本振幅之间的均方误差是否小于预设阈值。
实施例3
如图3所示，本实施例提供了一种透射式无透镜三维显微重构装置，所述装置能够用于实现本发明所述方法，所述装置包括：光源1、小孔2、样本玻片4、图像传感器5和GPU；
所述光源1用于对小孔2进行照射；
所述小孔2通过所述光源1的在小孔2一侧的照射使得在小孔2的另一侧形成有效的照射光源3；
所述样本玻片4被所述照射光源3所穿透；
所述图像传感器5通过图像采集平面6对穿透样本玻片4的光信息进行记录；
所述GPU用于根据图像传感器所记录的光信息进行三维重建。
在一种可选的实施方式中，所述图像采集平面为CMOS平面或CCD平面。
实施例4
如图4到7所示，一种透射式无透镜三维显微重构方法及系统，为了测试一种透射式无透镜三维显微系统及其重构方法，以USFA分辨率板为样本，通过本发明所述的方法及系统重构出的相位成像结果及其三维显示如图4所示。图4为振幅局部放大图，其分辨率为3.11μm，图5为相位局部放大图，其分辨率为3.11μm。
在一种可选的实施方式中，为了测试一种透射式无透镜三维显微系统及其重构方法。以带有划痕的玻片为样品，重构出的相位成像结果及其三维显示如图6所示。可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明所述方法能够重构出凹槽相位，并用于三维显示。
在一种可选的实施方式中，为了测试一种透射式无透镜三维显微系统及其重构方法。以表面带有附着物的液晶玻璃为样品，重构出的相位成像结果及其三维显示如图7所示。可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明方法能够重构出液晶玻璃表面的细小污染物相位，并用于三维显示。
可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明方法具有实现较高的振幅和相位分辨能力，能够满足现实中大部分使用场景的显微成像需求。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (7)
1.一种透射式无透镜三维显微重构方法，其特征在于，所述方法包括：
获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；
对获取的所有图像样本进行图像对齐；
基于图像对齐后的所有图像样本计算物平面预测光场；
使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场；
所述对获取的所有图像样本进行图像对齐：
根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的；
所述使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场包括：
根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
将均值计算结果记录为新的物平面预测光场；
重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
2.如权利要求1所述的一种透射式无透镜三维显微重构方法，其特征在于，所述获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅包括：
设置图像采集平面在不同水平高度获取完整样本的至少两副数字图像；
根据采集位置的不同将采集的数字图像对应为不同采集位置的图像样本并计算其所对应的样本振幅。
3.如权利要求1所述的一种透射式无透镜三维显微重构方法，其特征在于，所述基于图像对齐后的所有图像样本计算物平面预测光场包括：
根据图像对齐的结果确认每个图像样本对应的物平面光场；
将所有图像样本对应的物平面光场进行均值计算得到物平面预测光场。
4.如权利要求1所述的一种透射式无透镜三维显微重构方法，其特征在于，所述使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面的具体计算方式为：
其中，
为新的测算面的衍射结果，l表示第l个样本，
表示第l个样本的振幅，i表示虚数，
表示当前物平面预测光场的包裹相位，k表示当前迭代的次数。
5.如权利要求4所述的一种透射式无透镜三维显微重构方法，其特征在于，其中，所述迭代停止条件为：计算新的测算面的振幅相对于图像样本的振幅的均方误差，当所述均方误差的值小于预设阈值时，停止迭代。
6.一种透射式无透镜三维显微重构系统，其特征在于，所述系统包括：图像传感器、对齐模块、初始化模块及重构模块；
所述图像传感器用于在不同的采集位置上获取到完整样本的数字图像作为图像样本并计算其所对应的振幅；
所述对齐模块用于执行图像对齐以校准图像样本；
所述初始化模块通过校准后的图像样本计算物平面预测光场；
所述重构模块使用图像样本的样本振幅通过迭代恢复的方式将物平面预测光场重构为物平面实际光场；
所述对齐模块具体用于：
根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的；
所述重构模块具体用于：
根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
将均值计算结果记录为新的物平面预测光场；
重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
7.如权利要求6所述的一种透射式无透镜三维显微重构系统，其特征在于，其中，所述对齐模块、初始化模块及重构模块都被布置在GPU上运行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275949.8A CN111612884B (zh) | 2020-04-09 | 2020-04-09 | 一种透射式无透镜三维显微重构方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010275949.8A CN111612884B (zh) | 2020-04-09 | 2020-04-09 | 一种透射式无透镜三维显微重构方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612884A CN111612884A (zh) | 2020-09-01 |
| CN111612884B true CN111612884B (zh) | 2023-04-21 |
Family
ID=72201526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010275949.8A Active CN111612884B (zh) | 2020-04-09 | 2020-04-09 | 一种透射式无透镜三维显微重构方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612884B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019324A2 (en) * | 2014-08-01 | 2016-02-04 | The Regents Of The University Of California | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography |
| CN108051930A (zh) * | 2017-12-29 | 2018-05-18 | 南京理工大学 | 大视场超分辨率动态相位无透镜显微成像装置与重构方法 |
| CN108983579A (zh) * | 2018-09-05 | 2018-12-11 | 南京大学 | 无透镜数字全息显微成像相位恢复和重建的方法及其装置 |
-
2020
- 2020-04-09 CN CN202010275949.8A patent/CN111612884B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016019324A2 (en) * | 2014-08-01 | 2016-02-04 | The Regents Of The University Of California | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography |
| CN108051930A (zh) * | 2017-12-29 | 2018-05-18 | 南京理工大学 | 大视场超分辨率动态相位无透镜显微成像装置与重构方法 |
| CN108983579A (zh) * | 2018-09-05 | 2018-12-11 | 南京大学 | 无透镜数字全息显微成像相位恢复和重建的方法及其装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612884A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220254538A1 (en) | Fourier ptychographic imaging systems, devices, and methods | |
| US9426429B2 (en) | Scanning projective lensless microscope system | |
| Agard et al. | Fluorescence microscopy in three dimensions | |
| Crocker et al. | Methods of digital video microscopy for colloidal studies | |
| CN109154563B (zh) | 用于获取样本中所存在的粒子的装置和方法 | |
| CN108254295B (zh) | 一种定位与表征球形微粒的方法及其装置 | |
| CN101865673B (zh) | 一种微观光场采集与三维重建方法及装置 | |
| CN110383045B (zh) | 细胞观察装置 | |
| Song et al. | 3D localization for light-field microscopy via convolutional sparse coding on epipolar images | |
| Agard et al. | Three-dimensional microscopy: image processing for high resolution subcellular imaging | |
| Wu et al. | Autofocusing algorithm for pixel-super-resolved lensfree on-chip microscopy | |
| Gong et al. | Digital field of view correction combined dual-view transport of intensity equation method for real-time quantitative imaging | |
| CN111612884B (zh) | 一种透射式无透镜三维显微重构方法及系统 | |
| CN110619680A (zh) | 一种基于图变分的三维断层相位显微镜重建方法 | |
| CN112130306B (zh) | 运用于细胞分割下的cmos全息显微成像装置及方法 | |
| Loo et al. | Automatic image acquisition, calibration and montage assembly for biological X‐ray microscopy | |
| TW202138866A (zh) | 從影像中估計值的裝置和方法 | |
| US11385164B2 (en) | Method for calibrating an analysis device, and associated device | |
| Jiang et al. | Optimization of single-beam multiple-intensity reconstruction technique: Select an appropriate diffraction distance | |
| US20230073901A1 (en) | Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi) | |
| Preza et al. | Point-spread sensitivity analysis for computational optical-sectioning microscopy | |
| JP6539812B1 (ja) | レンズの検査方法 | |
| He et al. | Analysis of influence of object–detector distance error on the reconstructed object and probe in ptychographic imaging | |
| WO2020049041A1 (en) | High sensitivity phase microscopy imaging | |
| US20240264423A1 (en) | High throughput lensless imaging method and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |