CN112327473A - 无透镜显微成像系统及基于平均投影迭代的图像重构方法 - Google Patents

无透镜显微成像系统及基于平均投影迭代的图像重构方法 Download PDF

Info

Publication number
CN112327473A
CN112327473A CN202110016307.0A CN202110016307A CN112327473A CN 112327473 A CN112327473 A CN 112327473A CN 202110016307 A CN202110016307 A CN 202110016307A CN 112327473 A CN112327473 A CN 112327473A
Authority
CN
China
Prior art keywords
image
phase
plane
light intensity
complex amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110016307.0A
Other languages
English (en)
Inventor
张晓磊
左超
胡岩
沈德同
卢林芃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202110016307.0A priority Critical patent/CN112327473A/zh
Publication of CN112327473A publication Critical patent/CN112327473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种无透镜显微成像系统及基于平均投影迭代的图像重构方法。该系统由LED光源、样品台及相机构成。该图像重构方法通过基于平均投影及自适应像素超分辨的迭代算法，从相机在单色光照明下拍摄所得的光强图像恢复得到高分辨率的待测光波场的相位信息，然后通过数值反传播获得待测物体在聚焦面上的复振幅，最后进行图像滤波，获得了物体在聚焦面上高信噪比的振幅及相位信息。本发明不用借助于其他成像光学元件，可缩小显微镜体积，降低成本；同时利用多个离焦平面上的图像信息，获得高信噪比的样品的定量相位图像，实现了生物细胞样品的无标记三维成像。有望于细胞生物学、动物学、生命科学及医学诊断等领域得到广泛应用。

Description

无透镜显微成像系统及基于平均投影迭代的图像重构方法
技术领域
本发明涉及光学显微成像技术领域，具体涉及一种无透镜显微成像系统及基于平均投影迭代的图像重构方法。
背景技术
光学显微镜，自17世纪60年代被用于生物医学观察以来，一直是生物医学检测与分析的核心仪器。相衬显微镜、微分干涉相衬显微镜、荧光显微镜、激光共聚焦显微镜的问世极大促进了生命科学研究水平的提高，它们以更高的分辨率和成像质量为疾病诊断，尤其是重大恶性疾病的早期诊断提供了有力的影像学依据，成为现代临床医学中不可或缺的重要工具。然而，这些显微镜系统仍然基于“所见即所得”的成像方式，并没有充分利用计算机等现代信号处理设备的强大功能。此外伴随着功能与性能不断革新的是显微镜系统本身也日趋昂贵、笨重、复杂且难以维护。试想若能够在保证其成像质量的前提下，实现显微设备的体积小型化、成本低廉化、操作简便化，必然能够大大降低医检测的门槛，为资源条件有限的地区提供快捷、廉价的即时诊断（point-of-caretest,POCT）工具，为贫困地区急、重症病人的早期诊断与及时治疗提供有利条件。
实现显微设备的体积小型化、成本低廉化、操作简便化的关键途径在于“无透镜”（lens-free）与“无标记”（label-free）。“无透镜”顾名思义就是不采用传统光学透镜对样品进行成像。众所周知，显微镜中最为昂贵的部件就是以显微物镜为代表的光学元件。若能够简化照明与成像光路，抛弃昂贵笨重的光学镜头实现无透镜显微成像，必然能够大大降低显微镜的成本，同时为整体系统的小型化、轻量化提供更多可能性。“无标记”是指对样本不采用任何染色预处理，而依靠其本身内部吸收或折射率差异（引起的相移）进行成像，这可大大简化样品的制备过程。无标记成像又被称为无损成像或非侵入式（invasive）成像，因其避免了传统荧光探针对细胞活性产生的不利影响（如荧光探针的特异性，强激发光引发的光漂白与光毒性，以及基因转质感染）。对大部分未染色的生物细胞样本而言,因其在可见光波段的弱吸收性（无色透明），所以必须借助于相位信息成像。泽尼克相衬显微技术与微分干涉相衬显微技术是最为经典的无标记（定性）相位成像方法，但它们无法提供定量的相位信息，从而不适用于标准化的分析与诊断（弗朗松.相衬显微镜与干涉显微镜[M]科学出版社,1966.）。相比之下，定量相位成像技术由于其能够提供由样品物理厚度和折射率系数所决定的定量相位信息，已成为目前最为理想的无标记显微成像方法。近年来信息光学、全息术以及计算成像光学的快速发展为无透镜与无标记成像提供了一个可行的解决方案：一旦能够获得光场的定量相位信息，就可以在计算机中对光波场进行数值反衍射，实现“数字重聚焦”，且无需任何成像透镜。为了获取定量相位信息，最为经典的方法就是借助于光波的干涉效应（如干涉显微与数字全息显微）（马利红,王辉,金洪震,等.数字全息显微定量相位成像的实验研究[J].中国激光,2012,39(3):209-215.）。这种方式虽省去了成像透镜，却额外引入了昂贵、笨重的激光光源，从而并没有有效缩减系统的体积与成本。此外干涉法本身对测量环境的苛刻要求，以及高相干性光源引入的散斑噪声也表明其并非是实现无透镜显微成像的理想方式。
发明内容
本发明的目的在于提供一种无透镜显微成像系统及基于平均投影迭代的图像重构方法，不借助于任何光学元件，经由后期图像恢复的方式来重构物体的显微图像。其中，本发明提出的基于LED光源的无透镜显微装置是设备实现的硬件基础，而本发明所提出的基于平均投影的G-S迭代相位恢复法是基于上述成像系统所获得的离焦图进行定量相位求解的算法基础。
本发明的技术方案如下：一种基于平均投影迭代的图像重构方法，采用无透镜显微成像系统来实现，包括如下步骤：
步骤一．图像采集：采用LED光源作为无透镜显微镜的照明光源，分别控制红、绿与蓝作为照明光，照射样品台至相机，采集对应的三幅光强图像I zR (x,y)、I zG (x,y)、I zB (x,y)；
步骤二．插值：将分别红、绿与蓝照明光情况下拍摄到的图像进行插值，将光强图像的长宽分别插值到原始图像的M倍，得到插值后的光强图
Figure DEST_PATH_IMAGE001
、
Figure DEST_PATH_IMAGE002
、
Figure DEST_PATH_IMAGE003
；
步骤三．图像间亚像素位移量判断：利用采集到的三幅图像，通过光波复振幅信息在空间中的传递模型，计算出理论的光强信息，通过频域特征空间亚像素定位算法判断出与红光与蓝光照明下拍摄到的光强信息与在绿光照明下拍摄到的光强信息间的相对亚像素级位移量(Δx RG ,Δy RG )，(Δx BG ,Δy BG )；
步骤四．偏移量校正：根据步骤三获得
Figure 817562DEST_PATH_IMAGE001
与
Figure 921653DEST_PATH_IMAGE002
，
Figure 701391DEST_PATH_IMAGE003
与
Figure 34283DEST_PATH_IMAGE002
之间的位移量(Δx RG ,Δy RG )，(Δx BG ,Δy BG )后，对
Figure DEST_PATH_IMAGE004
、
Figure 848655DEST_PATH_IMAGE003
进行位移以校正偏移量，得到校正偏移量后的光强信息
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
；
步骤五．初始化：初始化图像平面R、G、B相位分布∅ zR (x,y)=∅ zG (x,y)=∅ zB (x,y)=0，并根据步骤四中得到的校正偏移量之后的光强信息，获得了图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)；
步骤六．将图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)“反传播”-Z 1 的距离，回到了物体本身所在的平面上，得到各自在物平面上对应的复振幅U OR (x,y)、U OG (x,y)、U OB (x,y)，物平面上三色照明光对应的振幅分布A OR (x,y)、A OG (x,y)、A OB (x,y)，以及物平面上三色照明光对应的相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)；
步骤七．进行相位补偿校正：首先，将步骤六中得到的物平面上对应于三色照明光的三个包裹相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)进行相位解包裹，得到
Figure DEST_PATH_IMAGE007
、
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE009
；然后，针对得到的解包裹后的三个相位，对其进行相位补偿并平均化，得校准后的相位
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE011
、
Figure DEST_PATH_IMAGE012
；
步骤八．进行振幅校正：将步骤六中得到的物平面上对应于三色照明光的振幅进行平均化处理，得到校正后的振幅分
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
；
步骤九．根据步骤四及步骤五中得到的校正后的相位及振幅，得到修正后物平面上对应于三色照明光的复振幅U OR (x,y)、U OG (x,y)、U OB (x,y)；
步骤十．将修正后的物平面上的复振幅分布U OR (x,y)、U OG (x,y)、U OB (x,y)传播Z 1 的距离，从而传播至各自对应的图像分量平面上，得到了相应的复振幅U zR (x,y)、U zG (x,y)、U zB (x,y)；
步骤十一．对光强信息进行更新：根据步骤十中获得的图像平面R、G、B分量对应的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)后，利用采集到的图像I zR (x,y)、I zG (x,y)、I zB (x,y)对abs(U zR (x,y)) 2 、abs(U zG (x,y)) 2 、abs(U zB (x,y)) 2 进行更新，更新后的光强信息
Figure DEST_PATH_IMAGE016
、
Figure DEST_PATH_IMAGE017
、
Figure DEST_PATH_IMAGE018
；
步骤十二．更新图像平面R、G、B分量的复振幅信息：利用步骤十一中更新后的光强信息
Figure DEST_PATH_IMAGE019
、
Figure DEST_PATH_IMAGE020
、
Figure 169653DEST_PATH_IMAGE018
与步骤十中得到的图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)更新对应图像分量平面上的样品复振幅信息，得到
Figure DEST_PATH_IMAGE021
、
Figure DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE023
，完成了一个回合的迭代补偿，并令n←n+1，重复执行步骤四到步骤十二；
步骤十三．停止迭代判断并反向传播：迭代的终止条件即迭代预设次数N max ，N max 为大于1的正整数，并在此时将图像平面G分量的复振幅“反传播”-Z 1 的距离，回到了物体本身所在的物平面上，得到物平面上的复振幅分布U O (x,y)；
步骤十四．导引滤波：使用导引滤波对步骤十三得到的样品相位信息∅ O (x,y)进行滤波降噪，获得具有更高信噪比的物体相位信息
Figure DEST_PATH_IMAGE024
，以消除迭代中产生的伪影噪声。
优选的，LED光源采用任意三种波长相互不同的照明光代替步骤一中的红、绿与蓝照明光。
优选的，步骤七的相位补偿校正过程具体为：
首先，将步骤六中得到的物平面上对应于三色照明光的三个包裹相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)进行相位解包裹，得到
Figure 249735DEST_PATH_IMAGE007
、
Figure DEST_PATH_IMAGE025
、
Figure 448636DEST_PATH_IMAGE009
，
Figure DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE028
，
其中，Unwrapped[∅(x,y)]表示对相位∅(x,y)进行相位解包裹；
然后，针对得到的解包裹后的三个相位，对其进行相位补偿并平均化，得校准后的相位
Figure 740683DEST_PATH_IMAGE010
、
Figure 671730DEST_PATH_IMAGE011
、
Figure 426060DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE030
，
Figure DEST_PATH_IMAGE031
。
优选的，步骤八的振幅校正过程具体为：
根据步骤六中得到的物平面上对应于三色照明光的振幅进行平均化处理，得到校正后的振幅
Figure DEST_PATH_IMAGE032
、
Figure 287705DEST_PATH_IMAGE014
、
Figure 499506DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE033
，
Figure DEST_PATH_IMAGE034
，
Figure DEST_PATH_IMAGE035
。
优选的，步骤十一的光强更新过程具体为：
根据步骤十中获得的图像平面R、G、B分量对应的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x, y)后，利用采集到的图像I zR (x,y)、I zG (x,y)、I zB (x,y)对abs(U zR (x,y)) 2 、abs(U zG (x,y)) 2 、abs(U zB (x,y)) 2 进行更新，得到更新后的光强信息
Figure 53984DEST_PATH_IMAGE016
、
Figure 295610DEST_PATH_IMAGE017
、
Figure 508416DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE036
，
Figure DEST_PATH_IMAGE037
，
Figure DEST_PATH_IMAGE038
，
其中，↓代表下采样，即将图像由原始的M个像素降低为1个像素。
一种无透镜显微成像系统，应用在上述的基于平均投影迭代的图像重构方法中，包括由依次设置的LED光源、样品台及相机构成的成像系统，LED光源安放于成像系统的最上方，且LED光源的光敏面位于成像系统的光轴上。
优选的，LED光源具有至少三种不同波长的照明光，LED光源与样品台的轴向距离Z 2 为10~100mm，样品台与相机的轴向距离Z 1 为5~10μm。
本发明与传统方法相比，具有如下优点：（1）不用借助于任何成像光学元件，例如显微物镜、镜筒透镜等；缩小显微镜体积，大幅降低成本。（2）可灵活实现样品的数字聚焦，无需复杂的机械调焦功能。（3）能够同时利用多个离焦平面上的图像信息，而非交替使用各平面信息，从而获得高信噪比的样品的定量相位图像，实现了生物细胞样品的无标记三维成像。由于这三大优点，该显微成像方法有望于细胞生物学、动物学、生命科学、医学诊断等众多领域得到广泛应用。
附图说明
图1为本发明实施例中无透镜显微成像系统的原理示意图。
图2为本发明实施例中基于平均投影迭代的图像重构方法的流程图。
图3为本发明实施例中基于LED光源的无透镜显微成像系统所拍摄到的Hela细胞切片样品的原始图像平面R、G、B分量光强分布。
图4为本发明实施例对Hela细胞切片样品的重构图像。
LED光源1、样品台2、相机3。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
如图1所示，为一种基于LED光源的无透镜显微成像系统，包括由依次设置的LED光源1、样品台2及相机3构成的成像系统，LED光源1安放于成像系统的最上方，且LED光源1的光敏面位于成像系统的光轴上。LED光源1具有至少三种不同波长的照明光，LED光源1与样品台2的轴向距离Z 2 为10~100mm，样品台2与相机3的轴向距离Z 1 为5~10μm。
如图2所示，为本实施例的基于平均投影迭代的图像重构方法的流程图，基于上述的无透镜显微成像系统来实现，其具体步骤如下。
步骤一．图像采集。
采用LED光源1作为无透镜显微镜的照明光源，分别控制红、绿与蓝作为照明光照射相机3，采集对应的三幅光强图像I zR (x,y)、I zG (x,y)、I zB (x,y)。其中(x,y)代表图像平面的二维坐标，将I zR (x,y)、I zG (x,y)、I zB (x,y)分别称为图像平面R（红）、G（绿）、B（蓝）的分量光强分布。这里下标的z代表该物理量位于图像平面，即相机的光敏面，其与样品台的距离为Z 1 。在这里需要说明的是，实施例中实际采用了三种波长（RGB）的单色光作为照明光源，但实际上是可以使用其他不同波长或更多波长的LED光源作为照明光。
步骤二．插值。
将分别红、绿与蓝照明光情况下拍摄到的图像进行插值，将光强图像的长宽分别插值到原始图像的M倍，得到插值后的光强图
Figure 775056DEST_PATH_IMAGE004
、
Figure 110222DEST_PATH_IMAGE002
、
Figure 839144DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE039
，
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
，
式中↑代表图像上采样，即将将图像由原始的1个像素插值为M个像素。
步骤三．图像间亚像素位移量判断。
利用采集到的三幅图像，通过光波复振幅信息在空间中的传递模型，计算出理论的光强信息，通过频域特征空间亚像素定位算法判断出与红光与蓝光照明下拍摄到的光强信息与在绿光照明下拍摄到的光强信息间的相对亚像素级位移量(Δx RG ,Δy RG )，(Δx BG ,Δ y BG )。
具体方法为：利用快速傅里叶变换，计算
Figure DEST_PATH_IMAGE042
与
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE044
与
Figure DEST_PATH_IMAGE045
之间的互相关，并确定其峰值位置，从而确定出
Figure 668691DEST_PATH_IMAGE042
与
Figure 166668DEST_PATH_IMAGE043
，
Figure 125266DEST_PATH_IMAGE044
与
Figure 75904DEST_PATH_IMAGE045
之间的位移量(Δx RG ,Δy RG )，(Δx BG ,Δy BG )。
其中，Δx RG ,Δy RG 分别表示红光照明下拍摄到的光强下信息与绿光照明下拍摄到的光强信息之间在x方向与y方向上的偏移量，单位为像素；Δx BG ,Δy BG 分别表示蓝光照明下拍摄到的光强下信息与绿光照明下拍摄到的光强信息之间在x方向与y方向上的偏移量，单位为像素。
步骤四．偏移量校正。
根据步骤三获得
Figure 896093DEST_PATH_IMAGE042
与
Figure 248577DEST_PATH_IMAGE043
，
Figure 876611DEST_PATH_IMAGE044
与
Figure 314545DEST_PATH_IMAGE045
之间的位移量(Δ x RG ,Δy RG )，(Δx BG ,Δy BG )后，对
Figure 672846DEST_PATH_IMAGE042
、
Figure 145415DEST_PATH_IMAGE044
进行位移以校正偏移量，得到位移后的光强信息
Figure 445815DEST_PATH_IMAGE005
、
Figure 371046DEST_PATH_IMAGE006
。
Figure 533037DEST_PATH_IMAGE005
、
Figure 594534DEST_PATH_IMAGE006
分别表示偏移量校正后的红光、蓝光照明下的光强信息。
步骤五．初始化。
初始化图像平面R、G、B相位分布∅ zR (x,y)=∅ zG (x,y)=∅ zB (x,y)=0，并根据步骤四中得到的校正偏移量之后的光强信息，获得了图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)，
Figure DEST_PATH_IMAGE046
，
Figure DEST_PATH_IMAGE047
，
Figure DEST_PATH_IMAGE048
。
步骤六．计算图像平面分量各自在物平面上对应的复振幅、振幅分布、相位分布。
将图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)“反传播”-Z 1 的距离，回到了物体本身所在的平面上，得到各自在物平面上对应的复振幅U OR (x,y)、U OG (x, y)、U OB (x,y)，
Figure DEST_PATH_IMAGE049
，
Figure DEST_PATH_IMAGE050
，
Figure DEST_PATH_IMAGE051
，
式中，傅里叶变换与反变换分别被记作F与F 1，(u,v)代表相对于(x,y)的频域坐标，下标的O代表该物理量位于物体本身所在的物平面。
H -zR (u,v)，H -zG (u,v)，H -zB (u,v)分别是对应于红、绿、蓝三色照明光的角谱传递函数，其形式为，
Figure DEST_PATH_IMAGE052
，
Figure DEST_PATH_IMAGE053
，
Figure DEST_PATH_IMAGE054
，
式中λ R 、λ G 、λ B 为照明红光、绿光与蓝光的波长，j为虚数单位，这里下标中的-z代表反传播-Z 1 的距离，即相机的光敏面与样品台的距离。
由物平面上的复振幅分布U OR (x,y)、U OG (x,y)、U OB (x,y)，我们分别得到物平面上三色照明光对应的振幅分布A OR (x,y)、A OG (x,y)、A OB (x,y)与物平面上三色照明光对应的相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)，
Figure DEST_PATH_IMAGE055
，
Figure DEST_PATH_IMAGE056
，
Figure DEST_PATH_IMAGE057
，
Figure DEST_PATH_IMAGE058
，
Figure DEST_PATH_IMAGE059
，
Figure DEST_PATH_IMAGE060
，
其中abs{}代表取复数的绝对值部分，angle{}代表取复数的幅角部分。注意由于Z 1 无法通过测量精确得到，这里可采用观察调节，即通过调整不同Z 1 的值，直到获得物平面上的振幅分布A OG (x,y)足够清晰时，此时Z 1 的值就是图像平面与物平面之间的准确距离。
步骤七．进行相位补偿校正。
首先，将步骤六中得到的物平面上对应于三色照明光的三个包裹相位分布∅ OR (x, y)、∅ OG (x,y)、∅ OB (x,y)进行相位解包裹，得到
Figure 463174DEST_PATH_IMAGE007
、
Figure 813384DEST_PATH_IMAGE025
、
Figure 841383DEST_PATH_IMAGE009
，
Figure 22966DEST_PATH_IMAGE026
，
Figure 901054DEST_PATH_IMAGE027
，
Figure DEST_PATH_IMAGE061
，
其中，Unwrapped[∅(x,y)]表示对相位∅(x,y)进行相位解包裹。
然后，针对得到的解包裹后的三个相位，对其进行相位补偿并平均化，得校准后的相位分布
Figure 738560DEST_PATH_IMAGE010
、
Figure 304671DEST_PATH_IMAGE011
、
Figure 793290DEST_PATH_IMAGE012
，
Figure 91547DEST_PATH_IMAGE029
，
Figure 478666DEST_PATH_IMAGE030
，
Figure 533953DEST_PATH_IMAGE031
。
步骤八．进行振幅校正。根据步骤六中得到的物平面上对应于三色照明光的振幅进行平均化处理，得到校正后的振幅分布
Figure DEST_PATH_IMAGE062
、
Figure DEST_PATH_IMAGE063
、
Figure DEST_PATH_IMAGE064
，
Figure DEST_PATH_IMAGE065
，
Figure DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE067
。
步骤九．根据步骤四及步骤五中得到的校正后的相位及振幅，得到修正后物平面上对应于三色照明光的复振幅U OR (x,y)、U OG (x,y)、U OB (x,y)，
Figure DEST_PATH_IMAGE068
，
Figure DEST_PATH_IMAGE069
，
Figure DEST_PATH_IMAGE070
。
步骤十．将修正后的物平面上的复振幅分布U OR (x,y)、U OG (x,y)、U OB (x,y)传播Z 1 的距离，从而传播至各自对应的图像分量平面上，得到了相应的复振幅U zR (x,y)、U zG (x,y)、U zB (x,y)，
Figure DEST_PATH_IMAGE071
，
Figure DEST_PATH_IMAGE072
，
Figure DEST_PATH_IMAGE073
，
式中，傅里叶变换与反变换分别被记作F与F 1，(u,v)代表相对于(x,y)的频域坐标。
H zR (u,v)，H zG (u,v)，H zB (u,v)分别是对应于红、绿、蓝三色照明光的角谱传递函数，其形式为，
Figure DEST_PATH_IMAGE074
，
Figure DEST_PATH_IMAGE075
，
Figure DEST_PATH_IMAGE076
，
式中λ R 、λ G 、λ B 为照明红光、绿光与蓝光的波长，j为虚数单位，这里下标中的z代表传播Z 1 的距离，即相机的光敏面与样品台的距离。
步骤十一．对光强信息进行更新。
根据步骤十中获得的图像平面R、G、B分量对应的复振幅分布U zR (x,y)、U zG (x,y)、 U zB (x,y)后，利用采集到的图像I zR (x,y)、I zG (x,y)、I zB (x,y)对abs(U zR (x,y)) 2 、abs(U zG (x, y)) 2 、abs(U zB (x,y)) 2 进行更新，得到更新后的光强信息
Figure 237598DEST_PATH_IMAGE016
、
Figure 720139DEST_PATH_IMAGE017
、
Figure 328975DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE077
，
Figure DEST_PATH_IMAGE078
，
Figure DEST_PATH_IMAGE079
，
其中，↓代表下采样，即将图像由原始的M个像素降低为1个像素。
步骤十二．更新图像平面R、G、B分量的复振幅信息。
利用步骤十一中更新后的光强信息
Figure 627101DEST_PATH_IMAGE016
、
Figure 575465DEST_PATH_IMAGE017
、
Figure 543421DEST_PATH_IMAGE018
与步骤十中得到的图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)更新对应图像分量平面上的样品复振幅信息，得到
Figure 327969DEST_PATH_IMAGE021
、
Figure 39573DEST_PATH_IMAGE022
、
Figure DEST_PATH_IMAGE080
，
Figure DEST_PATH_IMAGE081
，
Figure DEST_PATH_IMAGE082
，
Figure DEST_PATH_IMAGE083
，
其中，angle{}代表取复数的幅角部分，α为松弛系数，可以根据需要取0~1之间的值。
完成了一个回合的迭代补偿，并令n←n+1，重复执行步骤四到步骤十二。
步骤十三．停止迭代判断并反向传播。
迭代的终止条件即迭代预设次数N max ，N max 为大于1的正整数，并在此时将图像平面G分量的复振幅“反传播”-Z 1 的距离，回到了物体本身所在的物平面上，得到物平面上的复振幅分布U O (x,y)，
Figure DEST_PATH_IMAGE084
，
式中，傅里叶变换与反变换分别被记作F与F 1，(u,v)代表相对于(x,y)的频域坐标。
H -zG (u,v)是对应于绿照明光的角谱传递函数，其形式为，
Figure 967078DEST_PATH_IMAGE053
，
式中λ G 为照明绿光的波长，j为虚数单位，这里下标中的-z代表反传播-Z 1 的距离，即相机的光敏面与样品台的距离。
由物平面上的复振幅分布U O (x,y)，我们可以得到物平面上的光强分布I O (x,y)与物平面上的相位分布∅ O (x,y)为待测物体的光强分布与相位分布进行显示，
Figure DEST_PATH_IMAGE085
，
Figure DEST_PATH_IMAGE086
，
其中，angle{}代表复数的幅角部分。
步骤十四．导引滤波。
为了消除迭代中产生的伪影噪声，我们使用导引滤波对步骤十三得到的样品相位信息∅ O (x,y)进行滤波降噪，从而获得了具有更高信噪比的物体相位信息
Figure 791421DEST_PATH_IMAGE024
，
Figure DEST_PATH_IMAGE087
，
式中，imgGuidedFilter{}表示导引滤波。
为了验证上述显微成像系统及图像重构方法的成像能力，本实施例对Hela细胞切片进行了无透镜成像。图3为本实施例基于LED光源的无透镜显微成像系统所拍摄到的Hela细胞切片样品的原始图像平面R、G、B光强分布，其中右侧下方图为左侧图中白色实线所框出部分的放大图，右侧上方图为右侧下方图中白色虚线所框出部分的放大图。从放大图中可发现，由于没有成像透镜，原始图像平面R、G、B分量光强分布实际为物体的衍射光，其中样品的细节模糊不清。
同样是这三幅图像，通过本实施例提出的基于平均投影迭代（基于平均投影的G-S迭代重构方法）的图像重构方法，得到重构图像，如图4所示，其中右侧下方图为左侧图中白色实线所框出部分的放大图，右侧上方图为右侧下方图中白色虚线所框出部分的放大图。从图4中放大图部分可以看出，通过本实施例得到的重构图像中，样品已经得到了聚焦，边缘锐利、背景干净平整、细胞细节形态清晰可辨。此结果表明了本实施例可以通过基于LED光源的无透镜显微成像系统实现高质量的显微成像。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于平均投影迭代的图像重构方法，其特征在于，采用无透镜显微成像系统来实现，包括如下步骤：
步骤一．图像采集：采用LED光源（1）作为无透镜显微镜的照明光源，分别控制红、绿与蓝作为照明光，照射样品台（2）至相机（3），采集对应的三幅光强图像I zR (x,y)、I zG (x,y)、I zB (x,y)；
步骤二．插值：将分别红、绿与蓝照明光情况下拍摄到的图像进行插值，将光强图像的长宽分别插值到原始图像的M倍，得到插值后的光强图
Figure 508689DEST_PATH_IMAGE001
、
Figure 397010DEST_PATH_IMAGE002
、
Figure 279516DEST_PATH_IMAGE003
；
步骤三．图像间亚像素位移量判断：利用采集到的三幅图像，通过光波复振幅信息在空间中的传递模型，计算出理论的光强信息，通过频域特征空间亚像素定位算法判断出与红光与蓝光照明下拍摄到的光强信息与在绿光照明下拍摄到的光强信息间的相对亚像素级位移量(Δx RG ,Δy RG )，(Δx BG ,Δy BG )；
步骤四．偏移量校正：根据步骤三获得
Figure 818950DEST_PATH_IMAGE001
与
Figure 761499DEST_PATH_IMAGE002
，
Figure 137116DEST_PATH_IMAGE003
与
Figure 557733DEST_PATH_IMAGE002
之间的位移量(Δx RG ,Δy RG )，(Δx BG ,Δy BG )后，对
Figure 30303DEST_PATH_IMAGE001
、
Figure 832168DEST_PATH_IMAGE003
进行位移以校正偏移量，得到校正偏移量后的光强信息
Figure 757399DEST_PATH_IMAGE004
、
Figure 919390DEST_PATH_IMAGE005
；
步骤五．初始化：初始化图像平面R、G、B相位分布∅ zR (x,y)=∅ zG (x,y)=∅ zB (x,y)=0，并根据步骤四中得到的校正偏移量之后的光强信息，获得了图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)；
步骤六．将图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)“反传播”-Z 1 的距离，回到了物体本身所在的平面上，得到各自在物平面上对应的复振幅U OR (x,y)、U OG (x,y)、U OB (x,y)，物平面上三色照明光对应的振幅分布A OR (x,y)、A OG (x,y)、A OB (x,y)，以及物平面上三色照明光对应的相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)；
步骤七．进行相位补偿校正：首先，将步骤六中得到的物平面上对应于三色照明光的三个包裹相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)进行相位解包裹，得到
Figure 980887DEST_PATH_IMAGE006
、
Figure 452188DEST_PATH_IMAGE007
、
Figure 864715DEST_PATH_IMAGE008
；然后，针对得到的解包裹后的三个相位，对其进行相位补偿并平均化，得校准后的相位
Figure 830397DEST_PATH_IMAGE009
、
Figure 11980DEST_PATH_IMAGE010
、
Figure 887138DEST_PATH_IMAGE011
；
步骤八．进行振幅校正：将步骤六中得到的物平面上对应于三色照明光的振幅进行平均化处理，得到校正后的振幅分布
Figure 786961DEST_PATH_IMAGE012
、
Figure 353072DEST_PATH_IMAGE013
、
Figure 592423DEST_PATH_IMAGE014
；
步骤九．根据步骤四及步骤五中得到的校正后的相位及振幅，得到修正后物平面上对应于三色照明光的复振幅U OR (x,y)、U OG (x,y)、U OB (x,y)；
步骤十．将修正后的物平面上的复振幅分布U OR (x,y)、U OG (x,y)、U OB (x,y)传播Z 1 的距离，从而传播至各自对应的图像分量平面上，得到了相应的复振幅U zR (x,y)、U zG (x,y)、U zB (x, y)；
步骤十一．对光强信息进行更新：根据步骤十中获得的图像平面R、G、B分量对应的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)后，利用采集到的图像I zR (x,y)、I zG (x,y)、I zB (x,y)对abs(U zR (x,y)) 2 、abs(U zG (x,y)) 2 、abs(U zB (x,y)) 2 进行更新，更新后的光强信息
Figure 952997DEST_PATH_IMAGE015
、
Figure 527067DEST_PATH_IMAGE016
、
Figure 896868DEST_PATH_IMAGE017
；
步骤十二．更新图像平面R、G、B分量的复振幅信息：利用步骤十一中更新后的光强信息
Figure 725147DEST_PATH_IMAGE015
、
Figure 522202DEST_PATH_IMAGE016
、
Figure 819453DEST_PATH_IMAGE017
与步骤十中得到的图像平面R、G、B分量的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x,y)更新对应图像分量平面上的样品复振幅信息，得到
Figure 992946DEST_PATH_IMAGE018
、
Figure 3627DEST_PATH_IMAGE019
、
Figure 909266DEST_PATH_IMAGE020
，完成了一个回合的迭代补偿，并令n←n+1，重复执行步骤四到步骤十二；
步骤十三．停止迭代判断并反向传播：迭代的终止条件即迭代预设次数N max ，N max 为大于1的正整数，并在此时将图像平面G分量的复振幅“反传播”-Z 1 的距离，回到了物体本身所在的物平面上，得到物平面上的复振幅分布U O (x,y)；
步骤十四．导引滤波：使用导引滤波对步骤十三得到的样品相位信息∅ O (x,y)进行滤波降噪，获得具有更高信噪比的物体相位信息
Figure 5398DEST_PATH_IMAGE021
，以消除迭代中产生的伪影噪声。
2.根据权利要求1所述的基于平均投影迭代的图像重构方法，其特征在于，LED光源（1）采用任意三种波长相互不同的照明光代替步骤一中的红、绿与蓝照明光。
3.根据权利要求1所述的基于平均投影迭代的图像重构方法，其特征在于，步骤七的相位补偿校正过程具体为：
首先，将步骤六中得到的物平面上对应于三色照明光的三个包裹相位分布∅ OR (x,y)、∅ OG (x,y)、∅ OB (x,y)进行相位解包裹，得到
Figure 903953DEST_PATH_IMAGE006
、
Figure 769141DEST_PATH_IMAGE007
、
Figure 845681DEST_PATH_IMAGE008
，
Figure 429109DEST_PATH_IMAGE022
，
Figure 364311DEST_PATH_IMAGE023
，
Figure 349584DEST_PATH_IMAGE024
，
其中，Unwrapped[∅(x,y)]表示对相位∅(x,y)进行相位解包裹；
然后，针对得到的解包裹后的三个相位，对其进行相位补偿并平均化，得校准后的相位
Figure 597026DEST_PATH_IMAGE009
、
Figure 667750DEST_PATH_IMAGE010
、
Figure 908108DEST_PATH_IMAGE011
，
Figure 747888DEST_PATH_IMAGE025
，
Figure 228547DEST_PATH_IMAGE026
，
Figure 458672DEST_PATH_IMAGE027
。
4.根据权利要求1所述的基于平均投影迭代的图像重构方法，其特征在于，步骤八的振幅校正过程具体为：
根据步骤六中得到的物平面上对应于三色照明光的振幅进行平均化处理，得到校正后的振幅
Figure 315769DEST_PATH_IMAGE012
、
Figure 698471DEST_PATH_IMAGE013
、
Figure 350032DEST_PATH_IMAGE014
，
Figure 333032DEST_PATH_IMAGE028
，
Figure 728241DEST_PATH_IMAGE029
，
Figure 463985DEST_PATH_IMAGE030
。
5.根据权利要求1所述的基于平均投影迭代的图像重构方法，其特征在于，步骤十一的光强更新过程具体为：
根据步骤十中获得的图像平面R、G、B分量对应的复振幅分布U zR (x,y)、U zG (x,y)、U zB (x, y)后，利用采集到的图像I zR (x,y)、I zG (x,y)、I zB (x,y)对abs(U zR (x,y)) 2 、abs(U zG (x,y)) 2 、abs(U zB (x,y)) 2 进行更新，得到更新后的光强信息
Figure 552027DEST_PATH_IMAGE015
、
Figure 819060DEST_PATH_IMAGE016
、
Figure 955643DEST_PATH_IMAGE017
，
Figure 358943DEST_PATH_IMAGE031
，
Figure 303372DEST_PATH_IMAGE032
，
Figure 57701DEST_PATH_IMAGE033
，
其中，↓代表下采样，即将图像由原始的M个像素降低为1个像素。
6.一种无透镜显微成像系统，其特征在于，应用在权利要求1~5中任一项所述的基于平均投影迭代的图像重构方法中，包括由依次设置的LED光源（1）、样品台（2）及相机（3）构成的成像系统，LED光源（1）安放于成像系统的最上方，且LED光源（1）的光敏面位于成像系统的光轴上。
7.根据权利要求6所述的无透镜显微成像系统，其特征在于，LED光源（1）具有至少三种不同波长的照明光，LED光源（1）与样品台（2）的轴向距离Z 2 为10~100mm，样品台（2）与相机（3）的轴向距离Z 1 为5~10μm。
CN202110016307.0A 2021-01-07 2021-01-07 无透镜显微成像系统及基于平均投影迭代的图像重构方法 Pending CN112327473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110016307.0A CN112327473A (zh) 2021-01-07 2021-01-07 无透镜显微成像系统及基于平均投影迭代的图像重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110016307.0A CN112327473A (zh) 2021-01-07 2021-01-07 无透镜显微成像系统及基于平均投影迭代的图像重构方法

Publications (1)

Publication Number Publication Date
CN112327473A true CN112327473A (zh) 2021-02-05

Family

ID=74301930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110016307.0A Pending CN112327473A (zh) 2021-01-07 2021-01-07 无透镜显微成像系统及基于平均投影迭代的图像重构方法

Country Status (1)

Country Link
CN (1) CN112327473A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176230A (zh) * 2021-03-30 2021-07-27 西安理工大学 一种基于微流控无透镜成像的红细胞识别与姿态估计方法
CN114265298A (zh) * 2021-12-24 2022-04-01 杭州电子科技大学 一种无透镜全息成像的细胞图像恢复方法
WO2024016774A1 (zh) * 2022-07-19 2024-01-25 南京理工大学 基于波长扫描的无透镜傅里叶叠层衍射层析显微成像方法
CN118587094A (zh) * 2024-07-31 2024-09-03 南京理工大学 一种基于信息欠采样的无透镜定量相位成像及超分辨方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098950A1 (en) * 2010-10-26 2012-04-26 California Institute Of Technology Scanning projective lensless microscope system
CN105182514A (zh) * 2015-09-29 2015-12-23 南京理工大学 基于led光源的无透镜显微镜及其图像重构方法
CN108051930A (zh) * 2017-12-29 2018-05-18 南京理工大学 大视场超分辨率动态相位无透镜显微成像装置与重构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120098950A1 (en) * 2010-10-26 2012-04-26 California Institute Of Technology Scanning projective lensless microscope system
CN105182514A (zh) * 2015-09-29 2015-12-23 南京理工大学 基于led光源的无透镜显微镜及其图像重构方法
CN108051930A (zh) * 2017-12-29 2018-05-18 南京理工大学 大视场超分辨率动态相位无透镜显微成像装置与重构方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGCHEN YU等: "Lensless super-resolution imaging based on multi-wavelength illumination", 《OPTICS FRONTIER ONLINE 2020:OPTICS IMAGING AND DISPLAY》 *
JIALIN ZHANG等: "Adaptive pixel-super-resolved lensfree in-line digital holography for wide-field on-chip mictroscopy", 《SCIENTIFIC REPORTS 》 *
XUEJUAN WU等: "Lensfree super-resolved microscopy based on multi-wavelength multiplexing", 《PROC.SPIE 11549,ADVANCED OPTICAL IMAGING TECHNOLOGIES》 *
王丹萍等: "无透镜显微成像的重构算法研究", 《应用光学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176230A (zh) * 2021-03-30 2021-07-27 西安理工大学 一种基于微流控无透镜成像的红细胞识别与姿态估计方法
CN114265298A (zh) * 2021-12-24 2022-04-01 杭州电子科技大学 一种无透镜全息成像的细胞图像恢复方法
CN114265298B (zh) * 2021-12-24 2024-02-09 杭州电子科技大学 一种无透镜全息成像的细胞图像恢复方法
WO2024016774A1 (zh) * 2022-07-19 2024-01-25 南京理工大学 基于波长扫描的无透镜傅里叶叠层衍射层析显微成像方法
CN118587094A (zh) * 2024-07-31 2024-09-03 南京理工大学 一种基于信息欠采样的无透镜定量相位成像及超分辨方法

Similar Documents

Publication Publication Date Title
US20210181673A1 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
CN112327473A (zh) 无透镜显微成像系统及基于平均投影迭代的图像重构方法
Zuo et al. Wide-field high-resolution 3D microscopy with Fourier ptychographic diffraction tomography
CN109580457B (zh) 基于led阵列编码照明的三维衍射层析显微成像方法
Luo et al. Synthetic aperture-based on-chip microscopy
JP2022529366A (ja) ディープラーニングベースのカラーホログラフィック顕微鏡のためのシステム及び方法
US8279329B2 (en) Structured illumination for imaging of stationary and non-stationary, fluorescent and non-fluorescent, objects
Ford et al. Fast optically sectioned fluorescence HiLo endomicroscopy
CN105182514B (zh) 基于led光源的无透镜显微镜及其图像重构方法
US11022731B2 (en) Optical phase retrieval systems using color-multiplexed illumination
CN108508588B (zh) 一种多约束信息的无透镜全息显微相位恢复方法及其装置
Konda et al. Multi-aperture Fourier ptychographic microscopy, theory and validation
CN110989155B (zh) 一种基于滤光片阵列的无透镜显微成像装置及重构方法
Guo et al. Enhancing imaging contrast via weighted feedback for iterative multi-image phase retrieval
Costantini et al. A multimodal imaging and analysis pipeline for creating a cellular census of the human cerebral cortex
WO2021155378A1 (en) Systems and methods for performing multiple-wavelength quantitative phase imaging (qpi)
Zhang Lens-Free Computational Microscopy for Disease Diagnosis
Holinirina Dina Miora et al. Experimental validation of numerical point spread function calculation including aberration estimation
CN115980989B (zh) 基于微透镜阵列的单帧定量相位层析成像系统及方法
Chung Computational imaging: a quest for the perfect image
Shanmugavel High Resolution Phase Imaging using Transport of Intensity Equation
WO2024055602A1 (zh) 基于部分相干发光二极管照明的无透镜单帧相位恢复方法
Veron Ferreira 3D Imaging of Transparent Biological Specimens with Fourier Ptychographic Microscopy
Jin DeepDOF: Deep Learning Extended Depth-of-Field Microscope for Fast and Slide-Free Histology of Surgical Specimens
Wang Deep Learning-enabled Cross-modality Image Transformation and Early Bacterial Colony Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205

RJ01 Rejection of invention patent application after publication