CN108562541B - 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置 - Google Patents

基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置 Download PDF

Info

Publication number
CN108562541B
CN108562541B CN201810368143.6A CN201810368143A CN108562541B CN 108562541 B CN108562541 B CN 108562541B CN 201810368143 A CN201810368143 A CN 201810368143A CN 108562541 B CN108562541 B CN 108562541B
Authority
CN
China
Prior art keywords
image
sample
light source
holographic
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810368143.6A
Other languages
English (en)
Other versions
CN108562541A (zh
Inventor
曹汛
华夏
黄烨
杨程
闫锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201810368143.6A priority Critical patent/CN108562541B/zh
Publication of CN108562541A publication Critical patent/CN108562541A/zh
Application granted granted Critical
Publication of CN108562541B publication Critical patent/CN108562541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0486—Improving or monitoring the quality of the record, e.g. by compensating distortions, aberrations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/32—Systems for obtaining speckle elimination

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Holo Graphy (AREA)

Abstract

本发明公开了一种基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置。去除方法的步骤如下：S1关闭光源，采集暗场图像；S2打开光源，采集光源均匀照射下的明场图像；S3，在传感器上方放置含有微粒的溶液样本，保证样本到传感器距离远小于样本到光源的距离；打开光源，采集样本的全息图像序列；S4对需要计算的任意一张全息图像进行平场校正；S5对校正之后的全息图像采用矩阵分解算法进行噪声分离，将其分解成微粒的全息图和背景噪声两部分；S6对计算出的全息图像进行更进一步的图像分析处理工作。本发明能去除掉散斑噪声和样本多次反射产生的干涉条纹噪声，实现高精度的动态三维成像。

Description

基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置
技术领域
本发明属于无透镜显微领域，尤其涉及一种去除全息显微成像中的散斑噪声的方法及其装置。
背景技术
大量的现有和新兴的应用将受益于对于微粒运动的定位、表征或追踪，如生物医学、流体力学和软物质领域中的胶体球、纳米棒、蛋白质聚集体等的定位与追踪，水质检测中污染物的表征等。
先前的对于微粒的追踪与表征等相关研究建立在标准的倒置光学显微镜上，用准直、衰减的HeNe激光器替代传统的白炽照明器和聚光器。利用常规的目镜来放大干涉图案，然后用灰度摄像机记录全息图。然而，这种技术受到视场(FOV，field-of-view)和成像分辨率二者互相制衡的影响。标准的光学显微镜的高放大倍率代表了更小的视场，因而阻碍了其在需要大视野下定位、识别、追踪多个微粒的情况下的应用。为了获得高分辨率和大视场的图像，需要机械扫描和拼接来扩大有限的视场，这不仅使成像过程复杂化，而且显着增加了这些系统的总体成本。即使如此，时间分辨率仍然会受到影响。
无透镜全息显微镜近年来已经成为新的成像技术。与基于透镜的传统全息显微镜相比，无透镜全息显微镜直接采样透过物体的光线，而无需在物体和传感器平面之间使用任何成像透镜，因此空间带宽积与空间分辨率不再相关。具有单倍放大率(样本与传感器平面距离极小，几乎不存在放大)的无透镜全息显微镜具有与成像传感器一致大小的视场，而不需要任何透镜和其他中间光学元件。这进一步允许成像装置的简化，同时有效地避免了传统的基于透镜的成像系统中不可避免的光学像差和色散。此外，整个系统结构紧凑，成本效益高，为资源有限的环境中大视场下多微粒的同时定位和表征提供了一种可能的解决方案。
然而，先前的研究中，系统难以处理散斑噪声和由于样本内部的反射造成的周期性条纹干扰，在受到噪声干扰影响下，只能实现对样本的粗略成像。
发明内容
本发明的目的在于提供一种去除无透镜全息显微成像中的散斑噪声的方法及其装置，实现在宽视场下对样本进行高精度动态三维成像。
本发明采用的技术方案为：
基于矩阵分解的无透镜全息显微散斑噪声去除方法，步骤如下：
S1：关闭光源，采集暗场图像；
S2：打开光源，采集光源均匀照射下的明场图像；
S3：在传感器上方放置含有微粒的溶液样本，保证样本到传感器距离远小于样本到光源的距离；打开光源，采集样本的全息图像序列；
S4：对需要计算的任意一张全息图像进行平场校正；平场校正的具体方法为：将步骤S1中采集的暗场图像表示为Id，将步骤S2中采集的明场图像表示为I0，将步骤S3中采集的全息图像序列中需要计算的任意一张全息图像表示为I，对图像I进行平场校正后的图像Ic表示为：
Figure BDA0001637834790000021
S5：对校正之后的全息图像采用矩阵分解算法进行噪声分离，将其分解成微粒的全息图和背景噪声两部分；具体方法为：
首先，使用采集到的全息图像序列建立数据矩阵D，其中每一列yi对应一帧观测样本，将改矩阵分解为
D＝A+E
其中A为低秩矩阵，对应为包含散斑噪声和内反射噪声干涉的条纹干扰信号的背景图像；E为稀疏矩阵，对应为期望的全息图像；
然后，采用核范数和L1范数分别约束低秩矩阵A和稀疏矩阵E求解该问题，目标函数如下所示：
Figure BDA0001637834790000022
s.t.D＝A+E
全息图像E中每一列即对应于一帧去除掉了散斑噪声和内反射噪声干涉的条纹干扰信号的全息图像。
S6：根据需要，对微粒的全息图进行更进一步图像分析处理工作。
本发明基于矩阵分解的无透镜全息显微散斑噪声去除装置，包括相干光源、图像传感器和计算机，所述相干光源照射范围覆盖整个图像传感器平面，样本放置于图像传感器平面的上方，且样本与相干光源的距离远大于样本与图像传感器平面的距离；所述相干光源发射线极化的激光束入射到样本平面，样本散射入射光，在所述图像传感器平面入射光与散射光发生干涉，所述图像传感器记录到干涉图案即全息图像，所述计算机对全息图像进行平场校正和噪声分离。
本发明与现有技术相比，其显著优点为：
本发明的无透镜全息显微能同时满足大视场与高分辨率的要求，在不增加系统复杂度和采集图像数量的情况下，通过发现采集到的标准图像序列的内在规律，采用矩阵低秩稀疏分解的算法将全息图像从拍摄到的干涉图像中分离出来，从而去除掉散斑噪声和样本多次反射产生的干涉条纹噪声，实现高精度的动态三维成像。
附图说明
图1是本发明去除全息显微成像中的散斑噪声的方法的流程图。
图2是本发明去除全息显微成像中的散斑噪声的装置结构示意图，其中，1-相干光源，2-样本，3-传感器。
图3是采用本发明提出的装置拍摄的大视场全息图，图中插图为黑色方框部分的放大图。
图4是采用本发明提出的散斑噪声去除方法处理前后的对比结果，(a)去除散斑噪声前；(b)去除散斑噪声后。
具体实施方式
参见图1，本发明去除全息显微成像中的散斑噪声的方法，步骤如下：
S1：关闭光源，在暗室条件下(无环境杂散光的情况)利用传感器3拍摄暗场图像。用于拍摄图像的无透镜全息显微装置参见图2，包括相干光源1、传感器3等。光源照射范围覆盖整个传感器3的有效感光区域。
S2：打开光源，在暗室条件下(无环境杂散光的情况)采集光源均匀照射下的明场图像。
S3：在传感器3的上方放置样本2(溶液样本或其他样本)。样本2到传感器3的距离远小于样本2到相干光源1的距离。这一方面使得从样本2传播到传感器3平面的入射波可以视为平面波，另一方面保证了无透镜全息显微装置的单倍放大率(即对样本2基本不存在放大)，提供和芯片大小一致的大视场(FOV，field-of-view，)的同时不需要任何其他光学元件。打开相干光源1，线极化的激光束入射到样本2平面，样本2散射入射光，在传感器3平面入射光与散射光发生干涉，传感器3采集干涉图案即全息图。手动拍摄保存或者对相机进行开发自动拍摄保存图片，按一定的时间间隔采集全息图序列(时间间隔尽量短，不要求等时间间隔，序列数量尽量在15张以上)，此时所有样本2中的微粒应一直进行无规则的布朗运动，同时调整相机曝光时间，保证图像亮度适中的情况下也尽量避免微粒布朗运动造成的干涉图案模糊，拍摄的全息图参见图3。
S4：对需要计算的任意一张全息图进行平场校正。
该步骤中，选择全息图序列的任意一张全息图，将按步骤S1中所描述的采集的暗场图像表示为Id，将按步骤S2中所描述的采集的明场图像表示为I0，将按步骤S3中所描述的采集的全息图序列中需要计算的任意一张全息图表示为I，则对I进行平场校正后的图像Ic表示为：
Figure BDA0001637834790000041
对全息图像做平场校正得到一幅相对值图像，并不会对图像处理产生不良影响，并且能够消除各像素响应不一的情况，缓解光照不均匀带来的图像值不均匀的问题。
S5：对先前采集的图像序列进行矩阵低秩稀疏分解得到所需要的未受到噪声干扰的全息图与包含散斑噪声和内反射噪声干涉的条纹干扰信号的背景图。
首先，被摄样本2在一定深度的溶液中做无规则的布朗运动，可以认为被摄样本的位置处于不停变化的状态，而同时溶液本身处于静止的状态，也就是说散斑噪声和内反射噪声干涉的条纹干扰信号在整个拍摄到的图像序列中，其位置和形态是固定不变的。
使用采集到的图像序列建立数据矩阵D，其中每一列di对应一帧观测样本，其中di由对应的图像帧的每一列首尾相接得到，然后将改矩阵分解为
D＝A+E
其中A为低秩矩阵，E为稀疏矩阵。其中E对应为期望的全息图，A对应为包含散斑噪声和内反射噪声干涉的条纹干扰信号的背景图。E中每一列即对应于一帧去除掉了散斑噪声和内反射噪声干涉的条纹干扰信号的全息图像。采用核范数和L1范数分别约束A和E求解该问题，目标函数如下所示：
Figure BDA0001637834790000042
s.t.D＝A+E
为了求解上述欠定的矩阵恢复问题，首先将其松弛为一个凸约束问题：
Figure BDA0001637834790000051
s.t.D＝A+E
其中τ取一个很大的数，这样目标函数只会产生很小的扰动。接下来再引入拉格朗日乘子从而可以移除等式约束，
Figure BDA0001637834790000052
接下来依次迭代更新A，E，Y，通过最小化L更新A和E的，再固定A和E不变更新Y。
采用激光照射样本2进行成像时，无透镜全息显微装置的成像质量受到散斑噪声和多次反射带来的干涉效应的影响，在图像上表现为与信号相关的斑点以及周期性出现的条纹，如图4(a)所示。这些噪声既降低了图像质量，也严重影响了图像中目标的分割检测与其他定量信息的提取。利用本发明的方法去除掉背景干扰的全息图参见图4(b)。

Claims (3)

1.基于矩阵分解的无透镜全息显微散斑噪声去除方法，其特征在于，步骤如下：
S1：关闭光源，采集暗场图像；
S2：打开光源，采集光源均匀照射下的明场图像；
S3：在传感器上方放置含有微粒的溶液样本，保证样本到传感器距离远小于样本到光源的距离；打开光源，采集样本的全息图像序列；
S4：对需要计算的任意一张全息图像进行平场校正；
S5：对校正之后的全息图像采用矩阵分解算法进行噪声分离，将其分解成微粒的全息图和背景噪声两部分；进行噪声分离的具体方法为：
首先，使用采集到的全息图像序列建立数据矩阵D，其中每一列yi对应一帧观测样本，将该 矩阵分解为
D＝A+E
其中A为低秩矩阵，对应为包含散斑噪声和内反射噪声干涉的条纹干扰信号的背景图像；E为稀疏矩阵，对应为期望的全息图像；
然后，采用核范数和L1范数分别约束低秩矩阵A和稀疏矩阵E求解该问题，目标函数如下所示：
Figure FDA0002755391160000011
s.t.D＝A+E
全息图像E中每一列即对应于一帧去除掉了散斑噪声和内反射噪声干涉的条纹干扰信号的全息图像；
S6：根据需要，对微粒的全息图进行更进一步图像分析处理工作。
2.根据权利要求1所述的基于矩阵分解的无透镜全息显微散斑噪声去除方法，其特征在于，步骤S4中，平场校正的具体方法为：将步骤S1中采集的暗场图像表示为Id，将步骤S2中采集的明场图像表示为I0，将步骤S3中采集的全息图像序列中需要计算的任意一张全息图像表示为I，对图像I进行平场校正后的图像Ic表示为：
Figure FDA0002755391160000012
3.实现如权利要求1所述的 基于矩阵分解的无透镜全息显微散斑噪声去除方法的装置，其特征在于，包括相干光源、图像传感器和计算机，所述相干光源照射范围覆盖整个图像传感器平面，样本放置于图像传感器平面的上方，且样本与相干光源的距离远大于样本与图像传感器平面的距离；所述相干光源发射线极化的激光束入射到样本平面，样本散射入射光，在所述图像传感器平面入射光与散射光发生干涉，所述图像传感器记录到干涉图案即全息图像，所述计算机对全息图像进行平场校正和噪声分离。
CN201810368143.6A 2018-04-23 2018-04-23 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置 Active CN108562541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810368143.6A CN108562541B (zh) 2018-04-23 2018-04-23 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810368143.6A CN108562541B (zh) 2018-04-23 2018-04-23 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置

Publications (2)

Publication Number Publication Date
CN108562541A CN108562541A (zh) 2018-09-21
CN108562541B true CN108562541B (zh) 2021-04-23

Family

ID=63535978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810368143.6A Active CN108562541B (zh) 2018-04-23 2018-04-23 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置

Country Status (1)

Country Link
CN (1) CN108562541B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978782A (zh) * 2019-03-18 2019-07-05 新疆大学 一种数字全息再现图像中散斑噪声的去除方法及装置
CN110836867A (zh) * 2019-10-18 2020-02-25 南京大学 一种基于卷积神经网络的无透镜全息显微微粒表征方法
CN114384780B (zh) * 2020-10-16 2024-02-09 深圳大学 透过散射介质成像的方法、装置、计算机设备和存储介质
CN112432590B (zh) * 2020-12-14 2022-07-05 西安邮电大学 一种基于约束欠定方程的三波长数字全息成像光路及方法
CN113658069B (zh) * 2021-08-13 2024-04-09 哈尔滨工业大学 基于共有平场提取的高光谱显微图像平场校正方法及系统
CN114936980B (zh) * 2022-06-08 2024-06-28 哈尔滨工业大学 基于低秩平滑特性的高光谱显微图像平场校正方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102660457A (zh) * 2012-04-17 2012-09-12 南昌航空大学 无透镜全息衍射成像血细胞分析计数的装置及方法
EP2879004A1 (en) * 2013-12-02 2015-06-03 IMEC vzw Apparatus and method for performing in-line lens-free digital holography of an object
EP3175302B1 (en) * 2014-08-01 2021-12-29 The Regents of the University of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
CN105260995B (zh) * 2015-12-01 2019-03-08 苏州大学 一种图像修复与去噪方法及系统
CN106709881B (zh) * 2016-12-14 2019-08-13 上海增容数据科技有限公司 一种基于非凸低秩矩阵分解的高光谱图像去噪方法
CN107101943B (zh) * 2017-05-18 2020-01-10 大连海事大学 一种光流控无透镜全息成像微藻活性检测装置与方法
CN107197122A (zh) * 2017-06-12 2017-09-22 武汉中导光电设备有限公司 一种用于面阵相机成像的平场校正方法
CN107316309B (zh) * 2017-06-29 2020-04-03 西北工业大学 基于矩阵分解的高光谱图像显著性目标检测方法

Also Published As

Publication number Publication date
CN108562541A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108562541B (zh) 基于矩阵分解的无透镜全息显微散斑噪声去除方法及装置
Zheng et al. Concept, implementations and applications of Fourier ptychography
CN108254295B (zh) 一种定位与表征球形微粒的方法及其装置
US10430933B2 (en) Imaging systems and methods of using the same
TWI664586B (zh) 透過瑕疵複數光場之透明基板瑕疵檢測方法
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
US9134109B2 (en) Phase image acquisition device
Zhang et al. Data preprocessing methods for robust Fourier ptychographic microscopy
US20170220000A1 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
US20200241276A1 (en) Three-dimensional microscopic imaging method and system
US20220012850A1 (en) System and method for transforming holographic microscopy images to microscopy images of various modalities
CN108508588B (zh) 一种多约束信息的无透镜全息显微相位恢复方法及其装置
US10838184B2 (en) Artefact reduction for angularly-selective illumination
US20240085688A1 (en) Accelerating digital microscopy scans using empty/dirty area detection
Bai et al. Imaging enhancement of light-sheet fluorescence microscopy via deep learning
CN112161953B (zh) 一种基于散射介质的宽光谱单帧散射成像方法
US6876474B2 (en) Method for tracking particles and life forms in three dimensions and in time
Holmes et al. Blind deconvolution
Ge et al. Millisecond autofocusing microscopy using neuromorphic event sensing
Arcab et al. Single-shot experimental-numerical twin-image removal in lensless digital holographic microscopy
JP4689171B2 (ja) 培養細胞の状態計測方法及び計測装置
US20230247276A1 (en) Re-imaging microscopy with micro-camera array
US20210215472A1 (en) Systems and methods for interferometric multifocus microscopy
Zhu et al. Digital holography with polarization multiplexing for underwater imaging and descattering
Proppe et al. 3D-2D Neural Nets for Phase Retrieval in Noisy Interferometric Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant