CN116612051A - 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统 - Google Patents

一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统 Download PDF

Info

Publication number
CN116612051A
CN116612051A CN202310493296.4A CN202310493296A CN116612051A CN 116612051 A CN116612051 A CN 116612051A CN 202310493296 A CN202310493296 A CN 202310493296A CN 116612051 A CN116612051 A CN 116612051A
Authority
CN
China
Prior art keywords
image
interference
sig
noise ratio
spectral domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310493296.4A
Other languages
English (en)
Other versions
CN116612051B (zh
Inventor
张祖鑫
刘文杰
王瑾
王权
杨思恒
陈勰宇
周楠
董建杰
匡翠方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Zhejiang Lab
Original Assignee
Zhejiang University ZJU
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Zhejiang Lab filed Critical Zhejiang University ZJU
Priority to CN202310493296.4A priority Critical patent/CN116612051B/zh
Publication of CN116612051A publication Critical patent/CN116612051A/zh
Application granted granted Critical
Publication of CN116612051B publication Critical patent/CN116612051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统，通过拍摄一幅无样品图像或初始化一个全一矩阵，并结合系统特征的干涉点扩散函数在频谱域进行信号的增强，实现对弱信号的恢复，和动态背景的重构。本发明针对干涉散射成像系统的拍摄图像，对图像微弱信号进行实时恢复。传统干涉散射图像恢复方法大多采用多帧平均方式消除噪声，对图像数量要求大，无法做到实时恢复；现有单帧恢复方式，恢复结果噪声大，且对信背比较小图像无法恢复。本发明通过根据系统特性仿真得到的干涉点扩散函数图像，对实验拍摄的干涉散射图像进行频谱增强，实现对观测信号的实时恢复，同时可以大大提高系统的时间分辨率，且适用于动态、静态样品。

Description

一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法 和系统
技术领域
本发明涉及显微技术中的干涉散射成像技术中的图像恢复和处理领域，具体涉及一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统。
技术背景
随着光学显微技术的不断发展,基于光学显微术的单粒子探测成为纳米探测领域中一个新的研究热点。单粒子传感技术利用光学显微镜等具有空间分辨能力的研究工具,通过对位于界面上或体系中的单个纳米粒子进行实时表征和监测,以获取该纳米粒子所在微区中分析物的定性和定量信息。目前纳米颗粒探测主要有暗场显微成像技术和荧光显微成像技术这类的有标记成像技术，还有基于折射率变化的平面表面等离激元共振显微镜技术、基于干涉散射的图像探测技术以及基于吸收的光热显微成像等光学成像技术的免标记单粒子探测技术。这些技术都在为提高光学显微技术的时空分辨率、灵敏度和信噪比,有助于我们更好地实现对样品的实时、原位检测、更准确的挖掘微光颗粒的特性特征提供有力支持。
干涉散射成像技术是二十一世纪逐渐发展起来的，对纳米尺寸下的颗粒进行无标记无损检测技术，其利用显微系统下盖玻片表面反射光和探测颗粒的散射光进行干涉，再通过相机进行记录。由于，盖玻片表面反射光振幅大小只有散射光振幅大小的百分之一，千分之一，甚至万分之一。因此在纳米尺度下，相机记录的图像信噪比差，信背比极其微弱，干涉散射成像技术中的图像恢复算法成为该技术向更小尺度探测继续推进，和提高应用普适性的重要因素。
目前，纳米尺度下的干涉散射成像技术的图像恢复方法，可以包括以下几类：(1)通过拍摄有样品和无样品的实验照片，再进行减法或除法计算，该方法虽然简单，但是需要保证放置样品前后观测区域完全一致，且样品不能引入新的背景，因此具有较大的局限性。本发明在计算过程中实时更新图像背景，对由样品引入的新背景具有抑制作用。(2)连续采集一系列帧，取时间中位数图像作为背景，从原始帧中逐一减去。由此来去除时不变的，不随样本横向位移变化而变化的背景信号，该方法要求样品需要在一定长距离内快速移动。该方法要求样品被观测部分需要有一定运动，本发明专利不要求样品在拍摄期间移动或者不移动。(3)还包括一系列多帧平均的方法，其中最为经典的是差分滚动平均方法，连续采集N帧，选取最佳的批次L大小，在批次内进行平均后以1帧的步长向后差分。而滚动平均会使得样品在批次帧内泛洪，降低采集信号的时间分辨率。本发明专利不会让样品信息在批次帧内产生泛洪。
上述方法以及其它多帧处理方法都面临着共同问题：(1)无普适性图像处理方法，需要根据具体实验场景进行选取；(2)处理后无法完全置信区分样品和小颗粒杂质信号，出现“假阳性”，需要增加判断样品存在性的后处理步骤；(3)基本上都依赖于多帧原始数据获取，处理后帧数会减少；(4)另外采用多帧平均将降低信号的时间分辨率。
对于纳米颗粒散射信号的探测，研究人员通过算法后处理，硬件改进，样品处理等等各种方法，不断提高对颗粒微弱散射信号的探测能力，以提高对纳米颗粒的探测尺度，努力揭开微观世界的神秘面纱。本发明将通过算法处理的方式，实现对干涉散射图像弱信号的实时恢复。
发明内容
本发明要克服当前干涉散射成像图像处理方法时间分辨率差，计算量大，普适性差的问题，提供一种在频谱域处理的干涉散射图像弱信号的实时恢复方法。
一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法。干涉散射图像由如图1、图2所示系统拍摄，其中1为纳米颗粒样品，2为显微物镜，3为偏振分光棱镜，4为照明调整透镜，5为相干光源，6为筒镜，7为相机。本发明通过系统特性得到的干涉点扩散函数对拍摄到的实验数据的频谱进行增强，并进行图像背景的重构恢复，实现高时间分辨率的干涉散射图像恢复。
本发明的目的是通过以下技术方案来实现的：一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数；
步骤2：初始化图像背景矩阵；
步骤3：计算出低信噪比样品信号；
步骤4：对干涉点扩散函数和计算出的低信噪比样品图像进行傅里叶变换得到对应频谱域的干涉点扩散函数和对应频谱域的低信噪比样品图像；
步骤5：在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强；
步骤6：对低信噪比样品图像进行有无样品的信号探测；
步骤7：对低信噪比样品图像是否出现样品进行阈值判断，若出现则进行背景图像的重构或更新；
步骤8：使用更新过的背景图像进行下一幅相机拍摄的干涉散射图像的计算，重复步骤2-步骤7；
步骤2所述的初始化图像背景矩阵，可以用全1矩阵或者其它近似解来进行图像背景矩阵的初始化，这里说的其它近似解可以是无样品的情况下系统拍摄的图像，即将纳米颗粒样品1挪走，使用相机7拍摄图像背景。也可以是有样品情况下系统拍摄的图像。在多次动态迭代计算过程后，背景图像会逼近真实背景。
优选地，步骤3所述的计算出低信噪比样品信号将的具体方法为：
SIG_L＝(RAW-BACK)/BACK
式中，RAW为系统相机7拍摄的干涉散射图像，BACK为步骤2中所述的图像背景矩阵；
优选地，步骤5所述的在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的具体公式为：
SIG_H＝abs(F-1(sig_l*abs(ipsf)))
或SIG_H＝abs(F-1(exp(i*angle(sig_l))*abs(ipsf)))
式中，ipsf为频谱域的干涉点扩散函数，sig_l为频谱域的低信噪比样品图像，F-1表示求解傅里叶逆变换，angle表示求解复振幅相位，abs表示求解复振幅的振幅，exp表示求解自然底数e的指数，SIG_H为计算得到的高信噪比信号；
优选地，步骤6所述的对低信噪比样品图像进行有无样品的信号探测的具体公式为：
probe＝abs(F-1(conv2(ipsf,sig_l)))2
式中，abs表示求解复振幅的振幅，F-1表示求解傅里叶逆变换conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积；
优选地，步骤7所述的进行背景图像的重构或更新的具体公式为：
BACK＝RAW/(SIG_H+1)
式中，RAW为系统相机7拍摄的干涉散射图像，SIG_H为计算得到的高信噪比信号，BACK为背景图像的重构或更新的结果。
优选地，步骤1所述的根据系统特性计算干涉点扩散函数，包括：根据显微物镜放大倍率、数值孔径计算得到的干涉点扩散函数；或是根据已有实验结果得到的干涉点扩散函数；或是根据其他显微成像方法得到的点扩散函数。
优选地，步骤4所述的对干涉点扩散函数和计算出的低信噪比样品图像进行傅里叶变换得到对应频谱域的干涉点扩散函数和对应频谱域的低信噪比样品图像，包括：对干涉点扩散函数和计算出的低信噪比样品图像进行快速傅里叶变换或是离散傅里叶变换。
优选地，步骤8所述的使用更新过的背景图像进行下一幅相机拍摄的干涉散射图像的计算，不需要像传统方法一样对采集到的干涉散射图像进行多帧平均，可对单幅图像直接进行计算。
本发明还涉及一种基于频谱域滤波的干涉散射图像弱信号的实时恢复系统，包括：相干光源5、照明调整透镜4、偏振分光棱镜3、显微物镜2、纳米颗粒样品1沿主光路依次排列，相干光源5发射的光经照明调整透镜4、偏振分光棱镜3、显微物镜2照射到纳米颗粒样品1上；相机7和筒镜6组成分支光路对准偏振分光棱镜3的输出端。
本发明针对干涉散射成像系统的拍摄图像，对图像微弱信号进行实时恢复。传统干涉散射图像恢复方法大多采用多帧平均方式消除噪声，对图像数量要求大，无法做到实时恢复；现有单帧恢复方式，恢复结果噪声大，且对信背比较小图像无法恢复。本发明通过根据系统特性仿真得到的干涉点扩散函数图像，对实验拍摄的干涉散射图像进行频谱增强，实现对观测信号的实时恢复，同时可以大大提高系统的时间分辨率，且适用于动态、静态样品。
本发明的优点是：在已知近似背景的情况下，只需要单帧就可以对干涉散射成像系统的微弱信号进行恢复。本发明通过计算干涉散射成像系统对应的干涉点扩散函数，并通过干涉点扩散函数在频谱域对相机拍摄的图像进行增强，以实现对弱信号的增强和恢复，并根据计算的弱信号图像进行重构或恢复图像背景，来实现对背景动态变化的探测和成像场景。由于计算过程中只使用了一幅背景图像和一幅系统拍摄的干涉散射图像，因此减少了“假阳性”出现的可能，且计算过程中不会造成帧数的减少，具有更高的时间分辨率。
附图说明
图1是本发明的干涉散射成像系统主视图；
图2是本发明的干涉散射成像系统结构图；
图3是本发明方法的计算流程图；
图4(a)是基于系统特性的干涉点扩散函数，图4(b)是无样品情况下的实验拍摄背景，图4(c)是有样品情况下的实验拍摄背景，图4(d)是探测有样品或者无样品的结果，图4(e)是低信噪比样品信号，图4(f)是高信噪比样品信号；
图5(a)-图5(b)是本发明方法与经典差分滚动平均方法进行比较的结果，图5(a)图是差分滚动平均方法的结果，图5(b)图是本发明方法的结果，体现了本发明更高的时间分辨率；
图6(a)-图6(b)是本发明方法与经典差分滚动平均方法进行比较的结果，图6(a)图是差分滚动平均方法的结果，图6(b)图是本发明方法的结果，，体现了本发明更高的时间分辨率。
具体实施方式
下面结合附图进一步描述本发明，但不应以此限制本发明的保护范围。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
在本发明的描述中，需要理解的是，属于“第一”、“第二”等仅用于描述目的，而不能理解为指示或者暗示相对重要性。本发明的描述中，需要说明的是，除非另有明确的规定和限定，属于“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以是通过媒介间接连接。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
实施例1：
参照图1-图6(b)，本发明的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数IPSF，系统特性包括相干光波长，物镜参数，相机参数，盖玻片，以及样品所处介质参数等；
步骤2：初始化一个背景近似解为全1矩阵BACK＝ones(m,n)，其中m,n为相机横纵方向的分辨率；
步骤3：计算出低信噪比样品信号SIG_L＝(RAW-BACK)/BACK，其中RAW为系统拍摄的干涉散射图像，BACK为步骤2中所述的图像背景近似解；
步骤4：对IPSF和SIG_L进行傅里叶变换得到对应频谱ipsf和sig_l；
步骤5：通过IPSF对SIG_L的频谱进行增强，SIG_H＝abs(F-1(sig_l*abs(ipsf)))，得到高信噪比信号SIG_H，输出SIG_H，其中F-1表示求解傅里叶逆变换，abs表示求解复振幅的振幅；
步骤6：对sig_l进行有无样品的探测probe＝abs(F-1(conv2(ipsf,sig_l)))2，其中abs表示求解复振幅的振幅，conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积；
步骤7：若probe大于出现样品的阈值threshold，则进行背景重构并更新，BACK＝RAW/(SIG_H+1)；
步骤8：将RAW替换为拍摄的下一幅干涉散射图像，重复步骤2-7。
以上是基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其中初始化图像背景矩阵的方法为采用全1矩阵，在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的方法为频谱振幅乘积。
实施例2：
参照图1-图6(b)，本发明的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数IPSF，系统特性包括相干光波长，物镜参数，相机参数，盖玻片，以及样品所处介质参数等；
步骤2：初始化一个背景近似解为全1矩阵BACK＝ones(m,n)，其中m,n为相机横纵方向的分辨率；
步骤3：计算出低信噪比样品信号SIG_L＝(RAW-BACK)/BACK，其中RAW为系统拍摄的干涉散射图像，BACK为步骤2中所述的图像背景近似解；
步骤4：对IPSF和SIG_L进行傅里叶变换得到对应频谱ipsf和sig_l；
步骤5：通过IPSF对SIG_L的频谱进行增强，SIG_H＝abs(F-1(exp(i*angle(sig_l))*abs(ipsf)))，得到高信噪比信号SIG_H，输出SIG_H，其中F-1表示求解傅里叶逆变换，angle表示求解复振幅相位，abs表示求解复振幅的振幅，exp表示求解自然底数e的指数；
步骤6：对sig_l进行有无样品的探测probe＝abs(F-1(conv2(ipsf,sig_l)))2，其中abs表示求解复振幅的振幅，conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积；
步骤7：若probe大于出现样品的阈值threshold，则进行背景重构并更新，BACK＝RAW/(SIG_H+1)；
步骤8：将RAW替换为拍摄的下一幅干涉散射图像，重复步骤2-7。
以上是基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其中初始化图像背景矩阵的方法为采用全1矩阵，在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的方法为频谱振幅替换。
实施例3：
参照图1-图6(b)，本发明的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数IPSF，系统特性包括相干光波长，物镜参数，相机参数，盖玻片，以及样品所处介质参数等；
步骤2：拍摄一幅无样品图像作为背景BACK；
步骤3：计算出低信噪比样品信号SIG_L＝(RAW-BACK)/BACK，其中RAW为系统拍摄的干涉散射图像，BACK为步骤2中所述的图像背景近似解；
步骤4：对IPSF和SIG_L进行傅里叶变换得到对应频谱ipsf和sig_l；
步骤5：通过IPSF对SIG_L的频谱进行增强，SIG_H＝abs(F-1(sig_l*abs(ipsf)))，得到高信噪比信号SIG_H，输出SIG_H，其中F-1表示求解傅里叶逆变换，abs表示求解复振幅的振幅；
步骤6：对sig_l进行有无样品的探测probe＝abs(F-1(conv2(ipsf,sig_l)))2，其中abs表示求解复振幅的振幅，conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积；
步骤7：若probe大于出现样品的阈值threshold，则进行背景重构并更新，BACK＝RAW/(SIG_H+1)；
步骤8：将RAW替换为拍摄的下一幅干涉散射图像，重复步骤2-7。
以上是基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其中初始化图像背景矩阵的方法为拍摄一幅无样品图像作为背景，在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的方法为频谱振幅乘积。
实施例4：
参照图1-图6(b)，本发明的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数IPSF，系统特性包括相干光波长，物镜参数，相机参数，盖玻片，以及样品所处介质参数等；
步骤2：拍摄一幅无样品图像作为背景BACK；
步骤3：计算出低信噪比样品信号SIG_L＝(RAW-BACK)/BACK，其中RAW为系统拍摄的干涉散射图像，BACK为步骤2中所述的图像背景近似解；
步骤4：对IPSF和SIG_L进行傅里叶变换得到对应频谱ipsf和sig_l；
步骤5：通过IPSF对SIG_L的频谱进行增强，SIG_H＝abs(F-1(exp(i*angle(sig_l))*abs(ipsf)))，得到高信噪比信号SIG_H，输出SIG_H，其中F-1表示求解傅里叶逆变换，angle表示求解复振幅相位，abs表示求解复振幅的振幅，exp表示求解自然底数e的指数；
步骤6：对sig_l进行有无样品的探测probe＝abs(F-1(conv2(ipsf,sig_l)))2，其中abs表示求解复振幅的振幅，conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积；
步骤7：若probe大于出现样品的阈值threshold，则进行背景重构并更新，BACK＝RAW/(SIG_H+1)；
步骤8：将RAW替换为拍摄的下一幅干涉散射图像，重复步骤2-7。
以上是基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其中初始化图像背景矩阵的方法为拍摄一幅无样品图像作为背景，在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的方法为频谱振幅替换。
实施例5：
参照图1-图6(b)，本发明的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，具体步骤为：
步骤1：根据系统特性计算点扩散函数PSF；
步骤2：初始化一个全1矩阵或拍摄一幅无样品图像作为背景BACK；
步骤3：计算出低信噪比样品信号SIG_L＝(RAW-BACK)/BACK，其中RAW为系统拍摄的干涉散射图像，BACK为步骤2中所述的图像背景近似解；
步骤4：对PSF和SIG_L进行傅里叶变换得到对应频谱psf和sig_l；
步骤5：通过IPSF对SIG_L的频谱进行增强，方法包括SIG_H＝abs(F-1(sig_l*abs(psf)))或SIG_H＝abs(F-1(exp(i*angle(sig_l))*abs(psf)))，得到高信噪比信号SIG_H，输出SIG_H，其中F-1表示求解傅里叶逆变换，angle表示求解复振幅相位，abs表示求解复振幅的振幅，exp表示求解自然底数e的指数；
步骤6：对sig_l进行有无样品的探测probe＝abs(F-1(conv2(psf,sig_l)))2，其中abs表示求解复振幅的振幅，conv2(psf,sig_l)表示求解PSF和SIG_L对应频谱psf和sig_l的卷积；
步骤7：若probe大于出现样品的阈值threshold，则进行背景重构并更新，BACK＝RAW/(SIG_H+1)；
步骤8：将替换RAW为拍摄的下一幅弱信号图像，重复步骤2-7；
以上是基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其中应用信号增强的滤波器为根据系统特性计算点扩散函数，其中初始化图像背景矩阵的方法为拍摄一幅无样品图像作为背景或拍摄一幅无样品图像作为背景，在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的方法为频谱振幅替换或者乘积。
实施例1-5为对干涉散射成像系统的拍摄图像的恢复的具体过程，只是计算方法有所不同，计算结果类似，图4(a)是基于系统特性的干涉点扩散函数，图4(b)无样品情况下的实验拍摄背景，图4(c)有样品情况下的实验拍摄背景，图4(d)探测有样品或者无样品的结果，图4(e)低信噪比样品信号，图4(f)高信噪比样品信号；图5和图6是本发明方法与经典差分滚动平均方法进行比较的结果，(a)图是差分滚动平均方法的结果，(b)图是本发明方法的结果，体现了本发明更高的时间分辨率。
本发明通过拍摄一幅无样品图像或初始化一个全一矩阵，并结合系统特征的干涉点扩散函数在频谱域进行信号的增强，实现对弱信号的恢复，和动态背景的重构。本发明主要针对干涉散射成像系统的拍摄图像，对图像微弱信号进行实时恢复。传统干涉散射图像恢复方法大多采用多帧平均方式消除噪声，对图像数量要求大，无法做到实时恢复；现有单帧恢复方式，恢复结果噪声大，且对信背比较小图像无法恢复。本发明通过根据系统特性仿真得到的干涉点扩散函数图像，对实验拍摄的干涉散射图像进行频谱增强，实现对观测信号的实时恢复，同时可以大大提高系统的时间分辨率，且适用于动态、静态样品。
实施例6
参照图1-图6(b)，本实施例涉及一种基于频谱域滤波的干涉散射图像弱信号的实时恢复系统，包括：相干光源5、照明调整透镜4、偏振分光棱镜3、显微物镜2、纳米颗粒样品1沿主光路依次排列，相干光源5发射的光经照明调整透镜4、偏振分光棱镜3、显微物镜2照射到纳米颗粒样品1上；相机7和筒镜6组成分支光路对准偏振分光棱镜3的输出端。

Claims (10)

1.一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，具体步骤为：
步骤1：根据系统特性计算干涉点扩散函数；
步骤2：初始化图像背景矩阵；
步骤3：计算出低信噪比样品信号；
步骤4：对干涉点扩散函数和计算出的低信噪比样品图像进行傅里叶变换得到对应频谱域的干涉点扩散函数和对应频谱域的低信噪比样品图像；
步骤5：在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强；
步骤6：对低信噪比样品图像进行有无样品的信号探测；
步骤7：对低信噪比样品图像是否出现样品进行阈值判断，若出现则进行背景图像的重构或更新；
步骤8：使用更新过的背景图像进行下一幅相机拍摄的干涉散射图像的计算，重复步骤2-步骤7。
2.根据权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤2所述的初始化图像背景矩阵包括：
将纳米颗粒样品挪走，使用相机拍摄图像背景；或是可以直接采用全1矩阵为初始化背景。
3.根据权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤3所述的计算出低信噪比样品信号的具体方法为：
SIG_L＝(RAW-BACK)/BACK
式中，RAW为系统相机拍摄的干涉散射图像，BACK为步骤2所述的图像背景矩阵。
4.根据权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤5所述的在频谱域用干涉点扩散函数对计算出的低信噪比样品图像的频谱进行滤波增强的具体公式为：
SIG_H＝abs(F-1(sig_l*abs(ipsf)))
或SIG_H＝abs(F-1(exp(i*angle(sig_l))*abs(ipsf)))
式中，ipsf为频谱域的干涉点扩散函数，sig_l为频谱域的低信噪比样品图像，F-1表示求解傅里叶逆变换，angle表示求解复振幅相位，abs表示求解复振幅的振幅，exp表示求解自然底数e的指数，SIG_H为计算得到的高信噪比信号。
5.根据权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤6所述的对低信噪比样品图像进行有无样品的信号探测的具体公式为：
probe＝abs(F-1(conv2(ipsf,sig_l)))2
式中，abs表示求解复振幅的振幅，F-1表示求解傅里叶逆变换conv2(ipsf,sig_l)表示求解IPSF和SIG_L对应频谱ipsf和sig_l的卷积。
6.根据权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤7所述的进行背景图像的重构或更新的具体公式为：
BACK＝RAW/(SIG_H+1)
式中，RAW为系统相机拍摄的干涉散射图像，SIG_H为计算得到的高信噪比信号，BACK为背景图像的重构或更新的结果。
7.如权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤1所述的根据系统特性计算干涉点扩散函数，包括：根据显微物镜放大倍率、数值孔径计算得到的干涉点扩散函数；或是根据已有实验结果得到的干涉点扩散函数；或是根据其他显微成像方法得到的点扩散函数。
8.如权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤4所述的对干涉点扩散函数和计算出的低信噪比样品图像进行傅里叶变换得到对应频谱域的干涉点扩散函数和对应频谱域的低信噪比样品图像，包括：对干涉点扩散函数和计算出的低信噪比样品图像进行快速傅里叶变换或是离散傅里叶变换。
9.如权利要求1所述的一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法，其特征在于，步骤8所述的使用更新过的背景图像进行下一幅相机拍摄的干涉散射图像的计算，是对单幅图像直接进行计算。
10.一种基于频谱域滤波的干涉散射图像弱信号的实时恢复系统，其特征在于，包括：相干光源(5)、照明调整透镜(4)、偏振分光棱镜(3)、显微物镜(2)、纳米颗粒样品(1)沿主光路依次排列，相干光源(5)发射的光经照明调整透镜(4)、偏振分光棱镜(3)、显微物镜(2)照射到纳米颗粒样品(1)上；相机(7)和筒镜(6)组成分支光路对准偏振分光棱镜3的输出端。
CN202310493296.4A 2023-05-05 2023-05-05 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统 Active CN116612051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310493296.4A CN116612051B (zh) 2023-05-05 2023-05-05 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310493296.4A CN116612051B (zh) 2023-05-05 2023-05-05 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统

Publications (2)

Publication Number Publication Date
CN116612051A true CN116612051A (zh) 2023-08-18
CN116612051B CN116612051B (zh) 2024-03-19

Family

ID=87675715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310493296.4A Active CN116612051B (zh) 2023-05-05 2023-05-05 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统

Country Status (1)

Country Link
CN (1) CN116612051B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238032A (ja) * 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd 画像復元方法およびその装置
US20140050382A1 (en) * 2011-01-24 2014-02-20 The Board Of Trustees Of The University Of Illinois Computational Adaptive Optics for Interferometric Synthetic Aperture Microscopy and Other Interferometric Imaging
CN104055483A (zh) * 2013-03-20 2014-09-24 北京三星通信技术研究有限公司 用于光学相干层析图像复原的设备和方法
US20160047644A1 (en) * 2014-08-13 2016-02-18 The University Of Hong Kong Phase-inverted sidelobe-annihilated optical coherence tomography
JP2017224108A (ja) * 2016-06-14 2017-12-21 国立研究開発法人理化学研究所 データ復元装置、顕微鏡システム、およびデータ復元方法
CN108072614A (zh) * 2016-11-18 2018-05-25 南京理工大学 一种基于非均匀傅里叶变换的干涉合成孔径显微方法
US20200033623A1 (en) * 2017-03-31 2020-01-30 Nec Corporation Projection device, projection image control method, and recording medium having projection image control program recorded thereon
CN111105889A (zh) * 2020-01-07 2020-05-05 东南大学 利用飞秒光镊和光场调控表征微纳粒子双光子吸收效应的装置和方法
US20210103135A1 (en) * 2017-03-24 2021-04-08 Nanjing University Of Science And Technology Annular-irradiation high-resolution quantitative phase microimaging method based on light intensity transfer equation
CN112704470A (zh) * 2020-12-22 2021-04-27 电子科技大学 分光谱频域相干断层成像系统
CN113196093A (zh) * 2018-12-20 2021-07-30 三菱电机株式会社 用于目标图像重构的系统和方法
US20210345873A1 (en) * 2018-09-28 2021-11-11 Paris Sciences Et Lettres - Quartier Latin Methods and systems for in vivo full-field interference microscopy imaging
CN115965552A (zh) * 2022-12-30 2023-04-14 华中科技大学 用于低信噪比图像序列的频空时域联合去噪与恢复系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238032A (ja) * 2005-02-24 2006-09-07 Matsushita Electric Ind Co Ltd 画像復元方法およびその装置
US20140050382A1 (en) * 2011-01-24 2014-02-20 The Board Of Trustees Of The University Of Illinois Computational Adaptive Optics for Interferometric Synthetic Aperture Microscopy and Other Interferometric Imaging
CN104055483A (zh) * 2013-03-20 2014-09-24 北京三星通信技术研究有限公司 用于光学相干层析图像复原的设备和方法
US20160047644A1 (en) * 2014-08-13 2016-02-18 The University Of Hong Kong Phase-inverted sidelobe-annihilated optical coherence tomography
JP2017224108A (ja) * 2016-06-14 2017-12-21 国立研究開発法人理化学研究所 データ復元装置、顕微鏡システム、およびデータ復元方法
CN108072614A (zh) * 2016-11-18 2018-05-25 南京理工大学 一种基于非均匀傅里叶变换的干涉合成孔径显微方法
US20210103135A1 (en) * 2017-03-24 2021-04-08 Nanjing University Of Science And Technology Annular-irradiation high-resolution quantitative phase microimaging method based on light intensity transfer equation
US20200033623A1 (en) * 2017-03-31 2020-01-30 Nec Corporation Projection device, projection image control method, and recording medium having projection image control program recorded thereon
US20210345873A1 (en) * 2018-09-28 2021-11-11 Paris Sciences Et Lettres - Quartier Latin Methods and systems for in vivo full-field interference microscopy imaging
CN113196093A (zh) * 2018-12-20 2021-07-30 三菱电机株式会社 用于目标图像重构的系统和方法
CN111105889A (zh) * 2020-01-07 2020-05-05 东南大学 利用飞秒光镊和光场调控表征微纳粒子双光子吸收效应的装置和方法
CN112704470A (zh) * 2020-12-22 2021-04-27 电子科技大学 分光谱频域相干断层成像系统
CN115965552A (zh) * 2022-12-30 2023-04-14 华中科技大学 用于低信噪比图像序列的频空时域联合去噪与恢复系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENSHENG WANG ET AL.: "Dual-modulation difference stimulated emission depletion microscopy to suppress the background signal", 《ADVANCED PHOTONICS》, vol. 4, no. 4, pages 046001 - 1 *
刘鑫 等: "基于点扩散函数工程的计算显微成像研究进展", 《激光与光电子学进展》, vol. 58, no. 18, pages 181108 - 1 *

Also Published As

Publication number Publication date
CN116612051B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
KR20120114933A (ko) 초고해상도 현미경 시스템 및 그 시스템을 이용한 영상 획득 방법
CN111308682B (zh) 基于结构光照明的超分辨重构方法
Seo et al. Multi-color LUCAS: Lensfree on-chip cytometry using tunable monochromatic illumination and digital noise reduction
JP2013524246A (ja) 波長可変レーザ・ベースの赤外線撮像システム及びその使用方法
CN108982456A (zh) 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
CN112882246B (zh) 一种基于滤波非相干光场强度高阶自相关的超分辨成像系统及方法
CN109884052B (zh) 基于ccd探测的减法式谐波显微成像方法
CN116612051B (zh) 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统
CN109557070B (zh) 一种基于空间编码光的拉曼成像系统
CN114813643A (zh) 一种基于预置散射介质的穿散射介质关联成像方法及系统
ZUO et al. Resolution, super-resolution and spatial bandwidth product expansion——some thoughts from the perspective of computational optical imaging
CN110989155B (zh) 一种基于滤光片阵列的无透镜显微成像装置及重构方法
Wu et al. Blind deep-learning based preprocessing method for Fourier ptychographic microscopy
CN114965365B (zh) 可用于活体细胞实时检测的干涉定量相位显微成像系统
CN110161667A (zh) 一种基于压缩感知超分辨显微成像方法
CN115963092A (zh) 基于浊度补偿和散射宽度估计的自适应瑞利散射处理方法
CN110716211A (zh) 一种迭代滤波关联成像方法
CN115452743A (zh) 基于部分相干发光二极管照明的无透镜单帧相位恢复方法
CN114067012B (zh) 基于条带强度估计的线性结构光层析方法、系统及装置
CN114004904A (zh) 一种基于虚拟HiLo算法的宽场光学切片快速成像方法
Biggs et al. Subpixel deconvolution of 3D optical microscope imagery
CN116819751A (zh) 一种基于差分的白光无透镜单帧弱共轭重构方法
Huo et al. Enhanced plasmonic scattering imaging via deep learning–based super-resolution reconstruction for exosome imaging
Hui et al. Deep Learning-Enabled Transformation of Scanning Superlens Microscopy Images into Scanning Electron Microscopy-like Large Depth-of-Field Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant