CN109636733B - 基于深度神经网络的荧光图像解卷积方法及系统 - Google Patents

基于深度神经网络的荧光图像解卷积方法及系统 Download PDF

Info

Publication number
CN109636733B
CN109636733B CN201811258886.4A CN201811258886A CN109636733B CN 109636733 B CN109636733 B CN 109636733B CN 201811258886 A CN201811258886 A CN 201811258886A CN 109636733 B CN109636733 B CN 109636733B
Authority
CN
China
Prior art keywords
image
sub
frame
deconvolution
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811258886.4A
Other languages
English (en)
Other versions
CN109636733A (zh
Inventor
谭山
刘嘉浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811258886.4A priority Critical patent/CN109636733B/zh
Publication of CN109636733A publication Critical patent/CN109636733A/zh
Application granted granted Critical
Publication of CN109636733B publication Critical patent/CN109636733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明公开了一种基于深度神经网络的荧光图像解卷积方法及系统，该方法的实现包括：获取快速连续曝光的荧光显微镜的原始图像，并进行预处理后，得到多帧荧光图像在时间轴上的冗余程度，根据冗余程度与预设阈值的关系，选择采用单帧荧光图像解卷积策略或者多帧荧光图像解卷积策略，建立解卷积的能量泛函，并将能量泛函的优化分割为几个子问题；对于去模糊子问题，使用傅里叶变换求解，对于去噪子问题，先进行方差稳定变换，然后由去噪神经网络进行去噪处理，再使用方差稳定变换的反变换还原图像，两个子问题交替迭代。通过本发明将去噪神经网络引入到解卷积过程中，而非手工设计正则项，这样的做法可以复原出更清晰的荧光图像。

Description

基于深度神经网络的荧光图像解卷积方法及系统
技术领域
本发明属于荧光显微成像，数字图像处理及人工智能等相关技术领域，更具体地，涉及一种使用深度人工神经网络，帧对齐合并技术和方差稳定变换的对荧光显微成像观测结果进行图像复原的方法及系统。
背景技术
随着荧光蛋白的发现，荧光显微成像已经成为观察活细胞生命活动的重要方法。荧光显微成像中的曝光过程会不可避免的对生物样本产生光毒性和光漂白，损害生物样本的活性。为了保持生物样本活性，需要减少曝光时间和荧光剂量，这导致了观测到的荧光显微图像信噪比很低。同时，观测图像存在由阿贝尔衍射极限造成的模糊和由于生物样本运动造成的模糊。解卷积方法可以从含模糊和含噪声的退化图像中复原出较清晰，较干净的荧光图像，但已有的荧光显微图像解卷积方法，如Richardson-Lucy，Total variation，Hessian解卷积方法等只利用一帧图像进行解卷积，且大多使用手工设计的正则项，复原效果很差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度神经网络的荧光显微图像解卷积方法及系统，由此解决现有解卷积方式对的模糊荧光图像复原效果较差的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度神经网络的荧光显微图像解卷积方法，包括：
对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
若所述冗余程度不小于预设阈值，则对于每一帧目标荧光显微图像
Figure BDA0001843429340000022
将
Figure BDA0001843429340000023
作为参考帧，将
Figure BDA0001843429340000024
的相邻帧对齐并合并到参考帧
Figure BDA0001843429340000025
上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
若所述冗余程度小于所述预设阈值，则将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
优选地，所述冗余程度为：
Figure BDA0001843429340000021
其中，||·||F为矩阵的Frobenius范数，N为每帧目标荧光显微图像包含的像素个数，ε为防止数值不稳定的小量，Redundancy表示冗余程度，n表示使用的目标荧光显微图像的帧数，gi表示第i帧目标荧光显微图像，gi+1表示第i+1帧目标荧光显微图像。
优选地，所述将
Figure BDA0001843429340000026
的相邻帧对齐并合并到参考帧
Figure BDA0001843429340000027
上，包括：
对于参考帧
Figure BDA0001843429340000028
上位置为(x0,y0)的每一个像素
Figure BDA0001843429340000029
以
Figure BDA00018434293400000210
为中心选取尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹从而将
Figure BDA00018434293400000211
的相邻帧合并到参考帧上，其中，Δx表示所述3维时空连续体在空间x方向上尺寸，Δy表示所述3维时空连续体在空间y方向上尺寸，Δt表示所述3维时空连续体在时间t方向上尺寸。
优选地，所述在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，包括：
通过最小化目标函数实现在所述3维时空连续体中的每一帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置，其中，所述目标函数为：
Figure BDA0001843429340000031
其中，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)为坐标位置，S(Patch(x0,y0,t0),Patch(x,y,t))表示Patch(x0,y0,t0)与Patch(x,y,t)之间的相似程度。
优选地，所述能量泛函为：
Figure BDA0001843429340000032
其中，
Figure BDA0001843429340000033
为待学习的正则项，
Figure BDA0001843429340000035
为根据参考帧
Figure BDA0001843429340000036
对齐的相邻帧，λ表示正则项系数，h为模糊核，
Figure BDA0001843429340000037
为期望图像，取Δt为零时为使用单帧图像进行参考帧图像的解卷积，取h为1时为不考虑模糊核的纯去噪问题。
优选地，所述将所述能量泛函的优化分割为若干个子问题，包括：
将所述能量泛函分割为如下的子问题：
Figure BDA0001843429340000034
其中，h为模糊核，μ为引入的参数，f为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中求解第一个子问题得到的中间变量，zk+1为第k+1次迭代中求解第二个子问题得到的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中求解第二个子问题得到的中间变量，σ为可调参数，gi表示第i帧目标荧光显微图像。
优选地，所述使用快速傅里叶变换求解分割后的去模糊子问题，包括：
由求解公式
Figure BDA0001843429340000041
求解分割后的去模糊子问题，其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*表示取共轭运算。
优选地，所述对去模糊后的图像进行方差稳定变换以稳定噪声方差，包括：由
Figure BDA0001843429340000042
对去模糊后的图像进行方差稳定变换以稳定噪声方差，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT()为方差稳定变换，f(x)为去模糊后的图像。
优选地，所述目标神经网络为由若干个残差模块串联的全卷积网络，且所述目标神经网络的前向网络结构为：
Figure BDA0001843429340000044
所述将经方差稳定变换后的图像输入到目标神经网络中去噪，包括：由zk+1＝DenoiseNet(fk+1；σ)对经方差稳定变换后的图像进行去噪，其中，DenoiseNet为前向去噪深度经网络，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数，n为串联的残差块的个数。
优选地，所述使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像，包括：
由
Figure BDA0001843429340000043
还原经所述目标神经网络去噪后的图像，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT-1()为方差稳定变换的反变换，f(x)为经所述目标神经网络去噪后的图像。
按照本发明的另一方面，提供了一种基于深度神经网络的荧光显微图像解卷积系统，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像
Figure BDA0001843429340000051
将
Figure BDA0001843429340000052
作为参考帧，将
Figure BDA0001843429340000053
的相邻帧对齐并合并到参考帧
Figure BDA0001843429340000054
上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明根据采集的成像结果自适应的确定了条件下的荧光显微镜解卷积策略，在解卷积算法中使用了人工神经网络，能够有效去除成像过程中存在的图像噪声及离焦背景造成的伪影，并能从被阿贝尔衍射极限模糊的图像中复原出清晰的图像，通过对生物样本进行运动估计，从而使用多帧图像完成指定帧图像的解卷积，避免了运动模糊，并进一步增加了算法的去噪效果。
附图说明
图1是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的流程示意图；
图2是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
快速曝光的荧光图像包含大量的冗余信息，即沿着时间轴相邻的帧上的图像是相似的。本发明利用这些冗余信息达到了更好的降噪效果。随着人工智能技术的发展，人工神经网络越来越多的作用于实际应用中。本发明将去噪神经网络引入到对齐合并帧和解卷积过程中，而非手工设计正则项，这样的做法可以复原出更为清晰，干净的荧光图像。
本发明提供了基于人工神经网络，帧对齐合并技术和广义Anscombe变换的荧光显微图像复原(即解卷积)方法，可以在荧光显微镜的成像结果信噪比降低时，复原出基本无噪声，无伪影的清晰荧光显微图像，并一定程度上克服阿贝尔衍射极限的影响。
图1是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的流程示意图，包括以下步骤：
(1)获取快速连续曝光的荧光显微镜的原始图像，并进行预处理；
其中，本发明实施例所述的预处理包括去除背景并做归一化处理。
(2)计算步骤(1)中采集到的多帧荧光图像在时间轴上的冗余程度Redundancy；
(3)如果冗余程度Redundancy小于阈值τ，采用单帧荧光图像解卷积策略，跳转至步骤(5)；否则使用多帧荧光图像解卷积策略，执行步骤(4)；
(4)对于步骤(1)中得到的多帧荧光图像的每一帧
Figure BDA0001843429340000073
选其为参考帧，将其相邻帧gt:t0-Δt≤t≤t0+Δt对齐并合并到参考帧
Figure BDA0001843429340000074
上；
(5)对于步骤(1)中采集到的荧光图像或步骤(4)对齐后的荧光图像，将其作为污染后的图像，建立解卷积的能量泛函，并使用优化算法如交替方向乘子法，半平方法等将能量泛函的优化分割为几个子问题；
(6)对于去模糊子问题，使用傅里叶变换求解；
(7)使用广义Anscombe变换处理步骤(6)得到的图像，从而稳定噪声方差；
(8)训练去噪深度神经网络，并将(7)得到的图像输入到训练好的网络中去噪；
(9)使用广义Anscombe变换的反变换还原(8)得到的图像；
(10)判断是否达到迭代终止条件：如果已达到终止条件，输出(9)的结果作为最终处理结果，否则回到步骤(6)继续迭代。
在本发明实施例中，步骤(1)中使用快速连续曝光的方法通过荧光显微镜采集原始图像，这样做成像速度快，运动模糊少，时间分辨率高，可以长时间保持生物样本的活性；但是因为曝光时间的减少，采集到的原始图像yi的信噪比会急剧降低；荧光图像gi去除相机背景和归一化预处理如下：
Figure BDA0001843429340000071
步骤(2)中的冗余程度使用了以下定义：
Figure BDA0001843429340000072
其中||·||F为矩阵的Frobenius范数，N为每帧荧光显微图像包含的像素个数，ε为防止数值不稳定的小量。Redundancy的值大，说明荧光图像两帧之间相似，时间轴上的冗余性高，适合采用多帧荧光图像解卷积策略；反之说明荧光图像两帧之间变化较大，生物样本变换较大，适合采用单帧荧光图像解卷积策略。
步骤(3)中τ为设计好的阈值，可以根据实际需要确定，用于自适应地通过步骤(2)算出的冗余程度决定解卷积策略：如果τ<Redundancy，采用单帧荧光图像解卷积策略，如果τ>Redundancy，采用多帧荧光图像解卷积策略。
步骤(4)中将相邻帧对齐到参考帧的方法为：对于参考帧
Figure BDA0001843429340000084
上位置为(x0,y0)的每一个元素
Figure BDA0001843429340000083
以其为中心存在一个尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，为了将相邻帧合并到参考帧上，需要在时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，这通过计算块Patch(x,y,t)之间的相似程度来实现：通过最小化如下式(3)的目标函数可以在与参考帧相邻的帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置：
Figure BDA0001843429340000081
其中S有如下定义：
Figure BDA0001843429340000082
其中，t′代表着第t帧与第t0帧之间靠近第t帧的一帧，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)表示待优化的目标函数中的自变量，物理意义为坐标位置，λ1表示目标函数第一项的权重，λ2表示目标函数第二项的权重，Patch(xt′,yt′,t′)表示第t′帧图像上以(xt′,yt′)为中心点的二维块。
经过这一步后，参考帧中的每一像素在相邻帧上的运动估计均已被找到。将点(xt-Δt,yt-Δt,t-Δt)～(xt+Δt,yt+Δt,t+Δt)串联在一起可以得到参考帧
Figure BDA0001843429340000093
中位置为(x0,y0)的像素在相邻帧gt:t0-Δt≤t≤t0+Δt上的运动轨迹，这个轨迹蕴含着时间轴上的冗余信息，将被应用到步骤(5)～(10)的解卷积过程中。
步骤(5)中的能量泛函如下：为了使用多帧荧光图像zt:t0-Δt≤t≤t0+Δt复原出第t0帧图像
Figure BDA0001843429340000094
建立的能量泛函为：
Figure BDA0001843429340000091
其中，
Figure BDA0001843429340000095
为待学习的正则，
Figure BDA0001843429340000096
为根据参考帧g0对齐的相邻帧，
Figure BDA0001843429340000097
为期望图像，f为优化目标函数内的变量。如果使用单帧而非多帧荧光图像复原期望帧图像，可以认为Δt为零。使用半平方法写出交替迭代过程：
Figure BDA0001843429340000092
其中，h为模糊核，μ为引入的参数(增广拉格朗日乘子)，f为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中第一个子问题求得的中间变量，zk+1为第k+1次迭代中第二个子问题求得的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中第二个子问题已求出的中间变量，σ为可调参数，控制优化问题中第二个子问题的高斯去噪的标准差。
步骤(6)中的利用快速傅里叶变换去模糊的解析式如下：
Figure BDA0001843429340000101
其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*为取共轭。
步骤(7)中的广义Anscombe变换是一种噪声方差稳定变换，可以将泊松-高斯混合噪声稳定为方差为1的高斯噪声，所用的其变换式为：
Figure BDA0001843429340000102
其中，α为泊松增益，α为零意味着观测数据以高斯噪声为主，无需使用变换；σ为高斯噪声强度；g为高斯噪声均值。
步骤(8)中的神经网络为全卷积神经网络，将网络的前向结构用公式表示如下：
Figure BDA0001843429340000103
其中，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用了前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数。用神经网络求解子问题的解析表示如下：
zk+1＝DenoiseNet(fk+1；σ) (10)
其中，DenoiseNet为前向去噪深度神经网络。
步骤(9)中的反变换解析式如下：
Figure BDA0001843429340000104
步骤(10)中的迭代停止条件设计为在指定迭代次数Niter达到后停止。
在本发明的另一个实施例中，还提供了一种基于深度神经网络的荧光显微图像解卷积系统，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像
Figure BDA0001843429340000113
将
Figure BDA0001843429340000114
作为参考帧，将
Figure BDA0001843429340000115
的相邻帧对齐并合并到参考帧
Figure BDA0001843429340000116
上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
在本发明实施例中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例不做复述。
下面结合附图2，对本发明提出的一种基于深度神经网络的荧光显微图像解卷积方法进行详细说明。
1)使用相机在荧光显微镜上快速连续采集(曝光)原始图像gi并进行数据预处理：
Figure BDA0001843429340000111
2)计算采集到的多帧荧光图像在时间轴上的冗余程度redundancy：
Figure BDA0001843429340000112
3)如果2)计算的redundancy小于阈值τ，则跳转至步骤5)；否则执行步骤4)；
4)对于步骤2)中得到的多帧荧光图像的每一帧或某指定帧
Figure BDA0001843429340000126
选其为参考帧；对于参考帧
Figure BDA0001843429340000127
上位置为(x0,y0)的元素
Figure BDA0001843429340000128
以其为中心得到一个尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，为了将相邻帧合并到参考帧上，需要在时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，这通过计算尺寸为k×k的块Patch(x,y,t)之间的相似程度来实现：通过最小化如下的目标函数：
Figure BDA0001843429340000121
其中，
Figure BDA0001843429340000122
即可得到点(x0,y0)在相邻帧上的运动轨迹(xt,yt,t):t0-Δt≤t≤t0+Δt。
5)对于步骤1)采集到的或步骤4)对齐后的污染的荧光图像，建立如下能量泛函：
Figure BDA0001843429340000123
使用优化算法分割为几个子问题：
Figure BDA0001843429340000124
6)使用傅里叶变换快速求解对于去模糊子问题：
Figure BDA0001843429340000125
7)使用如下广义Anscombe变换处理步骤6)得到的图像：
Figure BDA0001843429340000131
8)将7)得到的图像输入到训练好的深度去噪网络中：
zk+1＝DenoiseNet(fk+1；σ)(20)
9)使用如下广义Anscombe变换的反变换还原8)得到的图像：
Figure BDA0001843429340000132
10)如果已达到迭代次数，输出9)的结果作为该发明的处理结果，否则回到步骤6)继续迭代。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度神经网络的荧光显微图像解卷积方法，其特征在于，包括：
对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
若所述冗余程度不小于预设阈值，则对于每一帧目标荧光显微图像
Figure FDA0002511920060000011
将
Figure FDA0002511920060000012
作为参考帧，将
Figure FDA0002511920060000013
的相邻帧对齐并合并到参考帧
Figure FDA0002511920060000014
上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
若所述冗余程度小于所述预设阈值，则将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像；
所述将
Figure FDA0002511920060000015
的相邻帧对齐并合并到参考帧
Figure FDA0002511920060000016
上，包括：
对于参考帧
Figure FDA0002511920060000017
上位置为(x0,y0)的每一个像素
Figure FDA0002511920060000018
以
Figure FDA0002511920060000019
为中心选取尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹从而将
Figure FDA0002511920060000021
的相邻帧合并到参考帧上，其中，Δx表示所述3维时空连续体在空间x方向上尺寸，Δy表示所述3维时空连续体在空间y方向上尺寸，Δt表示所述3维时空连续体在时间t方向上尺寸；
所述能量泛函为：
Figure FDA0002511920060000022
其中，Jreg(·)为待学习的正则项，
Figure FDA0002511920060000023
为根据参考帧
Figure FDA0002511920060000024
对齐的相邻帧，λ表示正则项系数，h为模糊核，
Figure FDA0002511920060000025
为期望图像，取Δt为零时为使用单帧图像进行参考帧图像的解卷积，取h为1时为不考虑模糊核的纯去噪问题；f为待优化能量泛函中的变量。
2.根据权利要求1所述的方法，其特征在于，所述在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，包括：
通过最小化目标函数实现在所述3维时空连续体中的每一帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置，其中，所述目标函数为：
Figure FDA0002511920060000026
其中，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)为待优化目标函数中的变量，物理意义为坐标位置，S(Patch(x0,y0,t0),Patch(x,y,t))表示Patch(x0,y0,t0)与Patch(x,y,t)之间的相似程度。
3.根据权利要求1所述的方法，其特征在于，所述将所述能量泛函的优化分割为若干个子问题，包括：
将所述能量泛函分割为如下的子问题：
Figure FDA0002511920060000031
其中，μ为引入的参数，f′为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中求解第一个子问题得到的中间变量，zk+1为第k+1次迭代中求解第二个子问题得到的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中求解第二个子问题得到的中间变量，σ′为可调参数，控制优化问题中第二个子问题的高斯去噪的标准差，gi表示第i帧目标荧光显微图像。
4.根据权利要求3所述的方法，其特征在于，所述使用快速傅里叶变换求解分割后的去模糊子问题，包括：
由求解公式
Figure FDA0002511920060000032
求解分割后的去模糊子问题，其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*表示取共轭运算。
5.根据权利要求4所述的方法，其特征在于，所述对去模糊后的图像进行方差稳定变换以稳定噪声方差，包括：由
Figure FDA0002511920060000033
Figure FDA0002511920060000034
对去模糊后的图像进行方差稳定变换以稳定噪声方差，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT()为方差稳定变换，f1(x)为去模糊后的图像。
6.根据权利要求5所述的方法，其特征在于，所述目标神经网络为由若干个残差模块串联的全卷积网络，且所述目标神经网络的前向网络结构为：
Figure FDA0002511920060000041
所述将经方差稳定变换后的图像输入到目标神经网络中去噪，包括：由zk+1＝DenoiseNet(fk+1,σ*)对经方差稳定变换后的图像进行去噪，其中，DenoiseNet为前向去噪深度经网络，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数，n为串联的残差块的个数。
7.根据权利要求5所述的方法，其特征在于，所述使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像，包括：
由
Figure FDA0002511920060000042
还原经所述目标神经网络去噪后的图像，其中，GAT-1()为方差稳定变换的反变换，f2(x)为经所述目标神经网络去噪后的图像。
8.一种基于深度神经网络的荧光显微图像解卷积系统，其特征在于，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像
Figure FDA0002511920060000043
将
Figure FDA0002511920060000044
作为参考帧，将
Figure FDA0002511920060000045
的相邻帧对齐并合并到参考帧
Figure FDA0002511920060000046
上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像；
所述将
Figure FDA0002511920060000051
的相邻帧对齐并合并到参考帧
Figure FDA0002511920060000052
上，包括：
对于参考帧
Figure FDA0002511920060000053
上位置为(x0,y0)的每一个像素
Figure FDA0002511920060000054
以
Figure FDA0002511920060000055
为中心选取尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹从而将
Figure FDA0002511920060000056
的相邻帧合并到参考帧上，其中，Δx表示所述3维时空连续体在空间x方向上尺寸，Δy表示所述3维时空连续体在空间y方向上尺寸，Δt表示所述3维时空连续体在时间t方向上尺寸；
所述能量泛函为：
Figure FDA0002511920060000057
其中，Jreg(·)为待学习的正则项，
Figure FDA0002511920060000058
为根据参考帧
Figure FDA0002511920060000059
对齐的相邻帧，λ表示正则项系数，h为模糊核，
Figure FDA00025119200600000510
为期望图像，取Δt为零时为使用单帧图像进行参考帧图像的解卷积，取h为1时为不考虑模糊核的纯去噪问题；f为待优化目标函数中的自变量。
CN201811258886.4A 2018-10-26 2018-10-26 基于深度神经网络的荧光图像解卷积方法及系统 Active CN109636733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811258886.4A CN109636733B (zh) 2018-10-26 2018-10-26 基于深度神经网络的荧光图像解卷积方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811258886.4A CN109636733B (zh) 2018-10-26 2018-10-26 基于深度神经网络的荧光图像解卷积方法及系统

Publications (2)

Publication Number Publication Date
CN109636733A CN109636733A (zh) 2019-04-16
CN109636733B true CN109636733B (zh) 2020-07-24

Family

ID=66066719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811258886.4A Active CN109636733B (zh) 2018-10-26 2018-10-26 基于深度神经网络的荧光图像解卷积方法及系统

Country Status (1)

Country Link
CN (1) CN109636733B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675333B (zh) * 2019-08-26 2023-04-07 山东大学 一种基于神经网络超分辨率技术的显微成像处理方法
CN111311522B (zh) * 2020-03-26 2023-08-08 重庆大学 基于神经网络的双光子荧光显微图像复原方法、存储介质
CN111812106B (zh) * 2020-09-15 2020-12-08 沈阳风驰软件股份有限公司 一种无线耳机外观面溢胶检测方法和检测系统
US11798139B2 (en) * 2020-11-17 2023-10-24 GM Global Technology Operations LLC Noise-adaptive non-blind image deblurring
CN113222117B (zh) * 2021-05-17 2022-06-21 浙江大学 基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法
CN116543373B (zh) * 2023-04-14 2024-05-28 北京嘉沐安科技有限公司 基于区块链的直播视频大数据智能分析和优化方法及系统
CN116467946B (zh) * 2023-04-21 2023-10-27 南京信息工程大学 一种基于深度学习的模式预报产品降尺度方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN106097267A (zh) * 2016-06-08 2016-11-09 浙江传媒学院 一种基于傅里叶变换的图像去模糊方法
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN107292838A (zh) * 2017-06-07 2017-10-24 汕头大学 基于模糊区域分割的图像去模糊方法
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9299132B2 (en) * 2013-10-23 2016-03-29 Adobe Systems Incorporated Automatically determining the size of a blur kernel
CN108198151B (zh) * 2018-02-06 2022-02-11 东南大学 一种基于改进rl反卷积算法的星图去模糊方法
CN108492249B (zh) * 2018-02-08 2020-05-12 浙江大学 基于小卷积递归神经网络的单帧超分辨重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN106097267A (zh) * 2016-06-08 2016-11-09 浙江传媒学院 一种基于傅里叶变换的图像去模糊方法
CN106251303A (zh) * 2016-07-28 2016-12-21 同济大学 一种使用深度全卷积编码‑解码网络的图像降噪方法
CN107292838A (zh) * 2017-06-07 2017-10-24 汕头大学 基于模糊区域分割的图像去模糊方法
CN108416752A (zh) * 2018-03-12 2018-08-17 中山大学 一种基于生成式对抗网络进行图像去运动模糊的方法

Also Published As

Publication number Publication date
CN109636733A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109636733B (zh) 基于深度神经网络的荧光图像解卷积方法及系统
Li et al. Blind image deblurring via deep discriminative priors
CN109389552B (zh) 一种基于上下文相关多任务深度学习的图像超分辨算法
Kenig et al. Blind image deconvolution using machine learning for three-dimensional microscopy
WO2018045602A1 (zh) 一种基于深度学习的模糊核尺寸估计方法与系统
CN102326379B (zh) 从图像中去除模糊的方法
CN114757832B (zh) 基于交叉卷积注意力对抗学习的人脸超分辨方法和装置
CN110313016B (zh) 一种基于稀疏正源分离模型的图像去模糊算法
Goncharova et al. Improving blind spot denoising for microscopy
EP2916537B1 (en) Image processing device
WO2014074138A1 (en) Globally dominant point spread function estimation
Min et al. Blind deblurring via a novel recursive deep CNN improved by wavelet transform
CN114723630A (zh) 基于空洞双残差多尺度深度网络的图像去模糊方法及系统
Vono et al. Bayesian image restoration under Poisson noise and log-concave prior
Kong et al. Image reconstruction with predictive filter flow
CN108122262B (zh) 基于主结构分离的稀疏表示单帧图像超分辨率重建算法
CN110930324A (zh) 一种模糊星图复原方法
CN115018725A (zh) 一种基于块最小像素先验的衍射图像复原方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN112801899B (zh) 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置
Nguyen et al. Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles
Wang et al. RT-Deblur: Real-time image deblurring for object detection
Chua et al. Enhanced image super-resolution technique using convolutional neural network
US20230394632A1 (en) Method and image processing device for improving signal-to-noise ratio of image frame sequences
Han et al. MPDNet: An underwater image deblurring framework with stepwise feature refinement module

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant