CN109636733A - 基于深度神经网络的荧光图像解卷积方法及系统 - Google Patents
基于深度神经网络的荧光图像解卷积方法及系统 Download PDFInfo
- Publication number
- CN109636733A CN109636733A CN201811258886.4A CN201811258886A CN109636733A CN 109636733 A CN109636733 A CN 109636733A CN 201811258886 A CN201811258886 A CN 201811258886A CN 109636733 A CN109636733 A CN 109636733A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- frame
- neural network
- deconvolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000009466 transformation Effects 0.000 claims abstract description 44
- 230000000087 stabilizing effect Effects 0.000 claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000002073 fluorescence micrograph Methods 0.000 claims description 22
- 238000005457 optimization Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 claims description 2
- 238000011105 stabilization Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 5
- 239000012472 biological sample Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000000799 fluorescence microscopy Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000035899 viability Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度神经网络的荧光图像解卷积方法及系统，该方法的实现包括：获取快速连续曝光的荧光显微镜的原始图像，并进行预处理后，得到多帧荧光图像在时间轴上的冗余程度，根据冗余程度与预设阈值的关系，选择采用单帧荧光图像解卷积策略或者多帧荧光图像解卷积策略，建立解卷积的能量泛函，并将能量泛函的优化分割为几个子问题；对于去模糊子问题，使用傅里叶变换求解，对于去噪子问题，先进行方差稳定变换，然后由去噪神经网络进行去噪处理，再使用方差稳定变换的反变换还原图像，两个子问题交替迭代。通过本发明将去噪神经网络引入到解卷积过程中，而非手工设计正则项，这样的做法可以复原出更清晰的荧光图像。
Description
技术领域
本发明属于荧光显微成像，数字图像处理及人工智能等相关技术领域，更具体地，涉及一种使用深度人工神经网络，帧对齐合并技术和方差稳定变换的对荧光显微成像观测结果进行图像复原的方法及系统。
背景技术
随着荧光蛋白的发现，荧光显微成像已经成为观察活细胞生命活动的重要方法。荧光显微成像中的曝光过程会不可避免的对生物样本产生光毒性和光漂白，损害生物样本的活性。为了保持生物样本活性，需要减少曝光时间和荧光剂量，这导致了观测到的荧光显微图像信噪比很低。同时，观测图像存在由阿贝尔衍射极限造成的模糊和由于生物样本运动造成的模糊。解卷积方法可以从含模糊和含噪声的退化图像中复原出较清晰，较干净的荧光图像，但已有的荧光显微图像解卷积方法，如Richardson-Lucy，Total variation，Hessian解卷积方法等只利用一帧图像进行解卷积，且大多使用手工设计的正则项，复原效果很差。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度神经网络的荧光显微图像解卷积方法及系统，由此解决现有解卷积方式对的模糊荧光图像复原效果较差的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度神经网络的荧光显微图像解卷积方法，包括：
对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
若所述冗余程度不小于预设阈值，则对于每一帧目标荧光显微图像将作为参考帧，将的相邻帧对齐并合并到参考帧上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
若所述冗余程度小于所述预设阈值，则将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
优选地，所述冗余程度为：其中，||·||F为矩阵的Frobenius范数，N为每帧目标荧光显微图像包含的像素个数，ε为防止数值不稳定的小量，Redundancy表示冗余程度，n表示使用的目标荧光显微图像的帧数，gi表示第i帧目标荧光显微图像，gi+1表示第i+1帧目标荧光显微图像。
优选地，所述将的相邻帧对齐并合并到参考帧上，包括：
对于参考帧上位置为(x0,y0)的每一个像素以为中心选取尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹从而将的相邻帧合并到参考帧上，其中，Δx表示所述3维时空连续体在空间x方向上尺寸，Δy表示所述3维时空连续体在空间y方向上尺寸，Δt表示所述3维时空连续体在时间t方向上尺寸。
优选地，所述在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，包括：
通过最小化目标函数实现在所述3维时空连续体中的每一帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置，其中，所述目标函数为：其中，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)为坐标位置，S(Patch(x0,y0,t0),Patch(x,y,t))表示Patch(x0,y0,t0)与Patch(x,y,t)之间的相似程度。
优选地，所述能量泛函为：其中，为待学习的正则项，为根据参考帧对齐的相邻帧，λ表示正则项系数，h为模糊核，为期望图像，取Δt为零时为使用单帧图像进行参考帧图像的解卷积，取h为1时为不考虑模糊核的纯去噪问题。
优选地，所述将所述能量泛函的优化分割为若干个子问题，包括：
将所述能量泛函分割为如下的子问题：其中，h为模糊核，μ为引入的参数，f为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中求解第一个子问题得到的中间变量，zk+1为第k+1次迭代中求解第二个子问题得到的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中求解第二个子问题得到的中间变量，σ为可调参数，gi表示第i帧目标荧光显微图像。
优选地，所述使用快速傅里叶变换求解分割后的去模糊子问题，包括：
由求解公式求解分割后的去模糊子问题，其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*表示取共轭运算。
优选地，所述对去模糊后的图像进行方差稳定变换以稳定噪声方差，包括：由对去模糊后的图像进行方差稳定变换以稳定噪声方差，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT()为方差稳定变换，f(x)为去模糊后的图像。
优选地，所述目标神经网络为由若干个残差模块串联的全卷积网络，且所述目标神经网络的前向网络结构为：
所述将经方差稳定变换后的图像输入到目标神经网络中去噪，包括：由zk+1＝DenoiseNet(fk+1；σ)对经方差稳定变换后的图像进行去噪，其中，DenoiseNet为前向去噪深度经网络，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数，n为串联的残差块的个数。
优选地，所述使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像，包括：
由还原经所述目标神经网络去噪后的图像，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT-1()为方差稳定变换的反变换，f(x)为经所述目标神经网络去噪后的图像。
按照本发明的另一方面，提供了一种基于深度神经网络的荧光显微图像解卷积系统，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像将作为参考帧，将的相邻帧对齐并合并到参考帧上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：本发明根据采集的成像结果自适应的确定了条件下的荧光显微镜解卷积策略，在解卷积算法中使用了人工神经网络，能够有效去除成像过程中存在的图像噪声及离焦背景造成的伪影，并能从被阿贝尔衍射极限模糊的图像中复原出清晰的图像，通过对生物样本进行运动估计，从而使用多帧图像完成指定帧图像的解卷积，避免了运动模糊，并进一步增加了算法的去噪效果。
附图说明
图1是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的流程示意图；
图2是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
快速曝光的荧光图像包含大量的冗余信息，即沿着时间轴相邻的帧上的图像是相似的。本发明利用这些冗余信息达到了更好的降噪效果。随着人工智能技术的发展，人工神经网络越来越多的作用于实际应用中。本发明将去噪神经网络引入到对齐合并帧和解卷积过程中，而非手工设计正则项，这样的做法可以复原出更为清晰，干净的荧光图像。
本发明提供了基于人工神经网络，帧对齐合并技术和广义Anscombe变换的荧光显微图像复原(即解卷积)方法，可以在荧光显微镜的成像结果信噪比降低时，复原出基本无噪声，无伪影的清晰荧光显微图像，并一定程度上克服阿贝尔衍射极限的影响。
图1是本发明实施例提供的一种基于深度神经网络的荧光显微图像解卷积方法的流程示意图，包括以下步骤：
(1)获取快速连续曝光的荧光显微镜的原始图像，并进行预处理；
其中，本发明实施例所述的预处理包括去除背景并做归一化处理。
(2)计算步骤(1)中采集到的多帧荧光图像在时间轴上的冗余程度Redundancy；
(3)如果冗余程度Redundancy小于阈值τ，采用单帧荧光图像解卷积策略，跳转至步骤(5)；否则使用多帧荧光图像解卷积策略，执行步骤(4)；
(4)对于步骤(1)中得到的多帧荧光图像的每一帧选其为参考帧，将其相邻帧gt:t0-Δt≤t≤t0+Δt对齐并合并到参考帧上；
(5)对于步骤(1)中采集到的荧光图像或步骤(4)对齐后的荧光图像，将其作为污染后的图像，建立解卷积的能量泛函，并使用优化算法如交替方向乘子法，半平方法等将能量泛函的优化分割为几个子问题；
(6)对于去模糊子问题，使用傅里叶变换求解；
(7)使用广义Anscombe变换处理步骤(6)得到的图像，从而稳定噪声方差；
(8)训练去噪深度神经网络，并将(7)得到的图像输入到训练好的网络中去噪；
(9)使用广义Anscombe变换的反变换还原(8)得到的图像；
(10)判断是否达到迭代终止条件：如果已达到终止条件，输出(9)的结果作为最终处理结果，否则回到步骤(6)继续迭代。
在本发明实施例中，步骤(1)中使用快速连续曝光的方法通过荧光显微镜采集原始图像，这样做成像速度快，运动模糊少，时间分辨率高，可以长时间保持生物样本的活性；但是因为曝光时间的减少，采集到的原始图像yi的信噪比会急剧降低；荧光图像gi去除相机背景和归一化预处理如下：
步骤(2)中的冗余程度使用了以下定义：
其中||·||F为矩阵的Frobenius范数，N为每帧荧光显微图像包含的像素个数，ε为防止数值不稳定的小量。Redundancy的值大，说明荧光图像两帧之间相似，时间轴上的冗余性高，适合采用多帧荧光图像解卷积策略；反之说明荧光图像两帧之间变化较大，生物样本变换较大，适合采用单帧荧光图像解卷积策略。
步骤(3)中τ为设计好的阈值，可以根据实际需要确定，用于自适应地通过步骤(2)算出的冗余程度决定解卷积策略：如果τ<Redundancy，采用单帧荧光图像解卷积策略，如果τ>Redundancy，采用多帧荧光图像解卷积策略。
步骤(4)中将相邻帧对齐到参考帧的方法为：对于参考帧上位置为(x0,y0)的每一个元素以其为中心存在一个尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，为了将相邻帧合并到参考帧上，需要在时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，这通过计算块Patch(x,y,t)之间的相似程度来实现：通过最小化如下式(3)的目标函数可以在与参考帧相邻的帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置：
其中S有如下定义：
其中，t′代表着第t帧与第t0帧之间靠近第t帧的一帧，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)表示待优化的目标函数中的自变量，物理意义为坐标位置，λ1表示目标函数第一项的权重，λ2表示目标函数第二项的权重，Patch(xt′,yt′,t′)表示第t′帧图像上以(xt′,yt′)为中心点的二维块。
经过这一步后，参考帧中的每一像素在相邻帧上的运动估计均已被找到。将点(xt-Δt,yt-Δt,t-Δt)～(xt+Δt,yt+Δt,t+Δt)串联在一起可以得到参考帧中位置为(x0,y0)的像素在相邻帧gt:t0-Δt≤t≤t0+Δt上的运动轨迹，这个轨迹蕴含着时间轴上的冗余信息，将被应用到步骤(5)～(10)的解卷积过程中。
步骤(5)中的能量泛函如下：为了使用多帧荧光图像zt:t0-Δt≤t≤t0+Δt复原出第t0帧图像建立的能量泛函为：
其中，为待学习的正则，为根据参考帧g0对齐的相邻帧，为期望图像，f为优化目标函数内的变量。如果使用单帧而非多帧荧光图像复原期望帧图像，可以认为Δt为零。使用半平方法写出交替迭代过程：
其中，h为模糊核，μ为引入的参数(增广拉格朗日乘子)，f为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中第一个子问题求得的中间变量，zk+1为第k+1次迭代中第二个子问题求得的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中第二个子问题已求出的中间变量，σ为可调参数，控制优化问题中第二个子问题的高斯去噪的标准差。
步骤(6)中的利用快速傅里叶变换去模糊的解析式如下：
其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*为取共轭。
步骤(7)中的广义Anscombe变换是一种噪声方差稳定变换，可以将泊松-高斯混合噪声稳定为方差为1的高斯噪声，所用的其变换式为：
其中，α为泊松增益，α为零意味着观测数据以高斯噪声为主，无需使用变换；σ为高斯噪声强度；g为高斯噪声均值。
步骤(8)中的神经网络为全卷积神经网络，将网络的前向结构用公式表示如下：
其中，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用了前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数。用神经网络求解子问题的解析表示如下：
zk+1＝DenoiseNet(fk+1；σ) (10)
其中，DenoiseNet为前向去噪深度神经网络。
步骤(9)中的反变换解析式如下：
步骤(10)中的迭代停止条件设计为在指定迭代次数Niter达到后停止。
在本发明的另一个实施例中，还提供了一种基于深度神经网络的荧光显微图像解卷积系统，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像将作为参考帧，将的相邻帧对齐并合并到参考帧上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
在本发明实施例中，各模块的具体实施方式可以参考方法实施例的描述，本发明实施例不做复述。
下面结合附图2，对本发明提出的一种基于深度神经网络的荧光显微图像解卷积方法进行详细说明。
1)使用相机在荧光显微镜上快速连续采集(曝光)原始图像gi并进行数据预处理：
2)计算采集到的多帧荧光图像在时间轴上的冗余程度redundancy：
3)如果2)计算的redundancy小于阈值τ，则跳转至步骤5)；否则执行步骤4)；
4)对于步骤2)中得到的多帧荧光图像的每一帧或某指定帧选其为参考帧；对于参考帧上位置为(x0,y0)的元素以其为中心得到一个尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，为了将相邻帧合并到参考帧上，需要在时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，这通过计算尺寸为k×k的块Patch(x,y,t)之间的相似程度来实现：通过最小化如下的目标函数：
其中，
即可得到点(x0,y0)在相邻帧上的运动轨迹(xt,yt,t):t0-Δt≤t≤t0+Δt。
5)对于步骤1)采集到的或步骤4)对齐后的污染的荧光图像，建立如下能量泛函：
使用优化算法分割为几个子问题：
6)使用傅里叶变换快速求解对于去模糊子问题：
7)使用如下广义Anscombe变换处理步骤6)得到的图像：
8)将7)得到的图像输入到训练好的深度去噪网络中：
zk+1＝DenoiseNet(fk+1；σ)(20)
9)使用如下广义Anscombe变换的反变换还原8)得到的图像：
10)如果已达到迭代次数，输出9)的结果作为该发明的处理结果，否则回到步骤6)继续迭代。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度神经网络的荧光显微图像解卷积方法，其特征在于，包括：
对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
若所述冗余程度不小于预设阈值，则对于每一帧目标荧光显微图像将作为参考帧，将的相邻帧对齐并合并到参考帧上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
若所述冗余程度小于所述预设阈值，则将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
2.根据权利要求1所述的方法，其特征在于，所述将的相邻帧对齐并合并到参考帧上，包括：
对于参考帧上位置为(x0,y0)的每一个像素以为中心选取尺寸为(2Δx+1)×(2Δy+1)×(2Δt+1)的3维时空连续体，在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹从而将的相邻帧合并到参考帧上，其中，Δx表示所述3维时空连续体在空间x方向上尺寸，Δy表示所述3维时空连续体在空间y方向上尺寸，Δt表示所述3维时空连续体在时间t方向上尺寸。
3.根据权利要求2所述的方法，其特征在于，所述在所述3维时空连续体中的每一帧上找到点(x0,y0)的运动轨迹，包括：
通过最小化目标函数实现在所述3维时空连续体中的每一帧gt:t0-Δt≤t≤t0+Δt上找到点(x0,y0)的运动轨迹所在位置，其中，所述目标函数为：其中，(xt,yt)表示(x0,y0)在第t帧上对应位置的坐标，Patch(x0,y0,t0)表示第t0帧图像上以(x0,y0)为中心点的二维块，Patch(x,y,t)表示第t帧图像上以(x,y)为中心点的二维块，(x,y)为坐标位置，S(Patch(x0,y0,t0),Patch(x,y,t))表示Patch(x0,y0,t0)与Patch(x,y,t)之间的相似程度。
4.根据权利要求2或3所述的方法，其特征在于，所述能量泛函为：其中，为待学习的正则项，为根据参考帧对齐的相邻帧，λ表示正则项系数，h为模糊核，为期望图像，取Δt为零时为使用单帧图像进行参考帧图像的解卷积，取h为1时为不考虑模糊核的纯去噪问题。
5.根据权利要求4所述的方法，其特征在于，所述将所述能量泛函的优化分割为若干个子问题，包括：
将所述能量泛函分割为如下的子问题：其中，h为模糊核，μ为引入的参数，f为第一个子优化问题目标函数中的变量，fk+1为第k+1次迭代中求解第一个子问题得到的中间变量，zk+1为第k+1次迭代中求解第二个子问题得到的中间变量，z为第二个子优化问题目标函数中的变量，zk为第k次迭代中求解第二个子问题得到的中间变量，σ为可调参数，gi表示第i帧目标荧光显微图像。
6.根据权利要求5所述的方法，其特征在于，所述使用快速傅里叶变换求解分割后的去模糊子问题，包括：
由求解公式求解分割后的去模糊子问题，其中，fft(·)为快速傅里叶变换，ifft(·)为快速傅里叶逆变换，fft(h)*表示取共轭运算。
7.根据权利要求6所述的方法，其特征在于，所述对去模糊后的图像进行方差稳定变换以稳定噪声方差，包括：由对去模糊后的图像进行方差稳定变换以稳定噪声方差，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT()为方差稳定变换，f(x)为去模糊后的图像。
8.根据权利要求7所述的方法，其特征在于，所述目标神经网络为由若干个残差模块串联的全卷积网络，且所述目标神经网络的前向网络结构为：
所述将经方差稳定变换后的图像输入到目标神经网络中去噪，包括：由zk+1＝DenoiseNet(fk+1；σ)对经方差稳定变换后的图像进行去噪，其中，DenoiseNet为前向去噪深度经网络，Input和Output为输入和输出图像，Conv.为卷积层，BN为批标准化，在网络中使用前向跳跃连接传递全局信息，Conv.layer为卷积层，Activation function为激活函数，n为串联的残差块的个数。
9.根据权利要求7所述的方法，其特征在于，所述使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像，包括：
由还原经所述目标神经网络去噪后的图像，其中，α为泊松增益，σ为高斯噪声强度，g为高斯噪声均值，GAT-1()为方差稳定变换的反变换，f(x)为经所述目标神经网络去噪后的图像。
10.一种基于深度神经网络的荧光显微图像解卷积系统，其特征在于，包括：
冗余计算模块，用于对若干帧原始荧光显微图像分别进行预处理后得到目标荧光显微图像，并计算各所述目标荧光显微图像在时间轴上的冗余程度；
第一处理模块，用于在所述冗余程度不小于预设阈值时，对于每一帧目标荧光显微图像将作为参考帧，将的相邻帧对齐并合并到参考帧上后，将对齐合并后的荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
第二处理模块，用于在所述冗余程度小于所述预设阈值时，将各所述目标荧光显微图像作为污染后的图像建立解卷积的能量泛函，并将所述能量泛函的优化分割为若干个子问题，其中，所述子问题中包括去模糊子问题；
解卷积模块，用于使用快速傅里叶变换求解分割后的去模糊子问题，然后对去模糊后的图像进行方差稳定变换以稳定噪声方差，将经方差稳定变换后的图像输入到目标神经网络中去噪后，使用方差稳定变换的反变换还原经所述目标神经网络去噪后的图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811258886.4A CN109636733B (zh) | 2018-10-26 | 2018-10-26 | 基于深度神经网络的荧光图像解卷积方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811258886.4A CN109636733B (zh) | 2018-10-26 | 2018-10-26 | 基于深度神经网络的荧光图像解卷积方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109636733A true CN109636733A (zh) | 2019-04-16 |
| CN109636733B CN109636733B (zh) | 2020-07-24 |
Family
ID=66066719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811258886.4A Active CN109636733B (zh) | 2018-10-26 | 2018-10-26 | 基于深度神经网络的荧光图像解卷积方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109636733B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675333A (zh) * | 2019-08-26 | 2020-01-10 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN111311522A (zh) * | 2020-03-26 | 2020-06-19 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111812106A (zh) * | 2020-09-15 | 2020-10-23 | 沈阳风驰软件股份有限公司 | 一种无线耳机外观面溢胶检测方法和检测系统 |
| CN113222117A (zh) * | 2021-05-17 | 2021-08-06 | 浙江大学 | 基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法 |
| US20220156892A1 (en) * | 2020-11-17 | 2022-05-19 | GM Global Technology Operations LLC | Noise-adaptive non-blind image deblurring |
| CN116467946A (zh) * | 2023-04-21 | 2023-07-21 | 南京信息工程大学 | 一种基于深度学习的模式预报产品降尺度方法 |
| CN116543373A (zh) * | 2023-04-14 | 2023-08-04 | 北京嘉沐安科技有限公司 | 基于区块链的直播视频大数据智能分析和优化方法及系统 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
| US9299132B2 (en) * | 2013-10-23 | 2016-03-29 | Adobe Systems Incorporated | Automatically determining the size of a blur kernel |
| CN106097267A (zh) * | 2016-06-08 | 2016-11-09 | 浙江传媒学院 | 一种基于傅里叶变换的图像去模糊方法 |
| CN106251303A (zh) * | 2016-07-28 | 2016-12-21 | 同济大学 | 一种使用深度全卷积编码‑解码网络的图像降噪方法 |
| CN107292838A (zh) * | 2017-06-07 | 2017-10-24 | 汕头大学 | 基于模糊区域分割的图像去模糊方法 |
| CN108198151A (zh) * | 2018-02-06 | 2018-06-22 | 东南大学 | 一种基于改进rl反卷积算法的星图去模糊方法 |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
| CN108492249A (zh) * | 2018-02-08 | 2018-09-04 | 浙江大学 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
-
2018
- 2018-10-26 CN CN201811258886.4A patent/CN109636733B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103201765A (zh) * | 2010-09-28 | 2013-07-10 | 马普科技促进协会 | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 |
| US9299132B2 (en) * | 2013-10-23 | 2016-03-29 | Adobe Systems Incorporated | Automatically determining the size of a blur kernel |
| CN106097267A (zh) * | 2016-06-08 | 2016-11-09 | 浙江传媒学院 | 一种基于傅里叶变换的图像去模糊方法 |
| CN106251303A (zh) * | 2016-07-28 | 2016-12-21 | 同济大学 | 一种使用深度全卷积编码‑解码网络的图像降噪方法 |
| CN107292838A (zh) * | 2017-06-07 | 2017-10-24 | 汕头大学 | 基于模糊区域分割的图像去模糊方法 |
| CN108198151A (zh) * | 2018-02-06 | 2018-06-22 | 东南大学 | 一种基于改进rl反卷积算法的星图去模糊方法 |
| CN108492249A (zh) * | 2018-02-08 | 2018-09-04 | 浙江大学 | 基于小卷积递归神经网络的单帧超分辨重建方法 |
| CN108416752A (zh) * | 2018-03-12 | 2018-08-17 | 中山大学 | 一种基于生成式对抗网络进行图像去运动模糊的方法 |
Non-Patent Citations (2)
| Title |
|---|
| YANGZI YANG 等: "A Multiorgan Segmentation Model for CT Volumes via Full Convolution-Deconvolution Network", 《BIOMED RESEARCH INTERNATIONAL》 * |
| 吴小亮: "基于先验约束优化的多幅图像超分辨率快速重建算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675333A (zh) * | 2019-08-26 | 2020-01-10 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN110675333B (zh) * | 2019-08-26 | 2023-04-07 | 山东大学 | 一种基于神经网络超分辨率技术的显微成像处理方法 |
| CN111311522B (zh) * | 2020-03-26 | 2023-08-08 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111311522A (zh) * | 2020-03-26 | 2020-06-19 | 重庆大学 | 基于神经网络的双光子荧光显微图像复原方法、存储介质 |
| CN111812106A (zh) * | 2020-09-15 | 2020-10-23 | 沈阳风驰软件股份有限公司 | 一种无线耳机外观面溢胶检测方法和检测系统 |
| CN111812106B (zh) * | 2020-09-15 | 2020-12-08 | 沈阳风驰软件股份有限公司 | 一种无线耳机外观面溢胶检测方法和检测系统 |
| US11798139B2 (en) * | 2020-11-17 | 2023-10-24 | GM Global Technology Operations LLC | Noise-adaptive non-blind image deblurring |
| US20220156892A1 (en) * | 2020-11-17 | 2022-05-19 | GM Global Technology Operations LLC | Noise-adaptive non-blind image deblurring |
| CN113222117B (zh) * | 2021-05-17 | 2022-06-21 | 浙江大学 | 基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法 |
| CN113222117A (zh) * | 2021-05-17 | 2021-08-06 | 浙江大学 | 基于理查德森-露西算法的显微镜去卷积神经网络模型构建方法 |
| CN116543373A (zh) * | 2023-04-14 | 2023-08-04 | 北京嘉沐安科技有限公司 | 基于区块链的直播视频大数据智能分析和优化方法及系统 |
| CN116543373B (zh) * | 2023-04-14 | 2024-05-28 | 北京嘉沐安科技有限公司 | 基于区块链的直播视频大数据智能分析和优化方法及系统 |
| CN116467946A (zh) * | 2023-04-21 | 2023-07-21 | 南京信息工程大学 | 一种基于深度学习的模式预报产品降尺度方法 |
| CN116467946B (zh) * | 2023-04-21 | 2023-10-27 | 南京信息工程大学 | 一种基于深度学习的模式预报产品降尺度方法 |
| CN116721017A (zh) * | 2023-06-20 | 2023-09-08 | 中国科学院生物物理研究所 | 自监督显微图像超分辨处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109636733B (zh) | 2020-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636733B (zh) | 基于深度神经网络的荧光图像解卷积方法及系统 | |
| Pan et al. | Physics-based generative adversarial models for image restoration and beyond | |
| CN109389552B (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
| Kenig et al. | Blind image deconvolution using machine learning for three-dimensional microscopy | |
| WO2020015167A1 (zh) | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 | |
| Sim et al. | A deep motion deblurring network based on per-pixel adaptive kernels with residual down-up and up-down modules | |
| CN102208100A (zh) | 基于Split Bregman 迭代的全变差正则化图像盲复原方法 | |
| CN110313016B (zh) | 一种基于稀疏正源分离模型的图像去模糊算法 | |
| Goncharova et al. | Improving blind spot denoising for microscopy | |
| Min et al. | Blind deblurring via a novel recursive deep CNN improved by wavelet transform | |
| Zhang et al. | Correction of out-of-focus microscopic images by deep learning | |
| CN114723630A (zh) | 基于空洞双残差多尺度深度网络的图像去模糊方法及系统 | |
| CN115345791A (zh) | 一种基于注意力机制残差网络模型的红外图像去模糊算法 | |
| Yu et al. | Split-attention multiframe alignment network for image restoration | |
| CN108122262B (zh) | 基于主结构分离的稀疏表示单帧图像超分辨率重建算法 | |
| Park et al. | Down-scaling with learned kernels in multi-scale deep neural networks for non-uniform single image deblurring | |
| CN110930324A (zh) | 一种模糊星图复原方法 | |
| CN112801899B (zh) | 基于互补结构感知的内外循环驱动图像盲去模糊方法和装置 | |
| Li et al. | Joint learning of motion deblurring and defocus deblurring networks with a real-world dataset | |
| Wang et al. | RT-Deblur: Real-time image deblurring for object detection | |
| Nguyen et al. | Convolutional neural network for Fourier ptychography video reconstruction: learning temporal dynamics from spatial ensembles | |
| Han et al. | MPDNet: An underwater image deblurring framework with stepwise feature refinement module | |
| Cao et al. | Neural space-time model for dynamic scene recovery in multi-shot computational imaging systems | |
| Li et al. | Dynamic-clustering extreme intensity prior based blind image deblurring | |
| CN111311531A (zh) | 图像增强方法、装置、控制台设备及医学成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |