CN116051411A - 基于深度卷积网络的显微图像模糊核提取与离焦复原方法 - Google Patents

Abstract

本发明提供一种基于深度卷积网络的显微图像模糊核提取与离焦复原方法，涉及图像处理技术领域。该方法首先获取离焦数据集并预处理；再构建模糊核提取网络模型估计离焦图像的模糊核；构建复原网络模型，模型的输入为经过预处理的离焦数据集和估计的模糊核，输出为复原后的清晰图像；训练模糊核提取网络模型和复原网络模型构成的整个网络模型，继续优化图像重建损失，同时忽略模糊核重建损失；利用训练好的模糊核提取网络模型和复原网络模型完成显微离焦图像的模糊核估计与离焦复原。该方法将去模糊网络分解成估计模糊核的提取网络和以及利用模糊核对图像进行去模糊的复原网络，在网络的训练中明确模糊核产生的影响，能够提高去模糊的精度。

Description

基于深度卷积网络的显微图像模糊核提取与离焦复原方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度卷积网络的显微图像模糊核提取与离焦复原方法。

背景技术

光学显微镜作为一种精密光学仪器，在生物医疗、材料科学、工业制造等领域广泛应用。但是，高倍光学显微镜的景深非常小，成像易出现离焦模糊，这严重限制了其在一些高精度观测领域的使用。因此，研究显微图像的离焦复原方法，对于提高光学显微镜的成像分辨率、促进计算机视觉在医学等领域的广泛应用具有非常重要的意义。

离焦复原是指通过离焦距离和图像模糊核之间的离焦退化量化关系，根据离焦图像反解清晰景物图像的过程。其中，根据模糊核是否已知，离焦复原方法分为盲去模糊与非盲去模糊。后者在提升成像分辨率的同时，有效地屏蔽了各种噪声，是目前比较主流的显微光学图像离焦去模糊方法。但是，传统基于成像理论模型的模糊核估计方法大多模型复杂、计算量大，而且在处理实际带有像差的显微图像离焦模糊问题时，精度较低。相比于基于复杂数学模型的图像复原算法，利用卷积神经网络直接学习离焦图像到清晰图像的映射图像复原方法，跳过了复杂的显式建模的过程，将离焦的图像与清晰的图像成对输入到网络中，通过网络训练和优化实现了输入离焦图像的去模糊处理，因此，具有速度快、精度高、鲁棒性强等优势。但是，基于卷积神经网络的图像复原方法要求训练数据中同时包含景物的离焦图像和对应的清晰图像，这一要求在实际应用中很难满足。同时，由于复原过程中并没有计算影响图像模糊程度评价的模糊核特征，原理上该方法仍是一种盲去模糊方法，因此，难以避免常规盲去模糊方法存在的精度和效率较低、鲁棒性差等问题。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于深度卷积网络的显微图像模糊核提取与离焦复原方法，实现对显微图像的模糊核提取与离焦复原。

为解决上述技术问题，本发明所采取的技术方案是：基于深度卷积网络的显微图像模糊核提取与离焦复原方法，包括以下步骤：

步骤1：获取离焦数据集并预处理；

步骤1.1：获取离焦数据集，并将离焦数据集中的每一幅离焦图像f(x,y,z)统一缩放为固定尺寸，缩放后离焦图像表示为f_H×W×C(x,y,z)，H、W、C分别表示图像的长、宽和通道数；

步骤1.2：对缩放后离焦图像f_H×W×C(x,y,z)进行标记，得到离焦数据集；将每组离焦图像中离焦距离最小的图像作为标签记作f(0)，其他离焦图像记作f(j)，j表示图像的离焦距离，得到预处理后的离焦数据集F＝{f(0)，f(j)，...，f(J)}，J为图像的最大离焦距离；

步骤2：构建模糊核提取网络模型估计离焦图像的模糊核；模糊核提取网络模型的输入数据集为经过预处理的离焦数据集F，输出为估计的模糊核集K；

步骤2.1：搭建卷积池化模块；所述卷积池化模块包括六个卷积层和四个池化层，第一个和第二个卷积层后以及第三个和第四个卷积层后均为两个池化层；输入为离焦图像f∈R^C×H×W，输出为提取的三个不同空间尺度特征图F_i，i＝1、2、3；

步骤2.2：构造相关层，计算三个不同空间尺度特征图F_i的互相关性，得到互相关特征图c_i，如下公式所示：

c_i＝∑_x，yF_i(x-s，y-t)F_i(x，y)

其中，s、t均为不同空间尺度特征图中的像素点，s、t的像素空间范围为：

2^-im≤s，t≤2^-im

其中，m是待恢复的模糊核的空间维度，i表示空间尺度级别，取值为1、2、3；此时

再对互相关特征图c_i进行一次卷积操作，得到卷积后的特征图C_i，如下公式所示：

C_i＝ReLU(W_ci′*c_i+b_ci′)

其中，W′_ci表示c_i所对应卷积操作的权重，b′_ci表示c_i所对应卷积操作的偏置，对c_i进行的卷积操作均采用

个1×1的卷积核，

步骤2.3：构建模糊核重建层，通过对相关层中提取出的特征图递归进行反卷积操作，得到模糊核；

首先对从第i个空间尺度级别的相关层中提取出的特征图C_i递归进行卷积核大小为3×3，步长为2的反卷积操作及卷积操作，得到最终的特征图K；具体过程如下：

k₂＝C₂+ReLU(Deconv(C₃))

其中，Deconv表示采用

个3×3的卷积核、步长为2的反卷积操作，

为反卷积操作的中间变量；

K₂＝Conv(k₂)

其中，Conv表示采用

个1×1的卷积核、步长为1的卷积操作，

为卷积操作的中间变量；

k₁＝C₁+ReLU(Deconv(K₂))

其中，

为反卷积操作的中间变量；

K₁＝Conv(k₁)

其中，

为卷积后最终得到的特征图；

将整合好的通道数为

的特征图K₁通过一系列3×3的卷积层逐渐减少到单通道的特征图K，该特征图K即为估计的模糊核；

步骤2.4：对模糊核提取网络模型进行训练，采用L1损失函数作为模糊核重建损失，通过训练使L1损失函数最小；

其中，K表示估计出的模糊核，K_T表示真实的模糊核，p表示模糊核的像素点，P表示模糊核所有像素点的集合；

步骤3：构建复原网络模型；模型的输入为经过预处理的离焦数据集F和估计的模糊核K，输出为复原后的清晰图像G；

步骤3.1：构建模糊核引导模块，将提取网络估计出的模糊核K映射为权重和偏置列表，这些偏置和权重参与调制U-net每一层的卷积输出；

模糊核引导模块对模糊核K的映射过程如下：

Z＝ReLU(Dense(ReLU(Dense(K))))

b＝Dense(Z)

w＝Dense(Z)+α

其中，w、b分别为模糊核K映射的权重和偏置，α为可训练的偏置且初始化为1，Z为模糊核K映射的中间变量；

设定模糊核引导模块的输入为r，输出为r′，则模糊核K的调制操作如下：

rv＝ReLU(Conv(r)×w+b)

步骤3.2：构建一个标准U-net网络结构；标准U-net网络结构的输入为离焦模糊图像f，输出为复原后的清晰图像g；

标准U-net网络结构中每一层的卷积操作都由步骤3.1构建的模糊核引导模块来代替，此时由模糊核K映射出的权重和偏置能够参与调制U-net网络结构每一层的卷积输出；

步骤3.3：对复原网络模型进行训练；采用L2损失函数作为图像重建损失，通过训练使L2损失函数最小；

其中，g表示复原后的清晰图像，g_t表示准焦的清晰图像，q表示该图像的像素点，Q表示该图像中所有像素点的集合；

步骤4：训练模糊核提取网络模型和复原网络模型构成的整个网络模型；

步骤2、3中分别对提取网络模型与复原网络模型进行了预训练，优化了模糊核重建损失与图像重建损失；然后，对整个网络模型进行整体训练，以继续优化图像重建损失，同时忽略模糊核重建损失；

步骤5：利用训练好的模糊核提取网络模型和复原网络模型完成显微离焦图像的模糊核估计与离焦复原。

采用上述技术方案所产生的有益效果在于：本发明提供的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，针对显微镜在图像采集过程中由于对焦失败等因素产生不清晰的图像的问题，将去模糊网络分解成估计模糊核的提取网络和以及利用模糊核对图像进行去模糊的复原网络，在网络的训练中明确模糊核产生的影响，这种引导式的非盲去模糊方法，能够提高去模糊的精度。在提取网络中引入一个特殊的相关层来代替全卷积神经网络。从离焦图像的自相关性分析中可以估计出模糊核的傅里叶功率振幅分量，但是这种非线性很难通过简单的全卷积神经网络来学习。本发明方法在没有增加网络的层数、滤波器数量的情况下，将这个计算过程作为一个特殊的相关层引入提取网络中。提取网络和复原网络中都是采用小的卷积核串联来代替大的卷积核，采用小的卷积核提取特征适用于显微图像这种小目标样本。同时在一定程度上减少了参数，降低了过拟合的风险，并且更好训练。在复原网络中引入模糊核引导模块，将模糊核映射为权重与偏置的列表，用来调制复原网络的每一层卷积输出。经过提取-复原网络之后，离焦的图像变得清晰，样本中的组织结构也变得清晰可辨，同时也可以精准地恢复模糊核。另外，该方法的泛化性良好，当样本之间的结构或颜色有变化时，该方法依然可以保持良好的离焦复原性能。采用该方法完成离焦复原的图像在PSNR和SSIM指标上表现均提升。

附图说明

图1为本发明实施例提供的基于深度卷积网络的显微图像模糊核提取与离焦复原方法的流程图；

图2为本发明实施例提供的模糊核提取网络模型的网络架构图；

图3为本发明实施例提供的复原网络的网络架构图；

图4为本发明实施例提供的模糊核引导模块的网络架构图；

图5为本发明实施例提供的编号为s16_l1的测试图像的离焦复原效果，其中，(a)为测试的离焦图像，(b)为离焦复原图像，(c)为估计的模糊核；

图6为本发明实施例提供的编号为s16_l5的测试图像的离焦复原效果，其中，(a)为测试的离焦图像，(b)为离焦复原图像，(c)为估计的模糊核；

图7为本发明实施例提供的编号为s17_l4的测试图像的离焦复原效果，其中，(a)为测试的离焦图像，(b)为离焦复原图像，(c)为估计的模糊核；

图8为本发明实施例提供的编号为s101_l1的测试图像的离焦复原效果，其中，(a)为测试的离焦图像，(b)为离焦复原图像，(c)为估计的模糊核；

图9为本发明实施例提供的编号为s104_l2的测试图像的离焦复原效果，其中，(a)为测试的离焦图像，(b)为离焦复原图像，(c)为估计的模糊核。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例搭建实验环境，采用本发明的基于深度卷积网络的显微图像模糊核提取与离焦复原方法进行显微图像模糊核提取与离焦复原。其中，实验环境：在Tensorflow框架下进行试验。实验设备采用处理器Intel(R)Xeon(R)CPU i7-11700K，内存64G，操作系统为64位Windows10，GPU型号GEFORCE RTX 3080Ti，实验在GPU模式下运行。

本实施例中，基于深度卷积网络的显微图像模糊核提取与离焦复原方法，如图1所示，包括以下步骤：

步骤1：获取离焦数据集并预处理；

步骤1.1：获取离焦数据集，并将离焦数据集中的每一幅离焦图像f(x，y，z)统一缩放为固定尺寸，缩放后离焦图像表示为f_H×W×C(x，y，z)，H、W、C分别表示图像的长、宽和通道数，单位为像素；

步骤1.2：对缩放后离焦图像f_H×W×C(x，y，z)进行标记，得到离焦数据集；将每组离焦图像中离焦距离最小的图像作为标签记作f(0)，其他离焦图像记作f(j)，j表示图像的离焦距离，得到预处理后的离焦数据集F＝{f(0)，f(j)，...，f(J)}，J为图像的最大离焦距离；

步骤2：构建模如图2所示糊核提取网络模型估计离焦图像的模糊核；模糊核提取网络模型的输入数据集为经过预处理的离焦数据集F，输出为估计的模糊核集K；

步骤2.1：搭建卷积池化模块；所述卷积池化模块包括六个卷积层和四个池化层，第一个和第二个卷积层后以及第三个和第四个卷积层后均为两个池化层；输入为离焦图像f∈R^C×H×W，输出为提取的三个不同空间尺度特征图F_i，i＝1、2、3；

首先，对离焦图像f进行一次卷积操作，卷积后的特征图F_out1表示为：

F_out1＝ReLU(W₀*f+b₀)

其中，W₀表示该步卷积操作的权重，b₀表示该步卷积操作的偏置，该步卷积操作采用n个3×3的卷积核，F_out1∈R^n×H×W；

对特征图F_out1再进行卷积操作，卷积后的特征图F₁表示为：

F₁＝ReLU(W₀′*F_out1+b₀′)

其中，W₀′表示该步卷积操作的权重，b₀′表示该步卷积操作的偏置，该步卷积操作采用

个1×1的卷积核，

对特征图F₁进行×2池化操作，池化后的特征图F′₁表示为：

F′₁＝Pooling(F₁)

其中，Pooling表示×2池化操作，

对特征图F′₁进行一次卷积操作，卷积后的特征图F_out2表示为：

F_out2＝ReLU(W₁*+b₁)

其中，W₁表示该步卷积操作的权重，b₁表示该步卷积操作的偏置，该步卷积操作采用n个3×3的卷积核，

对特征图F_out2再进行卷积操作，卷积后的特征图F₂表示为：

F₂＝ReLU(W₁′*F_out2+b₁′)

其中，W₁′表示该步卷积操作的权重，b₁′表示该步卷积操作的偏置，该步卷积操作采用

个1×1的卷积核，

对特征图F₂进行×2池化操作，池化后的特征图F′₂表示为：

F′₂＝Pooling(F₂)

其中，Pooling表示×2池化操作，

对特征图F′₂进行一次卷积操作，卷积后的特征图F_out3表示为：

F_out3＝ReLU(W₂*+b₂)

其中，W₂表示该步卷积操作的权重，b₂表示该步卷积操作的偏置，该步卷积操作采用n个3×3的卷积核，

对特征图F_out3再进行卷积操作，卷积后的特征图F₃表示为：

F₃＝ReLU(W₂′*F_out3+b₂′)

其中，W₂′表示该步卷积操作的权重，b₂′表示该步卷积操作的偏置，该步卷积操作采用

个1×1的卷积核，

步骤2.2：构造相关层，计算三个不同空间尺度特征图F_i的互相关性，得到互相关特征图c_i，如下公式所示：

c_i＝∑_x，yF_i(x-s，y-t)F_i(x，y)

其中，s、t均为不同空间尺度特征图中的像素点，s、t的像素空间范围为：

2^-im≤s，t≤2^-im

其中，m是待恢复的模糊核的空间维度，i表示空间尺度级别，取值为1、2、3；此时

再对互相关特征图c_i进行一次卷积操作，得到卷积后的特征图C_i，如下公式所示：

C_i＝ReLU(W_ci′*c_i+b_ci′)

其中，W′_ci表示c_i所对应卷积操作的权重，b′_ci表示c_i所对应卷积操作的偏置，对c_i进行的卷积操作均采用

个1×1的卷积核，

步骤2.3：构建模糊核重建层，通过对相关层中提取出的特征图递归进行反卷积操作，得到模糊核；

首先对从第i个空间尺度级别的相关层中提取出的特征图C_i递归进行卷积核大小为3×3，步长为2的反卷积操作及卷积操作，得到最终的特征图K；具体过程如下：

k₂＝C₂+ReLU(Deconv(C₃))

其中，Deconv表示采用

个3×3的卷积核、步长为2的反卷积操作，

为反卷积操作的中间变量；

K₂＝Conv(k₂)

其中，Conv表示采用

个1×1的卷积核、步长为1的卷积操作，

为卷积操作的中间变量；

k₁＝C₁+ReLU(Deconv(K₂))

其中，

为反卷积操作的中间变量；

K₁＝Conv(k₁)

其中，

为卷积后最终得到的特征图；

将整合好的通道数为

的特征图K₁通过一系列3×3的卷积层逐渐减少到单通道的特征图K，该特征图K即为估计的模糊核；

步骤2.4：对模糊核提取网络模型进行训练，采用L1损失函数作为模糊核重建损失，通过训练使L1损失函数最小；

其中，K表示估计出的模糊核，K_T表示真实的模糊核，p表示模糊核的像素点，P表示模糊核所有像素点的集合；

步骤3：构建如图3所示复原网络模型；模型的输入为经过预处理的离焦数据集F和估计的模糊核K，输出为复原后的清晰图像G；

步骤3.1：构建如图4所示模糊核引导模块，将提取网络估计出的模糊核K映射为权重和偏置列表，这些偏置和权重参与调制U-net每一层的卷积输出；

模糊核引导模块对模糊核K的映射过程如下：

Z＝ReLU(Dense(ReLU(Dense(K))))

b＝Dense(Z)

w＝Dense(Z)+α

其中，w、b分别为模糊核K映射的权重和偏置，α为可训练的偏置且初始化为1，Z为模糊核K映射的中间变量；

设定模糊核引导模块的输入为r，输出为r′，则模糊核K的调制操作如下：

r_＝ReLU(Conv(r)×w+b)

步骤3.2：构建一个标准U-net网络结构；标准U-net网络结构的输入为离焦模糊图像f，输出为复原后的清晰图像g；

标准U-net网络结构中每一层的卷积操作都由步骤3.1构建的模糊核引导模块来代替，此时由模糊核K映射出的权重和偏置能够参与调制U-net网络结构每一层的卷积输出；

步骤3.3：对复原网络模型进行训练；采用L2损失函数作为图像重建损失，通过训练使L2损失函数最小；

其中，g表示复原后的清晰图像，g_t表示准焦的清晰图像，q表示该图像的像素点，Q表示该图像中所有像素点的集合；

步骤4：训练模糊核提取网络模型和复原网络模型构成的整个网络模型；

步骤2、3中分别对提取网络模型与复原网络模型进行了预训练，优化了模糊核重建损失与图像重建损失；然后，对整个网络模型进行整体训练，以继续优化图像重建损失，同时忽略模糊核重建损失；

步骤5：利用训练好的模糊核提取网络模型和复原网络模型完成显微离焦图像的模糊核估计与离焦复原。

本实施例中，使用Tensorflow框架训练网络模型。训练使用ADAM优化器进行，初始学习率为10^4，当损失函数的下降停滞了5个epoch时，将学习率减少20％。在模糊核提取网络中，卷积池化模块的每个空间尺度级别中卷积模块通道数分别设置为64、32，相关层的卷积模块通道数设置为32，模糊核重建层的卷积模块通道数设置为32。在复原网络中，编码器和解码器每一层的通道数都设置为128。

本实施例是在一个公开的离焦细胞图像数据集上开展的。该数据集包含了约13万张不同离焦距离的离焦图像，由训练集和测试集构成。其中训练集包含近13万张离焦图像，并且给定了每张离焦图像对应的离焦距离。在训练过程中，从训练集中划分出约5000张图像作为验证集，根据模型在验证集上的效果反馈，对模型的结构和参数进行进一步调整。选择在验证集上效果最好的模型结构和参数作为最终结果。

本实施例中，针对部分不同编号的测试图像的离焦复原效果及估计的模糊核如图5-9所示，经过提取-复原网络之后，离焦的图像变得清晰，样本中的组织结构也变得清晰可辨，同时也可以精准地恢复模糊核。另外，可以看出该方法的泛化性良好，当样本之间的结构或颜色有变化时，该方法依然可以保持良好的离焦复原性能。此外，将离焦复原后的图像与准焦的清晰图像进行对比，在图像质量上没有太大差别，不影响对细胞的观察以及后续诊断，验证了该方法的有效性。表1对不同算法在测试图像上的离焦复原效果进行了指标量化，对比结果显示，采用该方法完成离焦复原的图像在PSNR和SSIM指标上表现均提升。

表1同样的测试图像在不同模型下的离焦复原结果对比

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (7)

1.一种基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：包括以下步骤：

步骤1：获取离焦数据集并预处理；

步骤2：构建模糊核提取网络模型估计离焦图像的模糊核；模糊核提取网络模型的输入数据集为经过预处理的离焦数据集F，输出为估计的模糊核集K；

步骤3：构建复原网络模型；模型的输入为经过预处理的离焦数据集F和估计的模糊核K，输出为复原后的清晰图像G；

步骤4：训练模糊核提取网络模型和复原网络模型构成的整个网络模型，继续优化图像重建损失，同时忽略模糊核重建损失；

步骤5：利用训练好的模糊核提取网络模型和复原网络模型完成显微离焦图像的模糊核估计与离焦复原。

2.根据权利要求1所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：所述步骤1的具体方法为：

步骤1.1：获取离焦数据集，并将离焦数据集中的每一幅离焦图像f(x,y,z)统一缩放为固定尺寸，缩放后离焦图像表示为f_H×W×C(x,y,z)，H、W、C分别表示图像的长、宽和通道数；

步骤1.2：对缩放后离焦图像f_H×W×C(x,y,z)进行标记，得到离焦数据集；将每组离焦图像中离焦距离最小的图像作为标签记作f(0)，其他离焦图像记作f(j)，j表示图像的离焦距离，得到预处理后的离焦数据集F＝{f(0),f(j),…,f(J)}，J为图像的最大离焦距离。

3.根据权利要求2所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：所述步骤2的具体方法为：

步骤2.1：搭建卷积池化模块；所述卷积池化模块包括六个卷积层和四个池化层，第一个和第二个卷积层后以及第三个和第四个卷积层后均为两个池化层；输入为离焦图像f∈R^C×H×W，输出为提取的三个不同空间尺度特征图F_i，i＝1、2、3；

步骤2.2：构造相关层，计算三个不同空间尺度特征图F_i的互相关性，得到互相关特征图c_i，再对互相关特征图c_i进行一次卷积操作，得到卷积后的特征图C_i；

步骤2.3：构建模糊核重建层，通过对相关层中提取出的特征图递归进行反卷积操作，得到模糊核；

步骤2.4：对模糊核提取网络模型进行训练，采用L1损失函数作为模糊核重建损失，通过训练使L1损失函数最小。

4.根据权利要求3所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：步骤2.2所述计算三个不同空间尺度特征图F_i的互相关性，得到互相关特征图c_i，如下公式所示：

c_i＝∑_x,yF_i(x-s,y-t)F_i(x,y)

其中，s、t均为不同空间尺度特征图中的像素点，s、t的像素空间范围为：

2^-im≤s,t≤2^-im

其中，m是待恢复的模糊核的空间维度，i表示空间尺度级别，取值为1、2、3；此时

再对互相关特征图c_i进行一次卷积操作，得到卷积后的特征图C_i，如下公式所示：

C_i＝ReLU(W_ci′*c_i+b_ci′)

其中，W′_ci表示c_i所对应卷积操作的权重，b′_ci表示c_i所对应卷积操作的偏置，对c_i进行的卷积操作均采用

个1×1的卷积核，

5.根据权利要求4所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：所述步骤2.3的具体方法为：

首先对从第i个空间尺度级别的相关层中提取出的特征图C_i递归进行卷积核大小为3×3，步长为2的反卷积操作及卷积操作，得到最终的特征图K；具体过程如下：

k₂＝C₂+ReLU(Deconv(C₃))

其中，Deconv表示采用

个3×3的卷积核、步长为2的反卷积操作，

为反卷积操作的中间变量；

K₂＝Conv(k₂)

其中，Conv表示采用

个1×1的卷积核、步长为1的卷积操作，

为卷积操作的中间变量；

k₁＝C₁+ReLU(Deconv(K₂))

其中，

为反卷积操作的中间变量；

K₁＝Conv(k₁)

其中，

为卷积后最终得到的特征图；

将整合好的通道数为

的特征图K₁通过一系列3×3的卷积层逐渐减少到单通道的特征图K，该特征图K即为估计的模糊核。

6.根据权利要求5所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：步骤2.4所述L1损失函数如下公式所示

其中，K表示估计出的模糊核，K_T表示真实的模糊核，p表示模糊核的像素点，P表示模糊核所有像素点的集合。

7.根据权利要求3所述的基于深度卷积网络的显微图像模糊核提取与离焦复原方法，其特征在于：所述步骤3的具体方法为：

步骤3.1：构建模糊核引导模块，将提取网络估计出的模糊核K映射为权重和偏置列表，这些偏置和权重参与调制U-net每一层的卷积输出；

模糊核引导模块对模糊核K的映射过程如下：

Z＝ReLU(Dense(ReLU(Dense(K))))

b＝Dense(Z)

w＝Dense(Z)+α

其中，w、b分别为模糊核K映射的权重和偏置，α为可训练的偏置且初始化为1，Z为模糊核K映射的中间变量；

设定模糊核引导模块的输入为r，输出为r′，则模糊核K的调制操作如下：

r′＝ReLU(Conv(r)×w+b)

步骤3.2：构建一个标准U-net网络结构；标准U-net网络结构的输入为离焦模糊图像f，输出为复原后的清晰图像g；

标准U-net网络结构中每一层的卷积操作都由步骤3.1构建的模糊核引导模块来代替，此时由模糊核K映射出的权重和偏置能够参与调制U-net网络结构每一层的卷积输出；

步骤3.3：对复原网络模型进行训练；采用L2损失函数作为图像重建损失，通过训练使L2损失函数最小；

其中，g表示复原后的清晰图像，g_t表示准焦的清晰图像，q表示该图像的像素点，Q表示该图像中所有像素点的集合。

Images