CN114494047A - 一种基于双增强残差网络的生物图像去噪方法 - Google Patents

Abstract

本发明公开一种基于双增强残差网络的生物图像去噪方法，含有两个相同结构的子网络组成，每个子网络均通过编码‑解码的层次结构，对特征进行降尺度和升尺度，使得GPU能够产生更大的感受野；在编码过程中，采用卷积层进行下采样获取图像信息，并叠加残差块对特征进行初步提取；解码过程中，利用转置卷积的上采样特征能力，同时叠加残差密集块，提取深层次特征，恢复图像细节；在两个子网络中，分别在卷积层和转置卷积层之间增加跳跃连接，两个子网络之间监督注意模块和四个交叉特征融合模块相连，这些连接有助于传递图像细节信息，加深网络的同时提高恢复性能。

Description

一种基于双增强残差网络的生物图像去噪方法

技术领域

本发明涉及一种图像去噪方法，尤其是一种基于双增强残差网络的生物图像去噪方法。

背景技术

数字图像在采集和传输的过程中，会因为噪声而导致图像退化。对于生物数据集，噪声可能来自细胞周期和生命史变化等内源性的生物学因素，也可能来自于样品制备和仪器变化等外源性的技术因素，混合的噪声会导致生物图像出现边缘不清晰、细节特征模糊等现象，影响推断潜在过程时的准确性。

传统的去噪方法虽能在一定程度上消除噪声，但在复原过程中通常难以保留图像的细节特征。随着深度学习技术在图像处理领域的不断发展，提出了许多利用卷积神经网络提高图像去噪性能的方法，如通过堆叠网络的层数来丰富神经网络的功能，但随着网络深度的不断增加，训练模型会出现退化问题。另外，网络的深度特征与输出要保持一样的分辨率，则去噪网络在网络层数、参数数量等方面会收到GPU内存限制。

发明内容

本发明为了解决现有技术所存在的上述问题，提出了一种基于双增强残差网络的生物图像去噪方法。

本发明的技术解决方案是：一种基于双增强残差网络的生物图像去噪方法，是将待去噪的图像输入去噪模型中完成图像去噪，其特征在于所述去噪模型依次按照如下步骤建立：

步骤1：制作训练集

步骤1.1：导入BSD500数据集，加入强度已知的高斯噪声构建图像对，选取N对图像，记为图像集

步骤1.2：对图像集

进行切块操作，获得4N个图像块，切块之后的图像大小均为256*256像素，记为训练集

步骤2：将训练集图像数据输入双增强残差网络获取去噪模型

所述双增强残差网络有两个结构相同的第一子网络S₁和第二子网络S₂，第一子网络S₁通过监督注意模块和四个交叉特征融合模块与第二子网络S₂相连接，在第二子网络S₂的前端和后端分别有第一个卷积层Conv_final₁和最后一个卷积层Conv_final₂；所述第一子网络S₁和第二子网络S₂的结构是依次有四个编码块、上下文块和四个解码块，所述四个编码块均由卷积层和残差块构成，所述四个解码块的第一个解码块由偏移块和残差密集块构成，其它三个解码块由转置卷积层、卷积层、偏移块和残差密集块构成，所述残差密集块由四个块构成，前三个块密集跳跃连接后与最后一个块相接，前三个块均由卷积层、实例归一化层和激活函数构成，最后一个块由卷积层和实例归一化层构成；编码块的卷积层与对应的解码块的转置卷积层之间设置长跳跃连接；约定变量iteration_pro为网络循环迭代的次数，设置初始值为0，开始训练；

所述训练按照如下步骤进行：

步骤2.1：将训练集

的每个噪声图像块Train_Noisy_P_i经过第一子网络S₁的第一个卷积层，得到初始特征图TN_P_i_f₁；

步骤2.2：将初始特征图TN_P_i_f₁经过第一子网络S₁剩余的一个残差块和三个编码块，分别进行四次下采样，得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4；

步骤2.3：将编码特征图TN_P_i_f_encoder4送入第一个子网络S₁的上下文块，得到上下文特征图TN_P_i_f_context1；

步骤2.4：将上下文特征图TN_P_i_f_context1经过第一子网络S₁的四个解码块，分别进行四次上采样，得到四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4；

步骤2.5：将解码特征图TN_P_i_f_decoder4经过监督注意模块送入子网络S₂的第一个卷积层Conv_final₁，将第一子网络S₁所得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4和四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4分别通过各自对应的交叉阶段特征融合模块送入第二子网络S₂对应的四个编码块；

步骤2.6：第二子网络S₂的第一个卷积层Conv_final₁输出特征图TN_P_i_f₂，特征图TN_P_i_f₂依次经过第二子网络S₂的四个编码块、上下文块和四个解码块，得到重构后的特征图TN_P_i_f；

步骤2.7：将重构特征图TN_P_i_f输入到最后一个卷积层Conv_final₂，获得去噪后的图像块Train_Denoised_P_i；

步骤2.8：通过L1 Loss求取网络去噪图像块Train_Denoised_P_i和干净图像块Train_P_i之间的差异，当iteration_pro达到4×10⁵，网络停止训练并保存模型Model.pt；否则反向传播Loss的值，通过优化算法更新参数，循环进行训练步骤。

本发明含有两个相同结构的子网络组成，每个子网络均通过编码-解码的层次结构，对特征进行降尺度和升尺度，使得GPU能够产生更大的感受野；在编码过程中，采用卷积层进行下采样获取图像信息，并叠加残差块对特征进行初步提取；解码过程中，利用转置卷积的上采样特征能力，同时叠加残差密集块，提取深层次特征，恢复图像细节；在两个子网络中，分别在卷积层和转置卷积层之间增加跳跃连接，两个子网络之间监督注意模块和四个交叉特征融合模块相连，这些连接有助于传递图像细节信息，加深网络的同时提高恢复性能。对于生物图像，能在去除噪声的同时保留细节的纹理信息，有着较强的应用价值。

附图说明

图1是本发明实施例双增强残差网络结构示意图。

图2是本发明实施例中残差密集块结构示意图。

图3是本发明实施例所用生物数据集中的斑马鱼噪声图像。

图4是图3经过本发明实施例后的斑马鱼去噪结果图。

图5是本发明实施例所用生物数据集中的细胞噪声图像。

图6是图5经过本发明实施例后的细胞去噪结果图。

具体实施方式

本发明的一种基于双增强残差网络的生物图像去噪方法，是将待去噪的图像输入去噪模型中完成图像去噪，所述去噪模型依次按照如下步骤建立：

步骤1：制作训练集

步骤1.1：导入BSD500数据集，加入强度已知的高斯噪声构建图像对，选取432对图像，记为图像集

步骤1.2：对图像集

进行切块操作，获得4N个图像块，切块之后的图像大小均为256*256像素，记为训练集

步骤2：将训练集图像数据输入双增强残差网络获取去噪模型

所述双增强残差网络如图1所示有两个结构相同的第一子网络S₁和第二子网络S₂，第一子网络S₁通过监督注意模块和四个交叉特征融合模块与第二子网络S₂相连接，将子网络S₁的特征变换到子网络S₂进行聚合，丰富子网络S₂的多尺度特征；在第二子网络S₂的前端和后端分别有第一个卷积层Conv_final₁和最后一个卷积层Conv_final₂；所述第一子网络S₁和第二子网络S₂的结构是依次有四个编码块、上下文块和四个解码块，所述四个编码块均由卷积层和残差块构成，所述四个解码块的第一个解码块由偏移块和残差密集块构成，其它三个解码块由转置卷积层、卷积层、偏移块和残差密集块构成；

所述残差密集块如图2所示由四个块构成，前三个块密集跳跃连接后与最后一个块相接，前三个块均由卷积层、实例归一化层和激活函数构成，最后一个块由卷积层和实例归一化层构成；

(1)输入的特征图记为f_i，残差密集块中存在多个3×3卷积层，生成的特征图通过密集连通性进行连接，诱导训练模型恢复更多的高频信息，第K个卷积层的输出表示为：f_i ^K＝δ(F_DSC[f_i,f_i ¹,…,f_i ^k,…,f_i ^K-1])，F_DSC表示密集跳跃连接的过程，δ表示LeakyReLU激活函数。

(2)引入一个卷积层自适应地控制输出信息，通过残差学习提取更加完整的信息，设最后的卷积层输出为

则该过程可以表示为：

其中F_RSC表示特征融合阶段；

(3)通过整合密集连接和残差学习，网络规避了梯度消失问题，使得训练深层次模型变得可行，残差密集块的输出表示为：

编码块的卷积层与对应的解码块的转置卷积层之间设置长跳跃连接；约定变量iteration_pro为网络循环迭代的次数，设置初始值为0，开始训练；

所述训练按照如下步骤进行：

步骤2.1：将训练集

的每个噪声图像块Train_Noisy_P_i经过第一子网络S₁的第一个3×3卷积层，得到初始特征图TN_P_i_f₁；

步骤2.2：将初始特征图TN_P_i_f₁经过第一子网络S₁剩余的一个残差块和三个编码块，分别进行四次下采样，得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4；在每次降尺度过程中，特征图的大小在水平和垂直方向上都分别减少一半，同时特征图的通道加倍，最终得到通道数为256的编码特征图TN_P_i_f_encoder4；

步骤2.3：将编码特征图TN_P_i_f_encoder4送入第一个子网络S₁的上下文块，能够避免下采样过程中图像结构被破坏，得到通道数为256的上下文特征图TN_P_i_f_context1；

步骤2.4：将上下文特征图TN_P_i_f_context1经过第一子网络S₁的四个解码块，分别进行四次上采样，得到四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4；在每次升尺度过程中，特征图的大小增加一倍，通道数减半；编码块的卷积层与对应的解码块的转置卷积层之间设置长跳跃连接可补偿信息损失，得到通道数为32的解码特征图TN_P_i_f_decoder4；

步骤2.5：将解码特征图TN_P_i_f_decoder4经过监督注意模块送入子网络S₂的第一个卷积层Conv_final₁，将第一子网络S₁所得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4和四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4分别通过各自对应的交叉阶段特征融合模块送入第二子网络S₂对应的四个编码块；

步骤2.6：第二子网络S₂的第一个卷积层Conv_final₁输出特征图TN_P_i_f₂，特征图TN_P_i_f₂依次经过第二子网络S₂的四个编码块、上下文块和四个解码块，得到重构后的特征图TN_P_i_f；

步骤2.7：将重构特征图TN_P_i_f输入到最后一个卷积层Conv_final₂，获得去噪后的图像块Train_Denoised_P_i；

步骤2.8：通过L1 Loss求取

中去噪图像块Train_Denoised_P_i和干净图像块Train_P_i之间的差异；L1 Loss可以定义为：

其中M表示切块大小，

表示训练过程中第m组输入噪声块Train_Denoised_P_i和干净块Train_P_i的图像对，F(·)表示具有可学习参数θ的网络函数；当iteration_pro达到4×10⁵，网络停止训练并保存模型Model.pt；否则反向传播Loss的值，通过优化算法更新参数，循环进行训练步骤。

对于自然图像数据集，在几个广泛用于高斯去噪方法的公开的测试数据集上进行实验(BSD68数据集、Set12数据集、Kodak24数据集、Urban100数据集)，将本发明实施例与现有去噪方法进行比较。灰度图像的峰值信噪比(PSNR)和结构相似度(SSIM)对照表如表1所示；彩色图像的峰值信噪比(PSNR)和结构相似度(SSIM)对照表如表1所示。

表1

表2

对于生物图像数据集，采用了中国斑马鱼资源中心提供的斑马鱼图像和一些血液细胞图像作为测试。

本发明实施例所用生物数据集中的斑马鱼噪声图像如图3所示；图3经过本发明实施例后的斑马鱼去噪结果图如图4。

本发明实施例所用生物数据集中的细胞噪声图像如图5所示；图5经过本发明实施例后的细胞去噪结果图。

结果表明本发明实施例对于生物图像的去噪效果优于现有技术。

Claims (1)

1.一种基于双增强残差网络的生物图像去噪方法，是将待去躁的图像输入去噪模型中完成图像去噪，其特征在于所述去噪模型依次按照如下步骤建立：

步骤1：制作训练集

步骤1.1：导入BSD500数据集，加入强度已知的高斯噪声构建图像对，选取N对图像，记为图像集

步骤1.2：对图像集

进行切块操作，获得4N个图像块，切块之后的图像大小均为256*256像素，记为训练集

步骤2：将训练集图像数据输入双增强残差网络获取去噪模型

所述双增强残差网络有两个结构相同的第一子网络S₁和第二子网络S₂，第一子网络S₁通过监督注意模块和四个交叉特征融合模块与第二子网络S₂相连接，在第二子网络S₂的前端和后端分别有第一个卷积层Conv_final₁和最后一个卷积层Conv_final₂；所述第一子网络S₁和第二子网络S₂的结构是依次有四个编码块、上下文块和四个解码块，所述四个编码块均由卷积层和残差块构成，所述四个解码块的第一个解码块由偏移块和残差密集块构成，其它三个解码块由转置卷积层、卷积层、偏移块和残差密集块构成，所述残差密集块由四个块构成，前三个块密集跳跃连接后与最后一个块相接，前三个块均由卷积层、实例归一化层和激活函数构成，最后一个块由卷积层和实例归一化层构成；编码块的卷积层与对应的解码块的转置卷积层之间设置长跳跃连接；约定变量iteration_pro为网络循环迭代的次数，设置初始值为0，开始训练；

所述训练按照如下步骤进行：

步骤2.1：将训练集

的每个噪声图像块Train_Noisy_P_i经过第一子网络S₁的第一个卷积层，得到初始特征图TN_P_i_f₁；

步骤2.2：将初始特征图TN_P_i_f₁经过第一子网络S₁剩余的一个残差块和三个编码块，分别进行四次下采样，得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4；

步骤2.3：将编码特征图TN_P_i_f_encoder4送入第一个子网络S₁的上下文块，得到上下文特征图TN_P_i_f_context1；

步骤2.4：将上下文特征图TN_P_i_f_context1经过第一子网络S₁的四个解码块，分别进行四次上采样，得到四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4；

步骤2.5：将解码特征图TN_P_i_f_decoder4经过监督注意模块送入子网络S₂的第一个卷积层Conv_final₁，将第一子网络S₁所得到的四个编码特征图TN_P_i_f_encoder1、TN_P_i_f_encoder2、TN_P_i_f_encoder3和TN_P_i_f_encoder4和四个解码特征图TN_P_i_f_decoder1、TN_P_i_f_decoder2、TN_P_i_f_decoder3、TN_P_i_f_decoder4分别通过各自对应的交叉阶段特征融合模块送入第二子网络S₂对应的四个编码块；

步骤2.6：第二子网络S₂的第一个卷积层Conv_final₁输出特征图TN_P_i_f₂，特征图TN_P_i_f₂依次经过第二子网络S₂的四个编码块、上下文块和四个解码块，得到重构后的特征图TN_P_i_f；

步骤2.7：将重构特征图TN_P_i_f输入到最后一个卷积层Conv_final₂，获得去噪后的图像块Train_Denoised_P_i；

步骤2.8：通过L1 Loss求取网络去噪图像块Train_Denoised_P_i和干净图像块Train_P_i之间的差异，当iteration_pro达到4×10⁵，网络停止训练并保存模型Model.pt；否则反向传播Loss的值，通过优化算法更新参数，循环进行训练步骤。

Images