CN111311506B - 基于双残差网络的低剂量ct牙齿图像去噪方法 - Google Patents

Abstract

本发明公开一种基于双残差网络的低剂量CT牙齿图像去噪方法，首先训练辅助网络，并保存模型；利用经过双残差网络提取的特征空间图之间的相似关系，计算损失函数值，通过合并去噪网络和双残差网络之间的损失函数值，进而更新参数以辅助去噪网络的训练。该方法主要包括数据加载模块、辅助网络训练模块、双残差网络去噪模块、测试模块。本发明对低剂量CT牙齿图像去噪有着显著的效果，能够保留图像的一些细节特征，具有重要的应用价值。

Description

基于双残差网络的低剂量CT牙齿图像去噪方法

技术领域

本发明方法涉及一种图像去噪方法，尤其是一种基于双残差网络的低剂量CT牙齿图像去噪方法。

背景技术

近年来，口腔CT成像技术越来越广泛的应用在口腔、牙齿的诊断与治疗过程中。口腔CT利用采集仪围绕待检测人体组织区域螺旋式地采集数据，可以获得各方位断层图像，进而被用于辅助牙齿手术前测量、口腔炎症、肿瘤与其他口腔疾病的诊断。采用低剂量CT设备对人体的辐射剂量约是传统CT扫描仪的1/5，因此采用低剂量设备可以降低辐射剂量，让广大患者减少不必要的心理负担，更加安心地接受CT扫描。但是，在选择降低剂量CT扫描的同时，图像的清晰度也有所下降，同时射线穿透性降低会因散射、干涉现象导致大量的噪声产生。

近年来图像处理、深度学习技术日益成熟，基于深度学习的图像去噪技术已经可以获得比较优异的去噪效果。然而大部分基于深度学习的去噪方法是采用训练单神经网络来实现去噪任务的，但是恢复微小细节的能力尚有待提高，而牙齿图像细小纹理正是医师判断牙齿是否存在内部裂纹的重要依据。为此，低清晰度，高噪声的低剂量CT图像，只能用于疾病的早期预防。对于诸如牙齿断裂、部分病灶的进一步确诊还是需要高分辨CT甚至是增强CT来确认的。

发明内容

本发明是为了解决现有技术所存在的上述技术问题，提供一种基于双残差网络的低剂量CT牙齿图像去噪方法。

本发明的技术解决方案是：一种基于双残差网络的低剂量CT牙齿图像去噪方法，按照如下步骤进行：

01部分，取BSD500数据集的灰度图像，在进入网络模型之前进行预处理操作，具体步骤如下：

步骤C011：导入BSD500数据集的灰度图像，分别为500张预处理图像和500张真实图像，各500张灰度图像中432张做训练集，68张做测试集，预处理图像数据集记为Pre_Image，用于验证的真实图像数据集记为Real_Image；500张预处理图像分别记为Pre_Image1，Pre_Image2，…，Pre_Image500；500张真实图像分别记为Real_Image1，Real_Image2，…，Real_Image500；

步骤C012：将500张预处理图像和500张真实图像切块，块的大小为48*48像素，将预处理图像与真实图像所切的块分别记为预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n和真实图像块Real_P₁，Real_P₂,…,Real_P_n；

步骤C013：将预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n分别加入σ值为50的高斯噪声，记为噪声图像块Noise_P₁，Noise_P₂,…,Noise_P_n；

步骤C014：每次随机选取16000个噪声图像块和16000个真实图像块输入网络，其中噪声图像块记作Noise_P_i，真实图像块记作Real_P_i，1≤i≤16000；

02部分，训练辅助网络20次，为双残差网络去噪提供数据，具体步骤如下：

步骤C021：取单通道的真实图像块Real_P_i，输进网络；

步骤C022：开始训练

M＝16000对应的线性关系模型Model1，约定变量epoch_pro为辅助网络循环训练的次数，初始为0；

所述模型Model1的目标函数定义为：

式中

为真实图像块Real_P_i，L(·)为损失函数，f(·|Φ)表示带有Φ参数化的辅助网络，λR(Φ)是一个带有参数Φ和λ的正则化项，所述λ>0；

步骤C0221：进入浅层特征提取层，记为Conv_pro1层；Conv_pro1层由64个3*3大小的滤波器组成，真实图像块Real_P_i经过Conv_pro1层后，得到64个通道的浅层特征空间图，记为Real_proP_i_fm₁；

步骤C0222：进入深层特征提取层，记为Deep_proRes2层；Deep_proRes2层中包含5个残差组和一个卷积层以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Real_proP_i_fm₁经过Deep_proRes2层后，得到64个通道的深层特征空间图，记为Real_proP_i_fm₂；

步骤C0223：进入重构层，记为Conv_pro3层；Conv_pro3层由1个3*3大小的滤波器组成，深层特征空间图Real_proP_i_fm₂经过Conv_pro3层后，得到重构特征空间图，记为Real_proP_i_fm₃；

步骤C023：求重构特征空间图Real_proP_i_fm₃和真实灰度图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss_pro，置epoch_pro＝epoch_pro+1；若loss_pro值小于0.01或者训练次数epoch_pro达到20，网络停止训练，保存训练模型model_pro.pt文件；否则将loss_pro值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；

03部分，利用双残差网络中得到的特征空间图的差异，进行去噪处理，具体步骤如下：

步骤C031：取单通道的噪声图像块Noise_P_i和单通道的真实图像块Real_P_i；

步骤C032：构建与训练辅助网络Model1结构一致的新辅助网络模型Model1*，将新辅助网络模型Model1*的参数替换为步骤C023所保存的训练模型model_pro.pt文件，并且固定该新辅助网络模型Model1*的参数不再更新；

步骤C033：开始训练去噪网络

M＝16000对应的线性关系模型Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；

所述模型Model的目标函数定义为：

式中

为真实图像块Real_P_i，

为噪声图像块Noise_P_i，Ω为层索引，L(·)为损失函数，

为通过第j个隐藏层得到的特征空间图的损失函数，f_j(·)表示第j个隐藏层之前的网络，λR(θ)是一个带有参数θ和λ的正则化项，所述λ>0；

步骤C0331：将噪声图像块Noise_P_i输入去噪网络Model；

步骤0332：进入浅层特征提取层，记为Conv1层；Conv1层由64个3*3大小的滤波器组成，噪声图像块Noise_P_i经过Conv1层后，得到64个通道的浅层特征空间图，记为Noise_P_i_fm₁；

步骤0333：进入深层特征提取层，记为Deep_Res2层；Deep_Res2层中包含5个残差组和一个卷积层，以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Noise_P_i_fm₁经过Deep_Res2层后，得到64个通道的深层特征空间图，记为Noise_P_i_fm₂；

步骤0334：进入重构层，记为Conv3层；Conv3层由1个3*3大小的滤波器组成，深层特征空间图Noise_P_i_fm₂经过Conv3层后，得到重构特征空间图，记为Noise_P_i_fm₃；

步骤C034：将真实图像块Real_P_i输入到经过步骤C032的新辅助网络模型Model1*，经过Conv_pro1层、Deep_proRes2层和Conv_pro3层，分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂、Real_proP_i_fm₃，即

步骤C035：通过去噪网络和新辅助网络之间的特征空间求总损失函数值，进行反向传播；

步骤C0351：求经过步骤C033得到的重构特征空间图Noise_P_i_fm₃和真实图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss1，即

步骤C0352：将经过辅助网络和去噪网络中Conv_pro1层和Conv1层、Deep_proRes2层和Deep_Res2层分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂和Noise_P_i_fm₁、Noise_P_i_fm₂，求取特征空间图的差异，通过MSELoss计算方法可得相应的损失函数值，分别记为loss2和loss3，即

步骤C0353：计算总损失函数值Loss，即：Loss＝loss1+loss2+loss3，同时置epoch＝epoch+1；若Loss值小于5.0或者训练次数epoch达到规定值300次，网络停止训练，保存训练模型model.pt文件，同时保存测试集BSD68的去噪结果图像、Loss值和PSNR数据；否则将Loss值反向传播，通过随机梯度下降方法重新更新参数θ，第l层的梯度下降表示为：

再一次进入步骤C033，循环重复训练；

04部分，将低剂量CT牙齿图像输入训练好的去噪网路模型中，得到清晰图像，具体步骤如下：

步骤C041：将步骤C0353所保存的训练模型model.pt文件导入到测试代码中；

步骤C042：将测试图像低剂量CT牙齿图像输入该模型中，得到清晰图像，并保存。

本发明提供一种基于双残差网络的低剂量CT牙齿图像去噪方法，是利用经过双残差网络提取的特征空间图之间的相似关系，计算损失函数值，通过合并去噪网络和双残差网络之间的损失来训练去噪网络，更新参数，具有较好的去噪效果，保证牙齿图像细小纹理的清晰度，无需高分辨CT甚至是增强CT进一步确认，可提高工作效率，减少患者多次采集CT图像带来的辐射风险。

附图说明

图1是本发明实施例双残差网络模型架构图。

图2是本发明实施例低剂量CT牙齿图像的噪声图像。

图3是采用本发明实施例对图2的去噪结果图。

具体实施方式

本发明的一种基于双残差网络的低剂量CT牙齿图像去噪方法如图1所示，按照如下步骤进行：

01部分，取BSD500数据集的灰度图像，在进入网络模型之前进行预处理操作，具体步骤如下：

步骤C011：导入BSD500数据集的灰度图像，分别为500张预处理图像和500张真实图像，各500张灰度图像中432张做训练集，68张做测试集，预处理图像数据集记为Pre_Image，用于验证的真实图像数据集记为Real_Image；500张预处理图像分别记为Pre_Image1，Pre_Image2，…，Pre_Image500；500张真实图像分别记为Real_Image1，Real_Image2，…，Real_Image500；

步骤C012：将500张预处理图像和500张真实图像切块，块的大小为48*48像素，将预处理图像与真实图像所切的块分别记为预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n和真实图像块Real_P₁，Real_P₂,…,Real_P_n；

步骤C013：将预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n分别加入σ值为50的高斯噪声，记为噪声图像块Noise_P₁，Noise_P₂,…,Noise_P_n；

步骤C014：每次随机选取16000个噪声图像块和16000个真实图像块输入网络，其中噪声图像块记作Noise_P_i，真实图像块记作Real_P_i，1≤i≤16000；

02部分，训练辅助网络20次，为双残差网络去噪提供数据，具体步骤如下：

步骤C021：取单通道的真实图像块Real_P_i，输进网络；

步骤C022：开始训练

M＝16000对应的线性关系模型Model1，约定变量epoch_pro为辅助网络循环训练的次数，初始为0；

所述模型Model1的目标函数定义为：

式中

为真实图像块Real_P_i，L(·)为损失函数，f(·|Φ)表示带有Φ参数化的辅助网络，λR(Φ)是一个带有参数Φ和λ的正则化项，所述λ>0；

步骤C0221：进入浅层特征提取层，记为Conv_pro1层；Conv_pro1层由64个3*3大小的滤波器组成，真实图像块Real_P_i经过Conv_pro1层后，得到64个通道的浅层特征空间图，记为Real_proP_i_fm₁；

步骤C0222：进入深层特征提取层，记为Deep_proRes2层；Deep_proRes2层中包含5个残差组(分别记为RG_pro1，RG_pro 2，…，RG_pro 5)和一个卷积层，以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Real_proP_i_fm₁经过Deep_proRes2层后，得到64个通道的深层特征空间图，记为Real_proP_i_fm₂；

步骤C0223：进入重构层，记为Conv_pro3层；Conv_pro3层由1个3*3大小的滤波器组成，深层特征空间图Real_proP_i_fm₂经过Conv_pro3层后，得到重构特征空间图，记为Real_proP_i_fm₃；

步骤C023：求重构特征空间图Real_proP_i_fm₃和真实灰度图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss_pro，置epoch_pro＝epoch_pro+1；若loss_pro值小于0.01或者训练次数epoch_pro达到20，网络停止训练，保存训练模型model_pro.pt文件；否则将loss_pro值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；

03部分，利用双残差网络中得到的特征空间图的差异，进行去噪处理，具体步骤如下：

步骤C031：取单通道的噪声图像块Noise_P_i和单通道的真实图像块Real_P_i；

步骤C032：构建与训练辅助网络Model1结构一致的新辅助网络模型Model1*，将新辅助网络模型Model1*的参数替换为步骤C023所保存的训练模型model_pro.pt文件，并且固定该新辅助网络模型Model1*的参数不再更新；

步骤C033：开始训练去噪网络

M＝16000对应的线性关系模型Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；

所述模型Model的目标函数定义为：

式中

为真实图像块Real_P_i，

为噪声图像块Noise_P_i，Ω为层索引，L(·)为损失函数，

为通过第j个隐藏层得到的特征空间图的损失函数，f_j(·)表示第j个隐藏层之前的网络，λR(θ)是一个带有参数θ和λ的正则化项，所述λ>0；

步骤C0331：将噪声图像块Noise_P_i输入去噪网络Model；

步骤0332：进入浅层特征提取层，记为Conv1层；Conv1层由64个3*3大小的滤波器组成，噪声图像块Noise_P_i经过Conv1层后，得到64个通道的浅层特征空间图，记为Noise_P_i_fm₁；

步骤0333：进入深层特征提取层，记为Deep_Res2层；Deep_Res2层中包含5个残差组(分别记为RG_1，RG_2，…，RG_5)和一个卷积层，以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Noise_P_i_fm₁经过Deep_Res2层后，得到64个通道的深层特征空间图，记为Noise_P_i_fm₂；

步骤0334：进入重构层，记为Conv3层；Conv3层由1个3*3大小的滤波器组成，深层特征空间图Noise_P_i_fm₂经过Conv3层后，得到重构特征空间图，记为Noise_P_i_fm₃；

步骤C034：将真实图像块Real_P_i输入到经过步骤C032的新辅助网络模型Model1*，经过Conv_pro1层、Deep_proRes2层和Conv_pro3层，分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂、Real_proP_i_fm₃，即

步骤C035：通过去噪网络和新辅助网络之间的特征空间求总损失函数值，进行反向传播；

步骤C0351：求经过步骤C033得到的重构特征空间图Noise_P_i_fm₃和真实图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss1，即

步骤C0352：将经过辅助网络和去噪网络中Conv_pro1层和Conv1层、Deep_proRes2层和Deep_Res2层分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂和Noise_P_i_fm₁、Noise_P_i_fm₂，求取特征空间图的差异，通过MSELoss计算方法可得相应的损失函数值，分别记为loss2和loss3，即

步骤C0353：计算总损失函数值Loss，即：Loss＝loss1+loss2+loss3，同时置epoch＝epoch+1；若Loss值小于5.0或者训练次数epoch达到规定值300次，网络停止训练，保存训练模型model.pt文件，同时保存测试集BSD68的去噪结果图像、Loss值和PSNR数据；否则将Loss值反向传播，通过随机梯度下降方法(ADAM优化算法)重新更新参数θ，第l层的梯度下降表示为：

再一次进入步骤C033，循环重复训练；

04部分，将低剂量CT牙齿图像输入训练好的去噪网路模型中，得到清晰图像，具体步骤如下：

步骤C041：将步骤C0353所保存的训练模型model.pt文件导入到测试代码中；

步骤C042：将测试图像低剂量CT牙齿图像(图2)输入该模型中，得到清晰图像(图3)，并保存。

本发明实施例峰值信噪比(PSNR)与现有技术对照如下表。

Claims (1)

1.一种基于双残差网络的低剂量CT牙齿图像去噪方法，其特征在于按照如下步骤进行：

01部分，取BSD500数据集的灰度图像，在进入网络模型之前进行预处理操作，具体步骤如下：

步骤C011：导入BSD500数据集的灰度图像，分别为500张预处理图像和500张真实图像，各500张灰度图像中432张做训练集，68张做测试集，预处理图像数据集记为Pre_Image，用于验证的真实图像数据集记为Real_Image；500张预处理图像分别记为Pre_Image1，Pre_Image2，…，Pre_Image500；500张真实图像分别记为Real_Image1，Real_Image2，…，Real_Image500；

步骤C012：将500张预处理图像和500张真实图像切块，块的大小为48*48像素，将预处理图像与真实图像所切的块分别记为预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n和真实图像块Real_P₁，Real_P₂,…,Real_P_n；

步骤C013：将预处理图像块Pre_P₁，Pre_P₂,…,Pre_P_n分别加入σ值为50的高斯噪声，记为噪声图像块Noise_P₁，Noise_P₂,…,Noise_P_n；

步骤C014：每次随机选取16000个噪声图像块和16000个真实图像块输入网络，其中噪声图像块记作Noise_P_i，真实图像块记作Real_P_i，1≤i≤16000；

02部分，训练辅助网络20次，为双残差网络去噪提供数据，具体步骤如下：

步骤C021：取单通道的真实图像块Real_P_i，输进网络；

步骤C022：开始训练

M＝16000对应的线性关系模型Model1，约定变量epoch_pro为辅助网络循环训练的次数，初始为0；

所述模型Model1的目标函数定义为：

式中

为真实图像块Real_P_i，L(·)为损失函数，f(·|Φ)表示带有Φ参数化的辅助网络，λR(Φ)是一个带有参数Φ和λ的正则化项，所述λ＞0；

步骤C0221：进入浅层特征提取层，记为Conv_pro1层；Conv_pro1层由64个3*3大小的滤波器组成，真实图像块Real_P_i经过Conv_pro1层后，得到64个通道的浅层特征空间图，记为Real_proP_i_fm₁；

步骤C0222：进入深层特征提取层，记为Deep_proRes2层；Deep_proRes2层中包含5个残差组和一个卷积层以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Real_proP_i_fm₁经过Deep_proRes2层后，得到64个通道的深层特征空间图，记为Real_proP_i_fm₂；

步骤C0223：进入重构层，记为Conv_pro3层；Conv_pro3层由1个3*3大小的滤波器组成，深层特征空间图Real_proP_i_fm₂经过Conv_pro3层后，得到重构特征空间图，记为Real_proP_i_fm₃；

步骤C023：求重构特征空间图Real_proP_i_fm₃和真实灰度图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss_pro，置epoch_pro＝epoch_pro+1；若loss_pro值小于0.01或者训练次数epoch_pro达到20，网络停止训练，保存训练模型model_pro.pt文件；否则将loss_pro值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022，循环重复训练；

03部分，利用双残差网络中得到的特征空间图的差异，进行去噪处理，具体步骤如下：

步骤C031：取单通道的噪声图像块Noise_P_i和单通道的真实图像块Real_P_i；

步骤C032：构建与训练辅助网络Model1结构一致的新辅助网络模型Model1*，将新辅助网络模型Model1*的参数替换为步骤C023所保存的训练模型model_pro.pt文件，并且固定该新辅助网络模型Model1*的参数不再更新；

步骤C033：开始训练去噪网络

M＝16000对应的线性关系模型Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；

所述模型Model的目标函数定义为：

式中

为真实图像块Real_P_i，

为噪声图像块Noise_P_i，Ω为层索引，L(·)为损失函数，

为通过第j个隐藏层得到的特征空间图的损失函数，f_j(·)表示第j个隐藏层之前的网络，λR(θ)是一个带有参数θ和λ的正则化项，所述λ＞0；

步骤C0331：将噪声图像块Noise_P_i输入去噪网络Model；

步骤0332：进入浅层特征提取层，记为Conv1层；Conv1层由64个3*3大小的滤波器组成，噪声图像块Noise_P_i经过Conv1层后，得到64个通道的浅层特征空间图，记为Noise_P_i_fm₁；

步骤0333：进入深层特征提取层，记为Deep_Res2层；Deep_Res2层中包含5个残差组和一个卷积层，以及一个长跳跃连接；每一个残差组中包含10个带有通道注意机制的残差块和一个短跳连接；其中残差块是由两个卷积层和Relu激活层以及跳跃连接构成；浅层特征空间图Noise_P_i_fm₁经过Deep_Res2层后，得到64个通道的深层特征空间图，记为Noise_P_i_fm₂；

步骤0334：进入重构层，记为Conv3层；Conv3层由1个3*3大小的滤波器组成，深层特征空间图Noise_P_i_fm₂经过Conv3层后，得到重构特征空间图，记为Noise_P_i_fm₃；

步骤C034：将真实图像块Real_P_i输入到经过步骤C032的新辅助网络模型Model1*，经过Conv_pro1层、Deep_proRes2层和Conv_pro3层，分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂、Real_proP_i_fm₃，即

步骤C035：通过去噪网络和新辅助网络之间的特征空间求总损失函数值，进行反向传播；

步骤C0351：求经过步骤C033得到的重构特征空间图Noise_P_i_fm₃和真实图像块Real_P_i之间的差异，通过L1 Loss计算方法可得相应的损失函数值，记为loss1，即

步骤C0352：将经过辅助网络和去噪网络中Conv_pro1层和Conv1层、Deep_proRes2层和Deep_Res2层分别得到特征空间图Real_proP_i_fm₁、Real_proP_i_fm₂和Noise_P_i_fm₁、Noise_P_i_fm₂，求取特征空间图的差异，通过MSELoss计算方法可得相应的损失函数值，分别记为loss2和loss3，即

步骤C0353：计算总损失函数值Loss，即：Loss＝loss1+loss2+loss3，同时置epoch＝epoch+1；若Loss值小于5.0或者训练次数epoch达到规定值300次，网络停止训练，保存训练模型model.pt文件，同时保存测试集BSD68的去噪结果图像、Loss值和PSNR数据；否则将Loss值反向传播，通过随机梯度下降方法重新更新参数θ，第l层的梯度下降表示为：

再一次进入步骤C033，循环重复训练；

04部分，将低剂量CT牙齿图像输入训练好的去噪网路模型中，得到清晰图像，具体步骤如下：

步骤C041：将步骤C0353所保存的训练模型model.pt文件导入到测试代码中；

步骤C042：将测试图像低剂量CT牙齿图像输入该模型中，得到清晰图像，并保存。

Images