CN112634146A

CN112634146A - 基于多种注意力机制的多通道cnn医学ct图像去噪方法

Info

Publication number: CN112634146A
Application number: CN202011391375.7A
Authority: CN
Inventors: 张聚; 牛彦; 陈德臣; 潘玮栋; 施超; 范兴刚
Original assignee: Zhijiang College of ZJUT
Current assignee: Sichuan Xuanguang Liying Medical Technology Co ltd
Priority date: 2020-12-02
Filing date: 2020-12-02
Publication date: 2021-04-09
Anticipated expiration: 2040-12-02
Also published as: CN112634146B

Abstract

基于多种注意力机制的多通道CNN医学CT图像去噪，包括：步骤1)创建医学CT图像模型；步骤2)构建去噪网络；步骤3)训练去噪网络并更新参数；步骤4)医学CT图像去噪；本发明提出了使用CBAM注意力机制、BAM机制和CBAM/BAM联合机制的多种注意力机制模型，将含有噪声的医学CT图像输入去噪网络，先经过浅层网络的特征提取，然后分别在三个不同的通道上对去噪网络的浅层网络进行特征提取，再进过多层卷积网络，最后去噪网络输出预测的无噪声医学CT图像；实现了对于CT图像中特征细节的提取和保留，使得预测出来的干净图像具有良好的细节特征信息，并且该去噪网络具有很强的泛化能力，可以保证多种不同噪声等级下的去噪效果仍然是令人满意。

Description

基于多种注意力机制的多通道CNN医学CT图像去噪方法

技术领域

本发明涉及医学图像去噪领域，具体涉及一种CNN医学CT图像去噪方法。

技术背景

最近几年以来，医学图像处理被广泛运用在临床应用中。其中医学图像去噪任务是数字图像处理领域中最为重要的研究内容之一，他可以去除医学图像中各种常见的噪声，为医生对疾病的诊断提供更为准确的图片信息。同时也有助于解决图像增强、边缘检测等其他图像处理等问题。

按照产生原因，图像噪声可分为外部噪声和内部噪声。外部噪声，即指系统外部干扰以电磁波或经电源进入系统内部而引起的噪声。例如医学电气设备产生的电磁波干扰、放电产生的脉冲干扰等。由系统电气设备内部引起的噪声为内部噪声，如内部电路的相互干扰。噪声的类型也不同，如椒盐噪声、高斯噪声等。在医学CT图像中，去噪的效果会直接影响医生对病情的诊断。

深层卷积神经网络在处理真实环境图像的噪声时表现出了优于传统非机器学习去噪方法的性能。通过搭建深层卷积神经网络训练网络中各个卷积层的权值。通过最小化损失函数来进行优化，其损失函数是通过累计计算噪声图像和干净图像对应位置像素的差异值获得，通过PSNR、SSIM等评级指标判断去噪能力。然而，在去噪后图像中细小的边缘信息特征往往会被去除，当图片的噪声等级很高的情况下很容易丢失大量的重要信息。此外，由于随着网络的不断加深导致在浅层的网络中学习的图像信息很难传递到深层的网络中，使得深层的网络训练不出最优的权值，从而降低最后的去噪效果，这就不符合去噪的目的。

发明内容

本发明要克服现有技术的上述弊端，提供一种基于多种注意力机制的多通道 CNN医学CT图像去噪方法。

本发明的目的在于提高医学CT图像的去噪效果，在以往采用的医学图像去噪的方法中往往是通过加宽网络的通道数或者是加深网络的深度来进行网络训练。使得浅层网络提取的大量有价值的信息不能充分传递给后面深层的网络，这会导致深层的去噪网络训练不出有价值的权重信息，从而导致网络的去噪能力和泛化能力都很差。为了解决这些问题，本发明提出利用多通道网络使用多种注意力机制来构建去噪网络。充分利用浅层训练得到的特征，提取噪声信息来优化神经网络参数。

本发明的创新和优点在于：本发明充分利用浅层训练得到的特征信息，使得深层的去噪网络可以学习到更有价值的权重信息。使用多种注意力机制和多通道使网络可以做到关注噪声图像中的重点信息，增强的去噪网络的泛化能力。最后通过仿真验证了方法的可行性也证明了对医学CT图像去噪具有一定的效果。

为使本发明的目的、技术方案和优点更加清晰，下面就对本发明的技术方案进行详细的描述，基于多种注意力机制的多通道CNN医学CT图像去噪方法，具体步骤如下：

步骤1)创建医学CT图像模型，具体包括：

高斯噪声是常见的噪声类型，高斯噪声的概率密度分布等于正态分布。随机高斯噪声可以加入到图像中，产生噪声图像，其数学表达式为：

Y＝X+V (1)

其中X是为不带噪声的干净图像，Y为噪声图像，V为高斯噪声；V的噪声分布服从高斯分布，即为高斯随机变量z概率密度函数，其数学表达式为：

其中μ表示为数学期望，σ表示为标准差；

步骤2)构建去噪网络，具体包括：

21)构建注意力机制：

注意力机制是通过注意力模块实现。注意力模块通过快速获取全局图像信息，获得图像中需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。

22)构建BAM注意力机制模块：

通道部分实现是先使用AdaptiveAvgPool2d层，然后经过若干层全连接网络，得到关于通道特征图；空间部分实现是使用一个Conv+BN+ReLU模块进行信息的压缩，然后连续使用多个Dilated+BN+ReLU模块，其中空洞率设置为4，最后使用一个卷积核将通道数压缩为1层得到关于空间特征图，最后将通道特征图和空间特征图相加在经过Sigmoid激活函数得到BAM注意力特征图，将BAM特征图和输入特征图进行点乘，将得到的结果与输入特征图相加得到BAM注意力机制模块的输出特征图；

23)构建CBAM注意力机制模块：

通道部分实现是先分别使用全局平均池化和最大池化层得到两个不同的特征图，然后进过一个共享的多层MLP网络，最后将得到的两个特征图相加再经 Sigmoid激活函数得到通道特征图；空间部分实现是先分别进行一个通道维度的平均池化和最大池化，将得到的两个特征图进行串行拼接，然后经Conv+Sigmoid 模块得到空间特征图；将输入特征图和通道特征图进行点乘的结果再和空间特征图进行点乘得到BAM注意力机制模块的输出特征图；

24)构建去噪网络，去噪网络可分为三个部分：

第一部分：将噪声图片作为输入，该部分由5个Conv+BN+PReLU层串行连接构成，卷积核设置为3×3，步长为1，padding为1；其中第1、2、3、4层网络层与第5层网络层构成残差结构；

第二部分：该部分有三个通道构成分别是CBAM通道、CBAM/BAM通道、 BAM通道；其中CBAM通道由8个Conv+BN+PReLU层和8个CBAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14层、第16层和输出层之间使用残差结构；CBAM/BAM通道由8个Conv+BN+PReLU、4个CBAM层和4个 BAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14层、第16层和输出层之间使用残差结构；BAM通道由8个Conv+BN+PReLU层和8 个BAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14 层、第16层和输出层之间使用残差结构；

第三部分：该部分由6个Conv+BN+PReLU层串行连接构成，卷积核设置为3 ×3，步长为1，padding为1，其中每一层之间均采用残差结构；

步骤3)训练去噪网络并更新参数：

31)图像加噪与预处理：

本发明使用若干幅医学脑部CT图像作为数据集，在图像预处理阶段将该数据集划分为训练数据集、验证数据集、测试数据集其中3个数据集的占比分别是： 90％、5％、5％；并且将训练数据集和验证数据集裁剪成64×64的尺寸；并且在预处理阶段给所有训练集和测试集加入高斯白噪声用来替代医学CT图像中的噪声，其中高斯噪声的噪声方差为5、10、15、20、25、30、35、40、45、50，由此得到整个网络的训练数据；

32)为了表征网络输出得到的预测图像与真实图像之间的差异，本发明使用 L2损失函数也被叫做最小化平方误差(Least Square Error)。LSE就是最小化真实值和预测值之间差值的平方和，其损失函数的公式：

θ₁代表训练参数，N代表训练集中图片数量，y_i代表噪声图像，x_i代表不含噪声的干净图片，R(y_i；θ₂)代表预测的干净图像；

33)去噪网络的所有参数使用Adam优化器进行更新，去噪网络不添加偏置参数；

步骤4)医学CT图像去噪；

本发明是基于多种注意力机制的多通道CNN医学CT图像去噪，使用了CBAM 注意力机制、BAM机制和CBAM/BAM联合机制，将含有噪声的医学CT图像输入去噪网络，先经过浅层网络的特征提取，然后分别在三个不同的通道上对去噪网络的浅层网络进行特征提取，再进过多层卷积网络，最后去噪网络输出预测的无噪声医学CT图像。

优选地，步骤31)使用500幅医学脑部CT图像作为数据集，总的训练集的图片块数量为134907张，验证集图片块的数量为7494张。

本发明的去噪网络实现了对于CT图像中特征细节的提取和保留，使得预测出来的干净图像具有良好的细节特征信息，并且该去噪网络具有很强的泛化能力，可以保证多种不同噪声等级下的去噪效果仍然是令人满意；

本发明具有以下优点：

1.提出了使用多种注意力机制对医学CT图像去噪，使得预测图像具有良好的细节特征。

2.在训练网络时使用多种噪声等级的噪声图片进行训练，增强了网络的鲁棒性，提高了网络的去噪性能

3.使用残差网络结构，可以使网络可以训练更深的结构。

4.采用了BN层，可以加快网络训练的速度。

附图说明

图1是本发明的含有高斯噪声的医学CT图像示意图；

图2是本发明的BAM机制结构图；

图3是本发明的CBAM机制结构图；

图4是本发明的去噪网络；

图5是本发明的医学CT图像去噪示意图。

具体实施方式：

以下结合附图对本发明做具体的解释说明

本发明的基于多种注意力机制的多通道CNN医学CT图像去噪方法具体步骤如下：

步骤1)创建医学CT图像模型：

创建医学CT图像模型：

高斯噪声是常见的噪声类型，高斯噪声的概率密度分布等于正态分布。随机高斯噪声可以加入到图像中，产生噪声图像如图1所示，其数学表达式为：

Y＝X+V (1)

其中μ表示为数学期望，σ表示为标准差；

步骤2)构建去噪网络：

注意力机制：

BAM注意力机制模块：

通道部分实现是先使用AdaptiveAvgPool2d层，然后经过若干层全连接网络，得到关于通道特征图；空间部分实现是使用一个Conv+BN+ReLU模块进行信息的压缩，然后连续使用多个Dilated+BN+ReLU模块，其中空洞率设置为4，最后使用一个卷积核将通道数压缩为1层得到关于空间特征图，最后将通道特征图和空间特征图相加在经过Sigmoid激活函数得到BAM注意力特征图，将BAM特征图和输入特征图进行点乘，将得到的结果与输入特征图相加得到BAM注意力机制模块的输出特征图，如图2所示；

CBAM注意力机制模块：

通道部分实现是先分别使用全局平均池化和最大池化层得到两个不同的特征图，然后进过一个共享的多层MLP网络，最后将得到的两个特征图相加再经 Sigmoid激活函数得到通道特征图；空间部分实现是先分别进行一个通道维度的平均池化和最大池化，将得到的两个特征图进行串行拼接，然后经Conv+Sigmoid 模块得到空间特征图；将输入特征图和通道特征图进行点乘的结果再和空间特征图进行点乘得到BAM注意力机制模块的输出特征图，如图3所示；

去噪网络可分为三个部分：

第三部分：该部分由6个Conv+BN+PReLU层串行连接构成，卷积核设置为3 ×3，步长为1，padding为1，其中每一层之间均采用残差结构，如图4所示；

步骤3)训练去噪网络并更新参数：

31)图像加噪与预处理：

本发明使用500幅医学脑部CT图像作为数据集，在图像预处理阶段将该数据集划分为训练数据集、验证数据集、测试数据集其中3个数据集的占比分别是： 90％、5％、5％；并且将训练数据集和验证数据集裁剪成64×64的尺寸，总的训练集的图片块数量为134907张，验证集图片块的数量为7494张；并且在预处理阶段给所有训练集和测试集加入高斯白噪声用来替代医学CT图像中的噪声，其中高斯噪声的噪声方差为5、10、15、20、25、30、35、40、45、50，由此得到整个网络的训练数据；

32构建损失函数：

为了表征网络输出得到的预测图像与真实图像之间的差异，本发明使用L2 损失函数也被叫做最小化平方误差(Least Square Error)。LSE就是最小化真实值和预测值之间差值的平方和，其损失函数的公式：

33)构建优化器：

去噪网络的所有参数使用Adam优化器进行更新，去噪网络不添加偏置参数；

步骤4)医学CT图像去噪；

本发明是基于多种注意力机制的多通道CNN医学CT图像去噪，使用了CBAM 注意力机制、BAM机制和CBAM/BAM联合机制，将含有噪声的医学CT图像输入去噪网络，先经过浅层网络的特征提取，然后分别在三个不同的通道上对去噪网络的浅层网络进行特征提取，再进过多层卷积网络，最后去噪网络输出预测的无噪声医学CT图像，如图5所示。

本发明提出了使用CBAM注意力机制、BAM机制和CBAM/BAM联合机制的多种注意力机制模型，将含有噪声的医学CT图像输入去噪网络，先经过浅层网络的特征提取，然后分别在三个不同的通道上对去噪网络的浅层网络进行特征提取，再进过多层卷积网络，最后去噪网络输出预测的无噪声医学CT图像；实现了对于CT图像中特征细节的提取和保留，使得预测出来的干净图像具有良好的细节特征信息，并且该去噪网络具有很强的泛化能力，可以保证多种不同噪声等级下的去噪效果仍然是令人满意。

Claims

1.基于多种注意力机制的多通道CNN医学CT图像去噪方法，具体步骤如下：

步骤1)创建医学CT图像模型，具体包括：

将随机高斯噪声加入到图像中，产生噪声图像，其数学表达式为：

Y＝X+V (1)

其中μ表示为数学期望，σ表示为标准差；

步骤2)构建去噪网络，具体包括：

21)构建注意力机制：

22)构建BAM注意力机制模块：

通道部分的实现方式是：先使用AdaptiveAvgPool2d层，然后经过若干层全连接网络，得到关于通道特征图；空间部分实现是使用一个Conv+BN+ReLU模块进行信息的压缩，然后连续使用多个Dilated+BN+ReLU模块，其中空洞率设置为4，最后使用一个卷积核将通道数压缩为1层得到关于空间特征图，最后将通道特征图和空间特征图相加在经过Sigmoid激活函数得到BAM注意力特征图，将BAM特征图和输入特征图进行点乘，将得到的结果与输入特征图相加得到BAM注意力机制模块的输出特征图；

23)构建CBAM注意力机制模块：

通道部分实现是先分别使用全局平均池化和最大池化层得到两个不同的特征图，然后进过一个共享的多层MLP网络，最后将得到的两个特征图相加再经Sigmoid激活函数得到通道特征图；空间部分实现是先分别进行一个通道维度的平均池化和最大池化，将得到的两个特征图进行串行拼接，然后经Conv+Sigmoid模块得到空间特征图；将输入特征图和通道特征图进行点乘的结果再和空间特征图进行点乘得到BAM注意力机制模块的输出特征图；

24)构建去噪网络，去噪网络分为三个部分：

第二部分：该部分有三个通道构成分别是CBAM通道、CBAM/BAM通道、BAM通道；其中CBAM通道由8个Conv+BN+PReLU层和8个CBAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14层、第16层和输出层之间使用残差结构；CBAM/BAM通道由8个Conv+BN+PReLU、4个CBAM层和4个BAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14层、第16层和输出层之间使用残差结构；BAM通道由8个Conv+BN+PReLU层和8个BAM层串行交错构成，卷积核设置为3×3，步长为1，padding为1，输入层和第2层Conv+BN+PReLU、第4层和第6层、第8层和第10层、第12层和第14层、第16层和输出层之间使用残差结构；

第三部分：该部分由6个Conv+BN+PReLU层串行连接构成，卷积核设置为3×3，步长为1，padding为1，其中每一层之间均采用残差结构；

步骤3)训练去噪网络并更新参数，具体包括：

31)图像加噪与预处理：

使用若干幅医学脑部CT图像作为数据集，在图像预处理阶段将该数据集划分为训练数据集、验证数据集、测试数据集其中3个数据集的占比分别是：90％、5％、5％；并且将训练数据集和验证数据集裁剪成64×64的尺寸；并且在预处理阶段给所有训练集和测试集加入高斯白噪声用来替代医学CT图像中的噪声，其中高斯噪声的噪声方差为5、10、15、20、25、30、35、40、45、50，由此得到整个网络的训练数据；

32)为了表征网络输出得到的预测图像与真实图像之间的差异，使用L2损失函数也被叫做最小化平方误差(Least Square Error)，LSE就是最小化真实值和预测值之间差值的平方和，其损失函数的公式：

步骤4)医学CT图像去噪；

基于多种注意力机制的多通道CNN医学CT图像去噪，使用了CBAM注意力机制、BAM机制和CBAM/BAM联合机制，将含有噪声的医学CT图像输入去噪网络，先经过浅层网络的特征提取，然后分别在三个不同的通道上对去噪网络的浅层网络进行特征提取，再进过多层卷积网络，最后去噪网络输出预测的无噪声医学CT图像。

2.如权利要求1所述的基于多种注意力机制的多通道CNN医学CT图像去噪方法，其特征在于：步骤31)使用500幅医学脑部CT图像作为数据集，总的训练集的图片块数量为134907张，验证集图片块的数量为7494张。