CN112365426B - 一种基于双分支卷积神经网络的红外图像边缘增强方法 - Google Patents

Abstract

一种基于双分支卷积神经网络的红外图像边缘增强方法，属于红外无损检测领域和图像处理领域，包括：构建红外无损检测边缘增强专用数据集；设计了一种基于双分支的红外无损检测图边缘增强卷积网络。首先使用红外检测设备采集红外图像，并利用边缘检测得到红外无损检测的边缘图像；将原始图像与对应的边缘图像组成双输入，输入到双通道卷积网络的特征提取模块，将边缘图像网络分支中提取到的信息输入到原始图像分支网络，增化边缘信息，并通过注意力机制重新调整强化后的图像特征。能有效提升红外图像的边缘增强性能，解决了红外图像中边缘模糊的问题，提升了缺陷的可读性。

Description

一种基于双分支卷积神经网络的红外图像边缘增强方法

技术领域

本发明属于红外无损检测领域和图像处理领域，具体涉及一种基于双分支卷积神经网络的红外检测图像边缘增强方法。

背景技术

红外无损检测技术是一门跨学科、跨应用领域的通用型实用技术，是一种创新性的无损检测技术。国际上积极发展的新型数字化无损检测技术，可实现对金属、非金属及复合材料中存在的裂纹、脱粘等缺陷进行检测，具有非接触、检测面积大、速度快、在线检测等优点。与常规超声、磁粉、渗透、涡流等无损检测技术相比，它的创新性在于采用了主动式加热方式，使材料表面下的物理特性通过其表面温度变化反映出来，具有更快速、更精确、非接触等特点。由于红外无损检测成像的固有机制，导致红外图像的边缘模糊，难以准确提取到缺陷的边缘信息，无法实现缺陷的定量分析。如何设计一种方法，有效的增强红外无损检测图像中的边缘信息，是实现缺陷定量分析的关键环节。

发明内容

本发明的目的是提供一种基于双分支卷积神经网络的红外检测图像边缘增强方法。

本发明是一种基于双分支卷积神经网络的红外检测图像边缘增强方法，其步骤为：

步骤(1)：采集红外无损检测图像，构建专用数据集。通过专业红外无损检测人员来手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，原始图像分支用于提取原始图像中的特征，最终的输出为与输入同尺寸的二值图像；同样地，边缘图像分支用于提取边缘图像中的特征，其最终输入为与输入同尺寸的二值图像；

具体为，原始图像分支由特征提取模块、特征重组模块、CA模块，通道注意力机制模块、特征融合与降维模块组成；

首先将原始图像输入原始图像分支，经过各模块处理后，输出红外图像的边缘二值图像；

具体为，边缘图像分支由特征提取模块、特征融合与降维模块组成；该分支的输入是原始图像的梯度图像，即边缘图像，经过各模块处理后，输出红外图像的边缘二值图像；

步骤(3)：从训练集中随机提取出多张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，将两个分支提取到的特征进行重组，以强化边缘特征，并形成高维度的特征；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，通过超参数调整两部分损失的权重，并将两部分损失相加作为网络的整体损失；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。

与现有技术相比，本发明的有益效果：

(1)本发明采用了端到端卷积神经网络直接生成缺陷边缘的二值图像，输出结构可以直接呈现缺陷的清晰边缘，一定程度上解决了缺陷定量分析困难的问题；(2)本发明设计了专门用于红外图像边缘增强的专用数据集，该数据集不仅可以用于边缘增强，也可以用于训练其他的红外图像任务。

附图说明

图1为本发明提供的基于双分支卷积神经网络的红外检测图像边缘增强方法示意图，图2为CA模块示意图。

具体实施方式

本发明是一种基于双分支卷积神经网络的红外检测图像边缘增强方法，其步骤为：

步骤(1)：采集红外无损检测图像，构建专用数据集。通过专业红外无损检测人员来手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，原始图像分支用于提取原始图像中的特征，最终的输出为与输入同尺寸的二值图像；同样地，边缘图像分支用于提取边缘图像中的特征，其最终输入为与输入同尺寸的二值图像；

具体为，原始图像分支由特征提取模块、特征重组模块、CA模块，通道注意力机制模块、特征融合与降维模块组成；

首先将原始图像输入原始图像分支，经过各模块处理后，输出红外图像的边缘二值图像；

具体为，边缘图像分支由特征提取模块、特征融合与降维模块组成；该分支的输入是原始图像的梯度图像，即边缘图像，经过各模块处理后，输出红外图像的边缘二值图像；

步骤(3)：从训练集中随机提取出多张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，将两个分支提取到的特征进行重组，以强化边缘特征，并形成高维度的特征；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，通过超参数调整两部分损失的权重，并将两部分损失相加作为网络的整体损失；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。本发明的基于双分支卷积神经网络的红外检测图像边缘增强方法，其步骤为：

步骤一：采集红外无损检测图像，构建专用数据集。通过专业红外无损检测人员来手工标记红外图像中的边缘信息，生成二值图像作为监督信号。

共采集2000张红外无损检测，通过人工标记生成二值图像作为监督信号，每张红外图像与对应边缘图像形成图像对。数据集中含有2000对图像，2000张为RGB图像，2000为二值图像。按照3：1：1的比例划分为训练集，验证集和测试，其中训练集含有1200对图像，验证集和测试集中各含有400对图像。

步骤二：本发明提出的双分支卷积网络包括原始图像分支和边缘图像分支，对于原始图像分支网络由特征提取模块、特征重组模块、CA模块(通道注意力机制模块)、特征融合与降维模块组成。特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(3，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响。特征重组模块是将边缘图像分支网络中提取的特征与原始图像特征进行组合，组合后的特征通道数为256，并由CA(SENet)来调整通道的权重。特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，通道数见图1所示，激活层均为ReLU函数。

对于边缘图像分支由特征提取模块、特征融合与降维模块组成。对于边缘图像分支网络由特征提取模块、特征融合与降维模块组成。特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(1，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响。特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，通道数见图1所示，激活层均为ReLU函数。

步骤三：从训练集中随机提取出20张图像作为Batch，作为原始图像分支网络的输入。将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入。设I为原始图像，则灰度图像I_gray＝RGB2GRAY(I)，梯度图像为

步骤四：将步骤三中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征。

步骤五：将步骤三中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，形成高维度的特征，特征通道数为128*2。通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能。

特征的维度较高，引入注意力机制可以有效的提高网络的性能，即图1中的CA模块。

设

为某一卷积层的输出，W、H、C为特征图的宽、高和通道数，通过SE模块可以计算出注意力为：

ω＝σ(f{W₁，W₂}(g(χ)))

式中，g(χ)表示全局平局池化操作，σ是Sigmoid函数。令y＝g(χ)，f{W₁，W₂}可从下式得到：

f{W₁，W₂}y＝W₂RELU(W₁y)

式中，为减少模型参数量，W₁和W₂的尺寸分别设置为

和

步骤六：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像。同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像。

步骤七：网络的损失函数由两部分组成。第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，将两部分损失相加作为网络的整体损失，第一部分采用MSE损失，第二部分采用L1损失，超参数α＝0.85，具体如下：

Loss＝MSE_loss(output1，label)+α·L1_loss(output2，label)。

步骤八：通过随机梯度下降对网络参数进行优化，更新网络参数；本发明中采用动量梯度下降更新参数，学习率设置为0.001，动量设置为0.9。

步骤九：重复步骤3-8，知道达到训练停止条件或训练最大次数，保存训练好的网络模型。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (2)

1.一种基于双分支卷积神经网络的红外检测图像边缘增强方法，其特征在于，其步骤为：

步骤(1)：采集红外无损检测图像，构建专用数据集， 通过专业红外无损检测人员来手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，原始图像分支用于提取原始图像中的特征，最终的输出为与输入同尺寸的二值图像；同样地，边缘图像分支用于提取边缘图像中的特征，其最终输入为与输入同尺寸的二值图像；

具体为，原始图像分支由特征提取模块、特征重组模块、CA模块，通道注意力机制模块、特征融合与降维模块组成；

首先将原始图像输入原始图像分支，经过各模块处理后，输出红外图像的边缘二值图像；

具体为，边缘图像分支由特征提取模块、特征融合与降维模块组成；该分支的输入是原始图像的梯度图像，即边缘图像，经过各模块处理后，输出红外图像的边缘二值图像；

步骤(3)：从训练集中随机提取出多张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，将两个分支提取到的特征进行重组，以强化边缘特征，并形成高维度的特征；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，通过超参数调整两部分损失的权重，并将两部分损失相加作为网络的整体损失；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。

2.根据权利要求1所述的基于双分支卷积神经网络的红外检测图像边缘增强方法，其特征在于：

步骤(1)：采集红外无损检测图像，构建专用数据集；手工标记红外图像中的边缘信息，生成二值图像作为监督信号；

共采集2000张红外无损检测，通过人工标记生成二值图像作为监督信号，每张红外图像与对应边缘图像形成图像对；数据集中含有2000对图像，2000张为RGB图像，2000为二值图像；按照3：1：1的比例划分为训练集，验证集和测试，其中训练集含有1200对图像，验证集和测试集中各含有400对图像；

步骤(2)：双分支卷积网络包括原始图像分支和边缘图像分支，对于原始图像分支网络由特征提取模块、特征重组模块、CA模块(通道注意力机制模块)、特征融合与降维模块组成；

特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(3，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响；

特征重组模块是将边缘图像分支网络中提取的特征与原始图像特征进行组合，组合后的特征通道数为256，并由CA(SENet)来调整通道的权重；

特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，通道数见图1所示，激活层均为ReLU函数；

对于边缘图像分支由特征提取模块、特征融合与降维模块组成； 对于边缘图像分支网络由特征提取模块、特征融合与降维模块组成；

特征提取模块由卷积层、BN层和激活层组成，卷积层通道设置为(1，128)，卷积核大小为3，步长为1，padding为1；BN层用于对特征的批标准化，防止过拟合；激活层为ReLU激活函数，解决梯度爆炸对网络训练的影响；

特征融合与降维模块，由卷积层、BN层和激活层组成，卷积层中，卷积核大小均设置为3，步长为1，padding为1，激活层均为ReLU函数；

步骤(3)：从训练集中随机提取出20张图像作为Batch，作为原始图像分支网络的输入；将Batch中的图像转化为灰度图像后，对每张图像计算梯度图，作为边缘图像分支网络的输入；设I为原始图像，则灰度图像I_gray＝RGB2GRAY(I),梯度图像为

步骤(4)：将步骤(3)中的原始图像Batch和梯度图Batch输入对应的分支网络中，分别通过特征提取模块提取输入图像的特征；

步骤(5)：将步骤(3)中，边缘图像分支网络提取到的特征，通过Concat方式输入到原始图像分支网络中，形成高维度的特征，特征通道数为128*2；通过CA模块，对高维度特征的每个通道进行权重优化，以提高网络性能；

特征的维度较高，引入注意力机制可以有效的提高网络的性能，即CA模块；设

为某一卷积层的输出，W、H、C为特征图的宽、高和通道数，通过SE模块计算出注意力为：

ω＝σ(f{W₁,W₂}(g(χ)))

式中，g(χ)表示全局平局池化操作，σ是Sigmoid函数；

令y＝g(χ)，f{W₁,W₂}从下式得到：

f{W₁,W₂}y＝W₂RELU(W₁y)

式中，为减少模型参数量，W₁和W₂的尺寸分别设置为

和

步骤(6)：在原始图像分支中，将重组特征输入到后续的特征融合和降维模块，最终输出缺陷边缘的二值图像；同样地，在边缘图像分支网络中，对特征进行融合和降维，输出缺陷边缘的二值图像；

步骤(7)：网络的损失函数由两部分组成，第一部分为原始图像分支网络的输出与监督信号间的损失，第二部分为边缘分支网络的输出与监督信号间的损失，将两部分损失相加作为网络的整体损失，第一部分采用MSE损失，第二部分采用L1损失，超参数α＝0.85,具体如下：

Loss＝MSE_loss(output1,label)+α·L1_loss(output2,label)；

步骤(8)：通过随机梯度下降对网络参数进行优化，更新网络参数；采用动量梯度下降更新参数，学习率设置为0.001，动量设置为0.9；

步骤(9)：重复步骤(3)～步骤(8)，直到达到训练停止条件或训练最大次数，保存训练好的网络模型。

Images