CN112785525B - 基于深度学习去除刀具刃口图像中的附着物的方法和系统 - Google Patents

Abstract

本发明属于刀具刃口图像处理领域，具体是指一种基于深度学习去除刀具刃口图像中的附着物的方法及系统，包括采集含附着物和擦拭干净的刀具刃口图像并生成数据集，其特征为，还包括以下步骤，步骤一，采用

卷积和激活函数对输入的含附着物图片的浅层特征提取和通道提升；步骤二，采用长短期记忆网络提取附着物递归去除过程中的时序信息；步骤三，对输入的含附着物图片的引入自注意力模块进行深层特征提取；步骤四，通过

的卷积，整合通道的特征，输出图像。该方法降低了90%参数量和计算量，符合工业现场的速度需求；提高了特征图通道中的附着物定位能力，使附着物与刀具边缘的衔接部分更平滑，去除效果显著，提升了刀具豁口检测系统精度。

Description

基于深度学习去除刀具刃口图像中的附着物的方法和系统

技术领域

本发明属于刀具刃口图像处理领域，具体是指一种基于深度学习去除刀具刃口图像中的附着物的方法及系统。

背景技术

分切是电动汽车动力电池生产的一个重要生产工艺，分切刀具的质量是影响分切的电极片质量的重要因素，确保分切刀具刃口豁口数量和大小在安全阈值下才能保证电池极片切割中产生的毛刺不至于引起短路风险。因此，对于刀具豁口的检测十分重要。由于刀具有油易于粘附，使用、转运和现场检测环境洁净度无法得到保证，在刃口处易粘连金属附着物、毛发和棉絮等位置和形态各异的附着物，刃口附着物存在影响了显微成像时自动对焦和清晰成像，导致显微图像拼接失败，形成刀具伪边缘，增加豁口误检率，严重影响系统检测精度。现有技术有基于深度学习去除附着物方法，缺乏对目标的针对性学习，导致计算资源浪费在背景等无关特征上；然而工业现场的计算资源有限，模型的参数量巨大导致模型在处理大尺寸图片时耗费大量时间，严重耽误生产效率。且现有技术缺乏对图像中局部与全局之间的特征依赖关系的提取，存在去除效果差，甚至无法去除附着物的缺点，因此提高刀具刃口图像的附着物去除模型性能十分重要。

发明内容

本发明目的在于提供一种基于深度学习去除刀具刃口图像中的附着物的方法和系统，以准确检测并去除刀具刃口附着物，保证刀具豁口检测有效性和精度。

实现上述目的的技术方案为，

一种基于深度学习去除刀具刃口图像中的附着物的方法，包括采集含附着物和擦拭干净的刀具刃口图像并生成数据集，还包括以下步骤，

步骤一，采用3×3卷积和激活函数对输入的含附着物图片的浅层特征提取和通道提升；在输入特征两边界进行卷积之前，为保证特征图在卷积过程中尺寸大小不变和保持边界信息，采取了补1操作。

步骤二，采用长短期记忆网络提取附着物递归去除过程中的时序信息；长短期记忆网络改进了原始的递归神经网络，通过对门单元的控制，从而决定流动特征的取舍或遗忘，有效地解决了网络训练过程中的梯度爆炸和丢失问题。

步骤三，对输入的含附着物图片的引入自注意力模块进行深层特征提取；采用普通的残差模块提取深层特征，缺少了自注意力机制的引导，导致附着物粘连的边缘出现扭曲现象，而自注意力模块能有效提取附着物特征，更好分辨图像中的刀具部分和附着物部分。

步骤四，通过3×3的卷积，逐通道进行卷积，整合特征获得输出附着物去除后的3通道图像。

进一步，所述步骤三中，提取深层特征时采用数个深度可分离卷积残差模块中穿插1个自注意力模块。自注意力机制可以作为图像响应的向导，在输入的特征序列中，分别计算某特征在任意位置的响应，从而获得全局信息，动态调节特征图谱中的网络权值，达到聚焦于附着物区域的效果。

进一步，所述深度可分离卷积残差模块数量为5个。选取合适的模块数量确保在计算时间和去除效果上取得平衡。

进一步，所述深度可分离卷积残差模块由3×3深度卷积、激活函数ReLU6和1×1点卷积依次构成。ReLU6激活函数的最大响应限制在6。避免了因激活响应太大，导致在低精度工业设备上单精度浮点和整形运算时，出现精度丢失的现象。

进一步，步骤一所述的激活函数为ReLU激活函数。

进一步，步骤一至步骤四采用结构相似度的相反数作为损失函数用来减少因附着物误去除产生的噪点。

一种基于深度学习去除刀具刃口图像中的附着物的系统，包括

浅层特征提取模块，由3×3卷积和激活函数组成，用于提取输入图片的浅层特征和通道提升；

长短期记忆网络，用于提取附着物递归去除过程中的时序信息，增强网络在时间维度上的特征提取能力；

自注意力机制的深层特征提取模块，数个深度可分离卷积残差模块中穿插1个自注意力模块，用自注意力机制对残差模块进行引导，降低附着物粘连的边缘扭曲现象。

进一步，所述深度可分离卷积残差模块数量为5个。

进一步，所述深度可分离卷积残差模块由3×3深度卷积、激活函数ReLU6和1×1点卷积依次构成。

进一步，还包括网络损失函数，以结构相似度的相反数作为网络损失函数用来减少因附着物误去除产生的噪点。

本案在去除刀具刃口图像中的附着物工业应用中存在以下部分或全部技术效果：

一是刀具图片中纹理特征较少，本案引入深度可分离卷积，对比普通的PReNet递归神经网络，使用本案降低了90％参数量和计算量，符合工业现场的速度需求；

二是引入了自注意力机制，提高了特征图通道中的附着物定位能力，使附着物与刀具边缘的衔接部分更平滑，说明去除效果显著，提升了刀具豁口检测系统精度。

附图说明

图1为本发明的总流程图；

图2为本发明的具体实施中建立的整体网络结构示意图；

图3为图2所示的附着物去除模块结构示意图；

附着物去除模块包括Conv3x3(即3×3卷积)和ReLU构成的浅层特征提取模块、LSTM(即长短期记忆网络提取模块)、DESA(即基于自注意力机制的深层特征提取模块)和Conv3x3(即3×3卷积)构成的特征整合模块；

图4为图3所示的DESA(即基于自注意力机制的深层特征提取模块)的结构示意图；

图5为图4所示的Self-Attention(即自注意力机制)示意图；

图6为图4所示的DSRB(即深度可分离卷积残差模块)结构示意图；

图7为本发明实施例中的实验使用到的刀具刃口无任何附着物的原始图像；

图8为本发明实施例中的实验使用到的刀具刃口沾染附着物后的图像；

图9为使用本发明具体实施的方法和系统对图8图像中的附着物进行去除后的图像；

图10为使用普通的PReNet递归神经网络对图8图像中的附着物进行去除后的图像。

具体实施方式

以下结合实验中应用本发明对刀具刃口图像附着物去除的说明对本发明进行详细具体的说明，本发明的整体流程图如图1所示，实施步骤如下：

1)制作实验数据集：

实验使用放大倍数为10的蔡司物镜，靶面尺寸为1.1英寸的Basler工业相机，构成0.345微米/像素精度的光学系统。采集外径约为110mm，内径约为90mm的某型号动力电池分切刀具。实验从312套刀具图片中(每套300张4096*2160分辨率图片)，收集了567张含附着物4k分辨率图片，其中包含训练集510张，测试集57张。对含有附着物部分进行随机裁剪，生成尺寸为100×100含附着物和对应的无附着物图片，共3478对，其中包含训练集3130对，测试集占348对。

2)搭建深度学习网络模型

参见图1至图3，本发明实施中刀具附着物去除网络包括附着物去除模块，该附着物去除模块包括由3×3卷积和ReLU激活函数构成的浅层特征提取模块、LSTM长短期记忆网络提取模块、DESA自注意力机制的深层特征提取模块和由3×3卷积构成的特征整合模块，其中递归T次后的输出图像公式如下：

如公式(1)所示，X_O为输入的附着物图片，F(X₁,X₂)为附着物图像到无附着物图像的非线性映射操作，Y_T为递归T次后的附着物去除图像，n为总递归次数。当T＝1时，F(X₁,X₂)输入为两张相同附着物原图X_O；当T＝n时，F(X₁,X₂)输入为X_O和Y_T-1；

2a)浅层特征提取模块的建立

本实施例中，浅层特征提取模块由3×3卷积和激活函数组成，用于提取输入图片的浅层特征和通道提升，用X₀和F₀分别表示网络的输入图片和输出特征，浅层特征提取可用式(2)表示。

F₀＝σ(W₀*X₀+b₀)， (2)

其中，*表示卷积操作，W₀表示3×3卷积核，b₀为偏置，σ为激活函数，F₀表示输入附着物图片X₀提取的浅层特征。在输入特征两边界进行卷积之前，为保证特征图在卷积过程中尺寸大小不变和保持边界信息，采取了补1操作。

2b)长短期记忆网络的建立

针对刀具附着物缺乏形状特征和纹理信息的问题，本发明采用长短期记忆网络提取附着物递归去除过程中的时序信息，增强网络在时间维度上的特征提取能力。长短期记忆网络改进了原始的递归神经网络，通过对门单元的控制，从而决定流动特征的取舍或遗忘，有效地解决了网络训练过程中的梯度爆炸和丢失问题。其中，长短期记忆网络单元的隐藏层中的遗忘门f、输入门i、候选细胞态

输出门o实现公式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)， (3)

i_t＝σ(W_i*[h_t-1,x_t]+b_i)， (4)

o_t＝σ(W_o*[h_t-1,x_t]+b_o)， (6)

其中，*表示卷积操作，h_t-1和x_t分别为上一次LSTM层的输出特征和本次的输入图片，W_f、W_i、W_C和W_o均为3×3卷积核，b_f、b_i、b_C和b_o为对应变量的偏置值，σ为sigmoid激活函数。鉴于输入图片为3通道灰度图，通道之间的冗余信息较多。因此，本案采用3×3深度可分离卷积计算以上的四个权重矩阵和偏置值。当前时刻t下的细胞态C_t和长短期记忆单元的输出h_t公式如下:

h_t＝o_t·tanh(C_t)， (8)

其中，C_t-1和

为上一时刻的细胞态和当前时刻的候选细胞态，C_t为上一时刻细胞态与遗忘门乘积再叠加输入门与待选细胞态的乘积，长短期记忆网络细胞输出h_t为输出门与当前时刻细胞态由tanh激活后的乘积。实验表明，在递归网络PReNet中长短期记忆网络层具有优越性；

2c)自注意力机制的深层特征提取模块的建立

刀具附着物分布在刀具和白色光源的交界处，普通残差模块在特征提取过程中，缺乏刀具边界的针对性学习。本案的数据集背景纹理特征较少，较为相似，难以区分图像中的刀具部分和附着物部分。采用普通的残差模块提取深层特征，缺少了自注意力机制的引导，导致附着物粘连的边缘出现扭曲现象，而自注意力模块能有效提取附着物特征，更好分辨图像中的刀具部分和附着物部分。因此，为解决上述问题，本案在深层特征提取过程中引入自注意力模块。由于自注意力模块具有较强的特征提取能力且自注意力模块计算量相对较大，只需增加一个便可达到较大的效果提升。参见图4，本实例中自注意力机制的深层特征提取模块由5个深度可分离卷积残差块和1个自注意力模块组成。首先，由两个深度可分离卷积残差块提取刀具边缘与附着物的混合特征；然后自注意力模块根据特征动态调整权值，聚焦于附着物与刀具边缘连接区域；最后，由三个深度可分离卷积残差块模块进一步提取附着物的深层位置特征；

参见图5，本发明实施例中，自注意力特征提取模块包含三种向量:Q(待查询特征)、K(被查询特征的全局依赖关系)和V(被查询特征)，计算公式分别如式(9)、式(10)和式(11)所示。

Q＝x*W_q， (9)

K＝x*W_k， (10)

V＝x*W_v， (11)

其中，*表示卷积操作，x为输入特征，W_q、W_k和W_v均为1×1卷积核。特征通过1×1卷积后，Q和K向量的输入通道从32降低到8通道，V向量从32降低到16通道。最后自注意力输出的公式为：

Q与K^T相乘后得到一个10000*10000的权重矩阵，再经过权值系数

调整后，由Softmax激活，构建出输入图片的全尺寸权重矩阵。在自注意力模块中，首先，特征Q任意位置的依赖关系在特征K上构建逐一对应关系；然后，输入的特征图谱Q以转置相乘的方式和K共同构成全局依赖关系字典；最后，在全局依赖关系字典中，查得被查询特征V上的某位置的真实响应，从而得到增强后的注意力特征。自注意力机制可以作为图像响应的向导，在输入的特征序列中，分别计算某特征在任意位置的响应，从而获得全局信息，动态调节特征图谱中的网络权值，达到聚焦于附着物区域的效果；

参见图6，本发明实施中深度可分离卷积残差模块主要由两个深度可分离卷积组成。由于本案刀具图片的背景特征单一，无需对特征维度做进一步缩放，因此深度可分离卷积中的通道扩展系数设为1。深度可分离卷积模块由3×3深度卷积、1×1点卷积和激活函数ReLU6构成。同时，为防止信息过度丢失，特征通过点卷积后没有使用ReLU6激活函数。其中，ReLU6激活函数与ReLU激活函数区别在于ReLU6激活函数的最大响应限制在6。避免了因激活响应太大，导致在低精度工业设备上单精度浮点和整形运算时，出现精度丢失的现象。

为比较深度可分离卷积与普通卷积的参数量，假设输入特征图的尺寸为H×W×M，卷积核尺寸为D_K×D_K×M，输出的特征图尺寸为H×W×N。则标准卷积层的参数量P_sconv计算公式如式(13)所示：

P_sconv＝D_K×D_K×M×N， (13)

而深度可分离卷积的参数量P_dsconv计算公式如式(14)所示：

P_dsconv＝D_K×D_K×M+M×N， (14)

因此，深度可分离卷积与标准卷积之间的比值β如式(15)所示：

如式(15)可见，与普通卷积相比，深度可以分离卷积能减少大量参数，而且随着卷积核尺寸增大，深度可分离卷积能指数性减少参数量。本案深度卷积采用的卷积核大小为3×3，即D_K为3，带入公式(15)可得，深度可分离卷积残差块能减少大88.9％参数量；

2d)特征整合模块的建立

特征整合模块把上一级的深层特征进行整合，通过3×3的卷积，逐通道进行卷积，把维度从32降到与输入附着物图片维度一致，图片尺寸与输入图片保持不变，输出附着物去除后的3通道图像。

Y_T＝W_o*R(x)+b_o， (16)

如式(16)中所示，Y_T为递归第T次的附着物去除图片，W_o为3×3的卷积核，R(x)表示网络学习到的无附着物的深层特征，b_o为输出的偏置；

3)训练附着物去除模型

3a)本发明的损失函数定义为L_SSIM，结构相似度用于评价两幅图像间的结构相似性。结构相似度相比于均方误差，在模型训练初期能学习到图片的结构信息，减少因附着物误去除产生的噪点，且收敛速度更快。其中结构相似度的计算公式如下:

其中，μ_XT和

分别为递归循环T次后的输入图片X的均值和方差，

和

分别是附着物标准去除图片X_GT的均值和方差，

为递归循环T次后的输入图片X_T和附着物标准去除图片X_GT的协方差，C₁和C₂为常数，分别取值为0.01和0.03用于防止计算中分母为零的情况。最后以结构相似度的相反数作为损失函数，记为L_SSIM：

L_SSIM(X_T,X_GT)＝-SSIM(X_T,X_GT)， (18)

3b)使用Adam优化器，初始学习率设置为0.0001，共训练100epoch，并在第40、60、80epoch下降低学习率为当前学习率的一半。

3c)使用1)中的数据集和2)中的网络模型进行训练，其中训练过程采用3a)中的损失函数和3b)中的优化器对网络中的参数进行优化，直至网络损失下降至浮动不大为止。

4)将测试集中的待去附着物的刀具刃口图片输入训练好的附着物去除网络中，得到去除附着物后的刀具刃口图像。

实验结果分析：

参见图7至图10，图7与图8对比显示：刀具刃口沾染了附着物后，其图像必然会导致严重影响系统对豁口位置和大小的检测精准度；图10、图9分别与图7对比显示：使用本案的方法和系统去除图像中的附着物相对使用普通的递归网络明显获得了更加接近理想刀具刃口图像，因此系统可以获得更加精确的豁口位置和大小的信息，可见本案的去除附着物具有速度快效果更好的优点。

Claims (10)

1.一种基于深度学习去除刀具刃口图像中的附着物的方法，包括采集含附着物和擦拭干净的刀具刃口图像并生成数据集，其特征为，还包括以下步骤，

步骤一，采用3×3卷积和激活函数对输入的含附着物图片的浅层特征提取和通道提升，浅层特征提取可用式(2)表示，

F₀＝σ(W₀*X₀+b₀)， (2)

其中，*表示卷积操作，W₀表示3×3卷积核，b₀为偏置，σ为激活函数，F₀表示输入附着物图片X₀提取的浅层特征；

步骤二，采用长短期记忆网络提取附着物递归去除过程中的时序信息，长短期记忆网络单元的隐藏层中的遗忘门f、输入门i、候选细胞态

输出门o实现公式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)， (3)

i_t＝σ(W_i*[h_t-1,x_t]+b_i)， (4)

o_t＝σ(W_o*[h_t-1,x_t]+b_o)， (6)

其中，*表示卷积操作，h_t-1和x_t分别为上一次LSTM层的输出特征和本次的输入图片，W_f、W_i、W_C和W_o均为3×3卷积核，b_f、b_i、b_C和b_o为对应变量的偏置值，σ为sigmoid激活函数，鉴于输入图片为3通道灰度图，通道之间的冗余信息较多，因此，本案采用3×3深度可分离卷积计算以上的四个权重矩阵和偏置值，当前时刻t下的细胞态C_t和长短期记忆单元的输出h_t公式如下:

h_t＝o_t·tanh(C_t)， (8)

其中，C_t-1和

为上一时刻的细胞态和当前时刻的候选细胞态，C_t为上一时刻细胞态与遗忘门乘积再叠加输入门与待选细胞态的乘积，长短期记忆网络细胞输出h_t为输出门与当前时刻细胞态由tanh激活后的乘积；

步骤三，对输入的含附着物图片的引入自注意力模块进行深层特征提取，自注意力特征提取模块包含三种向量:Q(待查询特征)、K(被查询特征的全局依赖关系)和V(被查询特征)，计算公式分别如式(9)、式(10)和式(11)所示，

Q＝x*W_q， (9)

K＝x*W_k， (10)

V＝x*W_v， (11)

其中，*表示卷积操作，x为输入特征，W_q、W_k和W_v均为1×1卷积核，特征通过1×1卷积后，Q和K向量的输入通道从32降低到8通道，V向量从32降低到16通道，最后自注意力输出的公式为：

Q与K^T相乘后得到一个10000*10000的权重矩阵，再经过权值系数

调整后，由Softmax激活，构建出输入图片的全尺寸权重矩阵；

步骤四，通过3×3的卷积，整合通道的特征，输出附着物去除后的刀具刃口图像，具体包括，将上一级的深层特征进行整合，通过3×3的卷积，逐通道进行卷积，把维度从32降到与输入附着物图片维度一致，图片尺寸与输入图片保持不变，输出附着物去除后的3通道图像。

2.根据权利要求1所述的基于深度学习去除刀具刃口图像中的附着物的方法，其特征为，所述步骤三中，提取深层特征时采用数个深度可分离卷积残差模块中穿插1个自注意力模块。

3.根据权利要求2所述的基于深度学习去除刀具刃口图像中的附着物的方法其特征为，所述深度可分离卷积残差模块数量为5个。

4.根据权利要求2或3所述的基于深度学习去除刀具刃口图像中的附着物的方法其特征为，所述深度可分离卷积残差模块由3×3深度卷积、激活函数ReLU6和1×1点卷积依次构成。

5.根据权利要求1所述的基于深度学习去除刀具刃口图像中的附着物的方法其特征为，步骤一所述的激活函数为ReLU激活函数。

6.根据权利要求1所述的基于深度学习去除刀具刃口图像中的附着物的方法其特征为，步骤一至步骤四采用结构相似度的相反数作为损失函数用来减少因附着物误去除产生的噪点。

7.一种基于深度学习去除刀具刃口图像中的附着物的系统，其特征为，包括

浅层特征提取模块，由3×3卷积和激活函数组成，用于提取输入图片的浅层特征和通道提升，浅层特征提取可用式(2)表示，

F₀＝σ(W₀*X₀+b₀)， (2)

其中，*表示卷积操作，W₀表示3×3卷积核，b₀为偏置，σ为激活函数，F₀表示输入附着物图片X₀提取的浅层特征；

长短期记忆网络，用于提取附着物递归去除过程中的时序信息，增强网络在时间维度上的特征提取能力，长短期记忆网络单元的隐藏层中的遗忘门f、输入门i、候选细胞态

输出门o实现公式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)， (3)

i_t＝σ(W_i*[h_t-1,x_t]+b_i)， (4)

o_t＝σ(W_o*[h_t-1,x_t]+b_o)， (6)

其中，*表示卷积操作，h_t-1和x_t分别为上一次LSTM层的输出特征和本次的输入图片，W_f、W_i、W_C和W_o均为3×3卷积核，b_f、b_i、b_C和b_o为对应变量的偏置值，σ为sigmoid激活函数，鉴于输入图片为3通道灰度图，通道之间的冗余信息较多，因此，本案采用3×3深度可分离卷积计算以上的四个权重矩阵和偏置值，当前时刻t下的细胞态C_t和长短期记忆单元的输出h_t公式如下:

h_t＝o_t·tanh(C_t)， (8)

其中，C_t-1和

为上一时刻的细胞态和当前时刻的候选细胞态，C_t为上一时刻细胞态与遗忘门乘积再叠加输入门与待选细胞态的乘积，长短期记忆网络细胞输出h_t为输出门与当前时刻细胞态由tanh激活后的乘积；

自注意力机制的深层特征提取模块，包含三种向量:Q(待查询特征)、K(被查询特征的全局依赖关系)和V(被查询特征)，计算公式分别如式(9)、式(10)和式(11)所示，

Q＝x*W_q， (9)

K＝x*W_k， (10)

V＝x*W_v， (11)

其中，*表示卷积操作，x为输入特征，W_q、W_k和W_v均为1×1卷积核，特征通过1×1卷积后，Q和K向量的输入通道从32降低到8通道，V向量从32降低到16通道，最后自注意力输出的公式为：

Q与K^T相乘后得到一个10000*10000的权重矩阵，再经过权值系数

调整后，由Softmax激活，构建出输入图片的全尺寸权重矩阵；

特征整合模块：将上一级的深层特征进行整合，通过3×3的卷积，逐通道进行卷积，把维度从32降到与输入附着物图片维度一致，图片尺寸与输入图片保持不变，输出附着物去除后的3通道图像。

8.根据权利要求7所述的基于深度学习去除刀具刃口图像中的附着物的系统，其特征为，所述深度可分离卷积残差模块数量为5个。

9.根据权利要求7或8所述的基于深度学习去除刀具刃口图像中的附着物的系统，其特征为，所述深度可分离卷积残差模块由3×3深度卷积、激活函数ReLU6和1×1点卷积依次构成。

10.根据权利要求7所述的基于深度学习去除刀具刃口图像中的附着物的系统，其特征为，还包括网络损失函数，以结构相似度的相反数作为网络损失函数用来减少因附着物误去除产生的噪点。

Images