CN113269786A - 基于深度学习和引导滤波的装配体图像分割方法及设备 - Google Patents

Abstract

本发明涉及基于深度学习和引导滤波的装配体图像分割方法，包括如下步骤：S1、建立包括若干个装配体图像的数据集；S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；S3、利用数据集迭代训练所述语义分割模型；S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割图像。本发明通过融合所述第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力。引导滤波器模块根据引导图像优化分割图的分割边缘，进一步加强装配体中各尺度零部件的分割效果。

Description

基于深度学习和引导滤波的装配体图像分割方法及设备

技术领域

本发明涉及基于深度学习和引导滤波的装配体图像分割方法及设备，属于图像处理领域。

背景技术

目前制造业迎来了大批量个性化定制的生产时代。产品类型多变的生产模式使产品的装配生产线也不断发生重组，这增加了工人的装配难度，容易出现装配顺序错误、漏装、错装等现象。然而一旦未能及时的监测出装配过程中发生的这些错误，将会直接影响产品的质量和装配效率，会在后续的装配过程中浪费时间和金钱。通过语义分割对机械装配体深度图像进行分割，对分割后的图像进行分析，可识别已装配的零部件，并监测漏装、错装、装配顺序错误等。这不仅提高了产品装配质量和效率，避免返工，这也为企业的生产降低了成本。

语义分割是对图像进行和像素级分类，分为两大类：1、基于人工特征提取方法和基于深度学习的方法，需要人为设计合理的特征提取算法，以对图像特征进行提取。这不仅要求人员有很强的专业素养和先验知识，而且面对不同的任务，特征提取算法往往大不相同。这不仅会造成算法通用性差，效率降低，而且会耗费大量的人力物力，增加成本。2、基于深度学习方法的语义分割技术，可以自动学习特征，不需要设计复杂的特征算法，但是在机械装配体领域中，由于缺乏公用的数据集，机械产品结构复杂，机械类装配体上含有大量的小零件(如细轴、螺栓等)且相互遮挡严重等原因，造成了小零件分割差和分割图像边缘模糊等问题。然而小零件的识别对于装配体的重建和监测非常关键，同时零件边缘轮廓的清晰度也会影响装配体位置的计算。

公开号为CN112288750A的专利《一种基于深度学习网络的机械装配体图像分割方法和设备》公开了：通过深度学习网络构建由编码器网络和解码器网络组成的机械装配体轻量化语义分割模型；利用编码器网络中进行特征提取，获取高信息质量的特征图；利用解码器网络恢复图像大小并进行特征融合，得到多维分割图；根据多维分割图与对应的标签图像之间的误差，更新编码器网络中的参数。该方案的缺点在于并未考虑不同物体具有不同的尺度空间，导致对于小尺度的物体分割性能较差。

发明内容

为了解决上述现有技术中存在的问题，本发明提供基于深度学习和引导滤波的装配体图像分割方法，通过融合所述第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力；尤其是，加强了语义分割模型对小零件的学习能力。

本发明的技术方案如下：

技术方案一：

基于深度学习和引导滤波的装配体图像分割方法，包括如下步骤：

S1、建立包括若干个装配体图像的数据集；

S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；

S3、利用数据集迭代训练所述语义分割模型；

S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割结果：

特征提取模块对待分割装配体图像进行若干次卷积操作、若干次非线性转换和若干次最大池化操作，得到若干个不同尺度的第一特征图；

特征融合模块分别对若干个所述第一特征图进行上采样操作，得到若干个尺度相同的第二特征图；对若干个所述第一特征图进行通道融合，得到第三特征图；对所述若干个第二特征图和第三特征图进行通道融合，得到多尺度特征图；对多尺度特征图进行像素级分类，得到第一分割图；

获取引导图像；滤波模块根据引导图像，对第一分割图I进行线性滤波，得到第二分割图；将第二分割图作为分割结果输出。

进一步的，所述获取引导图像，具体为：

获取所述待分割装配体图像对应的边界图像；对所述待分割装配体图像和边界图像进行通道融合，得到引导图像。

进一步的，所述滤波模块包括依次连接的第一卷积层、激活层、第二卷积层和引导滤波器；通过所述第一卷积层、激活层和第二卷积层，对所述引导图像进行优化；滤波模块根据优化后的引导图像，对第一分割图进行线性滤波，得到第二分割图。

进一步的，所述对若干个第一特征图进行通道融合，得到第三特征图，具体为：

在若干个所述第一特征图中选取n个第一特征图；

对第1个第一特征图进行上采样操作，再将其与第2个第一特征图进行通道融合、卷积操作和非线性转换得到第一结果；

对第i结果(i＝1、2、3、4……n-1)进行上采样操作，再将其与第i+2个第一特征图进行通道融合、卷积操作和非线性转换得到第i+1结果；循环该步骤直至i＝n-1，得到第n一1结果即为第三特征图。

技术方案二：

基于深度学习和引导滤波的装配体图像分割设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行如技术方案一所述步骤。

本发明具有如下有益效果：

1、本发明中通过特征提取模块提取待分割装配体图像的特征图；

特征融合模块通过融合第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力；尤其是，加强了语义分割模型对小零件的学习能力。引导滤波器模块根据引导图像优化第一分割图的分割边缘，进一步加强装配体中各尺度零部件的分割效果。

2、本发明通过对待分割装配体图像和边界图像进行通道融合得到引导图像G，增强了引导图像G中的边界信息，从而获得分割边界更加清晰的第一分割图。引导图像G通过两个卷积层学习得到更加适合机械装配体语义分割结果优化任务的引导图像G′。

附图说明

图1为本发明流程图；

图2为实施例一流程图；

图3为实施例二流程图。

具体实施方式

下面结合附图和具体实施例来对本发明进行详细的说明。

实施例一

参见图1，基于深度学习和引导滤波的装配体图像分割方法，包括如下步骤：

S1、建立包括若干个装配体深度图像的数据集。

S2、如图2所示，构建包括特征提取模块、特征融合模块和滤波模块的语义分割模型：

构建特征提取模块；特征提取模块包括依次连接的：3×3卷积层→Relu激活层→最大池化层→3×3卷积层→Relu激活层→最大池化层→3×3卷积层→Relu激活层→最大池化层→3×3卷积层→Relu激活层→最大池化层→3×3卷积层→Relu激活层→最大池化层→1×1卷积层→1×1卷积层→1×1卷积层。其中，3×3卷积层表示该卷积层使用3×3卷积核，1×1卷积层表示该卷积层使用1×1卷积核；5个最大池化层均由滑动窗口大小为2×2，步长为2的最大池化组成。

构建特征融合模块；特征融合模块包括若干个上采样模块、通道融合模块、3×3卷积层、Relu激活层和argmax层。

构建滤波模块；滤波模块包括依次连接的：通道融合模块→3x3卷积层→Relu激活层→1x1卷积层→引导滤波器。

S3、利用训练集迭代训练语义分割模型；

S4、通过训练好的语义分割模型，对图像进行语义分割：

获取待语义分割的装配体图像；

将待分割装配体图像输入特征提取模块；特征提取模块中的5个最大池化层输出5个不同尺度的第一特征图至特征融合模块；

特征融合模块利用反卷积的方式分别对所述5个不同尺度的第一特征图进行上采样操作，得到5个尺度相同的第二特征图；

利用跳跃连接方式和通道融合模块，选取特征提取模块中最大池化层输出的3个第一特征图和最后一个1×1卷积层输出的第一特征图进行通道融合，得到第三特征图(具体参见实施例二)。将5个第二特征图和第三特征图输入至通道融合模块进行通道融合，得到多尺度特征图；将多尺度特征图输入至argmax层进行像素级分类，得到第一分割图I；

获取引导图像G；将引导图像G输入至所述3x3卷积层、Relu激活层、1x1卷积层和引导滤波器，得到引导图像G′并输入至引导滤波器；引导滤波器对第一分割图I进行局部线性滤波，得到第二分割图O。将第二分割图作为分割结果输出。

本实施例的进步之处在于：

通过特征提取模块提取待分割装配体图像的特征图；

特征融合模块通过融合第二特征图和第三特征图得到多尺度特征图，恢复待分割装配体图像的低阶特征并增加语义分割模型的复杂度，从而提高语义分割模型的数据拟合能力，以提高语义分割模型的分割能力；尤其是，加强了语义分割模型对小零件的学习能力。

引导滤波器模块根据引导图像优化第一分割图I的分割边缘，进一步加强装配体中各尺度零部件的分割效果。

实施例二

进一步的，参见图3，实施例一中生成第三特征图的具体步骤如下；

对特征提取模块中最后一个1×1卷积层输出的第一特征图(即第1个第一特征图)通过反卷积方式进行上采样操作(上采样模块)，再将其与特征提取模块中倒数第二个最大池化层输出的第一特征图(即第2个第一特征图)进行通道融合、卷积操作和非线性转换(通道融合模块→3×3卷积层→Relu激活层→3×3卷积层→Relu激活层)得到第一结果；

对第一结果进行上采样操作，再将其与特征提取模块中倒数第三个最大池化层输出的特征图(即第3个第一特征图)进行通道融合、卷积操作和非线性转换得到第二结果；

对第二结果进行上采样操作，再将其与特征提取模块中倒数第四个最大池化层输出的特征图(即第4个第一特征图)进行通道融合、卷积操作和非线性转换得到第三结果；第三结果即为第三特征图。

实施例三

利用Sobel算子提取待语义分割装配体图像的边界特征，得到边界图像；将待分割装配体图像和边界图像输入至通道融合模块进行通道融合，得到引导图像G。将引导图像G输入至所述3x3卷积层、Relu激活层、1x1卷积层，得到优化后的引导图像G’。

根据优化后的引导图像G′，对第一分割图I进行线性滤波，得到第二分割图O，以公式表达为：

O＝A_h*I+b_h

其中，i、k均表示图像中像素的索引值；Iⁱ表示第二分割图I中第i个像素的值；Oⁱ表示第二分割图O中第i个像素的值；

均为该局部线性函数的系数；

表示通过最小二乘法最小化第一分割图I和第二分割图O之间的重构误差，以求得系数

G′ⁱ表示优化后的引导图像G′中窗口ω_k中第i个像素的值；ω_k表示以像素k为中心，边长为r的局部正方形窗口；以像素i为中心的窗口ω_i对A_l和b_l进行取平均值得到系数A_h，b_h，从而求得第二分割图O。

本实施例的进步之处在于，通过对待分割装配体图像和边界图像进行通道融合得到引导图像G，增强了引导图像G中的边界信息，从而获得分割边界更加清晰的第一分割图。引导图像G通过两个卷积层学习得到更加适合机械装配体语义分割结果优化任务的引导图像G′。

实施例四

进一步，迭代训练所述语义分割模型：

建立机械装配体的三维模型，对三维模型的各零件进行颜色标记；对不同角度下的三维模型进行批量渲染，得到不同角度下模型的深度图像及其相对应的标签图像(输入的深度图像、标签图像和语义分割模型输出图像的大小均为224*224)。

本实施例中数据集包括四个不同的机械装配体在不同装配阶段下的深度图像。从数据集中选取四个机械装配体某一装配阶段的深度图像组成测试集，剩余深度图像组成训练集

预先通过迁移学习的方式，利用ImageNet数据集对特征提取模块进行预训练，将预训练得到的权重作为特征提取模块的初始权重；使用He权重初始化方式初始特征融合模块中卷积层和滤波模块中卷积层的权重。

设置损失函数为交叉熵函数；损失函数用于计算输入深度图像与其对应的标签图像的损失值，根据损失值更新语义分割模型中的参数。

设置语义分割模型的初始学习率为10^-4，并采用指数衰减法每500次进行一次学习率的衰减，衰减率为0.95。设置迭代次数为5个批次。选用Adam优化器。

将训练集中的深度图像依次输入至语义分割模型，对语义分割模型进行迭代训练，最终得到训练好的语义分割模型。

实施例五

为了验证本发明提出的语义分割模型的有效性，将其与现有的语义分割网络(金字塔场景分析网络PSPNet、谷歌开源语义图像分割模型DeepLabV3和DeepLabV3+、语义分割模型RefineNet)进行对比。在本实施例中，按实施例四所述方法构建数据集，并将所述数据集分为四个。评价标准采用像素准确率和平均像素准确率，所得结果如下表1所示：

表1

像素准确率指语义分割模型输出图像中所有预测正确的像素数量除以输出图像中像素总数。平均像素准确率指语义分割模型输出图像中所有类的像素准确率的平均值(类的像素准确率是指输出图像中一类预测正确的像素数量除以该类像素总数)。

显然，由表1中可知，本发明提出的语义分割模型比现有的语义分割模型的分割性能更优。

实施例六

基于深度学习和引导滤波的装配体图像分割设备，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行实施例一至实施例五所述的步骤。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.基于深度学习和引导滤波的装配体图像分割方法，其特征在于，包括如下步骤：

S1、建立包括若干个装配体图像的数据集；

S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；

S3、利用所述数据集迭代训练所述语义分割模型；

S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割结果：

特征提取模块对待分割装配体图像进行若干次卷积操作、若干次非线性转换和若干次最大池化操作，得到若干个不同尺度的第一特征图；

特征融合模块分别对若干个所述第一特征图进行上采样操作，得到若干个尺度相同的第二特征图；对若干个所述第一特征图进行通道融合，得到第三特征图；对所述若干个第二特征图和第三特征图进行通道融合，得到多尺度特征图；对多尺度特征图进行像素级分类，得到第一分割图；

获取引导图像；滤波模块根据引导图像，对所述第一分割图进行线性滤波，得到第二分割图；将第二分割图作为分割结果输出。

2.根据权利要求1所述的基于深度学习和引导滤波的装配体图像分割方法，其特征在于，所述获取引导图像，具体为：

获取所述待分割装配体图像对应的边界图像；对所述待分割装配体图像和边界图像进行通道融合，得到引导图像。

3.根据权利要求1所述的基于深度学习和引导滤波的装配体图像分割方法，其特征在于，所述滤波模块包括依次连接的第一卷积层、激活层、第二卷积层和引导滤波器；通过所述第一卷积层、激活层和第二卷积层，对所述引导图像进行优化；滤波模块根据优化后的引导图像，对第一分割图进行线性滤波，得到第二分割图。

4.根据权利要求1所述的基于深度学习和引导滤波的装配体图像分割方法，其特征在于，所述对若干个第一特征图进行通道融合，得到第三特征图，具体为：

在若干个所述第一特征图中选取n个第一特征图；

对第1个第一特征图进行上采样操作，再将其与第2个第一特征图进行通道融合、卷积操作和非线性转换得到第一结果；

对第i结果(i＝1、2、3、4……n-1)进行上采样操作，再将其与第i+2个第一特征图进行通道融合、卷积操作和非线性转换得到第i+1结果；循环该步骤直至i＝n-1，得到第n-1结果即为第三特征图。

5.基于深度学习和引导滤波的装配体图像分割设备，包括存储器和处理器，所述存储器存储有指令，其特征在于，所述指令适于由处理器加载并执行如下步骤：

S1、建立包括若干个装配体图像的数据集；

S2、构建语义分割模型，所述语义分割模型包括特征提取模块、特征融合模块和滤波模块；

S3、利用数据集迭代训练所述语义分割模型；

S4、将待分割装配体图像输入至训练好的语义分割模型，得到分割结果：

特征提取模块对待分割装配体图像进行若干次卷积操作、若干次非线性转换和若干次最大池化操作，得到若干个不同尺度的第一特征图；

特征融合模块分别对若干个所述第一特征图进行上采样操作，得到若干个尺度相同的第二特征图；对若干个所述第一特征图进行通道融合，得到第三特征图；对所述若干个第二特征图和第三特征图进行通道融合，得到多尺度特征图；对多尺度特征图进行像素级分类，得到第一分割图；

获取引导图像；滤波模块根据引导图像，对第一分割图I进行线性滤波，得到第二分割图；将第二分割图作为分割结果输出。

Images