CN110110798A - 一种基于Mask-RCNN网络的焊缝识别方法 - Google Patents

Abstract

本申请公开了一种基于Mask‑RCNN网络的焊缝识别方法，该方法在提取焊缝图像中的特征信息，获得初始特征图后，首先确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；进而根据差值旋转变换初始特征图中的焊缝的角度，以使焊缝的角度和预设的基准角度一致，从而获得目标特征图；最后对目标特征图进行识别，得到焊缝的识别结果。该方法在识别过程中，修正了焊缝在图像中的角度，使被识别的焊缝总是具有相同的角度，从而克服了Mask‑RCNN网络丢失有方向信息的特征的缺陷，提高了焊缝识别的效率和准确性，以及计算机的运行性能和处理效率。本申请公开的一种基于Mask‑RCNN网络的焊缝识别装置、设备及可读存储介质，同样具有上述技术效果。

Description

一种基于Mask-RCNN网络的焊缝识别方法

技术领域

本申请涉及图像识别技术领域，特别涉及一种基于Mask-RCNN网络的焊缝识别方法、装置、设备及可读存储介质。

背景技术

随着制造业自动化进程的推进，金属焊接自动化成为了生产过程中不可或缺的环节。为满足焊接自动化的要求，需要实时获取焊缝的图像，并基于焊缝的图像对焊缝的形状和位置进行识别和检测。

在现有技术中，识别焊缝图像的方法包括：基于模式识别的焊缝识别方法和基于深度学习网络的焊缝识别方法。其中，基于模式识别的焊缝识别方法的计算速度快，但是识别结果容易受光照、焊缝大小等客观因素的影响，识别结果的准确率差强人意。当基于深度学习网络识别焊缝，一般采用Mask-RCNN(Mask-Regions with Convolutional NeuralNetworks)网络对焊缝图像进行识别，Mask-RCNN网络识别焊缝需借助计算机实现，其能够克服客观因素对于识别结果的影响；但Mask-RCNN网络不具有旋转不变性，即：Mask-RCNN网络对具有方向信息的特征不敏感，在处理过程中会导致具有方向信息的特征丢失，从而也会降低识别结果的准确性，还会降低计算机的运行性能和处理效率。

需要说明的是，Mask-RCNN网络一般包括：卷积网络层，区域提取网络层和全卷积神经网络层；卷积网络层用于提取图像特征信息，区域提取网络层用于根据图像特征信息预测焊缝位置，全卷积神经网络层用于识别图像，输出识别结果的焊缝的掩模图像。

因此，若采用Mask-RCNN网络识别焊缝图像，如何提高识别效率和准确率，是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种基于Mask-RCNN网络的焊缝识别方法、装置、设备及可读存储介质，以实现在采用Mask-RCNN网络识别焊缝图像时，提高识别效率和准确率。其具体方案如下：

第一方面，本申请提供了一种基于Mask-RCNN网络的焊缝识别方法，包括：

获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图；

确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；

根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致；

对目标特征图进行识别，得到焊缝的识别结果。

优选地，利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图，包括：

利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图；

融合不同尺度的第一特征图，得到三个尺度的第二特征图；

利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图。

优选地，利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图，包括：

利用卷积网络层中的四个尺度的残差网络模块串行提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到四个尺度的第一特征图；

其中，四个尺度分别为第一尺度、第二尺度、第三尺度和第四尺度，第一尺度<第二尺度<第三尺度<第四尺度。

优选地，融合不同尺度的第一特征图，得到三个尺度的第二特征图，包括：

当获得四个尺度的第一特征图，则对第一尺度的第一特征图进行上采样，并将上采样得到的采样特征图与第二尺度的第一特征图进行融合，得到第二尺度的第二特征图；

对第二尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第三尺度的第一特征图进行融合，得到第三尺度的第二特征图；

对第三尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第四尺度的第一特征图进行融合，得到第四尺度的第二特征图。

优选地，利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图，包括：

针对任意一个第二特征图，利用与当前第二特征图的尺度对应的多个提议框和卷积操作，确定当前第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值，得到预测结果集合；预测结果集合包括：第二尺度的第二特征图、第三尺度的第二特征图和第四尺度的第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值；

判断预测结果集合中的不同提议框的位置信息是否存在重叠区域；

若是，则判断重叠区域是否大于预设的阈值；当重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将提议框组中的除目标提议框外的其他提议框标记为待删除提议框，从预测结果集合中删除待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成初始特征图。

优选地，确定焊缝在初始特征图中的真实角度和预设的基准角度的差值，包括：

利用Mask-RCNN网络中的ROI-Align网络层对初始特征图进行区域特征聚集，并对区域特征聚集后的初始特征图进行卷积操作和全连接操作，输出差值。

优选地，对目标特征图进行识别，得到焊缝的识别结果，包括：

将目标特征图输入Mask-RCNN网络中的ROI-Align网络层，输出第一目标子特征图组和第二目标子特征图组；

对第一目标子特征图组进行分类处理，得到焊缝在图像中的位置信息，以及焊缝的分类结果；

利用Mask-RCNN网络中的全卷积神经网络层对第二目标子特征图组进行处理，输出焊缝的掩模图像。

第二方面，本申请提供了一种基于Mask-RCNN网络的焊缝识别装置，包括：

获取模块，用于获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图；

确定模块，用于确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；

旋转变换模块，用于根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致；

识别模块，用于对目标特征图进行识别，得到焊缝的识别结果。

第三方面，本申请提供了一种基于Mask-RCNN网络的焊缝识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现前述公开的基于Mask-RCNN网络的焊缝识别方法。

第四方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的基于Mask-RCNN网络的焊缝识别方法。

可见，本申请在基于Mask-RCNN网络识别焊缝的过程中，当提取焊缝图像中的特征信息，获得初始特征图后，首先确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；进而根据差值旋转变换初始特征图中的焊缝的角度，以使焊缝的角度和预设的基准角度一致，从而获得目标特征图；最后对目标特征图进行识别，得到焊缝的识别结果。其中，本申请在识别焊缝图像的过程中，修正了焊缝在图像中的角度，使被识别的焊缝总是具有相同的角度，从而克服了Mask-RCNN网络丢失有方向信息的特征的缺陷，提高了焊缝识别的效率和识别结果的准确性，也提高了计算机的运行性能和处理效率。

相应地，本申请提供的一种基于Mask-RCNN网络的焊缝识别装置、设备及可读存储介质，也同样具有上述技术效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请公开的第一种基于Mask-RCNN网络的焊缝识别方法流程图；

图2为图1中S101步骤的细化流程图；

图3为本申请公开的第二种基于Mask-RCNN网络的焊缝识别方法流程图；

图4为本申请公开的一种基于Mask-RCNN网络的焊缝识别装置示意图；

图5为本申请公开的一种基于Mask-RCNN网络的焊缝识别设备示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，Mask-RCNN网络对具有方向信息的特征不敏感，在处理过程中会导致具有方向信息的特征丢失，从而也会降低识别结果的准确性，还会降低计算机的运行性能和处理效率。为此，本申请提供了一种基于Mask-RCNN网络的焊缝识别方案，能够克服Mask-RCNN网络丢失有方向信息的特征的缺陷，提高焊缝识别的效率和识别结果的准确性。

参见图1所示，本申请实施例公开了第一种基于Mask-RCNN网络的焊缝识别方法，包括：

S101、获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图。

需要说明的是，焊缝的图像通常是利用工业相机拍摄焊缝而获得。Mask-RCNN网络中的卷积网络层用于提取图像的特征信息，Mask-RCNN网络中的区域提取网络层用于根据特征信息预测焊缝位置，因此利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像后，得到的初始特征图能够表征焊缝在图像中的大致位置和焊缝本身的信息，焊缝本身的信息一般包括：焊缝的类别、大小等信息。

在本实施例中，在利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像之前，还需要对图像进行预处理，以使图像转换为预设的大小，并去除图像的冗余特征。预处理后的图像尺寸可以为224×224×3。

S102、确定焊缝在初始特征图中的真实角度和预设的基准角度的差值。

S103、根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图。焊缝在目标特征图中的角度和基准角度一致；

具体的，利用工业相机拍摄焊缝时，受拍摄环境的影响，焊缝的摆设位置无法统一固定；并且，在训练Mask-RCNN网络时，为了获得更多的训练图像，一般通过旋转变换来进行数据增广，因此焊缝在图像中的角度多种多样，而多种多样的角度会降低识别结果的准确率。因此本申请预先设置了用于比较的基准角度，在获得初始特征图后，首先确定焊缝在初始特征图中的真实角度和预设的基准角度的差值，进而根据该差值旋转变换初始特征图中的焊缝的角度，以使焊缝的角度和预设的基准角度一致，从而获得目标特征图。即：本申请对于待识别的焊缝图像，都会使图像中的焊缝的角度和基准角度一致，这样Mask-RCNN网络便不必处理具有方向性的特征信息，即：避免不具有旋转不变性的Mask-RCNN网络处理旋转可变性的特征信息，从而可避免旋转可变性的特征信息的丢失。

S104、对目标特征图进行识别，得到焊缝的识别结果。

具体的，可以利用Mask-RCNN网络中的神经网络识别层对目标特征图进行识别，从而获得焊缝的分类类别，以及焊缝在图像中的位置信息，同时还可以得到焊缝的掩模图像。

需要说明的是，图像处理过程中的“掩模”可参考PCB板制作过程中的“掩膜”。在PCB板制作过程中，芯片工艺多采用光刻技术，用于此过程的图形“底片”称为掩膜(也称作“掩模”)，其作用是：在硅片上选定的区域中，对一个不透明的图形模板遮盖，继而下面的腐蚀或扩散将只影响选定的区域以外的区域。因此图像处理过程中的“掩模”即为用预设的形状的物体对图像进行全部或局部遮挡，以控制图像处理的区域或处理过程，而掩模图像即为：利用“掩模”处理得到的图像。故在本实施例中使用的掩模的形状可以为图像中除焊缝外的其他区域，而得到的焊缝的掩模图像可以为焊缝和其他区域明显区分的图像。

可见，本申请实施例在基于Mask-RCNN网络识别焊缝的过程中，当提取焊缝图像中的特征信息，获得初始特征图后，首先确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；进而根据差值旋转变换初始特征图中的焊缝的角度，以使焊缝的角度和预设的基准角度一致，从而获得目标特征图；最后对目标特征图进行识别，得到焊缝的识别结果。其中，本申请在识别焊缝图像的过程中，修正了焊缝在图像中的角度，使被识别的焊缝总是具有相同的角度，从而克服了Mask-RCNN网络丢失有方向信息的特征的缺陷，提高了焊缝识别的效率和识别结果的准确性，也提高了计算机的运行性能和处理效率。

上述实施例中的S101包括以下步骤，具体请参见图2。

S201、获取焊缝的图像，并利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图。

具体的，利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图，包括：利用卷积网络层中的四个尺度的残差网络模块串行提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到四个尺度的第一特征图；其中，四个尺度分别为第一尺度、第二尺度、第三尺度和第四尺度，第一尺度<第二尺度<第三尺度<第四尺度。

需要说明的是，每个尺度的残差网络模块中的网络层的数量可灵活设置。例如：当卷积网络层中设置有四个尺度的残差网络模块，且第一残差网络模块的第一尺度为X＝64，包括3个网络层；第二残差网络模块的第二尺度为X＝128，包括4个网络层；第三残差网络模块的第三尺度为X＝256，包括6个网络层；第四残差网络模块的第四尺度为X＝512，包括3个网络层；且每个残差网络模块后接一个2×2的池化层。

具体的，利用上述残差网络模块和池化层处理图像的过程具体可以为：将预处后的224×224×3的图像输入7×7×64的卷积层并输出，进而将输出的特征信息转换为原来的四分之一，得到112×112×64的特征图；然后将112×112×64的特征图输入第一残差网络模块、一个2×2的池化层，输出56×56×64的第一特征图；将56×56×64的第一特征图输入第二残差网络模块、一个2×2的池化层，输出28×28×128的第一特征图；将28×28×128的第一特征图输入第三残差网络模块、一个2×2的池化层，输出14×14×256的第一特征图；将14×14×256的第一特征图输入第四残差网络模块、一个2×2的池化层，输出7×7×512的第一特征图，从而可获得四个尺度的第一特征图，其尺寸分别为：7×7×512，14×14×256，28×28×128以及56×56×64。

当然，卷积网络层中也可设置更多的残差网络模块以及与之匹配的池化操作，从而提取出更多更复杂的特征信息。残差网络模块中的网络层数也可灵活调整。

S202、融合不同尺度的第一特征图，得到三个尺度的第二特征图。

具体的，融合不同尺度的第一特征图，得到三个尺度的第二特征图，包括：当获得四个尺度的第一特征图，则对第一尺度的第一特征图进行上采样，并将上采样得到的采样特征图与第二尺度的第一特征图进行融合，得到第二尺度的第二特征图；对第二尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第三尺度的第一特征图进行融合，得到第三尺度的第二特征图；对第三尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第四尺度的第一特征图进行融合，得到第四尺度的第二特征图。

同样以上述四个尺度的第一特征图为例，融合不同尺度的第一特征图的具体过程为：对7×7×512的第一特征图进行上采样，得到14×14×256的采样特征图，将14×14×256的采样特征图与14×14×256的第一特征图进行融合，得到14×14×256的第二特征图；对14×14×256的第二特征图进行上采样，得到28×28×128的采样特征图，将28×28×128的采样特征图与28×28×128的第一特征图进行融合，得到28×28×128的第二特征图；对28×28×128的第二特征图进行上采样，得到56×56×64的采样特征图，将56×56×64的采样特征图与56×56×64的第一特征图进行融合，得到56×56×64的第二特征图，从而可获得三个尺度的第二特征图，其尺寸分别为：14×14×256，28×28×128以及56×56×64。

其中，现有的Mask-RCNN网络一般会将7×7×512的第一特征图也作为第二特征图，而本申请未将7×7×512的第一特征图保留下来，从而能够降低后续处理步骤的数据处理量，并提高数据处理效率。7×7×512的第一特征图表征的焊缝特征较少，因此不保留也不会影响识别结果的准确率。

S203、利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图。

具体的，利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图，包括：

针对任意一个第二特征图，利用与当前第二特征图的尺度对应的多个提议框和卷积操作，确定当前第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值，得到预测结果集合；预测结果集合包括：第二尺度的第二特征图、第三尺度的第二特征图和第四尺度的第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值；

判断预测结果集合中的不同提议框的位置信息是否存在重叠区域；

若是，则判断重叠区域是否大于预设的阈值；当重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将提议框组中的除目标提议框外的其他提议框标记为待删除提议框，从预测结果集合中删除待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成初始特征图。

具体的，以上述得到的三个尺度的第二特征图为例，利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，包括：

设置与14×14×256，28×28×128以及56×56×64分别对应的提议框，每个尺寸对应的多个提议框，一个尺寸对应的这多个提议框能够覆盖当前尺寸的特征图。

对于14×14×256的第二特征图，28×28×128的第二特征图以及56×56×64的第二特征图分别进行卷积核为3×3的卷积操作，得到三个卷积结果，分别用A、B、C表示；A、B、C分别由多个提议框构成，处理A、B、C时，以提议框为单位进行处理。

以处理A为例，利用卷积核为1×1×2的卷积层处理A包括的每个提议框，预测每个提议框中目标是前景还是背景，若是前景，则计算前景的评估值；若是背景，则舍弃该提议框；利用卷积核为1×1×4卷积层处理A包括的每个提议框，对覆盖前景目标的提议框进行边框回归，以确定覆盖前景目标的提议框的位置信息。处理B和C的过程可参见处理A的过程，由此可得到预测结果集合。前景和背景的预测，以及边框回归的具体实现过程可参考现有的Mask-RCNN网络。

当预测结果集合中的不同提议框的位置信息的重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将提议框组中的除目标提议框外的其他提议框标记为待删除提议框，从预测结果集合中删除待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成初始特征图。

当预测结果集合中的不同提议框的位置信息的重叠区域不大于预设的阈值，或预测结果集合中的不同提议框的位置信息不存在重叠区域，则直接根据预测结果集合生成初始特征图。预设的阈值可设置为0.3，当然也可以根据实际应用情况灵活调整。

参见图3所示，本申请实施例公开了第二种基于Mask-RCNN网络的焊缝识别方法，包括：

S301、获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图。

S302、利用Mask-RCNN网络中的ROI-Align网络层对初始特征图进行区域特征聚集，并对区域特征聚集后的初始特征图进行卷积操作和全连接操作，输出焊缝在初始特征图中的真实角度和预设的基准角度的差值。

以上述实施例提供的图像尺寸为例，区域特征聚集后的初始特征图的尺寸可以为7×7×256，卷积操作包括卷积核为3×3×64的卷积层和卷积核为3×3×32的卷积层，全连接操作对应的全连接层的大小为1024。

S303、根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致。

S304、将目标特征图输入Mask-RCNN网络中的ROI-Align网络层，输出第一目标子特征图组和第二目标子特征图组。

S305、对第一目标子特征图组进行分类处理，得到焊缝在图像中的位置信息，以及焊缝的分类结果。

S306、利用Mask-RCNN网络中的全卷积神经网络层对第二目标子特征图组进行处理，输出焊缝的掩模图像。

同样以上述实施例提供的图像尺寸为例，第一目标子特征图组的子特征图尺寸为7×7×256，第二目标子特征图组的子特征图尺寸为14×14×256。对于第一目标子特征图组，采用两个大小为1024的全连接层对其进行处理，输出焊缝在图像中的位置信息，以及焊缝的分类结果；对于第二目标子特征图组，采用两个卷积核为3×3×256的卷积层处理得到14×14×256的中间特征图，进而对14×14×256的中间特征图进行反卷积，得到28×28×256的中间特征图，再利用卷积核为3×3×80的卷积层和卷积核为3×3×1的卷积层处理28×28×256的中间特征图，得到28×28×1的焊缝掩模图像。

需要说明的是，本实施例中的其他实现步骤与上述实施例相同或类似，故本实施例在此不再赘述。

由上可见，本实施例在基于Mask-RCNN网络识别焊缝的过程中，当提取焊缝图像中的特征信息，获得初始特征图后，首先确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；进而根据差值旋转变换初始特征图中的焊缝的角度，以使焊缝的角度和预设的基准角度一致，从而获得目标特征图；最后对目标特征图进行识别，得到焊缝的识别结果。其中，本申请在识别焊缝图像的过程中，修正了焊缝在图像中的角度，使被识别的焊缝总是具有相同的角度，从而克服了Mask-RCNN网络丢失有方向信息的特征的缺陷，提高了焊缝识别的效率和识别结果的准确性，也提高了计算机的运行性能和处理效率。

若基于上述任意实施例提供的焊缝识别方法设计新的Mask-RCNN网络，那么新的Mask-RCNN网络的结构主要包括：卷积网络层、区域提取网络层、旋转检测层和神经网络识别层，其中卷积网络层包括多个残差网络模块和卷积层，区域提取网络层包括上采样融合层和卷积层，旋转检测层包括ROI-Align网络角度检测层和旋转层，神经网络识别层包括ROI-Align网络层、卷积层、全连接层和全卷积神经网络层。而现有的Mask-RCNN网络仅包括：卷积网络层、区域提取网络层和神经网络识别层。

下面对本申请实施例提供的一种基于Mask-RCNN网络的焊缝识别装置进行介绍，下文描述的一种基于Mask-RCNN网络的焊缝识别装置与上文描述的一种基于Mask-RCNN网络的焊缝识别方法可以相互参照。

参见图4所示，本申请实施例公开了一种基于Mask-RCNN网络的焊缝识别装置，包括：

获取模块401，用于获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图；

确定模块402，用于确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；

旋转变换模块403，用于根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致；

识别模块404，用于对目标特征图进行识别，得到焊缝的识别结果。

在一种具体实施方式中，获取模块包括：

提取单元，用于利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图；

融合单元，用于融合不同尺度的第一特征图，得到三个尺度的第二特征图；

卷积单元，用于利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图。

在一种具体实施方式中，提取单元具体用于：

利用卷积网络层中的四个尺度的残差网络模块串行提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到四个尺度的第一特征图；

其中，四个尺度分别为第一尺度、第二尺度、第三尺度和第四尺度，第一尺度<第二尺度<第三尺度<第四尺度。

在一种具体实施方式中，融合单元包括：

第一融合子单元，用于当获得四个尺度的第一特征图，则对第一尺度的第一特征图进行上采样，并将上采样得到的采样特征图与第二尺度的第一特征图进行融合，得到第二尺度的第二特征图；

第二融合子单元，用于对第二尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第三尺度的第一特征图进行融合，得到第三尺度的第二特征图；

第三融合子单元，用于对第三尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第四尺度的第一特征图进行融合，得到第四尺度的第二特征图。

在一种具体实施方式中，卷积单元包括：

确定子单元，用于针对任意一个第二特征图，利用与当前第二特征图的尺度对应的多个提议框和卷积操作，确定当前第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值，得到预测结果集合；预测结果集合包括：第二尺度的第二特征图、第三尺度的第二特征图和第四尺度的第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值；

判断子单元，用于判断预测结果集合中的不同提议框的位置信息是否存在重叠区域；

执行子单元，用于当预测结果集合中的不同提议框的位置信息存在重叠区域，则判断重叠区域是否大于预设的阈值；当重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将提议框组中的除目标提议框外的其他提议框标记为待删除提议框，从预测结果集合中删除待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成初始特征图。

在一种具体实施方式中，确定模块具体用于：

利用Mask-RCNN网络中的ROI-Align网络层对初始特征图进行区域特征聚集，并对区域特征聚集后的初始特征图进行卷积操作和全连接操作，输出差值。

在一种具体实施方式中，识别模块包括：

第一处理子单元，用于将目标特征图输入Mask-RCNN网络中的ROI-Align网络层，输出第一目标子特征图组和第二目标子特征图组；

第二处理子单元，用于对第一目标子特征图组进行分类处理，得到焊缝在图像中的位置信息，以及焊缝的分类结果；

第三处理子单元，用于利用Mask-RCNN网络中的全卷积神经网络层对第二目标子特征图组进行处理，输出焊缝的掩模图像。

其中，关于本实施例中各个模块、单元更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

可见，本实施例提供了一种基于Mask-RCNN网络的焊缝识别装置，包括：获取模块、确定模块、旋转变换模块以及识别模块。首先由获取模块获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图；然后确定模块确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；进而旋转变换模块，用于根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致；最后识别模块对目标特征图进行识别，得到焊缝的识别结果。如此各个模块之间分工合作，各司其职，从而克服了Mask-RCNN网络丢失有方向信息的特征的缺陷，提高了焊缝识别的效率和识别结果的准确性，也提高了计算机的运行性能和处理效率。

下面对本申请实施例提供的一种基于Mask-RCNN网络的焊缝识别设备进行介绍，下文描述的一种基于Mask-RCNN网络的焊缝识别设备与上文描述的一种基于Mask-RCNN网络的焊缝识别方法及装置可以相互参照。

参见图5所示，本申请实施例公开了一种基于Mask-RCNN网络的焊缝识别设备，包括：

存储器501，用于保存计算机程序；

处理器502，用于执行所述计算机程序，以实现以下步骤：

获取焊缝的图像，并利用Mask-RCNN网络中的卷积网络层和区域提取网络层处理图像，得到图像的初始特征图；确定焊缝在初始特征图中的真实角度和预设的基准角度的差值；根据差值旋转变换初始特征图中的焊缝的角度，获得目标特征图；焊缝在目标特征图中的角度和基准角度一致；对目标特征图进行识别，得到焊缝的识别结果。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用卷积网络层中的不同尺度的残差网络模块提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图；融合不同尺度的第一特征图，得到三个尺度的第二特征图；利用区域提取网络层对三个尺度的第二特征图分别进行卷积操作，获得初始特征图。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用卷积网络层中的四个尺度的残差网络模块串行提取图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到四个尺度的第一特征图；其中，四个尺度分别为第一尺度、第二尺度、第三尺度和第四尺度，第一尺度<第二尺度<第三尺度<第四尺度。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：当获得四个尺度的第一特征图，则对第一尺度的第一特征图进行上采样，并将上采样得到的采样特征图与第二尺度的第一特征图进行融合，得到第二尺度的第二特征图；对第二尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第三尺度的第一特征图进行融合，得到第三尺度的第二特征图；对第三尺度的第二特征图进行上采样，并将上采样得到的采样特征图与第四尺度的第一特征图进行融合，得到第四尺度的第二特征图。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：针对任意一个第二特征图，利用与当前第二特征图的尺度对应的多个提议框和卷积操作，确定当前第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值，得到预测结果集合；预测结果集合包括：第二尺度的第二特征图、第三尺度的第二特征图和第四尺度的第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值；判断预测结果集合中的不同提议框的位置信息是否存在重叠区域；若是，则判断重叠区域是否大于预设的阈值；当重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将提议框组中的除目标提议框外的其他提议框标记为待删除提议框，从预测结果集合中删除待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成初始特征图。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：利用Mask-RCNN网络中的ROI-Align网络层对初始特征图进行区域特征聚集，并对区域特征聚集后的初始特征图进行卷积操作和全连接操作，输出差值。

在本实施例中，所述处理器执行所述存储器中保存的计算机子程序时，可以具体实现以下步骤：将目标特征图输入Mask-RCNN网络中的ROI-Align网络层，输出第一目标子特征图组和第二目标子特征图组；对第一目标子特征图组进行分类处理，得到焊缝在图像中的位置信息，以及焊缝的分类结果；利用Mask-RCNN网络中的全卷积神经网络层对第二目标子特征图组进行处理，输出焊缝的掩模图像。

下面对本申请实施例提供的一种可读存储介质进行介绍，下文描述的一种可读存储介质与上文描述的一种基于Mask-RCNN网络的焊缝识别方法、装置及设备可以相互参照。

一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的基于Mask-RCNN网络的焊缝识别方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本申请涉及的“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法或设备固有的其它步骤或单元。

需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储可读存储介质中。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于Mask-RCNN网络的焊缝识别方法，其特征在于，包括：

获取焊缝的图像，并利用所述Mask-RCNN网络中的卷积网络层和区域提取网络层处理所述图像，得到所述图像的初始特征图；

确定所述焊缝在所述初始特征图中的真实角度和预设的基准角度的差值；

根据所述差值旋转变换所述初始特征图中的所述焊缝的角度，获得目标特征图；所述焊缝在所述目标特征图中的角度和所述基准角度一致；

对所述目标特征图进行识别，得到所述焊缝的识别结果。

2.根据权利要求1所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述利用所述Mask-RCNN网络中的卷积网络层和区域提取网络层处理所述图像，得到所述图像的初始特征图，包括：

利用所述卷积网络层中的不同尺度的残差网络模块提取所述图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图；

融合所述不同尺度的第一特征图，得到三个尺度的第二特征图；

利用所述区域提取网络层对所述三个尺度的第二特征图分别进行卷积操作，获得所述初始特征图。

3.根据权利要求2所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述利用所述卷积网络层中的不同尺度的残差网络模块提取所述图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到不同尺度的第一特征图，包括：

利用所述卷积网络层中的四个尺度的残差网络模块串行提取所述图像的特征信息，并对每个残差网络模块提取到的特征信息进行池化操作，得到四个尺度的第一特征图；

其中，所述四个尺度分别为第一尺度、第二尺度、第三尺度和第四尺度，所述第一尺度<所述第二尺度<所述第三尺度<所述第四尺度。

4.根据权利要求3所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述融合所述不同尺度的第一特征图，得到三个尺度的第二特征图，包括：

当获得四个尺度的第一特征图，则对所述第一尺度的第一特征图进行上采样，并将上采样得到的采样特征图与所述第二尺度的第一特征图进行融合，得到所述第二尺度的第二特征图；

对所述第二尺度的第二特征图进行上采样，并将上采样得到的采样特征图与所述第三尺度的第一特征图进行融合，得到所述第三尺度的第二特征图；

对所述第三尺度的第二特征图进行上采样，并将上采样得到的采样特征图与所述第四尺度的第一特征图进行融合，得到所述第四尺度的第二特征图。

5.根据权利要求4所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述利用所述区域提取网络层对所述三个尺度的第二特征图分别进行卷积操作，获得所述初始特征图，包括：

针对任意一个第二特征图，利用与当前第二特征图的尺度对应的多个提议框和所述卷积操作，确定当前第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值，得到预测结果集合；所述预测结果集合包括：所述第二尺度的第二特征图、所述第三尺度的第二特征图和所述第四尺度的第二特征图中的覆盖有前景目标的提议框的位置信息，以及被提议框覆盖的前景目标的评估值；

判断所述预测结果集合中的不同提议框的位置信息是否存在重叠区域；

若是，则判断所述重叠区域是否大于预设的阈值；当所述重叠区域大于预设的阈值，则将覆盖同一重叠区域的不同提议框确定为提议框组，并在所述提议框组中选择前景目标的评估值最大的提议框作为目标提议框；将所述提议框组中的除所述目标提议框外的其他提议框标记为待删除提议框，从所述预测结果集合中删除所述待删除提议框，得到更新预测结果集合；根据更新预测结果集合生成所述初始特征图。

6.根据权利要求5所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述确定所述焊缝在所述初始特征图中的真实角度和预设的基准角度的差值，包括：

利用所述Mask-RCNN网络中的ROI-Align网络层对所述初始特征图进行区域特征聚集，并对区域特征聚集后的初始特征图进行卷积操作和全连接操作，输出所述差值。

7.根据权利要求1-6任一项所述的基于Mask-RCNN网络的焊缝识别方法，其特征在于，所述对所述目标特征图进行识别，得到所述焊缝的识别结果，包括：

将所述目标特征图输入所述Mask-RCNN网络中的ROI-Align网络层，输出第一目标子特征图组和第二目标子特征图组；

对所述第一目标子特征图组进行分类处理，得到所述焊缝在所述图像中的位置信息，以及所述焊缝的分类结果；

利用所述Mask-RCNN网络中的全卷积神经网络层对所述第二目标子特征图组进行处理，输出所述焊缝的掩模图像。

8.一种基于Mask-RCNN网络的焊缝识别装置，其特征在于，包括：

获取模块，用于获取焊缝的图像，并利用所述Mask-RCNN网络中的卷积网络层和区域提取网络层处理所述图像，得到所述图像的初始特征图；

确定模块，用于确定所述焊缝在所述初始特征图中的真实角度和预设的基准角度的差值；

旋转变换模块，用于根据所述差值旋转变换所述初始特征图中的所述焊缝的角度，获得目标特征图；所述焊缝在所述目标特征图中的角度和所述基准角度一致；

识别模块，用于对所述目标特征图进行识别，得到所述焊缝的识别结果。

9.一种基于Mask-RCNN网络的焊缝识别设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的基于Mask-RCNN网络的焊缝识别方法。

10.一种可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于Mask-RCNN网络的焊缝识别方法。