CN113724181A - 一种输电线路螺栓语义分割方法及系统 - Google Patents

Abstract

本发明公开了一种输电线路螺栓语义分割方法及系统，包括：对于获取到的输电线路待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的定位图像；分别获取所述定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图；将所述低层特征图和高层特征图进行融合；基于融合后的特征图得到定位图像的像素级语义分割结果，实现输电线路螺栓的缺陷分类。本发明有益效果：通过螺栓区域定位图像滤除了图像绝大部分背景，非常有效地降低了背景干扰，提高了螺栓的识别精度；通过融合多尺度空洞卷积池化特征与多维度高低层特征信息，提高了螺栓的分类精细化程度，实现了对输电线路螺栓的语义分割。

Description

一种输电线路螺栓语义分割方法及系统

技术领域

本发明涉及数字图像处理技术领域，尤其涉及一种输电线路螺栓语义分割方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着深度学习技术的快速发展，基于神经网络的目标检测算法得到了广泛应用。神经网络通过自学习目标的特征，实现对目标的分类识别。

输电线路部件众多，对于线夹、防震锤、绝缘子等尺寸较大的目标来说，由于在图像中面积占比较大，特征比较显著，神经网络在训练时也较为容易地学习到大尺寸目标的显著特征，目标的分类识别效果也较好。

根据国际组织SPIE的定义，当目标物小于图像像素的0.12％时可划分为小尺寸目标。比如，在一张4288*2848的无人机巡检图像中，螺栓所占像素小于200*200，因此螺栓识别问题可划分为小尺寸目标识别问题。

对于螺栓这种小尺寸目标来说，在图像中面积占比较小，亮度、色度、边缘等特征信息比较少，并且螺栓与背景尺寸不均衡，若神经元采用较小感受野，难以捕获全局信息，用较大感受野则容易丢失螺栓的特征，因此，在经过神经网络学习时，难以感知螺栓的特征信息，导致识别效果欠佳；另外，发明人发现，螺栓的缺陷识别属于细粒度图像识别问题，细粒度目标由于大部分特征相似，更加加重了识别的难度，比如一个有销子的螺栓与一个缺销子的螺栓，两者差距仅在细小的销子上，当对螺栓缺销子这一缺陷进行识别时，很容易将带销子的螺栓误判为缺销子的螺栓。因此对于螺栓的缺陷识别，仅仅依靠传统的深度学习目标检测算法难以达到理想的效果，需要考虑如何丰富螺栓的特征。

发明内容

有鉴于此，本发明提出了一种输电线路螺栓语义分割方法及系统，利用训练好的卷积神经网络目标检测模型，对螺栓所在的大致区域进行定位识别，从而获取到螺栓所在区域定位图像；对于定位图像中的螺栓进行像素级语义信息标注，利用联合深度全卷积神经网络与空洞卷积金字塔池化的编码-解码语义分割模型，对螺栓的语义特征进行训练学习，从而达到对螺栓像素级分割的目的。

根据本发明实施例的第一个方面，提供了一种输电线路螺栓语义分割方法，包括：

对于获取到的输电线路待识别图像，利用训练好的深度神经网络检测模型，对螺栓所在的区域进行定位，得到螺栓区域定位图像；

利用全卷积神经网络模型，分别获取所述螺栓定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图；

将所述高层特征图进行上采样操作后，与低层特征图融合；

对于融合后的特征图进行卷积与采样操作，得到螺栓定位图像的像素级分割结果，实现输电线路螺栓语义分割。

根据本发明实施例的第二个方面，提供了一种输电线路螺栓语义分割系统，包括：

输电线路螺栓区域定位模块，用于针对获取到的输电线路待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的定位图像；

螺栓定位图像特征图提取模块，用于分别获取所述定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图；

特征融合模块，用于将所述低层特征图和高层特征图进行融合；

输电线路螺栓语义分割模块，用于基于融合后的特征图得到螺栓所在区域定位图像的像素级语义分割结果。

根据本发明实施例的第三个方面，提供了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行上述的输电线路螺栓语义分割方法。

根据本发明实施例的第四个方面，提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的输电线路螺栓语义分割方法。

与现有技术相比，本发明的有益效果是：

本发明提出了一种输电线路螺栓区域特征编解码语义分割方法，构建了相应的空洞全卷积金字塔池化语义分割模型，实现了对螺栓目标的像素级分割，有效降低了图像背景干扰，增强了小尺寸螺栓目标特征表达能力，提高了螺栓目标的定位精度，为输电线路小尺寸、细粒度目标缺陷识别提供了解决手段。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为根据本发明实施例的一种输电线路螺栓语义分割方法流程图；

图2为根据本发明实施例的一种输电线路螺栓语义分割系统示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

根据本发明实施例，提供了一种输电线路螺栓语义分割方法的实施例，参照图1的一种输电线路螺栓语义分割方法流程图，包括以下步骤：

步骤S101：对于获取到的输电线路待识别图像，对螺栓所在的区域进行定位，得到所述目标所在区域的定位图像；

具体地，从整幅图像中直接定位出螺栓，由于其特征分辨率低，难以有较好的效果，输电线路螺栓多处于某些部件或特定区域内，关键位置螺栓基本处于线路部件连接区域，因此首先对螺栓所处的输电线路连接区域进行识别，获得螺栓的大致范围，这样提取的螺栓定位区域舍弃了大量背景环境，极大降低了背景噪声的干扰，减少了误检情况的发生。

在螺栓区域定位识别上，采用基于深度卷积神经网络的目标检测算法进行训练识别。

首先构建训练数据集，获取大量包含螺栓目标的输电线路图像数据，在对图像数据进行训练前，采用标注工具对螺栓所在区域进行标定，该标定为矩形框框出区域位置，非像素级标定。

作为一种可选的实施方式，为达到更好的识别效果，利用图像增强技术对训练集图像数据进行增强扩充，从而更好地适应复杂多变的场景。

在对螺栓所在区域的识别算法上，可以通过卷积神经网络进行图像特征的提取，采用的卷积神经网络包含输入层、卷积层(包含激活)、池化层、全连接层以及分类层，全连接层也可用1x1滤波器大小的卷积层代替，从而提高计算速度。

作为具体的实施方式，可采用VGG、Resnet等任意一种卷积神经网络；在识别算法上，可根据速度、准确率等要求，选择one-stage算法，如yolo、ssd等算法或two-stage算法，如Fast-rcnn、Faster-rcnn等算法。

本实施例中采用Faster-rcnn算法进行实例说明：

输入图像在进入卷积神经网络之前，统一调整为MXN大小，然后通过卷积神经网络的一组基础卷积层(包含激活)与池化层获取输入图像的特征图，该特征图共享用于后续的候选建议RPN网络、卷积层以及全连接层；共享的特征图送入RPN网络，经过3x3滤波核卷积后分成两条支线，一条支线为分类层，经过1x1卷积，输出边界框属于前景或背景的概率值，前景即为螺栓所在区域；另一条支线为回归层，经过1x1卷积，输出候选边界框相对于真实边界框的位置偏移量，从而得到了螺栓所在区域的候选建议框；然后候选建议框经过ROI池化层以及全连接层进行最终的分类与回归，得到螺栓所在大致区域，即螺栓所在区域的定位图像。

可选地，为降低计算复杂度，全连接层采用1x1滤波器大小的卷积层代替。

步骤S102：分别获取所述定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图。

具体地，获取定位图像的具有细节特征的低层特征图的过程具体为：

在螺栓语义分割上，采用图像像素级分割的方法，图像像素级分割是一种像素粒度的分类任务，当对图像中的所有像素都进行类别标记后就可以得到图像中螺栓的语义和轮廓。

首先对上述用于螺栓目标区域定位的训练集中，对螺栓进行像素级标注，得到one-hot格式标注。

作为一种实施方式，采用FCN全卷积神经网络作为深度神经网络进行语义分割，全卷积神经网络可以实现像素级端到端的训练。

图像像素级语义分割需要输入和输出保持一致大小，全卷积神经网络由于池化层的存在，输出特征图变小，为保持输出特征图大小与输入一致，需要进行上采样操作，但该操作会丢失一部分特征信息，降低识别精度，若将池化层去掉，则神经网络各层的感受野将变小，无法有效提取全局特征，因此本实施例采用空洞卷积代替池化操作。空洞卷积为卷积核的中间权重值为0，对于一个3x3卷积，如果采样率为1，则为正常卷积操作，如果膨胀率为2，就是在3x3卷积核每个值的右方或下方加一行或一列并置为0，变化之后卷积核大小变为6x6，成为空洞卷积核。空洞卷积可以提取更加密集的信息，相比于池化操作减少了信息的丢失。

全卷积神经网络得输出可以包括很多层，通常而言，前面几层都可以看做是低层特征图，后面几层输出的是高层特征图。本专利中涉及到的低层特征图和高层特征图采用本领域的常规理解方式。

获取螺栓定位图像的具有语义信息的高层特征图的过程具体为：

输电线路螺栓本身特征信息较少，采用空洞卷积金字塔融合多尺度特征，起到特征增强的目的。螺栓所在区域的定位图像通过空洞全卷积神经网络会获取高级语义信息，输出降维的特征图；

然后将特征图通过基于空洞卷积的金字塔池化模块进行处理。空洞卷积金字塔池化是通过多个膨胀率的空洞卷积以并联方式对特征图进行处理；获得更好的高层特征图。

为了获得全局信息，将上述输出的高层特征图进行全局池化，采用双线性插值到与其他并联特征图相同的分辨率，然后就可以将处理后得到的多个并联特征图以concate方式连接在一起，形成新的表达特征图。

步骤S103：将所述低层特征图和高层特征图进行融合；

在特征表达上，高层特征获取语义信息，低层特征获取细节信息，本发明为了融入低层特征信息，采用编码器－解码器模式将高层语义信息和低层特征信息以concate方式结合，从而更加适用于螺栓的语义分割。编码器是将通过空洞金字塔池化模块得到的特征图进行1*1卷积操作获取编码特征；解码器部分是从低层级选取特征图，将低层特征信息1*1卷积进行通道压缩，降低低层特征的权重，因为编码器模块的高层特征信息更为丰富，表达能力更强，所以应该具有更高的权重，高低层特征结合的方式能够更好的表达目标的空间与细节信息。为了能以相同分辨率连接高低层特征，将编码器的输出特征图进行相应的上采样操作，使其与低层特征图的分辨率保持一致。

步骤S104：基于融合后的特征图得到所述螺栓定位图像的像素级分割结果，实现输电线路螺栓语义分割。

对于连接后的高低层特征，进行一次3*3的卷积操作，然后再进行相应的上采样操作就得到螺栓轮廓和背景轮廓的像素级分割结果。

基于得到的螺栓轮廓的分割结果，可以进行后续的螺栓缺陷分类识别等操作，能够增加螺栓缺陷分类识别的精确度。

作为一种可选的实施方式，图像语义分割的整个流程包含的卷积操作较多，计算复杂度较高，本发明在实施时可采用深度分离卷积代替标准卷积形式，在保持相近效果的同时，降低模型复杂度。深度分离卷积是将标准卷积分解成深度卷积形式与点卷积形式，深度卷积对每个通道独立使用空间卷积，点卷积用于结合深度卷积的输出，深度分离卷积形式能够大幅降低参数量与计算量。

实施例二

根据本发明实施例，还提供了一种输电线路螺栓语义分割系统的实施例，参照图2，具体包括：

输电线路螺栓区域定位模块，用于针对获取到的输电线路待识别图像，对螺栓所在的区域进行定位，得到螺栓所在区域的定位图像；

定位图像特征图提取模块，用于分别获取所述定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图；

特征融合模块，用于将所述低层特征图和高层特征图进行融合；

输电线路螺栓语义分割模块，用于基于融合后的特征图得到螺栓所在区域定位图像的像素级语义分割结果。

此处需要说明的是，上述螺栓区域定位模块、定位图像特征图提取模块、特征融合模块和输电线路螺栓语义分割模块对应于实施例一中的步骤S101至S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例三

在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的输电线路螺栓语义分割方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。

实施例一中的输电线路螺栓语义分割方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种输电线路螺栓语义分割方法，其特征在于，包括：

对于获取到的输电线路待识别图像，对螺栓所在的区域进行定位，得到螺栓区域定位图像；

分别获取所述螺栓定位图像的具有细节特征的全卷积低层特征图和具有语义信息的空洞卷积金字塔池化高层特征图；

将所述高层特征图进行上采样操作后，与低层特征图融合；

对于融合后的特征图进行卷积与采样操作，得到螺栓定位图像的像素级分割结果，实现输电线路螺栓语义分割。

2.如权利要求1所述的一种输电线路螺栓语义分割方法，其特征在于，对输电线路螺栓所在的区域进行定位的过程包括：

对获取到的输电线路待识别图像进行预处理，将处理后的图像输入训练好的深度卷积神经网络模型，输出螺栓所在的区域的定位结果。

3.如权利要求1所述的一种输电线路螺栓语义分割方法，其特征在于，获取所述螺栓定位图像的具有细节特征的低层特征图的过程包括：

将螺栓所在区域的定位图像输入到训练好的全卷积神经网络进行特征提取，在浅层网络提取具有细节特征的低层特征图。

4.如权利要求3所述的一种输电线路螺栓语义分割方法，其特征在于，所述全卷积神经网络的训练过程包括：

构建螺栓区域定位图像语义分割数据集，对所述数据集中所有图像中的像素进行类别标记，得到图像中螺栓和背景的语义标注；

基于所述图像语义分割数据集对全卷积神经网络进行训练。

5.如权利要求1所述的一种输电线路螺栓语义分割方法，其特征在于，获取所述螺栓定位图像的具有语义信息的高层特征图的过程包括：

螺栓所在区域定位图像通过空洞全卷积神经网络获取高级语义信息，输出降维的特征图；

通过多个膨胀率的空洞卷积以并联方式对特征图进行处理，得到高层特征图。

6.如权利要求5所述的一种输电线路螺栓语义分割方法，其特征在于，将所述低层特征图和高层特征图进行融合的过程包括：

通过多个膨胀率的空洞卷积以并联方式对特征图进行处理后，通过编码器对处理后的特征图进行卷积操作获取编码特征；

将编码器的输出特征图进行上采样操作，得到高层特征；

通过解码器对低层特征图进行卷积以实现通道压缩，得到低层特征；

将得到的高层特征和低层特征连接在一起，实现特征融合。

7.如权利要求1所述的一种输电线路螺栓语义分割方法，其特征在于，基于融合后的特征图得到螺栓所在区域定位图像的像素级分割结果，具体过程包括：

将融合后的特征图进行卷积操作，然后进行上采样操作，得到像素级分割结果。

8.一种输电线路螺栓语义分割系统，其特征在于，包括：

输电线路螺栓区域定位模块，用于针对获取到的输电线路待识别图像，对螺栓所在区域进行定位，得到螺栓所在区域定位图像；

定位图像特征图提取模块，用于分别获取所述定位图像的具有细节特征的低层特征图和具有语义信息的高层特征图；

特征融合模块，用于将所述低层特征图和高层特征图进行融合；

输电线路螺栓语义分割模块，用于对融合后的特征图进行卷积与采样操作，得到螺栓定位图像的像素级分割结果，实现输电线路螺栓语义分割。

9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的输电线路螺栓语义分割方法。

10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的输电线路螺栓语义分割方法。

Images