CN113379736A - 一种巡检机器人视觉图像深度特征表达方法及系统 - Google Patents

Abstract

本申请公开了一种巡检机器人视觉图像深度特征表达方法及系统，其通过对输电线路图像识别出电力部件后，提取非电力部件的目标物图像作为感兴趣目标区域，并根据感兴趣目标区域中的图像特征在预先建立的互联网图像库中进行相似度匹配，以得到相似度最高的互联网图像及其种类，并以相似度最高的互联网图像的图像特征作为目标物图像中目标物的表达特征。从而无需人工标记，提高了图像特征表达的效率，同时，由于将剔除电力部件后的目标物图像与互联网图像库中进行相似度匹配，使得目标物更加精确，所匹配的图像库更加广泛，从而提高了图像特征表达的准确性。

Description

一种巡检机器人视觉图像深度特征表达方法及系统

技术领域

本申请涉及图像处理技术领域，尤其涉及一种巡检机器人视觉图像深度特征表达方法及系统。

背景技术

由于输电线路分布广泛，又经常受到天气环境或人为影响，输电线路可能遭受到破坏，对正常电力运作造成了极大地安全隐患，为了减少安全隐患，需要经常对输电线路进行巡检。为此，电网公司采用巡检机器人对输电线路进行巡检。

输电线路巡检机器人在巡检过程中需要通过摄像头进行视觉图像采集，并对图像特征进行分析以识别出输电线路缺陷。但在现有技术中，通过视觉图像采集到输电线路图像后，多是通过人工对电力部件和杂物进行人工标记，导致图像特征表达的效率较低且准确性较差。

发明内容

本申请提供了一种巡检机器人视觉图像深度特征表达方法及系统，用于解决图像特征表达的效率较低且准确性较差的技术问题。

有鉴于此，本申请第一方面提供了一种巡检机器人视觉图像深度特征表达方法，包括以下步骤：

S1、获取巡检机器人视觉采集到的输电线路图像；

S2、基于预先训练得到的图像识别网络模型识别所述输电线路图像中的电力部件的种类和位置，并根据所述电力部件的种类在所述电力部件相应的位置添加部件种类标签；

S3、根据所述部件种类标签在所述输电线路图像中提取感兴趣目标区域，所述感兴趣目标区域为未添加所述部件种类标签的目标物图像；

S4、提取所述感兴趣目标区域中的图像特征，根据所述图像特征在预先建立的互联网图像库中进行相似度匹配，根据匹配结果得到与所述目标物图像相似度最高的互联网图像及其种类，所述预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

S5、提取经匹配得到的所述互联网图像的图像特征，以作为所述目标物图像中目标物的表达特征。

优选地，步骤S1之后，步骤S2之前包括：

对所述输电线路图像进行滤波处理。

优选地，在步骤S4之前包括：

S401、基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，所述目标特征包括接触于输电线路的目标杂物；

S402、基于预先训练好的杂物识别模型识别所述互联网图像集中的目标杂物的种类，标记所述目标杂物的种类名称；

S403、将所述互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，将所述互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

优选地，步骤S4具体包括：

S411、对所述感兴趣目标区域进行灰度图像处理，得到灰度图像；

S412、对所述灰度图像进行两阈值二值化处理，得到模板图像；

S413、提取所述模板图像中的轮廓特征点，将所述轮廓特征点拟合为基准形态图形；

S414、基于图像处理算法对所述基准形态图形进行形态变换，以得到多种形态变换图形，将所述基准形态图形和多种所述形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

S415、通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，将所述待匹配图形与所述预先建立的互联网图像库中的每个互联网图像进行图形重合，根据所述待匹配图形与所述互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

优选地，步骤S415之前包括：

S421、将所述待匹配图形集中每个待匹配图形中的中心点作为原点，建立第一直角坐标系，根据所述第一直角坐标系确定待匹配图形的每个轮廓特征点的坐标值；

S422、对所述预先建立的互联网图像库中每个互联网图像进行灰度处理，再将经灰度处理后的互联网图像进行二值化处理，得到互联网模板图像；

S423、提取所述互联网模板图像中的轮廓特征点，将所述轮廓特征点拟合为对比形态图形；

S424、将所述对比形态图形中的中心点作为原点，建立第二直角坐标系，根据所述第二直角坐标系确定互联网模板图像中的每个轮廓特征点的坐标值；

则相应地，步骤S415具体包括：

通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，基于相同的图形缩放比例，根据所述待匹配图形的每个轮廓特征点的坐标值和所述互联网模板图像中的每个轮廓特征点的坐标值计算所述待匹配图形和所述对比形态图形的重叠区域面积，根据所述重叠区域面积得到相似度，从而输出每个待匹配图形对应的相似度最高的互联网图像，将每个待匹配图形对应的相似度最高的互联网图像按照相似度大小进行排序，从而确定最佳相似度的互联网图像及其种类。

优选地，步骤S5之后包括：

S6、在所述输电线路图像中的所述目标物的相应位置添加经匹配得到的所述互联网图像的种类标签，确定每种所述种类标签对应的目标物数量；

S7、基于所述巡检机器人的雷达定位设备获取所述目标物与所述巡检机器人的距离信息；

S8、根据所述目标物在所述输电线路图像中的相应位置、种类标签、数量以及与所述巡检机器人的距离信息生成巡检数据，将所述巡检数据发送至电网运维中心；

S9、根据所述巡检数据在预设的处置方案库中筛查最佳处置方案模板，所述预设的处置方案库中包括种类标签以及与其呈映射关系的处置方案模板。

第二方面，本发明提供了一种巡检机器人视觉图像深度特征表达系统，包括：图像获取模块、部件识别模块、感兴趣模块、相似度匹配模块和特征表达模块；

所述图像获取模块，用于获取巡检机器人视觉采集到的输电线路图像；

所述部件识别模块，用于基于预先训练得到的图像识别网络模型识别所述输电线路图像中的电力部件的种类和位置，还用于根据所述电力部件的种类在所述电力部件相应的位置添加部件种类标签；

所述感兴趣模块，用于根据所述部件种类标签在所述输电线路图像中提取感兴趣目标区域，所述感兴趣目标区域为未添加所述部件种类标签的目标物图像；

所述相似度匹配模块，用于提取所述感兴趣目标区域中的图像特征，还用于根据所述图像特征在预先建立的互联网图像库中进行相似度匹配，还用于根据匹配结果得到与所述目标物图像相似度最高的互联网图像及其种类，所述预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

所述特征表达模块，用于提取经匹配得到的所述互联网图像的图像特征，以作为所述目标物图像中目标物的表达特征。

优选地，本系统还包括：滤波模块；

所述滤波模块，用于对所述输电线路图像进行滤波处理。

优选地，本系统还包括：

爬虫模块，用于基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，所述目标特征包括接触于输电线路的目标杂物；

杂物识别模块，用于基于预先训练好的杂物识别模型识别所述互联网图像集中的目标杂物的种类，标记所述目标杂物的种类名称；

增广模块，用于将所述互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，还用于将所述互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

优选地，所述相似度匹配模块具体包括灰度子模块、二值化子模块、轮廓特征提取子模块、形态变换子模块和相似匹配子模块；

所述灰度子模块，用于对所述感兴趣目标区域进行灰度图像处理，得到灰度图像；

所述二值化子模块，用于对所述灰度图像进行两阈值二值化处理，得到模板图像；

所述轮廓特征提取子模块，用于提取所述模板图像中的轮廓特征点，还用于将所述轮廓特征点拟合为基准形态图形；

所述形态变换子模块，用于基于图像处理算法对所述基准形态图形进行形态变换，以得到多种形态变换图形，还用于将所述基准形态图形和多种所述形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

所述相似匹配子模块，用于通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，还用于将所述待匹配图形与所述预先建立的互联网图像库中的每个互联网图像进行图形重合，还用于根据所述待匹配图形与所述互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

从以上技术方案可以看出，本发明具有以下优点：

本发明通过对输电线路图像识别出电力部件后，提取非电力部件的目标物图像作为感兴趣目标区域，并根据感兴趣目标区域中的图像特征在预先建立的互联网图像库中进行相似度匹配，以得到相似度最高的互联网图像及其种类，并以相似度最高的互联网图像的图像特征作为目标物图像中目标物的表达特征。从而无需人工标记，提高了图像特征表达的效率，同时，由于将剔除电力部件后的目标物图像与互联网图像库中进行相似度匹配，使得目标物更加精确，所匹配的图像库更加广泛，从而提高了图像特征表达的准确性。

附图说明

图1为本申请实施例提供的一种巡检机器人视觉图像深度特征表达方法的流程图；

图2为本申请实施例提供的一种巡检机器人视觉图像深度特征表达系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本发明提供的一种巡检机器人视觉图像深度特征表达方法，包括以下步骤：

S1、获取巡检机器人视觉采集到的输电线路图像；

S2、基于预先训练得到的图像识别网络模型识别输电线路图像中的电力部件的种类和位置，并根据电力部件的种类在电力部件相应的位置添加部件种类标签；

S3、根据部件种类标签在输电线路图像中提取感兴趣目标区域，感兴趣目标区域为未添加部件种类标签的目标物图像；

S4、提取感兴趣目标区域中的图像特征，根据图像特征在预先建立的互联网图像库中进行相似度匹配，根据匹配结果得到与目标物图像相似度最高的互联网图像及其种类，预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

S5、提取经匹配得到的互联网图像的图像特征，以作为目标物图像中目标物的表达特征。

本发明提供了一种巡检机器人视觉图像深度特征表达方法，通过对输电线路图像识别出电力部件后，提取非电力部件的目标物图像作为感兴趣目标区域，并根据感兴趣目标区域中的图像特征在预先建立的互联网图像库中进行相似度匹配，以得到相似度最高的互联网图像及其种类，并以相似度最高的互联网图像的图像特征作为目标物图像中目标物的表达特征。从而无需人工标记，提高了图像特征表达的效率，同时，由于将剔除电力部件后的目标物图像与互联网图像库中进行相似度匹配，使得目标物更加精确，所匹配的图像库更加广泛，从而提高了图像特征表达的准确性。

以下为本发明提供的一种巡检机器人视觉图像深度特征表达方法的实施例的具体描述。

本发明提供的一种巡检机器人视觉图像深度特征表达方法，包括以下步骤：

S100、获取巡检机器人视觉采集到的输电线路图像；

在本实施例中，在巡检机器人的摄像头上可以设置云台，云台内部有两个电机，分别负责云台的垂直和水平方向的转动，云台的水平旋转角度为0°～300°，垂直旋转角度为60°～110°，水平转动速度为5°～8°/s，垂直转动速度为2°～5°/s。通过设置在云台上的摄像头全方位观察巡检机器人周边环境信息，可增加摄像头的观测范围。

S200、对输电线路图像进行滤波处理。

需要说明的是，通过对输电线路图像进行滤波处理，可以剔除无关背景元素，从而提高后续的识别精度。

S300、基于预先训练得到的图像识别网络模型识别输电线路图像中的电力部件的种类和位置，并根据电力部件的种类在电力部件相应的位置添加部件种类标签；

需要说明的是，预先训练得到的图像识别网络模型可以通过图像识别神经网络对预先构建的训练集进行训练得到，训练集包括电力部件数据，如线路杆塔、导线、绝缘子、线路金具、拉线、杆塔基础、接地装置等。

同时，在添加种类标签时可以采用序号进行表示，如XX01表示绝缘子。

S400、根据部件种类标签在输电线路图像中提取感兴趣目标区域，感兴趣目标区域为未添加部件种类标签的目标物图像；

需要说明的是，目标物定义为对输电线路的输电运行造成威胁的物体，其多是与输电线路进行了接触，如鸟类、塑料袋，树枝，编织袋等杂物。

S401、基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，目标特征包括接触于输电线路的目标杂物；

在本实施例中，目标浏览器包括电网内部平台和公共浏览器，为了准确获得互联网图像，对网络爬虫设置抓取目标任务，其获得接触于输电线路的杂物，如鸟类、塑料袋，树枝，编织袋等。

S402、基于预先训练好的杂物识别模型识别互联网图像集中的目标杂物的种类，标记目标杂物的种类名称；

需要说明的是，预先训练好的杂物识别模型是通过深度学习算法进行训练得到的，其在识别出互联网图像集中的目标杂物后，可以得到目标杂物的种类名称，并进行手动标记或自动标记。

S403、将互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，将互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

需要说明的是，将互联网图像集中的每张互联网图像进行增广操作处理，其增广操作包括放大、缩放、拉伸、扭曲、旋转、饱和度变化、亮度变化中的一种操作或多种操作结合，从而增加数据集的数量和多样性，这也是考虑到目标杂物的动态化和形态多样化，以提高后续相似匹配的准确性。

S500、提取感兴趣目标区域中的图像特征，根据图像特征在预先建立的互联网图像库中进行相似度匹配，根据匹配结果得到与目标物图像相似度最高的互联网图像及其种类，预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

具体地，步骤S500具体包括：

S411、对感兴趣目标区域进行灰度图像处理，得到灰度图像；

S412、对灰度图像进行两阈值二值化处理，得到模板图像；

S413、提取模板图像中的轮廓特征点，将轮廓特征点拟合为基准形态图形；

需要说明的是，在提取模板图像中的轮廓特征点后，轮廓特征点所构成的图形可以为基准形态图形。

S414、基于图像处理算法对基准形态图形进行形态变换，以得到多种形态变换图形，将基准形态图形和多种形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

需要说明的是，考虑到目标物存在多种形态图形，对基准形态图形进行形态变换，以得到多种形态变换图形，从而增加每个感兴趣目标区域的匹配数量，提高匹配精确性。

S415、通过待匹配图形集中每个待匹配图形在预先建立的互联网图像库进行遍历搜索，将待匹配图形与预先建立的互联网图像库中的每个互联网图像进行图形重合，根据待匹配图形与互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

需要说明的是，在本实施例中，将感兴趣目标区域对应的每个待匹配图形在预先建立的互联网图像库进行遍历搜索，由于每个待匹配图形是经过形态变换得到的图形，其可以形成动态变换的图形序列，将每个待匹配图形均在互联网图像库进行遍历搜索，以将待匹配图形与每个互联网图像进行图形重合，根据得到重合结果计算相似度，从而可以得到每个待匹配图形对应的相似度，根据每个待匹配图形对应的相似度可以确定最佳的相似度，输出相似度最佳的互联网图像及其对应的种类。

在另一实施例中，步骤S415之前包括：

S421、将待匹配图形集中每个待匹配图形中的中心点作为原点，建立第一直角坐标系，根据第一直角坐标系确定待匹配图形的每个轮廓特征点的坐标值；

S422、对预先建立的互联网图像库中每个互联网图像进行灰度处理，再将经灰度处理后的互联网图像进行二值化处理，得到互联网模板图像；

S423、提取互联网模板图像中的轮廓特征点，将轮廓特征点拟合为对比形态图形；

S424、将对比形态图形中的中心点作为原点，建立第二直角坐标系，根据第二直角坐标系确定互联网模板图像中的每个轮廓特征点的坐标值；

需要说明的是，第二直角坐标系与第一直角坐标系均以图形中的中心点作为原点进行建立的，因此，其每个轮廓特征点到原点之间的距离是具有可比性的，以对比形态图形的距离特征作为基准距离特征。

则相应地，步骤S415具体包括：

通过待匹配图形集中每个待匹配图形在预先建立的互联网图像库进行遍历搜索，基于相同的图形缩放比例，根据待匹配图形的每个轮廓特征点的坐标值和互联网模板图像中的每个轮廓特征点的坐标值计算待匹配图形和对比形态图形的重叠区域面积，根据重叠区域面积得到相似度，从而输出每个待匹配图形对应的相似度最高的互联网图像，将每个待匹配图形对应的相似度最高的互联网图像按照相似度大小进行排序，从而确定最佳相似度的互联网图像及其种类。

需要说明的是，为了量化图形重合程度，根据待匹配图形的每个轮廓特征点的坐标值和互联网模板图像中的每个轮廓特征点的坐标值计算待匹配图形和对比形态图形的重叠区域面积，但其重叠区域面积的计算前提是为待匹配图形和对比形态图形为相同的图形缩放比例，如待匹配图形的图形缩放比例为1:1，而相应的互联网图像的图形缩放比例也应为1:1。从而可以进行相互比对，通过坐标值求得待匹配图形和对比形态图形的多个几何参数，根据几何参数求得重叠区域面积，通过重叠区域面积可以表征相似度，以对相似度进行量化。由于每个待匹配图形均会输出对应的相似度最高的互联网图像，为了匹配到最佳的相似度的互联网图像，则按照相似度大小将互联网图像进行排序，从而确定排序后最高的相似度的互联网图像作为最佳相似度的互联网图像。

S500、提取经匹配得到的互联网图像的图像特征，以作为目标物图像中目标物的表达特征。

需要说明的是，提取经匹配得到的互联网图像的图像特征作为目标物的表达特征，其图像特征包括轮廓特征、纹理特征和颜色特征等。

S600、在输电线路图像中的目标物的相应位置添加经匹配得到的互联网图像的种类标签，确定每种种类标签对应的目标物数量；

需要说明的是，通过添加种类标签，可以直观地展示出输电线路当前的杂物种类和数量，可有序的根据不同的标签信息来进行一定的措施。

S700、基于巡检机器人的雷达定位设备获取目标物与巡检机器人的距离信息；

S800、根据目标物在输电线路图像中的相应位置、种类标签、数量以及与巡检机器人的距离信息生成巡检数据，将巡检数据发送至电网运维中心；

S900、根据巡检数据在预设的处置方案库中筛查最佳处置方案模板，预设的处置方案库中包括种类标签以及与其呈映射关系的处置方案模板。

需要说明的是，通过目标物的种类标签可以在预设的处置方案库中匹配到相应的处置方案模板，以便进行快速地处置杂物。如目标物的种类标签为鸟类，则匹配到的处置方案模板可以为驱鸟方案模板，其包括巡检机器人的最优行进路线，即可使得巡检机器人巡检更加安全快捷的行进到杂物，对杂物进行处理。

以上为本发明提供的一种巡检机器人视觉图像深度特征表达方法的实施例的详细描述，以下为本发明提供的一种巡检机器人视觉图像深度特征表达系统的实施例的详细描述。

为了方便理解，请参阅图2，本发明提供的一种巡检机器人视觉图像深度特征表达系统，包括：图像获取模块100、部件识别模块200、感兴趣模块300、相似度匹配模块400和特征表达模块500；

图像获取模块100，用于获取巡检机器人视觉采集到的输电线路图像；

部件识别模块200，用于基于预先训练得到的图像识别网络模型识别输电线路图像中的电力部件的种类和位置，还用于根据电力部件的种类在电力部件相应的位置添加部件种类标签；

感兴趣模块300，用于根据部件种类标签在输电线路图像中提取感兴趣目标区域，感兴趣目标区域为未添加部件种类标签的目标物图像；

相似度匹配模块400，用于提取感兴趣目标区域中的图像特征，还用于根据图像特征在预先建立的互联网图像库中进行相似度匹配，还用于根据匹配结果得到与目标物图像相似度最高的互联网图像及其种类，预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

特征表达模块500，用于提取经匹配得到的互联网图像的图像特征，以作为目标物图像中目标物的表达特征。

进一步地，本系统还包括：滤波模块；

滤波模块，用于对输电线路图像进行滤波处理。

进一步地，本系统还包括：

爬虫模块，用于基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，目标特征包括接触于输电线路的目标杂物；

杂物识别模块，用于基于预先训练好的杂物识别模型识别互联网图像集中的目标杂物的种类，标记目标杂物的种类名称；

增广模块，用于将互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，还用于将互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

进一步地，相似度匹配模块具体包括灰度子模块、二值化子模块、轮廓特征提取子模块、形态变换子模块和相似匹配子模块；

灰度子模块，用于对感兴趣目标区域进行灰度图像处理，得到灰度图像；

二值化子模块，用于对灰度图像进行两阈值二值化处理，得到模板图像；

轮廓特征提取子模块，用于提取模板图像中的轮廓特征点，还用于将轮廓特征点拟合为基准形态图形；

形态变换子模块，用于基于图像处理算法对基准形态图形进行形态变换，以得到多种形态变换图形，还用于将基准形态图形和多种形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

相似匹配子模块，用于通过待匹配图形集中每个待匹配图形在预先建立的互联网图像库进行遍历搜索，还用于将待匹配图形与预先建立的互联网图像库中的每个互联网图像进行图形重合，还用于根据待匹配图形与互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

进一步地，本系统还包括：第一坐标获取模块、图像处理模块、对比形态图形模块和第二坐标获取模块；

第一坐标获取模块用于将待匹配图形集中每个待匹配图形中的中心点作为原点，建立第一直角坐标系，还用于根据第一直角坐标系确定待匹配图形的每个轮廓特征点的坐标值；

图像处理模块用于对预先建立的互联网图像库中每个互联网图像进行灰度处理，还用于将经灰度处理后的互联网图像进行二值化处理，得到互联网模板图像；

对比形态图形模块用于提取互联网模板图像中的轮廓特征点，还用于将轮廓特征点拟合为对比形态图形；

第二坐标获取模块用于将对比形态图形中的中心点作为原点，建立第二直角坐标系，还用于根据第二直角坐标系确定互联网模板图像中的每个轮廓特征点的坐标值；

则相应地，相似匹配子模块具体用于通过待匹配图形集中每个待匹配图形在预先建立的互联网图像库进行遍历搜索，还用于基于相同的图形缩放比例，根据待匹配图形的每个轮廓特征点的坐标值和互联网模板图像中的每个轮廓特征点的坐标值计算待匹配图形和对比形态图形的重叠区域面积，还用于根据重叠区域面积得到相似度，从而输出每个待匹配图形对应的相似度最高的互联网图像，还用于将每个待匹配图形对应的相似度最高的互联网图像按照相似度大小进行排序，从而确定最佳相似度的互联网图像及其种类。

进一步地，本系统还包括：标签模块、定位模块、数据生成发送模块和处置方案筛选模块；

标签模块用于在输电线路图像中的目标物的相应位置添加经匹配得到的互联网图像的种类标签，确定每种种类标签对应的目标物数量；

定位模块用于基于巡检机器人的雷达定位设备获取目标物与巡检机器人的距离信息；

数据生成发送模块用于根据目标物在输电线路图像中的相应位置、种类标签、数量以及与巡检机器人的距离信息生成巡检数据，还用于将巡检数据发送至电网运维中心；

处置方案筛选模块用于根据巡检数据在预设的处置方案库中筛查最佳处置方案模板，预设的处置方案库中包括种类标签以及与其呈映射关系的处置方案模板。

需要说明的是，本发明提供了一种巡检机器人视觉图像深度特征表达系统的工作过程与上述的巡检机器人视觉图像深度特征表达方法的流程一致，在此不再赘述。

本发明提供了一种巡检机器人视觉图像深度特征表达系统，通过对输电线路图像识别出电力部件后，提取非电力部件的目标物图像作为感兴趣目标区域，并根据感兴趣目标区域中的图像特征在预先建立的互联网图像库中进行相似度匹配，以得到相似度最高的互联网图像及其种类，并以相似度最高的互联网图像的图像特征作为目标物图像中目标物的表达特征。从而无需人工标记，提高了图像特征表达的效率，同时，由于将剔除电力部件后的目标物图像与互联网图像库中进行相似度匹配，使得目标物更加精确，所匹配的图像库更加广泛，从而提高了图像特征表达的准确性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-Only Memory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种巡检机器人视觉图像深度特征表达方法，其特征在于，包括以下步骤：

S1、获取巡检机器人视觉采集到的输电线路图像；

S2、基于预先训练得到的图像识别网络模型识别所述输电线路图像中的电力部件的种类和位置，并根据所述电力部件的种类在所述电力部件相应的位置添加部件种类标签；

S3、根据所述部件种类标签在所述输电线路图像中提取感兴趣目标区域，所述感兴趣目标区域为未添加所述部件种类标签的目标物图像；

S4、提取所述感兴趣目标区域中的图像特征，根据所述图像特征在预先建立的互联网图像库中进行相似度匹配，根据匹配结果得到与所述目标物图像相似度最高的互联网图像及其种类，所述预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

S5、提取经匹配得到的所述互联网图像的图像特征，以作为所述目标物图像中目标物的表达特征。

2.根据权利要求1所述的巡检机器人视觉图像深度特征表达方法，其特征在于，步骤S1之后，步骤S2之前包括：

对所述输电线路图像进行滤波处理。

3.根据权利要求1所述的巡检机器人视觉图像深度特征表达方法，其特征在于，在步骤S4之前包括：

S401、基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，所述目标特征包括接触于输电线路的目标杂物；

S402、基于预先训练好的杂物识别模型识别所述互联网图像集中的目标杂物的种类，标记所述目标杂物的种类名称；

S403、将所述互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，将所述互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

4.根据权利要求1所述的巡检机器人视觉图像深度特征表达方法，其特征在于，步骤S4具体包括：

S411、对所述感兴趣目标区域进行灰度图像处理，得到灰度图像；

S412、对所述灰度图像进行两阈值二值化处理，得到模板图像；

S413、提取所述模板图像中的轮廓特征点，将所述轮廓特征点拟合为基准形态图形；

S414、基于图像处理算法对所述基准形态图形进行形态变换，以得到多种形态变换图形，将所述基准形态图形和多种所述形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

S415、通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，将所述待匹配图形与所述预先建立的互联网图像库中的每个互联网图像进行图形重合，根据所述待匹配图形与所述互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

5.根据权利要求4所述的巡检机器人视觉图像深度特征表达方法，其特征在于，步骤S415之前包括：

S421、将所述待匹配图形集中每个待匹配图形中的中心点作为原点，建立第一直角坐标系，根据所述第一直角坐标系确定待匹配图形的每个轮廓特征点的坐标值；

S422、对所述预先建立的互联网图像库中每个互联网图像进行灰度处理，再将经灰度处理后的互联网图像进行二值化处理，得到互联网模板图像；

S423、提取所述互联网模板图像中的轮廓特征点，将所述轮廓特征点拟合为对比形态图形；

S424、将所述对比形态图形中的中心点作为原点，建立第二直角坐标系，根据所述第二直角坐标系确定互联网模板图像中的每个轮廓特征点的坐标值；

则相应地，步骤S415具体包括：

通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，基于相同的图形缩放比例，根据所述待匹配图形的每个轮廓特征点的坐标值和所述互联网模板图像中的每个轮廓特征点的坐标值计算所述待匹配图形和所述对比形态图形的重叠区域面积，根据所述重叠区域面积得到相似度，从而输出每个待匹配图形对应的相似度最高的互联网图像，将每个待匹配图形对应的相似度最高的互联网图像按照相似度大小进行排序，从而确定最佳相似度的互联网图像及其种类。

6.根据权利要求1所述的巡检机器人视觉图像深度特征表达方法，其特征在于，步骤S5之后包括：

S6、在所述输电线路图像中的所述目标物的相应位置添加经匹配得到的所述互联网图像的种类标签，确定每种所述种类标签对应的目标物数量；

S7、基于所述巡检机器人的雷达定位设备获取所述目标物与所述巡检机器人的距离信息；

S8、根据所述目标物在所述输电线路图像中的相应位置、种类标签、数量以及与所述巡检机器人的距离信息生成巡检数据，将所述巡检数据发送至电网运维中心；

S9、根据所述巡检数据在预设的处置方案库中筛查最佳处置方案模板，所述预设的处置方案库中包括种类标签以及与其呈映射关系的处置方案模板。

7.一种巡检机器人视觉图像深度特征表达系统，其特征在于，包括：图像获取模块、部件识别模块、感兴趣模块、相似度匹配模块和特征表达模块；

所述图像获取模块，用于获取巡检机器人视觉采集到的输电线路图像；

所述部件识别模块，用于基于预先训练得到的图像识别网络模型识别所述输电线路图像中的电力部件的种类和位置，还用于根据所述电力部件的种类在所述电力部件相应的位置添加部件种类标签；

所述感兴趣模块，用于根据所述部件种类标签在所述输电线路图像中提取感兴趣目标区域，所述感兴趣目标区域为未添加所述部件种类标签的目标物图像；

所述相似度匹配模块，用于提取所述感兴趣目标区域中的图像特征，还用于根据所述图像特征在预先建立的互联网图像库中进行相似度匹配，还用于根据匹配结果得到与所述目标物图像相似度最高的互联网图像及其种类，所述预先建立的互联网图像库包括若干个互联网图像及其相应的种类标签；

所述特征表达模块，用于提取经匹配得到的所述互联网图像的图像特征，以作为所述目标物图像中目标物的表达特征。

8.根据权利要求7所述的巡检机器人视觉图像深度特征表达系统，其特征在于，还包括：滤波模块；

所述滤波模块，用于对所述输电线路图像进行滤波处理。

9.根据权利要求7所述的巡检机器人视觉图像深度特征表达系统，其特征在于，还包括：

爬虫模块，用于基于网络爬虫在目标浏览器页面中进行抓取，以获得具有目标特征的互联网图像集，所述目标特征包括接触于输电线路的目标杂物；

杂物识别模块，用于基于预先训练好的杂物识别模型识别所述互联网图像集中的目标杂物的种类，标记所述目标杂物的种类名称；

增广模块，用于将所述互联网图像集中的每张互联网图像进行增广操作处理，从而得到互联网图像增广数据集，还用于将所述互联网图像增广数据集存储于图像数据库中，以构建互联网图像库。

10.根据权利要求7所述的巡检机器人视觉图像深度特征表达系统，其特征在于，所述相似度匹配模块具体包括灰度子模块、二值化子模块、轮廓特征提取子模块、形态变换子模块和相似匹配子模块；

所述灰度子模块，用于对所述感兴趣目标区域进行灰度图像处理，得到灰度图像；

所述二值化子模块，用于对所述灰度图像进行两阈值二值化处理，得到模板图像；

所述轮廓特征提取子模块，用于提取所述模板图像中的轮廓特征点，还用于将所述轮廓特征点拟合为基准形态图形；

所述形态变换子模块，用于基于图像处理算法对所述基准形态图形进行形态变换，以得到多种形态变换图形，还用于将所述基准形态图形和多种所述形态变换图形构成待匹配图形集，其中，形态变换的方式为随机扭曲、拉伸、放大、缩放和旋转中的一种或多种方式结合；

所述相似匹配子模块，用于通过所述待匹配图形集中每个待匹配图形在所述预先建立的互联网图像库进行遍历搜索，还用于将所述待匹配图形与所述预先建立的互联网图像库中的每个互联网图像进行图形重合，还用于根据所述待匹配图形与所述互联网图像的图形重合结果计算相似度，从而输出相似度最佳的互联网图像及其对应的种类。

Images