CN113239764A - 输电线路无人机巡检图像预处理方法 - Google Patents

Abstract

本发明涉及一种输电线路无人机巡检图像预处理方法，包括以下步骤：步骤1：建立巡检对象的任务信息表，任务信息表包括各个巡检对象的整体特性和细节特性；步骤2：依据各个图像的拍摄时间间隔将全部图像分组，从而得到若干图像组，并依据任务信息表将各图像组对应到各个巡检对象，从而确定各图像组中的每张图像对应的整体特性；步骤3：筛除每组图像组中的重复图像；步骤4：利用空间网格法分别对每组图像组进行细节特性判定，确定各组图像组中的每张图像对应的相序；步骤5：依据对应的整体特性和细节特性对每张图像进行命名，得到命名后的图像，完成预处理。本发明能够简便、高效的对输电线路无人机巡检图像进行命名，以完成图像预处理。

Description

输电线路无人机巡检图像预处理方法

技术领域

本发明涉及图像预处理领域，具体涉及一种针对输电线路无人机巡检所获得的图像进行预处理的方法。

背景技术

当前，大部分的220kV及以上电压等级输电线路已经采用了无人机巡检方式，无人机巡检具有操控便捷、观测灵活、画质清晰、不受地形限制等优点，无人机的应用大大提升了巡检作业的效率，但同时也带来了新的问题。无人机巡检作业产生了大量的图像数据，并以指数级的速度不断增加。按照相关管理规定，巡线人员需要花费大量的时间和精力对巡检图像进行手动命名，以完成图像的预处理。

一般来说，图像名称规范命名为“电压等级”+“线路编号”+“线路名称”+“杆塔号”+“拍摄部位”+“相序”，例如：“110kV1351春桥线_044_大金具_小金具_A相金具1”。

在这种管理规定的要求下，这种图像预处理的命名作业模式强度大、效率低，制约了巡检效率的进一步提升。随着无人机巡检业务范围的不断扩大，人员配置与业务发展需求之间的矛盾日益突出，迫切需要一种更为高效和智能的方法取代人工手段，实现无人机巡检图像的自动命名。

无人机自主巡检技术是解决该问题的最有效途径，可事先指定无人机的拍摄点位和巡检图像名称。但是无人机自主巡检基于3D点云建模，需要对所有杆塔、线路进行激光扫描，然后生成模型并规划航线，投资大、成本高，短期内难以大范围推广实施。因此，需要设计新的方法来解决无人机巡检图像的自动命名问题。

在输电线路无人机巡检图像规范化自动命名方法的研究领域，目前电力系统相关单位也提出了一些自动化的方法。目前的现有技术主要有以下两种：

1、根据各杆塔的经度和纬度以及无人机摄像系统的经度和纬度计算各杆塔与无人机摄像系统之间的位置关系，同时根据各杆塔与无人机摄像系统之间的位置关系确定与照片对应杆塔的杆塔名称，从而实现命名。该方法依赖杆塔位置数据库，换言之，即需要提前采集所有杆塔的经纬度，如果没有准备这些数据则无法对照片命名，且该方法没有对重复图片的处理方法，一旦待处理的图片数据含有重复拍摄的情况，则会干扰其依据经纬度的命名；同时，对于不同类型杆塔的具体情况也无实际解决方案；

2、以拍摄内容为标签，采用图像分类模型对待处理的无人机巡检图像进行识别，获得图像所拍摄的内容；根据地理位置匹配出目标杆塔并读取相关信息；计算目标杆塔与相邻两基杆塔拟合成的直线的方向向量对于同一目标杆塔下的巡检图像，读取指定拍摄内容的图像的经、纬度坐标，以方向向量为基准依次区分所拍摄内容的相序和大/小号侧方位；根据目标杆塔相关信息、拍摄内容、相序、大/小号侧方位对巡检图像进行命名。该方法采用resnet-50图像分类模型对待处理的无人机巡检图像进行识别，获得图像所拍摄的内容，该模型需要大量训练集，训练数据的来源与训练的准确性无法得到保证。同时也没有对重复图片的处理办法，一旦待处理的图片数据含有重复拍摄的情况，则会干扰其命名。

发明内容

本发明的目的是提供一种简便、高效对输电线路无人机巡检所获得的图像进行命名，以完成图像预处理的方法。

为达到上述目的，本发明采用的技术方案是：

一种输电线路无人机巡检图像预处理方法，用于对输电线路无人机巡检所获得的图像进行预处理，所述输电线路无人机巡检图像预处理方法包括以下步骤：

步骤1：根据巡检任务建立巡检对象的任务信息表，所述任务信息表包括各个所述巡检对象的整体特性和细节特性；所述巡检对象的整体特性包括所述巡检对象的电压等级、线路编号、线路名称和杆塔号，所述巡检对象的细节特性包括所述巡检对象的结构部位和相序；

步骤2：依据各个所述图像的拍摄时间间隔将全部所述图像分组，从而得到若干图像组，并依据所述任务信息表将各所述图像组对应到各个所述巡检对象，从而确定各所述图像组中的每张所述图像对应的整体特性；

步骤3：筛除每组所述图像组中的重复图像；

步骤4：利用空间网格法分别对每组所述图像组进行细节特性判定，先按约定的拍摄顺序确定所述图像组中每张图像对应的结构部位，将所述图像组中的每张所述图像按照其空间坐标投影至竖直面内，基于所述巡检对象的细节特性在所述竖直面内划分空间网格，从而根据所划分的所述空间网格确定各组所述图像组中的每张所述图像对应的相序；

步骤5：依据对应的所述整体特性和所述细节特性对每张所述图像进行命名，得到命名后的图像，完成预处理。

所述步骤2中，预设时间间隔阈值，则根据相邻两张所述图像的拍摄时间间隔与所述时间间隔阈值的大小关系对所述图像进行分组，若第n+1张所述图像与第n张所述图像的拍摄时间间隔小于所述时间间隔阈值，则将第n+1张所述图像划分至第n张所述图像所在所述图像组，若第n+1张所述图像与第n张所述图像的拍摄时间间隔大于或等于所述时间间隔阈值，则将第n+1张所述图像划分至下一个所述图像组，n为正整数。

所述时间间隔阈值设置为3min。

所述步骤3中，对每组所述图像组中的各张所述图像分别计算其哈希值，从而依据各张所述图像的哈希值判定是否存在重复图像，若存在则将重复图像删除。

所述步骤4中，所述结构部位包括塔身、基础、塔号牌、大号侧通道、小号侧通道。

所述步骤4中，基于大号侧通道对应的所述图像的经纬度和小号侧通道对应的所述图像的经纬度计算大小号侧判断向量，从而依据所述大小号侧判断向量确定所述大号侧通道和所述小号侧通道。

所述步骤4中，划分空间网格的方法为：寻找竖直面内水平方向上的垂直中线，从而利用所述垂直中线划分得到两个初级空间网格，再按照所述巡检对象的相序数划分各个所述初级空间网格而得到最终的空间网格。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：本发明无需依赖数据库或模型，能够简便、高效的对输电线路无人机巡检图像进行命名，以完成图像预处理。

附图说明

附图1为本发明的输电线路无人机巡检图像预处理方法的流程图。

附图2为本发明的输电线路无人机巡检图像预处理方法中步骤2的流程图.

附图3为本发明的输电线路无人机巡检图像预处理方法中步骤4、5的流程图。

具体实施方式

下面结合附图所示的实施例对本发明作进一步描述。

实施例一：如附图1所示，一种用于对输电线路无人机巡检所获得的图像进行预处理的输电线路无人机巡检图像预处理方法，包括以下步骤：

步骤1：根据巡检任务建立巡检对象的任务信息表并导入待处理的全部图像(照片)。

任务信息表包括各个巡检对象的整体特性和细节特性。其中，巡检对象的整体特性包括巡检对象的电压等级、线路编号、线路名称和杆塔号，巡检对象的细节特性包括巡检对象的结构部位和相序。以下为任务信息表的一个实例：

相序组合中字母BAC代表三相、D代表地线，当BAC小写时代表此相含跳线串。相序组合的顺序按照从线路1到线路4的实际相序分布。

步骤2：按任务信息表分拣图像，实现图像分组。

依据各个图像的拍摄时间间隔将全部图像分组，从而得到若干图像组。

如附图2所示，该步骤2中，预设时间间隔阈值(例如时间间隔阈值设置为3min)，则根据相邻两张图像的拍摄时间间隔与时间间隔阈值的大小关系对图像进行分组。设第第n+1(n为正整数)张图像的拍摄时间为TC，第n张图像的拍摄时间诶TB，则第n+1张图像与第n张图像的拍摄时间间隔为TC-TB。若第n+1张图像与第n张图像的拍摄时间间隔TC-TB小于时间间隔阈值，则将第n+1张图像划分至第n张图像所在图像组(存入同一文件夹)，若第n+1张图像与第n张图像的拍摄时间间隔TC-TB大于或等于时间间隔阈值，则将第n+1张图像划分至下一个图像组。以此类推完成所有图像的判断，从而实现全部图像的分组。

分组后，依据任务信息表将各图像组对应到各个巡检对象，从而确定各图像组中的每张图像对应的整体特性，即确定每组图像对应的电压等级、线路编号、线路名称和杆塔号。

步骤3：筛除每组图像组中的重复图像。

该步骤3中，对每组图像组中的各张图像分别计算其哈希值，从而依据各张图像的哈希值判定是否存在重复图像，若存在则将重复图像删除，避免重复图像对后续的干扰。

步骤4：利用空间网格法分别对每组图像组进行细节特性判定，先按约定的拍摄顺序确定图像组中每张图像对应的结构部位，将图像组中的每张图像按照其空间坐标投影至竖直面内，基于巡检对象的细节特性在竖直面内划分空间网格，从而根据所划分的空间网格确定各组图像组中的每张图像对应的相序。

步骤4中，结构部位包括塔身、基础、塔号牌、大号侧通道、小号侧通道。

如附图3所示，步骤4中，首先按约定的拍摄顺序确定图像组中每张图像对应的结构部位，对于耐张塔，由于存在跳线串和大小号侧的区分，故先基于大号侧通道对应的图像的经纬度和小号侧通道对应的图像的经纬度计算大小号侧判断向量，从而依据大小号侧判断向量确定大号侧通道和小号侧通道。例如大号侧通道图像的经纬度pw1(x1，y1)，小号侧通道图像的经纬度pw2(x2，y2)，则大小号侧判断向量c(x1-x2，y1-y2)。

不同类型的巡检对象具有不同的细节特性，因此不同巡检对象的空间网格划分不同。故需要确定当前一组图像对应的巡检对象的类型并据此实施对应的处理，进行空间网格的划分。

步骤4中，划分空间网格的方法为：寻找竖直面内水平方向上的垂直中线，从而利用垂直中线划分得到两个初级空间网格，再按照巡检对象的相序数划分各个初级空间网格而得到最终的空间网格。

例如，对于双回塔，其包括4行2列阵列分布的8个空间网格；对于直线塔，其包括纵向分布的三个空间网格；对于不含跳线的耐张塔，其包括横向分布的六个空间网格；对于含有跳线的耐张塔，其包括横向分布的七个空间网格。

划分空间网格后，即可根据一组图像的投影与空间网格的对应关系，确定出每张图像对应的拍摄部位，确定每张图像对应的细节特性，即巡检对象的结构部位和相序。

步骤5：依据对应的整体特性和细节特性对每张图像进行命名，得到命名后的图像，完成预处理。以上步骤4和步骤5共同完成对每一组巡检对象对应图像的命名，输出命名后的图像。

上述方案利用了巡检拍摄任务的内在逻辑顺序，结合任务信息表，一方面可以独立分拣图像数据，另一方面使得拍摄任务的进行更具灵活性；利用空间网格与图片之间相对位置关系则可以不依赖于杆塔坐标数据集和模型，准确识别杆塔部位；同时还可以避免重复图像的干扰。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种输电线路无人机巡检图像预处理方法，用于对输电线路无人机巡检所获得的图像进行预处理，其特征在于：所述输电线路无人机巡检图像预处理方法包括以下步骤：

步骤1：根据巡检任务建立巡检对象的任务信息表，所述任务信息表包括各个所述巡检对象的整体特性和细节特性；所述巡检对象的整体特性包括所述巡检对象的电压等级、线路编号、线路名称和杆塔号，所述巡检对象的细节特性包括所述巡检对象的结构部位和相序；

步骤2：依据各个所述图像的拍摄时间间隔将全部所述图像分组，从而得到若干图像组，并依据所述任务信息表将各所述图像组对应到各个所述巡检对象，从而确定各所述图像组中的每张所述图像对应的整体特性；

步骤3：筛除每组所述图像组中的重复图像；

步骤4：利用空间网格法分别对每组所述图像组进行细节特性判定，先按约定的拍摄顺序确定所述图像组中每张图像对应的结构部位，将所述图像组中的每张所述图像按照其空间坐标投影至竖直面内，基于所述巡检对象的细节特性在所述竖直面内划分空间网格，从而根据所划分的所述空间网格确定各组所述图像组中的每张所述图像对应的相序；

步骤5：依据对应的所述整体特性和所述细节特性对每张所述图像进行命名，得到命名后的图像，完成预处理。

2.根据权利要求1所述的输电线路无人机巡检图像预处理方法，其特征在于：所述步骤2中，预设时间间隔阈值，则根据相邻两张所述图像的拍摄时间间隔与所述时间间隔阈值的大小关系对所述图像进行分组，若第n+1张所述图像与第n张所述图像的拍摄时间间隔小于所述时间间隔阈值，则将第n+1张所述图像划分至第n张所述图像所在所述图像组，若第n+1张所述图像与第n张所述图像的拍摄时间间隔大于或等于所述时间间隔阈值，则将第n+1张所述图像划分至下一个所述图像组，n为正整数。

3.根据权利要求2所述的输电线路无人机巡检图像预处理方法，其特征在于：所述时间间隔阈值设置为3min。

4.根据权利要求1所述的输电线路无人机巡检图像预处理方法，其特征在于：所述步骤3中，对每组所述图像组中的各张所述图像分别计算其哈希值，从而依据各张所述图像的哈希值判定是否存在重复图像，若存在则将重复图像删除。

5.根据权利要求1所述的输电线路无人机巡检图像预处理方法，其特征在于：所述步骤4中，所述结构部位包括塔身、基础、塔号牌、大号侧通道、小号侧通道。

6.根据权利要求5所述的输电线路无人机巡检图像预处理方法，其特征在于：所述步骤4中，基于大号侧通道对应的所述图像的经纬度和小号侧通道对应的所述图像的经纬度计算大小号侧判断向量，从而依据所述大小号侧判断向量确定所述大号侧通道和所述小号侧通道。

7.根据权利要求5所述的输电线路无人机巡检图像预处理方法，其特征在于：所述步骤4中，划分空间网格的方法为：寻找竖直面内水平方向上的垂直中线，从而利用所述垂直中线划分得到两个初级空间网格，再按照所述巡检对象的相序数划分各个所述初级空间网格而得到最终的空间网格。

Images