CN116958841A - 基于图像识别的配电线路无人机巡检系统 - Google Patents

Abstract

本发明公开了一种基于图像识别的配电线路无人机巡检系统，所述巡检系统设置在无人机上，所述巡检系统包括摄像头模块、定位模块、图像比对模块、图像直线检测模块、结果输出模块以及控制模块。其中，控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段，以及控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数，并根据当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值的判定结果以确定配电路线巡检结果是否正常，与现有技术相比，有利于减少所占用的计算资源。

Description

基于图像识别的配电线路无人机巡检系统

技术领域

本发明涉及无人机应用技术领域，尤其涉及一种基于图像识别的配电线路无人机巡检系统。

背景技术

专利CN113536944A公开了本发明公开了一种基于图像识别的配电线路巡检数据识别及分析方法，包括以下步骤：选取数据模型提取方法；基于深度学习目标检测方法对杆塔特征提取分析；根据杆塔特征构建配网设备样本库和评价指标；根据设备样本库和评价指标构建图像缺陷识别平台。该发明基于深度学习图像识别技术，实现无人机巡检图像的自动分析，提高了采集数据的智能化分析能力。

然而，上述技术方案的弊端在于采用的深度学习目标检测方法执行特征提取的过程中，需要占用执行装置（如，巡检系统）大量的计算资源。

可见，如何在执行基于图像识别技术进行关于配电线路巡检的步骤时减少所占用的计算资源，是亟需解决的技术问题。

发明内容

本发明所要解决的技术问题在于，提供一种基于图像识别的配电线路无人机巡检系统，在执行基于图像识别技术进行关于配电线路巡检的步骤时有利于减少所占用的计算资源。

为了解决上述技术问题，本发明公开了一种基于图像识别的配电线路无人机巡检系统，所述巡检系统设置在无人机上，所述巡检系统包括摄像头模块、定位模块、图像比对模块、图像直线检测模块、结果输出模块以及控制模块，所述摄像头模块、定位模块、图像比对模块、图像直线检测模块以及结果输出模块分别与所述控制模块电连接，所述控制模块执行的步骤包括：

所述控制模块通过所述定位模块获取所述无人机的当前位置，并确定所述当前位置为预先确定的目标位置；

所述控制模块控制所述摄像头模块拍摄关于配电线路的当前图像；

所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段；

所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数；

所述控制模块判定所述当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值，若是，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果正常的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果异常的第二结果信息。

本发明公开的基于图像识别的配电线路无人机巡检系统中，控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段，以及控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数，并根据当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值的判定结果以确定配电路线巡检结果是否正常，与现有技术相比，有利于减少所占用的计算资源。

作为一种可选的实施方式，本发明中，在所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段之后，以及在所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数之前，所述控制模块执行的步骤还包括：

所述控制模块控制所述图像检测模块统计在所述当前图像中的目标线段数目；

所述控制模块判断所述目标线段数目与预先确定的先验线段数目是否匹配，若否，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果异常的第二结果信息，若是，则触发所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的步骤执行。

作为一种可选的实施方式，本发明中，所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的过程中，采用的公式如下：

,

式中，表示当前图像的当前巡检评价指数，/>表示以像素为单位的当前图像的宽度值，/>表示以像素为单位的当前图像的长度值，/>表示当前图像中第/>行第/>列对应的像素点的像素值，/>表示以像素为单位的先验图像的宽度值，/>表示以像素为单位的先验图像的长度值，/>表示先验图像中第/>行第/>列对应的像素点的像素值，/>表示从上往下对图像中的线段进行排序的目标线段的序号或者从上往下对图像中的线段进行排序的先验线段的序号，/>表示当前图像的第/>段目标线段的斜率，/>表示先验图像的第/>段先验线段的斜率，/>表示目标线段的数目或者先验线段的数目。

作为一种可选的实施方式，本发明中，所述摄像头模块包括双目摄像头，

在所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段之后，以及在所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数之前，所述控制模块执行的步骤还包括：

所述控制模块通过所述摄像头模块基于双目摄像头测距技术确定相邻的两段目标线段之间的当前距离，并根据所述当前距离确定对应的两段相邻配电线路的实际距离；

所述控制模块判断所述实际距离是否在预先确定的先验距离范围之内，若是，则所述控制模块通过所述结果输出模块输出表示关于所述相邻的两段目标线段之间的实际距离的检测结果正常的第三结果信息，并触发所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的步骤执行，若否，则所述控制模块通过所述结果输出模块输出表示关于所述相邻的两段目标线段之间的实际距离的检测结果异常的第四结果信息。

作为一种可选的实施方式，本发明中，所述巡检系统还包括与所述控制模块电连接的通信模块，所述通信模块用于实现所述巡检系统与地面控制平台之间的数据交互。

作为一种可选的实施方式，本发明中，所述定位模块包括GPS定位器，

所述控制模块通过所述定位模块获取所述无人机的当前位置，并确定所述当前位置为预先确定的目标位置，具体包括：

所述控制模块通过所述GPS定位器确定所述无人机的当前位置对应的当前三维坐标；

所述控制模块比对所述当前三维坐标与预先确定的目标位置对应的目标三维坐标，当比对结果表示所述当前三维坐标与所述目标三维坐标匹配时，所述控制模块确定所述当前位置为所述目标位置。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种基于图像识别的配电线路无人机巡检系统的结构示意图；

图2是本发明实施例的控制模块的一种执行步骤的流程示意图；

图3是本发明实施例的标记有若干段目标线段的当前图像示意图；

图4是本发明实施例的标记有若干段先验线段的先验图像示意图；

图5是本发明实施例的具有遮挡物时所采集到的当前图像示意图；

图6是本发明实施例的控制模块的另一种执行步骤的流程示意图；

图7是本发明实施例的控制模块的又一种执行步骤的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

实施例一：本发明公开了一种基于图像识别的配电线路无人机巡检系统，该巡检系统设置在无人机上，如图1所示，该巡检系统包括摄像头模块、定位模块、图像比对模块、图像直线检测模块、结果输出模块以及控制模块，摄像头模块、定位模块、图像比对模块、图像直线检测模块以及结果输出模块分别与控制模块电连接。如图2所示，该控制模块执行的步骤包括：

S101、控制模块通过定位模块获取无人机的当前位置，并确定当前位置为预先确定的目标位置。

S102、控制模块控制摄像头模块拍摄关于配电线路的当前图像。

S103、控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段。图3为当前图像中标记有若干段目标线段的示意图。

S104、控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数。其中，先验图像为预先认定的配电线路巡检结果为正常的情况下所对应的由该摄像头模块拍摄到的图像，如图4所示，标记有若干段先验线段的先验图像可以是表示配电线路巡检结果正常的参照图像。该当前巡检评价指数可以是用于衡量当前图像与该先验图像之间的匹配程度的指标。

S105、控制模块判定当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值。若是，则执行步骤S106a，若否，则执行步骤S106b。步骤S105中，巡检评价指数阈值可以是用于评价上述提到的当前图像与先验图像之间的匹配度是否符合预设标准，即当前图像与先验图像之间的匹配程度是否大于等于表示该巡检结果正常的衡量标准量（即巡检评价指数阈值）。

S106a、控制模块控制结果输出模块输出表示配电线路巡检结果正常的第一结果信息。

S106b、控制模块控制结果输出模块输出表示配电线路巡检结果异常的第二结果信息。

本发明公开的基于图像识别的配电线路无人机巡检系统中，控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段，以及控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数，并根据当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值的判定结果以确定配电路线巡检结果是否正常，与现有技术相比，有利于减少所占用的计算资源。

实施例二：在户外环境对配电线路进行巡检时，配电线路难免由于鸟类、树叶等干扰物的遮挡。那么，在同等条件下，配电线路上具有遮挡物时所采集到的当前图像在执行直线检测的操作后的结果可以如图5所示，而配电线路上没有遮挡物时所采集到的当前图像在执行直线检测的操作后的结果可以如图3所示。另外，当配电线路被切断时，所采集到的当前图像在执行直线检测的操作后的结果也可能如图5所示。于是，可以将上述提到的配电线路被遮挡以及配电线路被切断的情况归纳为表示配电线路巡检结果异常的情况以使得配电线路日常维护的相关人员重视该情况，从而有利于提高该巡检系统关于配电路线的当前图像的异常情况的敏感性，从而有利于保障巡检结果的可靠性。

具体地，如图6所示，在控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段之后（即步骤S103之后），以及在控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数之前（即步骤S104之前），控制模块执行的步骤还包括：

S1031、控制模块控制图像检测模块统计在当前图像中的目标线段数目。

S1032、控制模块判断目标线段数目与预先确定的先验线段数目是否匹配。若否，则执行步骤S1033，若是，则执行步骤S104。

S1033、控制模块控制结果输出模块输出表示配电线路巡检结果异常的第二结果信息。

可选的，为了实现巡检系统与外界的数据交互，如图1所示，该巡检系统还包括与控制模块电连接的通信模块，通信模块用于实现巡检系统与地面控制平台之间的数据交互。

可选的，为了提高巡检系统的定位精度，定位模块包括GPS定位器，

控制模块通过定位模块获取无人机的当前位置，并确定当前位置为预先确定的目标位置（即步骤S101），具体包括：

控制模块通过GPS定位器确定无人机的当前位置对应的当前三维坐标；

控制模块比对当前三维坐标与预先确定的目标位置对应的目标三维坐标，当比对结果表示当前三维坐标与目标三维坐标匹配时，控制模块确定当前位置为目标位置，当比对结果表示当前三维坐标与目标三维坐标不匹配时，控制模块可以返回执行上一步骤（即控制模块通过GPS定位器确定无人机的当前位置对应的当前三维坐标）。

实施例三：为了提高步骤S104中求取关于当前图像的当前巡检评价指数的效率，可以将当前图像与先验图像进行关键细节的比对以及整体的比对。具体地，可以将当前图像的目标线段的倾斜方向与对应的先验图像的先验线段的倾斜方向进行比对（即上述提到的关键细节的比对），以及基于图像像素为单元对当前图像和先验图像进行比对（即上述提到的整体的比对）。

那么，控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数的过程中，采用的公式如下：

,

式中，表示当前图像的当前巡检评价指数，/>表示以像素为单位的当前图像的宽度值，/>表示以像素为单位的当前图像的长度值，/>表示当前图像中第/>行第/>列对应的像素点的像素值，/>表示以像素为单位的先验图像的宽度值，/>表示以像素为单位的先验图像的长度值，/>表示先验图像中第/>行第/>列对应的像素点的像素值，/>表示从上往下对图像中的线段进行排序的目标线段的序号或者从上往下对图像中的线段进行排序的先验线段的序号，/>表示当前图像的第/>段目标线段的斜率，/>表示先验图像的第/>段先验线段的斜率，/>表示目标线段的数目或者先验线段的数目。

可选的，可以在步骤S103和步骤S104之间，检测当前图像中的目标线段的间距是否在预先确定的范围之内，以判定对应的配电线路是否出现超过预设位移范围内的偏移以致提高了配电线路的故障风险。那么，上述关于配电线路的偏移量可以基于双目摄像头测距的方式来确定相邻的两段配电线路的实际距离。具体地，该摄像头模块可以包括双目摄像头，以及如图7所示，在控制模块控制图像直线检测模块基于霍夫变换算法对当前图像执行直线检测的操作并将当前图像中的表示配电线路的线段标记为目标线段之后（即步骤S103之后），以及在控制模块控制图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于当前图像的当前巡检评价指数之前（即步骤S104之前），控制模块执行的步骤还包括：

S201、控制模块通过摄像头模块基于双目摄像头测距技术确定相邻的两段目标线段之间的当前距离，并根据当前距离确定对应的两段相邻配电线路的实际距离。本领域技术人员熟知的双目摄像头测距技术，可以基于双目摄像头所拍摄的图像当中的某两个目标物体在图像中的距离以确定出在现实世界中该两个目标物体所对应的实际距离，于是，在此上述提到的双目摄像头测距的相关过程不作赘述。

S202、控制模块判断实际距离是否在预先确定的先验距离范围之内，若是，则执行步骤S203a，若否，则执行步骤S203b。

S203a、控制模块通过结果输出模块输出表示关于相邻的两段目标线段之间的实际距离的检测结果正常的第三结果信息，并触发步骤S104执行。

S203b、控制模块通过结果输出模块输出表示关于相邻的两段目标线段之间的实际距离的检测结果异常的第四结果信息。

最后应说明的是：本发明实施例公开的一种基于图像识别的配电线路无人机巡检系统中，所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述的实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明的实施例技术方案的精神和范围。

Claims (6)

1.一种基于图像识别的配电线路无人机巡检系统，其特征在于，所述巡检系统设置在无人机上，所述巡检系统包括摄像头模块、定位模块、图像比对模块、图像直线检测模块、结果输出模块以及控制模块，所述摄像头模块、定位模块、图像比对模块、图像直线检测模块以及结果输出模块分别与所述控制模块电连接，所述控制模块执行的步骤包括：

所述控制模块通过所述定位模块获取所述无人机的当前位置，并确定所述当前位置为预先确定的目标位置；

所述控制模块控制所述摄像头模块拍摄关于配电线路的当前图像；

所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段；

所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数；

所述控制模块判定所述当前巡检评价指数是否大于等于预先确定的巡检评价指数阈值，若是，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果正常的第一结果信息，若否，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果异常的第二结果信息。

2.根据权利要求1所述的基于图像识别的配电线路无人机巡检系统，其特征在于，在所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段之后，以及在所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数之前，所述控制模块执行的步骤还包括：

所述控制模块控制所述图像检测模块统计在所述当前图像中的目标线段数目；

所述控制模块判断所述目标线段数目与预先确定的先验线段数目是否匹配，若否，则所述控制模块控制所述结果输出模块输出表示配电线路巡检结果异常的第二结果信息，若是，则触发所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的步骤执行。

3.根据权利要求2所述的基于图像识别的配电线路无人机巡检系统，其特征在于，所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的过程中，采用的公式如下：

，

式中，表示当前图像的当前巡检评价指数，/>表示以像素为单位的当前图像的宽度值，表示以像素为单位的当前图像的长度值，/>表示当前图像中第/>行第/>列对应的像素点的像素值，/>表示以像素为单位的先验图像的宽度值，/>表示以像素为单位的先验图像的长度值，/>表示先验图像中第/>行第/>列对应的像素点的像素值，/>表示从上往下对图像中的线段进行排序的目标线段的序号或者从上往下对图像中的线段进行排序的先验线段的序号，/>表示当前图像的第/>段目标线段的斜率，/>表示先验图像的第/>段先验线段的斜率，/>表示目标线段的数目或者先验线段的数目。

4.根据权利要求3所述的基于图像识别的配电线路无人机巡检系统，其特征在于，所述摄像头模块包括双目摄像头，

在所述控制模块控制所述图像直线检测模块基于霍夫变换算法对所述当前图像执行直线检测的操作并将所述当前图像中的表示配电线路的线段标记为目标线段之后，以及在所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数之前，所述控制模块执行的步骤还包括：

所述控制模块通过所述摄像头模块基于双目摄像头测距技术确定相邻的两段目标线段之间的当前距离，并根据所述当前距离确定对应的两段相邻配电线路的实际距离；

所述控制模块判断所述实际距离是否在预先确定的先验距离范围之内，若是，则所述控制模块通过所述结果输出模块输出表示关于所述相邻的两段目标线段之间的实际距离的检测结果正常的第三结果信息，并触发所述控制模块控制所述图像比对模块根据具有若干段目标线段的当前图像和标记有若干段先验线段的先验图像求取关于所述当前图像的当前巡检评价指数的步骤执行，若否，则所述控制模块通过所述结果输出模块输出表示关于所述相邻的两段目标线段之间的实际距离的检测结果异常的第四结果信息。

5.根据权利要求4所述的基于图像识别的配电线路无人机巡检系统，其特征在于，所述巡检系统还包括与所述控制模块电连接的通信模块，所述通信模块用于实现所述巡检系统与地面控制平台之间的数据交互。

6.根据权利要求5所述的基于图像识别的配电线路无人机巡检系统，其特征在于，所述定位模块包括GPS定位器，

所述控制模块通过所述定位模块获取所述无人机的当前位置，并确定所述当前位置为预先确定的目标位置，具体包括：

所述控制模块通过所述GPS定位器确定所述无人机的当前位置对应的当前三维坐标；

所述控制模块比对所述当前三维坐标与预先确定的目标位置对应的目标三维坐标，当比对结果表示所述当前三维坐标与所述目标三维坐标匹配时，所述控制模块确定所述当前位置为所述目标位置。