CN116027798B - 基于图像修正的无人机电力巡检系统及方法 - Google Patents

Abstract

本申请公开了一种基于图像修正的无人机电力巡检系统和方法，包括：无人机，搭载有摄像头和定位模块；地面接收站，用于设定无人机的起点坐标和航向；以及用于接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物；其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态。本申请可以增加巡检的自动化程度。

Description

基于图像修正的无人机电力巡检系统及方法

技术领域

本申请涉及图像识别及无人机技术，特别是一种基于图像修正的无人机电力巡检系统及方法。

背景技术

高压电缆有很大一部分部署在郊外，有不少部署在深山密林之中，巡检难度高。过去人工巡检的方式，一组巡检人员每天只能执行一到两个铁塔的巡检。如果想检查电缆状态，难度非常高。

在目前的巡检技术中，有部分利用攀爬机器人实施巡检，攀爬机器人巡检的优点在于巡检质量稳定。但是在机械人的部署阶段效率比较低。

另外有一个部分采取无人机巡检的方式，在无人机巡检时，通常仅针对铁塔，对于线缆部分，则多数由人工进行操作。这样的巡检效率仍然有待提升。

发明内容

为了解决上述问题的至少之一。为此，本发明提出一种基于图像修正的无人机电力巡检系统及方法，以实现自动化的线缆巡检。

本申请实施例提供了一种基于图像修正的无人机电力巡检系统，包括：

无人机，搭载有摄像头和定位模块；

地面接收站，用于设定无人机的起点坐标和航向；以及用于接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物；

其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态。

在一些实施例中，当所述无人机在目标对象一侧沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从上至下划分为上部，中部和下部三个区域，当目标对象处于上部时，无人机向上调整飞行高度直到所述目标对象处于中部区域；当目标对象处于下部时，无人机向下调整飞行高度直到所述目标对象处于中部区域。

在一些实施例中，当所述无人机在目标对象顶部沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从左到右划分左部，中部和右部三个区域，当目标对象处于左部时，无人机向当前航向的左侧调整飞行位置，直到所述目标对象处于中部区域；当目标对象处于右部时，无人机向当前航向的右侧调整飞行位置，直到所述目标对象处于中部区域。

在一些实施例中，所述无人机在根据目标对象在图像中的尺寸调整与所述目标对象之间的飞行距离，以使得目标对象在图像中的尺寸与参考值的差异小于阈值，所述参考值为无人机在起点坐标出发时所采集到的目标对象的尺寸。

在一些实施例中，目标对象在图像中的尺寸由当前时间起算的前若干图像帧中目标对象的目标框的平均尺寸确定。

在一些实施例中，所述无人机在跟踪目标对象时，当画面中包含多个目标对象时，根据目标对象在上一帧中的位置和/或尺寸确定在当前帧中的目标对象。

在一些实施例中，根据目标对象在上一帧中的位置确定在当前帧中的目标对象，具体是：

根据两个画面帧的拍摄的时间差和自身的飞行速度，估算两个图像帧的重叠关系；

根据所述重叠关系，将两个图像帧进行拼接；

确定前一帧中目标对象的目标框在拼接图像中所处的位置；

在后一图像帧中识别若干个候选目标对象，确定各候选目标对象的目标框在拼接图像中的位置；

根据在拼接图像中各候选目标对象对应的目标框与目标对象对应的目标框的重合度，确定在后一图像帧中的目标对象。

在一些实施例中，所述图像和定位信息均包含时间戳，所述地面接收站还用于在基于图像检测到高压线缆的表面缺陷或者高压线缆悬挂的异物时，根据所述时间戳确定定位信息，从而确定缺陷或者异物的位置。

在一些实施例中，在检测高压线缆悬挂的异物时，所述提取目标对象的轮廓，检查所述目标对象轮廓是否在图像中中断，所述中断是指目标对象的轮廓被隔断成两个以上的连通域；

当所述中断的缺口宽度大于阈值时，标记异常；

基于所述缺口的位置确定疑似异物目标的位置，并截取一定尺寸的区域送入分类网络中进行分类。

本申请实施例公开了一种基于图像修正的无人机电力巡检方法，包括：

设定无人机的起点坐标和航向；

接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物；

其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态。

本申请实施例通过设置无人机和地面接收站，可以通过地面接收站设置无人机的起点坐标和航向，无人机从起点坐标出发并根据航向飞行，在飞行过程中，无人机基于摄像头对目标对象进行拍摄，并且根据目标对象在画面中的位置来调节飞行姿态，这一方式可以实现对电缆的跟踪飞行，在飞行过程中通过图像方式来调节无人机的飞行姿态，可以克服电缆本身存在一定弧度，而传统飞行方式无法在较长的飞行距离上设置飞行路径来适应电缆弧度变化的问题，这一方式，可以优化无人机的飞行路径设置，使得用户在执行拍摄电缆等任务时，至需要设置航向和起点，无人机可以基于图像调节自身飞行姿态，完成巡检。

附图说明

以下对附图的内容进行简要的说明

图1是本申请实施例的模块框图；

图2是本申请实施例的图像帧拼接示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案。

参照图1，本申请实施例提供了一种基于图像修正的无人机电力巡检系统，上述无人机电力系统，主要针对现有技术巡检难度高，装备部署麻烦，自动化程度低等问题进行改进，该系统包括：

无人机，搭载有摄像头和定位模块。其中，用于电力巡检的无人机的摄像头一般包括红外摄像头和普通的全高清摄像头，以及带动摄像头在一定范围内旋转的云台。定位模块可以常见使用GPS或者北斗等常见定位系统，目前定位系统可以达到厘米级的定位精度。在本方案中，无人机与其他电力设施的巡检设备在硬件上并不会增加成本。但是需要在无人机原有的系统中搭载图像处理算法。

地面接收站，用于设定无人机的起点坐标和航向；以及用于接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物。需要理解的是，工作人员在对部分线缆进行巡检时，首先需要设定无人机的起点坐标，起点坐标可以基于铁塔的参数进行设置，也可以通过现场遥控无人机到起点后进行定位，同时巡检人员需要调整好无人机摄像头的拍摄方向。航向，一般是指线缆的长度方向，其可以根据两个铁塔之间的位置关系确定方向。地面接收站主要用于对回传的图像进行分析，分析可以包括检测异物悬挂或者检测比较明显的表面缺陷。本方案旨在提供一种自动化程度高且可以保障无人机在自动巡检时的图像质量的方案，本领域技术人员可以在方案的基础上配置其他下游任务。

其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态。具体地，在对电缆进行飞行巡检时，可以有几种飞行方式，一种是在电缆的上方飞行，一种是在电缆的一侧飞行。

其中，当所述无人机在目标对象一侧沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从上至下划分为上部，中部和下部三个区域，当目标对象处于上部时，无人机向上调整飞行高度直到所述目标对象处于中部区域；当目标对象处于下部时，无人机向下调整飞行高度直到所述目标对象处于中部区域。需要理解的是，由于飞行时是无人机自主沿着航向飞行，并基于图像拍摄的结果对飞行姿态进行动态调整的。因此，为了保障目标对象，即电缆在巡检时的图像质量，避免由于无人机因误差累计或者其他原因偏航导致目标丢失。因此，在飞行时，由于无人机是在侧面拍摄线缆，可以在图像中划出一个中间区域，当目标对象在图像中间区域时，说明无人机目前正对目标，目标暂时没有丢失风险。衡量目标对象是否在图像中间区域的方式，可以将目标对象的目标框中心点作为目标对象位置的判断标识。对于目标对象的检测模型可以采用yo l oV4等模型进行训练后得到。

其中，当所述无人机在目标对象顶部沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从左到右划分左部，中部和右部三个区域，当目标对象处于左部时，无人机向当前航向的左侧调整飞行位置，直到所述目标对象处于中部区域；当目标对象处于右部时，无人机向当前航向的右侧调整飞行位置，直到所述目标对象处于中部区域。可以理解的是，无人机沿着线缆在其顶部飞行时，摄像机的拍摄方向是向下(例如垂直向下)，此时，如果对准电缆拍摄，电缆最佳的姿态是处于照片的中线上(即线缆把图像一分为左右两半)。因此，对于照片而言，从左到右分成三个区域，检查线缆所处的区域，可以确定无人机与线缆的相对位置，通过调整无人机的位置，可以使得线缆尽可能保持在中间区域，可以减少无人机丢失目标等情况。

在一些实施例中，所述无人机在根据目标对象在图像中的尺寸调整与所述目标对象之间的飞行距离，以使得目标对象在图像中的尺寸与参考值的差异小于阈值，所述参考值为无人机在起点坐标出发时所采集到的目标对象的尺寸。为了保障图像质量，同时避免无人机撞击，无人机可以根据检出目标对象的尺寸进行调整与目标对象之间的距离，尤其是在顶部飞行时，由于电缆存在弧度，因此即便无人机没有偏航，并且目标对象一直处于画面中间，由于拍摄距离呈现抛物线状的变化，会使得拍摄效果劣化。因此，可以通过识别目标对象的目标框的宽度(宽度是指目标框较短的部分)来进行调整，假设目标框长度与画面一直，则可以用宽度表示尺寸。为了避免识别框的尺寸突变，可以选取最近的若干个相邻或者间隔相邻的画面帧中目标对象的目标框的尺寸求平均值。目标对象在图像中的尺寸由当前时间起算的前若干图像帧中目标对象的目标框的平均尺寸确定。例如，目标对象的目标框尺寸均值在第一检测点时为a(参考值)，在第二检测点时为b，第三检测点时为c，其中，b≥120％a；说明b的尺寸已经比a大20％，此时无人机相对于参考点更加接近线缆，有撞机风险，需要向远离目标对象的方向调整，调整值可以是固定的。c≤80％a，说明c比参考值小了20％，因此，此时无人机相对于线缆距离较远，需要将无人机向线缆方向调整。因此，无人机进行与目标对象之间的距离调节时，基于目标框的平均尺寸与参考值之间的关系进行调节，当当前的平均尺寸相对于参考值小于20％时，无人机向接近的目标对象的方向调整，当当前的平均尺寸相对于参考值大于20％时，无人机向远离目标对象的方向调整。

在一些实施例中，所述无人机在跟踪目标对象时，当画面中包含多个目标对象时，根据目标对象在上一帧中的位置和/或尺寸确定在当前帧中的目标对象。

这一步骤，参照图2，可以按照位置来跟踪目标对象，具体是：

首先，根据两个画面帧的拍摄的时间差和自身的飞行速度，估算两个图像帧的重叠关系。如图2所示，假定无人机拍摄视角宽度是确定的，且假定无人机与电缆之间的距离在前后两个进行识别的画面帧拍摄时是相同的。那么，假定当前拍摄的画面中，无人机与电缆之间的距离是a，电缆的长度是l米，并且无人机拍摄第一个图像A，当无人机飞过的s的距离时，再拍摄一个图像B，假设s大于l，画面B中电缆已经完全更新成不同于A的另一段。假设我们在s小于l时进行图像B的拍摄，而无人机实际上是平行于电缆飞行的，此时在图像A和图像B之间会有部分重叠。利用电缆在短距离中基本是直线的特点，将两个照片叠放在一起时，目标对象(电缆)的相同部分大概率是会重合的。由于这里会有多种因素影响，但是对于进行目标跟踪而言，已经足够。其可以简单地利用位置关系对目标对象进行追踪，排除其他线缆的干扰。因此，基于无人机飞行速度和图像帧拍摄的时间，可以确定前后两帧图像“重叠的程度”，实际上，该重叠并非真正的重叠，仅仅表示电缆的相同部分出现在前后两个照片之中。

接着，根据所述重叠关系，将两个图像帧进行拼接。此处的拼接，可以用一张照片覆盖另一张照片的部分，只需要确定两张图像在拼接图像中对应的位置即可。

然后，确定前一帧中目标对象的目标框在拼接图像中所处的位置；由于拼接图像中，两个原图的位置关系是明确的，只需要将目标对象在前一帧的目标框，投影到拼接图像中。

在者，在后一图像帧中识别若干个候选目标对象，确定各候选目标对象的目标框在拼接图像中的位置。在进行目标对象跟踪时，由于识别目标是电缆，但是电缆在高压电塔中可能会有多个，因此，会发生在画面帧中有识别到多个目标对象的情况。此时，进行跟踪时，只需要将后一帧在识别到的候选目标对象在拼接图像中的位置确定出来。

最后，根据在拼接图像中各候选目标对象对应的目标框与目标对象对应的目标框的重合度，确定在后一图像帧中的目标对象。与前一帧目标对象的目标框重合度最高的候选目标对象，作为需要跟踪的目标对象。

在一些实施例中，所述图像和定位信息均包含时间戳，所述地面接收站还用于在基于图像检测到高压线缆的表面缺陷或者高压线缆悬挂的异物时，根据所述时间戳确定定位信息，从而确定缺陷或者异物的位置。在本实施例中，将采集的图像和定位数据都标注时间戳，这样，在图像存在异常的时候，可以通过时间戳查找到定位数据，从而确定异常的位置。

在一些实施例中，在检测高压线缆悬挂的异物时，所述提取目标对象的轮廓，检查所述目标对象轮廓是否在图像中中断，所述中断是指目标对象的轮廓被隔断成两个以上的连通域。需要理解的是，之所以采取上述方式进行检测，原因是电缆所处环境通常具有复杂背景，并且异物的种类和形状都不确定。特别是在郊外的电缆上如果悬挂的是树枝这样的异物，其会与背景融合在一起，难以区分前景和背景。但是可以确定的是，电缆在没有被遮挡的情况下，其被拍摄到时是完整的。因此，可以利用边缘检测算法(如本实施例采用的canny算子)来识别出目标对象的轮廓，如果异物是挂在电缆上，其只要有一定的体积，就会遮挡目标对象，使得目标对象的轮廓从一个完整且贯穿画面的轮廓变成两个或以上的分段(连通域)。

当所述中断的缺口宽度大于阈值时，标记异常。为了降低错误检出率，在本实施例中设置了阈值。该阈值可以是设置为一定数量的像素点。

基于所述缺口的位置确定疑似异物目标的位置，并截取一定尺寸(可以是设定尺寸的)的区域送入分类网络中进行分类。分类网络主要执行若干种常见物品的分类，包括塑料、风筝、无人机、树枝等。对于不能分类的目标可以分到其他的类别。

本申请实施例公开了一种基于图像修正的无人机电力巡检方法，包括：

S1、设定无人机的起点坐标和航向；

S2、接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物；

其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (5)

1.一种基于图像修正的无人机电力巡检系统，其特征在于，包括：

无人机，搭载有摄像头和定位模块；

地面接收站，用于设定无人机的起点坐标和航向；以及用于接收并分析无人机回传的图像和定位信息，并根据所述图像和定位信息进行图像处理，以检查高压线缆的表面缺陷或者高压线缆悬挂的异物；在检测高压线缆悬挂的异物时，从无人机拍摄的图像中提取目标对象的轮廓，检查所述目标对象轮廓是否在图像中中断，所述中断是指目标对象的轮廓被隔断成两个以上的连通域；当所述中断的缺口宽度大于阈值时，标记异常；基于所述缺口的位置确定疑似异物目标的位置，并截取设定尺寸的区域送入分类网络中进行分类；

其中，所述无人机在飞行过程中，通过摄像头拍摄目标对象，并根据目标对象在画面中的位置，调整飞行姿态；

其中，所述无人机在跟踪目标对象时，当画面中包含多个目标对象时，根据两个画面帧的拍摄的时间差和自身的飞行速度，估算两个图像帧的重叠关系；

根据所述重叠关系，将两个图像帧进行拼接；用一帧图像覆盖另一帧图像的部分；重叠表示电缆的相同部分出现在前后两帧图像之中；

确定前一帧中目标对象的目标框在拼接图像中所处的位置；

在后一图像帧中识别若干个候选目标对象，确定各候选目标对象的目标框在拼接图像中的位置；

根据在拼接图像中各候选目标对象对应的目标框与目标对象对应的目标框的重合度，确定在后一图像帧中的目标对象；

其中，所述无人机在根据目标对象在图像中的尺寸调整与所述目标对象之间的飞行距离，以使得目标对象在图像中的尺寸与参考值的差异小于阈值，所述参考值为无人机在起点坐标出发时所采集到的目标对象的尺寸。

2.根据权利要求1所述的基于图像修正的无人机电力巡检系统，其特征在于，

当所述无人机在目标对象一侧沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从上至下划分为上部，中部和下部三个区域，当目标对象处于上部时，无人机向上调整飞行高度直到所述目标对象处于中部区域；当目标对象处于下部时，无人机向下调整飞行高度直到所述目标对象处于中部区域。

3.根据权利要求1所述的基于图像修正的无人机电力巡检系统，其特征在于，

当所述无人机在目标对象顶部沿目标对象长度方向飞行时，无人机将摄像头拍摄的图像从左到右划分左部，中部和右部三个区域，当目标对象处于左部时，无人机向当前航向的左侧调整飞行位置，直到所述目标对象处于中部区域；当目标对象处于右部时，无人机向当前航向的右侧调整飞行位置，直到所述目标对象处于中部区域。

4.根据权利要求1所述的基于图像修正的无人机电力巡检系统，其特征在于，目标对象在图像中的尺寸由当前时间起算的前若干图像帧中目标对象的目标框的平均尺寸确定。

5.根据权利要求1所述的基于图像修正的无人机电力巡检系统，其特征在于，所述图像和定位信息均包含时间戳，所述地面接收站还用于在基于图像检测到高压线缆的表面缺陷或者高压线缆悬挂的异物时，根据所述时间戳确定定位信息，从而确定缺陷或者异物的位置。