CN116185065A - 无人机巡检方法、装置及非易失性存储介质 - Google Patents

Abstract

本发明公开了一种无人机巡检方法、装置及非易失性存储介质。其中，该方法包括：在检测到无人机到达当前航点位置的情况下，获取无人机在当前航点位置进行图像采集得到的目标图像，其中，当前航点位置为无人机的多个预定航点位置中的一个航点位置；控制无人机对目标图像进行本地识别处理，得到当前航点位置对应的缺陷检测结果。本发明解决了相关技术中需要借助云端进行缺陷识别，导致的传输资源占用高，巡检效率低的技术问题。

Description

无人机巡检方法、装置及非易失性存储介质

技术领域

本发明涉及电力系统运维领域，具体而言，涉及一种无人机巡检方法、装置及非易失性存储介质。

背景技术

目前，无人机可实现在输电线路中的自主化巡检任务，可以根据任务航线进行自主化飞行，飞行过程中在增稳云台的控制下将相机镜头对准被拍摄物体并拍摄高清照片，后通过图像识别方法对图像中的缺陷进行自主识别和分析，识别图像中的缺陷并标注显示。然而相关技术中的图像识别处理由于在云端处理，需要回传大量原始采集图像数据，其中大多数为无缺陷照片，导致与云端传输的数据量巨大，导致浪费了大量的传输流量费，造成占用网络资源，以及处理效率较低的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种无人机巡检方法、装置及非易失性存储介质，以至少解决相关技术中需要借助云端进行缺陷识别，导致的传输资源占用高，巡检效率低的技术问题。

根据本发明实施例的一个方面，提供了一种无人机巡检方法，包括：在检测到无人机到达当前航点位置的情况下，获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，其中，所述当前航点位置为所述无人机的多个预定航点位置中的一个航点位置；控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果。

根据本发明实施例的另一方面，提供了一种无人机巡检装置，包括：获取模块，用于在检测到无人机到达当前航点位置的情况下，获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，其中，所述当前航点位置为所述无人机的多个预定航点位置中的一个航点位置；缺陷检测模块，用于控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果。

根据本发明实施例的另一方面，提供了一种非易失性存储介质，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行任意一项所述的无人机巡检方法。

根据本发明实施例的另一方面，提供了一种电子设备，包括：一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现任意一项所述的无人机巡检方法。

在本发明实施例中，采用无人机本地识别处理的方式，通过在检测到无人机到达当前航点位置的情况下，获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，其中，所述当前航点位置为所述无人机的多个预定航点位置中的一个航点位置；控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果。达到了利用人工智能算法与边缘计算结合，进行本地识别处理，提高无人机巡检效率的目的，实现了减少传输资源占用，提高巡检效率的技术效果，进而解决了相关技术中需要借助云端进行缺陷识别，导致的传输资源占用高，巡检效率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例提供的一种可选的无人机巡航方法的流程图；

图2是根据本发明实施例提供的一种可选的无人机巡航方法的应用架构图；

图3是根据本发明实施例提供的一种可选的无人机巡航方法的示意图；

图4是根据本发明实施例提供的一种可选的无人机巡航方法的纠偏流程图；

图5是根据本发明实施例提供的一种可选的无人机巡航方法的调光流程图；

图6是根据本发明实施例提供的一种可选的无人机巡航方法的算法示意图；

图7是根据本发明实施例提供的一种可选的无人机巡航方法的算法流程图；

图8是根据本发明实施例提供的一种可选的无人机巡航装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

目前，无人机可实现在输电线路中的自主化巡检任务，可以根据任务航线进行自主化飞行，飞行过程中在增稳云台的控制下将相机镜头对准被拍摄物体并拍摄高清照片，后通过图像识别方法对图像中的缺陷进行自主识别和分析，识别图像中的缺陷并标注显示。

相关技术中采用的增稳-自调焦云台进行定位对准，三轴增稳云台是一种为实现目标物体姿态稳定控制的装置，换言之，就是使物体可以在运动中保持其姿态的装置。目前存在以下问题，由于无人机定位传感器精度不足，定位信号受干扰，和(或)阵风，光线等环境因素影响，无人机的悬停稳定性受到干扰，影响了拍照操作，经常导致目标物拍摄位置不准确，出现照片对焦异常的问题。

相关技术中采用的AF相机(自动调焦照相机的简称)。AF相机的调焦是根据电子测距器自动进行的。当按下照相机快门按钮时，根据被摄目标的距离，电子测距器可以把前后移动的镜头控制在相应的位置上，使被摄目标成像更清晰。然而在遇到雾霾天气或光照条件差、逆光等天气状况差时，无法拍摄到清晰的照片，进而导致自主巡检过程中获取的图像质量不高，不便于后续的工作中对缺陷的发现与确认，同时影响图像缺陷检测等算法模型的识别，导致了降低巡检效率和缺陷识别准确度。

相关技术中采用的人工智能识别系统，是基于深度学习卷积神经网络的图像识别方法和小波矩的图像识别方法，对巡检过程中采样的图像数据进行快速识别分析，可通过算法的优化、调整支持部分在线设备、通道隐患类别和金具、绝缘子、防震锤等部分部件缺陷类别。然而，由于在后端处理，需要回传大量图像数据，大量无缺陷照片也传回平台，数据量巨大，传输流量费用非常高，占用网络资源，效率较低。部分数据采用线下拷贝的形式进行传输，虽然节省流量，但极易造成数据丢失和敏感数据泄密的情况发生，严重危害电网运行安全。自主巡检过程中拍摄产生海量输电线路目标物图像，目前处理方式多采用平台侧(后端)人工处理或云端部署深度学习算法来进行缺陷识别，识别暂不具备针对性、数据识别周期长、数据处理环节复杂、总体准确度不高、报告生成滞后。

针对上述问题，本发明实施例提供了一种无人机巡检的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的无人机巡检方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，在检测到无人机到达当前航点位置的情况下，获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，其中，上述当前航点位置为上述无人机的多个预定航点位置中的一个航点位置。

可以理解，无人机沿着多个预定航点位置进行巡航，在检测到无人机到达当前航点位置的情况下，获取无人机在当前航点位置进行图像采集得到的目标图像。

在一种可选的实施例中，在上述无人机包括云台相机的情况下，上述获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，包括：获取上述无人机在上述当前航点位置进行图像采集得到的初始图像；基于上述初始图像，确定上述云台相机在上述当前航点位置对应的图像纠偏信息；采用上述图像纠偏信息对上述云台相机进行纠偏，得到纠偏后的云台相机；获取上述无人机采用上述纠偏后的云台相机进行图像采集得到的上述目标图像。

可以理解，为了提高无人机的图像获取质量，对无人机的云台相机进行调整，首先获取无人机在当前航点位置进行图像采集得到的初始图像，上述初始图像可能存在着未对准的情况，基于初始图像，确定云台相机在当前航点位置对应的图像纠偏信息。采用图像纠偏信息对云台相机进行纠偏，得到纠偏后的云台相机，获取无人机采用纠偏后的云台相机进行图像采集得到的目标图像。

在一种可选的实施例中，上述基于上述初始图像，确定上述云台相机在上述当前航点位置对应的图像纠偏信息，包括：确定上述初始图像的图像中心，以及上述图像中心的中心检测框；确定上述当前航点位置对应的待测目标；采用深度学习算法，对上述待测目标进行识别，得到上述待测目标的目标检测框；基于上述目标检测框和上述中心检测框，确定上述图像纠偏信息，使得上述目标检测框与上述中心检测框对齐。

可以理解，为了进行纠偏，即将待测目标放置于画面中央进行拍摄，首先，确定初始图像的图像中心，以及图像中心的中心检测框。确定当前航点位置对应的待测目标，采用深度学习算法，对待测目标进行识别，得到待测目标的目标检测框。通过上述处理，将中心检测框作为画面中心部位的标识，对比目标检测框与中心检测框偏离的状况，基于目标检测框和中心检测框，确定图像纠偏信息，使得目标检测框与中心检测框对齐。

在一种可选的实施例中，上述获取获取上述无人机采用上述纠偏后的云台相机进行图像采集得到的上述目标图像，包括：获取上述无人机采用上述纠偏后的云台相机进行图像采集得到的上述第一图像；对上述第一图像进行灰度化处理，得到灰度图像；对上述灰度图像进行区域划分，得到多个图像区域；分别对上述多个图像区域进行本征图像分解，得到上述多个图像区域分别对应的亮度；基于预设的目标亮度，以及上述多个图像区域分别对应的亮度，确定上述纠偏后的云台相机的目标曝光参数；采用上述目标曝光参数对待测目标进行调光处理，获取上述目标图像。

可以理解，获取到的目标图像的采集质量除了受到对准状况的影响，也会受到光线的影响，过曝或欠曝同样会导致目标图像不清晰。获取纠偏后的云台相机进行图像采集得到的第一图像，上述第一图像为进行纠偏后还未进行调光的采集图像。对第一图像进行灰度化处理，得到灰度图像。对灰度图像进行区域划分，得到多个图像区域。分别对多个图像区域进行本征图像分解，得到多个图像区域分别对应的亮度。预设有目标亮度作为期望图像达到的亮度，基于目标亮度、以及多个图像区域分别对应的亮度，确定纠偏后的云台相机的目标曝光参数。采用目标曝光参数对待测目标进行调光处理，获取目标图像。

在一种可选的实施例中，上述基于预设的目标亮度，以及上述多个图像区域分别对应的亮度，确定上述纠偏后的云台相机的目标曝光参数，包括：确定上述多个图像区域中位于上述灰度图像的预定中心范围的第一区域，以及上述多个图像区域中除上述第一区域之外的第二区域；在上述第一区域对应的亮度未满足预设的亮度阈值的情况下，判断上述第二区域对应的亮度是否满足上述亮度阈值；若上述第二区域对应的亮度满足上述亮度阈值，则确定使得上述第一区域对应的亮度调节至上述第二区域对应的亮度的上述目标曝光参数。

可以理解，为了确定目标曝光参数，首先确定多个图像区域中位于灰度图像的预定中心范围的第一区域，以及多个图像区域中除第一区域之外的第二区域。由于纠偏后待测目标已位于中心区域，因此在第一区域对应的亮度未满足预设的亮度阈值的情况下，视为待测目标需要进行调光处理。判断第二区域对应的亮度是否满足亮度阈值，若第二区域对应的亮度满足亮度阈值，视为当前环境画面中有满足亮度需求的区域，则确定使得第一区域对应的亮度调节至第二区域对应的亮度的目标曝光参数。

为了便于理解进行具体举例，例如：将灰度图像均等划分为9个方格形区域，其中一个区域位于中间区域，中间区域的亮度没有满足预设的目标亮度的情况下，在其余8个区域中寻找是否存在满足预设的目标亮度的边缘区域，若寻找到的情况下，确定使得将中心区域的亮度调节至边缘区域的亮度的目标曝光参数。

在一种可选的实施例中，控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果，包括：确定上述目标图像中待测目标的待测部位，以及上述待测部位对应的缺陷检测任务；在预设的多种检测模型中确定上述缺陷检测任务对应的目标检测模型；控制上述无人机基于上述目标检测模型，对上述目标图像进行本地识别处理，得到上述缺陷检测结果。

可以理解，无人机采用算法进行识别，首先确定目标图像中待测目标的待测部位，以及待测部位对应的缺陷检测任务。由于不同的待测目标有着不同特点，同一待测目标的待测部位也有着不同的常出现的缺陷类型，对应有对应的缺陷检测任务。在预设的多种检测模型中确定缺陷检测任务对应的目标检测模型。控制无人机基于目标检测模型，对目标图像进行本地识别处理，得到缺陷检测结果。

在一种可选的实施例中，在上述在预设的多种检测模型中确定上述缺陷检测任务对应的目标检测模型之前，上述方法还包括：获取多个初始模型，以及与上述多个初始模型分别对应的携带标签的训练数据，其中，上述多个初始模型分别由预设的复合骨干网络与预设的级联区域卷积神经网络进行组合构建的；将对应的训练数据分别输入上述多个初始模型分别对应的复合骨干网络进行训练，得到上述多个初始模型分别对应的第一特征结果；将对应的第一特征结果分别输入上述多个初始模型分别对应的级联区域卷积神经网络进行训练，得到上述多个初始模型分别对应的第二特征结果；基于上述多个初始模型分别对应的第二特征结果，得到上述多种检测模型，其中，上述多个初始模型与上述多种检测模型之间存在一一对应的关系。

可以理解，为了提高多种检测模型的识别能力，需要预先进行训练，获取多个初始模型，以及与多个初始模型分别对应的携带标签的训练数据，上述多个初始模型分别由预设的复合骨干网络与预设的级联区域卷积神经网络进行组合构建的。首先将对应的训练数据分别输入多个初始模型分别对应的复合骨干网络进行训练，得到多个初始模型分别对应的第一特征结果，之后将对应的第一特征结果分别输入多个初始模型分别对应的级联区域卷积神经网络进行训练，得到多个初始模型分别对应的第二特征结果。基于多个初始模型分别对应的第二特征结果，得到多种检测模型，多个初始模型与多种检测模型之间存在一一对应的关系。

可选地，在多个初始模型分别对应的第二特征结果满足预设的特征阈值的情况下，视为训练达到了预定期望，从而得到多个检测模型。在未满足特征阈值的情况下，视为未完成训练，需要继续进行迭代循环。

需要说明的是，上述复合骨干网络(CBNet，Composite Backbone Network)是由多个相同的骨干网络进行组合连接组成的，用以产生更丰富的特征表示，有着更好的特征处理能力。上述级联区域卷积神经网络(Cascade RCNN算法)，通过级联几个检测网络达到不断优化预测结果的目的，是由一系列的检测网络组成，每个检测网络都基于不同交并比(IOU，Intersection Over Union)阈值的正负样本训练得到，前一个检测网络的输出作为后一个检测网络的输入，因此是一个阶段接着一个阶段的训练方式，而且越往后的检测网络，其界定正负样本的交并比阈值是不断上升的，是目前在速度、准确率以及资源占用中表现较好的双阶段检测算法。因此，上述第二特征结果，是由一系列的检测网络得到的多级特征结果组合得到的，用于提高第二特征结果的识别效率。

步骤S104，控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果。

可以理解，控制无人机对目标图像进行本地识别处理，与相关技术区别，不用借助云端计算处理，可以在无人机中完成边缘端计算，得到当前航点位置的缺陷检测结果。

在一种可选的实施例中，在上述控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果之后，上述方法还包括：判断上述缺陷检测结果是否为存在缺陷状态，其中，上述缺陷检测结果为缺陷状态或不存在缺陷状态；若上述缺陷检测结果为上述存在缺陷状态，则确定上述当前航点位置的位置编号；将上述位置编号和上述缺陷检测结果发送至实时监控平台。

可以理解，为了及时传输缺陷检测结果，便于技术人员及时处理，首先判断缺陷检测结果是否为存在缺陷状态，上述缺陷检测结果为缺陷状态或不存在缺陷状态。在缺陷检测结果为存在缺陷状态的情况下，确定当前航点位置的位置编号，将位置编号和缺陷检测结果进行打包，发送至实时监控平台，提示技术人员进行处理。通过上述处理，在未识别到缺陷的情况下，即缺陷检测结果为不存在缺陷状态，无需进行通讯可以在回航后进行统一上传。而在缺陷检测结果为存在缺陷状态的情况下，无人机巡航全程可能花费时间较长，可以在回航前提前将发生问题的采集图像和当前航点位置传输至实时监控平台。

可选地，无人机在得到缺陷检测结果之后，传输方式有多种，例如：按照具体应用场景还可以采取两种传输方式，一种是在回航后统一进行数据传输，另一种是在每一个航点位置向实时监控平台进行发送，根据可使用的传输资源进行具体需求确定。

需要说明的是，上述缺陷检测结果为无人机在当前航点位置，对当前航点位置的待测目标，以及待测目标的待测部位的进行缺陷检测得到的。

通过上述步骤S102至步骤S104，可以实现利用人工智能算法与边缘计算结合，进行本地识别处理，提高无人机巡检效率的目的，实现了减少传输资源占用，提高巡检效率的技术效果，进而解决了相关技术中需要借助云端进行缺陷识别，导致的传输资源占用高，巡检效率低的技术问题。

基于上述实施例和可选实施例，本发明提出一种可选实施方式，图2是根据本发明实施例提供的一种可选的无人机巡航方法的应用架构图，如图2所示，本发明的无人机巡航方法可以应用于大疆无人机，基于大疆无人机的PSDK(Payload Software DevelopmentKit)负载软件开发包，MSDK(Mobile Software Development Kit)移动软件开发包进行开发。上述应用架构主要有机载分析装置、地面控制系统与云端三个部分，其中，地面控制系统可以为遥控移动端的应用软件，包括任务管理、航线管理、飞机信息管理和参数管理四个部分。安装在无人机本体的机载分析装置包括：智能纠偏、自动调光、缺陷检测与输出传输四个部分。实时监控平台的云端包括流媒体服务和图片服务两个部分。对无人机的边缘计算部分进行小型化、轻量化处理，需要保证识别运行效率、以及降低模块运行过程中的低功耗。

图3是根据本发明实施例提供的一种可选的无人机巡航方法的示意图，如图3所示，首先向无人机下发巡航任务，无人机基于获得的巡航任务飞往预定航点，在达到当前航点位置后进行纠偏和自动调光，之后完成目标图像获取。无人机对上述目标图像进行缺陷识别，得到缺陷检测结果。无人机按照巡航任务逐个航点进行检测，在确定所有预定航点均飞完之后，无人机进行返航，输出整个巡航任务的缺陷检测结果。以下具体进行说明。

步骤S1，用户在地面控制系统中将航线信息下发至机载边缘计算模块中，并下发任务启动命令；

步骤S2，机载边缘计算模块收到地面控制系统发来的航线信息与启动命令后，获取无人机的控制权；

步骤S3，做飞行前无人机状态校验，然后对航线文件进行解析，生成航点信息与控制信息，并将航点任务下发至无人机中；

步骤S4，下发成功后，机载边缘计算模块控制无人机开始执行航点任务；

步骤S5，无人机到达航点位置后，机载边缘计算模块开始进行拉取相机实时视频流，跑纠偏模型，控制云台和飞机进行智能纠偏；

步骤S6，判断智能纠偏成果，若纠偏算法已完成，则进入后续程序，若纠偏失败或程序超时，则重新执行纠偏程序；

步骤S7，纠偏完成以后，无人机控制相机进行自动调光拍照；

步骤S8，并在成功拍照后，启动识别算法，识别并标注图像中存在的缺陷，对照片进行缺陷识别；

步骤S9，无人机继续飞向下一个航点任务；

步骤S10，将所有原始图像以及圈示后图像进行存储；

步骤S11，当所有航点都飞完以后，无人机自动返航；

步骤S12，返航后可将原始图像、标注后图像以及巡检报告导出。

图4是根据本发明实施例提供的一种可选的无人机巡航方法的纠偏流程图，如图4所示，无人机视频流画面中心为一正矩形的中心检测框，中心点坐标记为(h/2，w/2)，其中，h代表画面分辨率的垂直方向像素数量，w代表水平方向的像素数量。深度学习目标检测的目标检测框一般同样为正矩形，可以通过该目标检测框的左上角坐标和目标检测框的宽、高计算出目标检测框的中心。将目标检测框的中心坐标与画面的中心检测框的中心坐标进行比较，得到在水平方向和垂直方向上的偏移量。以此计算目标距离画面中心偏移了多少，偏移的方向。在算法输出像素值偏移量之后，由飞控换算为云台俯仰角的或无人机航姿的调整量，最终使得目标检测框的中心与画面中心检测框的中心对齐，即目标处于画面中央，完成纠偏动作。

无人机飞行至需要进行设备拍摄的点位，此时无人机云台摄像头的视频流输入算法模型，由部署在边缘智能设备上的算法模型检测并识别图像中主要目标物体位置，即目标检测框，记为(x，y，w，h)，x，y代表目标检测框的左上角顶点横纵坐标，w，h代表目标检测框的宽和高，则目标检测框的中心点坐标为(x+w/2，y+h/2)。

当前画面分辨率记为(W，H)，则中心检测框的中心点坐标为(W/2，H/2)。计算出当前目标检测框中心点距离中心检测框的中心点的偏移量，上述偏移量记为(O_x，O_y)，换算为云台旋转角度或无人机在水平和垂直方向上的移动距离。

每次无人机调整完毕后，重复进行目标检测框与中心检测框的偏移量的计算，直到目标检测框与中心检测框的偏移量小于偏移阈值，即认定目前无人机状态已调整到位，待测目标已处于无人机的画面中心，此时控制无人机进行设备图像拍摄任务。

无人机架空输电线路精细化巡检需要检测的待测目标或点位有多种，而输电杆塔的结构多为镂空结构，无人机视频流中有可能同时出现多类或同类多个设备的情况，此时，需要算法后续流程对检测网络模型的输出做出筛选，保证在每个点位输出唯一正确目标。

当获取飞行任务时，会得到当前巡航任务的航迹文件，在航迹文件中加入航点需拍摄目标的辅助信息之后，在每个点位即可控制检测算法只输出当前点位应该拍摄零部件的检测框。根据先验指示，每个点位需要拍摄的设备零部件，在当前画面中应当位于前景，距离无人机较近，则可根据该类设备零部件所有检测框的置信度和检测框的尺寸大小，选择当前结果中置信度最高且尺寸较大的检测框作为当前的唯一输出。

调光算法用于解决当前巡检过程中，无人机拍照遇到的照片过暗、过曝问题。借助大疆无人机提供的相机调光接口，通过自研图像处理算法找到合适的接口参数，进而调用接口调整相机曝光参数，最终将相机画面内目标实体的亮度调至适宜亮度。

图5是根据本发明实施例提供的一种可选的无人机巡航方法的调光流程图，如图5所示，无人机在拍摄点位悬停之后，截取当前视频流的画面，并对当前帧进行灰度化。在此灰度图中，假设当前点位目标处于画面中心，截取该区域进行本征图像分解(ImageIntrinsic Decomposition)。本征分解即从原始图像去估计反射率图与亮度图。本征分解模型会假设亮度图是单波段的灰度图像，而反射率图与原始图像均是包含了红、绿、蓝三个波段的彩色图像。反射率图反映了物体在无色均匀光照下的颜色和表面材质属性，即物体的本征反射属性。而亮度图则由场景中的各种光照和物体的几何形状构成，反映了场景中各个位置的光照信息。对灰度图进行本征图像分解，得到亮度谱。通过上述方法应用于该帧画面划分出的所有区域，根据多个区域分别对应的亮度值寻找与目标亮度最接近的区域，控制无人机云台相机针对该区域进行调光，即可获得对目标来说最为合适的曝光参数，从而减少过曝与欠曝的情况。

图6是根据本发明实施例提供的一种可选的无人机巡航方法的算法示意图，如图6所示，在得到目标图像之后，通过分类与检测任务确定图像中可能存在的缺陷种类，之后调用对应缺陷检测模型进行缺陷识别。在在无人机识别出待测目标为杆塔的情况下，首先对图像区域进行识别与分类，判断待检图像拍摄内容是属于杆塔哪个待测部位，对应待测部位进行相关的缺陷任务检测。当待测部位是杆塔顶部线路各目标时，开启相应的销钉缺失、地线挂点倾斜、均压环倾斜、防振锤损坏等模型进行检测。当待测部位是杆塔塔身时，开启鸟窝任务等模型进行检测。需要说明的是，图6中检测模型A和检测模型B为多种检测模型的示意，并非功能和数量的限定。

针对杆塔目标众多并且目标规模大小各不相同的情况，采用级联区域卷积神经网络与复合骨干网络进行结合，用以达到减少算法误检测的效果。为了提高多种检测模型的识别能力，需要预先进行训练，获取多个初始模型，以及与多个初始模型分别对应的携带标签的训练数据，上述多个初始模型分别由预设的复合骨干网络与预设的级联区域卷积神经网络进行组合构建的。首先将对应的训练数据分别输入多个初始模型分别对应的复合骨干网络进行训练，得到多个初始模型分别对应的第一特征结果，之后将对应的第一特征结果分别输入多个初始模型分别对应的级联区域卷积神经网络进行训练，得到多个初始模型分别对应的第二特征结果。基于多个初始模型分别对应的第二特征结果，得到多种检测模型，多个初始模型与多种检测模型之间存在一一对应的关系。

图7是根据本发明实施例提供的一种可选的无人机巡航方法的算法流程图，如图7所示，上述复合骨干网络是由多个相同的骨干网络进行组合连接组成的，用以产生更丰富的特征表示，有着更好的特征处理能力，可以在级联区域卷积神经网络中设置区域目标生成网络用来完成初步筛选，接收复合骨架网络的输出。上述级联区域卷积神经网络，通过级联几个检测网络达到不断优化预测结果的目的，是由一系列的检测网络组成，检测网络用于进行区域特征提取，每个检测网络都基于不同交并比阈值的正负样本训练得到，前一个检测网络的输出的边框值作为后一个检测网络的输入，因此是一个阶段接着一个阶段的训练方式，而且越往后的检测网络，其界定正负样本的交并比阈值是不断上升的，是目前在速度、准确率以及资源占用中表现较好的双阶段检测算法。

由上述可选实施方式至少实现以下任意一种效果：1、将人工智能与边缘计算相结合，应用到电力巡检工作中。本发明将自主纠偏、调光、缺陷识别等人工智能算法融合到无人机中，根据建立的缺陷数据库，自动批量进行线路上的缺陷隐患识别，并进行统计和汇总，大大提高输电线路无人机自主巡检的拍摄精度和识别效率。2、将边缘智能应用到无人机载荷控制之中，提高无人机巡检过程中影像数据的采集效率。针对无人机自主化巡检中出现因阵风或位置信号弱等原因造成的拍摄角度偏差，本发明将实现在规划航点信息的基础上进行人工智能识别，算法联动无人机增稳云台进行纠偏和调光，确保拍摄过程中目标物体位于图像中央且曝光正确，从而使图像拍摄质量大幅提升。针对雾霾天气或光照条件差、逆光等较差天气状况，智能识别算法将自动进行对拍摄照片执行去雾、曝光纠正、补光等算法。即便在天气状况较差时，同样可获取高质量巡检图像，保证巡检效率。3、巡检照片拍摄完成后可在边缘端直接进行缺陷识别，无缺陷照片不需要通过移动网络传输，省去大量的数据传输成本，同时防止因线下拷贝、储存卡损坏、管理不善等原因造成输电线路数据丢失和敏感数据泄密，确保电网运行安全。4、基于边缘计算模块设计图像识别算法，完成对目标设备的定位以及设备缺陷的识别。本发明将缺陷识别算法应用于边缘计算端，在检测到具体部件后，需要对可能存在缺陷的部位进行识别，因缺陷部位需要精确的检测，设计针对杆塔特征改进的算法进行实例分割，得到精确的缺陷识别结果，替代现有的“后处理、云处理和人工处理”，实现线路缺陷报告飞完即得，真正提高输电线路的巡检效率，降低人工的参与。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种无人机巡检装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”“装置”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本发明实施例，还提供了一种用于实施无人机巡检方法的装置实施例，图8是根据本发明实施例提供的一种可选的无人机巡航装置的示意图，如图8所示，上述无人机巡检装置，包括：获取模块802、缺陷检测模块804，下面对该装置进行说明。

获取模块802，用于在检测到无人机到达当前航点位置的情况下，获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，其中，上述当前航点位置为上述无人机的多个预定航点位置中的一个航点位置；

缺陷检测模块804，与获取模块802连接，用于控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果。

本发明实施例提供的一种无人机巡检装置中，通过获取模块802，用于在检测到无人机到达当前航点位置的情况下，获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，其中，上述当前航点位置为上述无人机的多个预定航点位置中的一个航点位置；缺陷检测模块804，与获取模块802连接，用于控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果。达到了利用人工智能算法与边缘计算结合，进行本地识别处理，提高无人机巡检效率的目的，实现了减少传输资源占用，提高巡检效率的技术效果，进而解决了相关技术中需要借助云端进行缺陷识别，导致的传输资源占用高，巡检效率低的技术问题。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。

此处需要说明的是，上述获取模块802、缺陷检测模块804对应于实施例中的步骤S102至步骤S104，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。

需要说明的是，本实施例的可选或优选实施方式可以参见实施例中的相关描述，此处不再赘述。

上述无人机巡检装置还可以包括处理器和存储器，获取模块802、缺陷检测模块804等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种非易失性存储介质，其上存储有程序，该程序被处理器执行时实现无人机巡检方法。

本发明实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：在检测到无人机到达当前航点位置的情况下，获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，其中，上述当前航点位置为上述无人机的多个预定航点位置中的一个航点位置；控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果。本文中的设备可以是服务器、PC等。

本发明还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：在检测到无人机到达当前航点位置的情况下，获取上述无人机在上述当前航点位置进行图像采集得到的目标图像，其中，上述当前航点位置为上述无人机的多个预定航点位置中的一个航点位置；控制上述无人机对上述目标图像进行本地识别处理，得到上述当前航点位置对应的缺陷检测结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种无人机巡检方法，其特征在于，包括：

在检测到无人机到达当前航点位置的情况下，获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，其中，所述当前航点位置为所述无人机的多个预定航点位置中的一个航点位置；

控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，在所述无人机包括云台相机的情况下，所述获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，包括：

获取所述无人机在所述当前航点位置进行图像采集得到的初始图像；

基于所述初始图像，确定所述云台相机在所述当前航点位置对应的图像纠偏信息；

采用所述图像纠偏信息对所述云台相机进行纠偏，得到纠偏后的云台相机；

获取所述无人机采用所述纠偏后的云台相机进行图像采集得到的所述目标图像。

3.根据权利要求2所述的方法，其特征在于，所述基于所述初始图像，确定所述云台相机在所述当前航点位置对应的图像纠偏信息，包括：

确定所述初始图像的图像中心，以及所述图像中心的中心检测框；

确定所述当前航点位置对应的待测目标；

采用深度学习算法，对所述待测目标进行识别，得到所述待测目标的目标检测框；

基于所述目标检测框和所述中心检测框，确定所述图像纠偏信息，使得所述目标检测框与所述中心检测框对齐。

4.根据权利要求2所述的方法，其特征在于，所述获取所述无人机采用所述纠偏后的云台相机进行图像采集得到的所述目标图像，包括：

获取所述无人机采用所述纠偏后的云台相机进行图像采集得到的所述第一图像；

对所述第一图像进行灰度化处理，得到灰度图像；

对所述灰度图像进行区域划分，得到多个图像区域；

分别对所述多个图像区域进行本征图像分解，得到所述多个图像区域分别对应的亮度；

基于预设的目标亮度，以及所述多个图像区域分别对应的亮度，确定所述纠偏后的云台相机的目标曝光参数；

采用所述目标曝光参数对待测目标进行调光处理，获取所述目标图像。

5.根据权利要求4所述的方法，其特征在于，所述基于预设的目标亮度，以及所述多个图像区域分别对应的亮度，确定所述纠偏后的云台相机的目标曝光参数，包括：

确定所述多个图像区域中位于所述灰度图像的预定中心范围的第一区域，以及所述多个图像区域中除所述第一区域之外的第二区域；

在所述第一区域对应的亮度未满足预设的亮度阈值的情况下，判断所述第二区域对应的亮度是否满足所述亮度阈值；

若所述第二区域对应的亮度满足所述亮度阈值，则确定使得所述第一区域对应的亮度调节至所述第二区域对应的亮度的所述目标曝光参数。

6.根据权利要求1所述的方法，其特征在于，控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果，包括：

确定所述目标图像中待测目标的待测部位，以及所述待测部位对应的缺陷检测任务；

在预设的多种检测模型中确定所述缺陷检测任务对应的目标检测模型；

控制所述无人机基于所述目标检测模型，对所述目标图像进行本地识别处理，得到所述缺陷检测结果。

7.根据权利要求6所述的方法，其特征在于，在所述在预设的多种检测模型中确定所述缺陷检测任务对应的目标检测模型之前，所述方法还包括：

获取多个初始模型，以及与所述多个初始模型分别对应的携带标签的训练数据，其中，所述多个初始模型分别由预设的复合骨干网络与预设的级联区域卷积神经网络进行组合构建的；

将对应的训练数据分别输入所述多个初始模型分别对应的复合骨干网络进行训练，得到所述多个初始模型分别对应的第一特征结果；

将对应的第一特征结果分别输入所述多个初始模型分别对应的级联区域卷积神经网络进行训练，得到所述多个初始模型分别对应的第二特征结果；

基于所述多个初始模型分别对应的第二特征结果，得到所述多种检测模型，其中，所述多个初始模型与所述多种检测模型之间存在一一对应的关系。

8.根据权利要求1至7中任意一项所述的方法，其特征在于，在所述控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果之后，所述方法还包括：

判断所述缺陷检测结果是否为存在缺陷状态，其中，所述缺陷检测结果为缺陷状态或不存在缺陷状态；

若所述缺陷检测结果为所述存在缺陷状态，则确定所述当前航点位置的位置编号；

将所述位置编号和所述缺陷检测结果发送至实时监控平台。

9.一种无人机巡检装置，其特征在于，包括：

获取模块，用于在检测到无人机到达当前航点位置的情况下，获取所述无人机在所述当前航点位置进行图像采集得到的目标图像，其中，所述当前航点位置为所述无人机的多个预定航点位置中的一个航点位置；

缺陷检测模块，用于控制所述无人机对所述目标图像进行本地识别处理，得到所述当前航点位置对应的缺陷检测结果。

10.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至8中任意一项所述的无人机巡检方法。

Images