CN113674343B - 一种无人机巡检方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种无人机巡检方法、装置、设备及存储介质，该方法包括：当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，图像信息包括至少一个绝缘子检测框；针对每个绝缘子检测框，如果根据融合数据确定所述绝缘子检测框内包含目标点云数据，根据各目标点云数据的深度确定绝缘子位置；从各绝缘子位置中选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；从绝缘子图像中筛选目标绝缘子，并对目标绝缘子进行拍摄，并返回执行目标绝缘子的选定操作，直到所有绝缘子位置均被选定。巡检时无需预先采集大量先验信息，无需提前进行路线规划，实现智能化自主巡检，适用于任意类型巡检。

Description

一种无人机巡检方法、装置、设备及存储介质

技术领域

本发明实施例涉及电力巡检技术领域，尤其涉及一种无人机巡检方法、装置、设备及存储介质。

背景技术

随着人工飞手操作无人机进行电力巡检的逐渐推广，减轻输电人员的劳动强度，提高巡检效率与质量的需求逐渐凸显。现有无人机电力自动巡检规划需提前规划无人机飞行航线后才能够进行自动化巡检，主要分为人工示教航点生成航线和使用GIS点云地图航迹规划两种形式。

人工打点模式需要无人机飞手携带无人机设备前往现场对巡检目标的所有巡检点位进行拍照点人工示教，生成并保存无人机飞行航线文件并进行现场航线验证，在后续的精细化巡检时，无人机可直接加载所需巡检目标的航线文件进行航线复飞完成电力设备巡检。GIS点云地图航迹规划则首先需要使用无人机搭载激光雷达对目标进行激光扫描生成点云地图或无人机搭载可见光倾斜对目标摄像并进行数据处理生成点云地图，而后人工在三维点云地图上手动标注航点生成无人机飞行航线。无人机巡检时便根据点云地图上生成航线进行电力设备巡检。

但是，现有的电力巡检方法中，为能够实现全自动巡检都需要投入较大人力、物力做前期准备，需要较多的先验信息，且每次准备的先验信息只能适用一个塔，不具备通用性，不能够真正做到智能化低成本自主巡检。

发明内容

本发明提供一种无人机巡检方法、装置、设备及存储介质，以实现自动化巡检。

第一方面，本发明实施例提供了一种无人机巡检方法，所述无人机巡检方法包括：

当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

从所述绝缘子图像中筛选目标绝缘子，并对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定。

第二方面，本发明实施例还提供了一种无人机巡检装置，该无人机巡检装置包括：

融合模块，用于当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

位置确定模块，用于针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

图像采集模块，用于从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

筛选模块，用于从所述绝缘子图像中筛选目标绝缘子，并对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定。

第三方面，本发明实施例还提供了一种计算机设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的一种无人机巡检方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种无人机巡检方法。

本发明实施例提供了一种无人机巡检方法、装置、设备及存储介质，该方法包括：当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；从所述绝缘子图像中筛选目标绝缘子，并对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定。通过对图像信息和点云数据进行融合，判断绝缘子检测框内是否包含目标点云数据，对绝缘子进行粗略筛选。通过目标点云数据的深度确定精确的绝缘子位置。选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像，从绝缘子图像中筛选出所要拍摄的目标绝缘子并进行拍摄，减少甚至避免拍摄无用信息，实现对目标绝缘子的准确拍摄，完成巡检。巡检过程中无需手动控制无人机，并且不需要预先采集大量的先验信息，无需提前进行路线规划和处理，实现智能化自主巡检，适用于任意类型的巡检。

附图说明

图1是本发明实施例一中的一种无人机巡检方法的流程图；

图2是本发明实施例二中的一种无人机巡检方法的流程图；

图3是本发明实施例二中的一种目标点云数据的等分示意图；

图4是本发明实施例三中的一种无人机巡检装置的结构示意图；

图5是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

实施例一

图1给出了本申请实施例一提供的一种无人机巡检方法的流程图，该方法适用于在进行电力巡检时自主实现巡检的情况。本申请实施例所提供的无人机巡检方法可以由计算机设备执行上，该计算机设备可以安装在无人机上，也可以安装在与无人机通信的电子设备上。

需要说明的是，本实施例实现无人机巡检方法的应用环境可描述为：在电力巡检过程中，对杆塔(如，双回羊角直线塔)的绝缘子进行拍摄，完成对杆塔的电力巡检。现有技术中进行电力巡检时需要预先获取先验数据，根据先验数据规划路线进行巡检，无法实现智能化全自动巡检。本申请实施例提供的无人机巡检方法无需预先获取数据，可以实现智能化全自动巡检。

如图1所示，本实施例一提供的一种无人机巡检方法，具体包括如下步骤：

S110、当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，图像信息包括至少一个绝缘子检测框。

在本实施例中，预设位置可以理解为预先设置的巡检位置，无人机巡检时可以是预设位置作为正式开始巡检的位置，例如杆塔塔顶。即无人机飞行至杆塔塔顶后，才正式启动巡检。预设位置可以预先设置，也可以用户手动输入。图像信息具体可以理解为由图像采集装置(如，相机)所采集的信息。点云数据具体可以理解为通过雷达采集的数据，雷达可以是毫米波雷达、激光雷达等。融合数据具体可以理解为对图像信息和点云信息进行融合得到的数据，融合数据中同时包含图像信息和点云数据的信息及特征。绝缘子检测框具体可以理解为对绝缘子所在位置进行框选的多边形框，本申请中的检测框以矩形框为例。

具体的，当无人机飞行至预设位置后，获取图像采集装置采集的图像信息以及雷达采集的点云数据，预先对图像采集装置和雷达进行联合标定，保证传感器数据同步。对图像信息和点云数据进行融合，例如，将点云数据投影到图像信息中，得到融合数据。通常情况下，图像信息为2维数据，点云数据为3维数据，因此，得到的融合数据即为5维向量。图像信息通过预先训练好的神经网络模型进行检测，得到绝缘子所在的绝缘子检测框。

需要知道的是，图像采集装置和雷达可以安装在无人机上。

S120、针对每个绝缘子检测框，如果根据融合数据确定绝缘子检测框内包含目标点云数据，根据各目标点云数据的深度确定绝缘子位置。

在本实施例中，目标点云数据具体可以理解为绝缘子检测框中的点云数据。绝缘子位置具体可以理解为绝缘子所在的位置。

具体的，每个绝缘子检测框中均可能包含绝缘子，因此，根据绝缘子检测框确定绝缘子位置。由于融合数据中可能存在一个或者多个绝缘子检测框，因此，对每个绝缘子检测框采用相同的方式进行处理，得到每个绝缘子的绝缘子位置。根据融合数据判断绝缘子检测框内是否包含目标点云数据，若否，则此绝缘子检测框为误判数据，此绝缘子检测框中并没有绝缘子，将此绝缘子检测框剔除。若是，则绝缘子检测框中存在绝缘子，通过对目标点云数据的深度进行等分，然后对点云数据进行分类，确定为绝缘子的坐标点，根据各坐标点的坐标确定绝缘子位置，例如，各坐标点取平均值作为绝缘子位置。

S130、从各绝缘子位置中选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像。

在本实施例中，目标绝缘子具体可以理解为无人机巡检过程中当前所要拍摄的绝缘子。由于杆塔上的绝缘子数量通常不止一个，因此在确定绝缘子位置后，首先选择其中的一个绝缘子作为目标绝缘子进行拍摄。绝缘子图像具体可以理解为包含绝缘子的图像信息。

具体的，从各绝缘子位置中选定目标绝缘子可以是随机选择，也可以预先设置选择顺序。绝缘子设置在杆塔上时，设置为不同位置，因此各绝缘子可以按照正面、侧面、上面、下面进行区分。可以按照位置预先设置选择顺序，如，首先选择右上方的绝缘子，然后选择右面中间位置的绝缘子…。在选定目标绝缘子后，根据目标绝缘子的绝缘子位置控制无人机飞行，使无人机飞到目标绝缘子附近，并通过图像采集装置采集绝缘子图像。

S140、从绝缘子图像中筛选目标绝缘子，并对目标绝缘子进行拍摄。

具体的，在拍摄绝缘子图像时，由于杆塔上有多个绝缘子，所以绝缘子图像中可能包含多个绝缘子以及背景图像，例如，杆塔的结构，在拍摄绝缘子时，为了准确拍摄，因此需要从绝缘子图像中筛选出所要拍摄的目标绝缘子，例如，从多个绝缘子中筛选出前面的绝缘子，进一步根据目标绝缘子所在位置进行筛选，得到目标绝缘子。在确定目标绝缘子后，调整无人机的位置、姿态和角度，对目标绝缘子进行拍摄。

S150、判断是否所有绝缘子位置均被选定，若否，返回执行S130；若是，执行S160。

S160、结束此次巡检。

当完成此目标绝缘子的拍摄后，可以从剩余的绝缘子位置中再次选择一个作为目标绝缘子，继续进行拍摄。直到完成所有的绝缘子拍摄。当完成所有绝缘子拍摄后，结束此次对杆塔的巡检。

本发明实施例提供了一种无人机巡检方法，通过对图像信息和点云数据进行融合，判断绝缘子检测框内是否包含目标点云数据，对绝缘子进行粗略筛选。通过目标点云数据的深度确定精确的绝缘子位置。选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像，从绝缘子图像中筛选出所要拍摄的目标绝缘子并进行拍摄，减少甚至避免拍摄无用信息，实现对目标绝缘子的准确拍摄，完成巡检。巡检过程中无需手动控制无人机，并且不需要预先采集大量的先验信息，无需提前进行路线规划和处理，实现智能化自主巡检，适用于任意类型的巡检。

实施例二

图2为本发明实施例二提供的一种无人机巡检方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，具体主要包括如下步骤：

S201、接收启动巡检指令后，根据给定的目标定位数据控制无人机飞行至预设位置。

在本实施例中，启动巡检指令具体可以理解为指示无人机开始巡检的控制指令；目标定位数据具体可以理解为无人机所需要达到的目的地的定位数据。启动巡检指示可以由巡检的工作人员手动触发，例如，点击物理按键或虚拟按钮。目标定位数据可以每次由工作人员手动输入，也可以预先设定，在巡检时使用设定的目标定位数据，或者每次输入后保存，在后续巡检过程中可以使用历史输入的目标定位数据。

目标定位数据可以是塔顶的准确定位数据，此时接收启动巡检指令后，控制无人机飞行至预设位置可以是控制无人机飞行至目标定位数据附近的区域范围内，例如，目标定位数据向上20cm处；或者，目标定位数据可以是距离塔顶一段距离的定位数据，即目标定位数据在塔顶附近区域范围内，此时接收启动巡检指令后，控制无人机飞行至预设位置可以是控制无人机飞行至目标定位数据处，同时，目标定位数据与预设位置为同一位置。

S202、当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，图像信息包括至少一个绝缘子检测框。

S203、针对每个绝缘子检测框，如果根据融合数据确定绝缘子检测框内包含目标点云数据，比较各目标点云数据的深度，确定最大深度值。

在本实施例中，最大深度值即各目标点云数据的深度中的最大值。对于每个绝缘子检测框，根据融合数据判断绝缘子检测框内是否包含目标点云数据，若是，确定各目标点云数据的深度，并对各深度进行比较，确定最大深度值。若否，则此绝缘子检测框中没有绝缘子，将此绝缘子检测框剔除。

S204、根据最大深度值进行区域等分，得到等分区域。

在本实施例中，等分区域具体可以理解为对空间位置进行划分时，得到的空间区域。根据最大深度值确定等分时所采用的距离，根据此距离对点云数据在深度上进行划分，得到划分出的等分区域。

作为本实施例的一个可选实施例，本可选实施例进一步将根据最大深度值进行区域等分，得到等分区域优化为：

A1、将最大深度值按照预设等分数量进行等分，得到等分深度。

在本实施例中，预设等分数量具体可以理解为预先设置的等分份数，例如10。等分深度具体可以理解为对深度值进行等分时所用的数值，例如，10cm、20cm，30cm…。

具体的，预先设置预设等分数量，将最大深度值除以预设等分数量，得到距离，按照此距离确定等分深度。

示例性的，最大深度值为5m，预设等分数量为10，则各等分深度分别为0.5m、1m、1.5m、2m、2.5m、3m、3.5m、4m、4.5m、5m。

A2、将各目标点云数据分别按照各等分深度进行等分，得到每个等分深度对应的等分点。

在本实施例中，等分点具体可以理解为进行等分的点，即将目标点云数据的深度以雷达柱的形式表示，等分相当于对雷达柱进行切割，切割的面即代表等分点。

将每个目标点云数据均进行等分，对于每个目标点云数据，将其深度按照等分深度进行等分，得到每个等分深度对应的等分点，每个等分深度对应一个或者多个等分点。以目标点云数据的深度为2.7m为例，在0.5m、1m、1.5m、2m、2.5m的等分深度均有等分点，2.7小于3，因此2.5-2.7不在任意一个等分深度。

A3、针对每个等分深度，将对应的各等分点构成的区域确定为等分区域。

对于每个等分深度，各目标点云数据在此等分深度进行了等分(一部分目标点云数据在此等分深度具有等分点，一部分目标点云数据没有等分点)，具有相应的等分点，将此等分深度对应的各等分点所形成的区域确定为等分区域。

示例性的，图3提供了一种目标点云数据的等分示意图。目标点云数据31的深度以雷达柱的形式表示，雷达柱越高，深度值越大。图中仅以4个目标点云数据31为例，实际应用中目标点云数据31的数量可能更多或更少。虚线区域则是由等分点32构成的等分区域33。目标点云数据31与等分区域33的交点即为等分点32，图3中仅示例性的标注出两个等分点32，其余类似交点均为等分点32，本申请实施例不进行一一标注，本领域技术人员可以知晓。为了便于展示，本申请实施例所提供的图3将深度以柱体的形式表示，实际上，柱体为可忽略长和宽，仅有高度。等分点32在图中以多边形展示，实际上仅为一个点。

S205、根据各等分区域确定目标区域。

在本实施例中，目标区域具体可以理解为绝缘子所在的区域。对各等分区域中的数据点进行分析，确定数据点的类别，类别可以是绝缘子、背景、电线等，同时确定每个类别的数据点的数量，然后将包含了最多的绝缘子的等分区域确定为目标区域。

作为本实施例的一个可选实施例，本可选实施例进一步将根据各等分区域确定目标区域优化为：

B1、针对每个等分区域，对各等分点进行分类，确定各等分点所属的目标类别，并确定类别为绝缘子的目标类别所对应的点云数量。

在本实施例中，目标类别具体可以理解为等分点的分类结果，例如，绝缘子、杆塔结构、电线、背景(如树、天空等)。对每个等分区域分别进行分类，对此等分区域中的各等分点进行分类，例如采用knn算法进行分类，确定各等分点所属的目标类别，然后统计各目标类别中属于绝缘子的类别所对应的点云数量。

B2、将点云数量最大的等分区域确定为目标区域。

比较各个等分区域中类别为绝缘子的目标类别所对应的点云数量，确定点云数量最大的等分区域，将其作为目标区域。

S206、计算目标区域中各目标点云数据的坐标均值，得到绝缘子位置。

具体的，确定目标区域中的各目标点云数据，分别计算各点云数据的3维坐标的平均值，将得到的3维坐标平均值确定为绝缘子位置。

S207、从各绝缘子位置中选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像。

S208、获取设定数量帧的绝缘子图像，并确定各绝缘子图像中的绝缘子检测框的总数量。

在本实施例中，设定数量帧可以理解为预先设置的数值，用于指示获取绝缘子图像的数量。获取设定数量帧的绝缘子图像，其中，设定数量帧可以是连续帧，各绝缘子图像通过预先训练好的神经网络模型处理，确定所包含的绝缘子检测框，统计所有绝缘子图像中的绝缘子检测框，确定总数量。获取设定数量帧的绝缘子图像的目的是为了保证数据量足够多，避免仅有一帧绝缘子图像时，绝缘子检测框不准确的问题。

S209、如果总数量满足预设条件，根据绝缘子检测框的角点和绝缘子图像的边缘关系确定待选检测框。

在本实施例中，预设条件具体可以理解为预先设置的阈值条件，例如，大于预设阈值为满足预设条件。角点具体可以理解为绝缘子检测框的顶点；待选检测框具体可以理解为可用于确定目标绝缘子的绝缘子检测框。

具体的，为了避免绝缘子检测框的数量过少，影响检测结果，设置预设条件判断绝缘子检测框的总数量，如果总数量满足预设条件，确定绝缘子检测框的角点位置，以及绝缘子图像的边缘位置，如果绝缘子检测框的角点在绝缘子图像的边缘，则此绝缘子检测框包含的绝缘子图像可能不全，剔除此绝缘子检测框，剩余的绝缘子检测框即为待选检测框。

S210、根据各待选检测框确定目标检测框。

在本实施例中，目标检测框具体可以理解为包含目标绝缘子的检测框。具体的，各待选检测框中的绝缘子可能是所要拍摄的目标绝缘子，也可能是其他的绝缘子，从各待选检测框中筛选出包含目标绝缘子的目标检测框，筛选可以通过神经网络模型进行，或者不同位置的绝缘子从图像中来看，由于拍摄角度的问题，大小是不一样的，因此，可以根据待选检测框的大小或面积进行筛选，确定目标检测框。即确定待选检测框是否为目标检测框。

需要知道的是，在对目标绝缘子进行检测时，检测框具有前后之分，目标检测框为类型为前的检测框。若待选检测框为类型向后的检测框(即待选检测框不是目标检测框)，剔除此待选检测框。若不存在目标检测框(即所有待选检测框均为类型为后的检测框)，则此次采集的绝缘子图像均不符合要求，重新获取设定数量帧的绝缘子图像。本申请S210中若已经确定出目标检测框，则可认为目标检测框的数量已经大于0。

作为本实施例的一个可选实施例，本可选实施例进一步优化包括：

C1、根据点云数据确定各目标检测框的深度信息，形成各目标检测框的位置坐标。

由于目标检测框是根据图像确定的，图像是2维数据，而点云数据为3为数据，包含了深度信息，因此，根据点云数据对目标检测框的信息进行补充。根据点云数据确定深度信息，可以是直接将点云数据中的对应的深度信息作为目标检测框的深度信息，也可以是使用根据目标点云数据的深度确定绝缘子位置时所确定的目标绝缘子的深度信息，将其作为目标检测框的深度信息，形成各目标检测框的位置坐标。

C2、根据无人机的惯性测量单元的姿态信息对各目标检测框的位置坐标进行补偿，并对补偿后的目标检测框的位置坐标进行校正。

在本实施例中，惯性测量单元为测量物体三轴姿态角以及加速度的装置；姿态信息具体可以理解为无人机的飞行姿态。无人机在飞行过程中时刻处于晃动中，因此结合无人机的惯性测量单元imu的姿态信息对图像中包含目标绝缘子的目标检测框的3维坐标进行补偿。由于延时性，为了实时能够把信息补偿到，通过使用卡尔曼滤波算法对目标检测框的帧与帧之间的中心点坐标，检测框长宽，前期得到的点云位置进行再矫正，得到校正后的目标检测框的位置坐标。

作为本实施例的一个可选实施例，本可选实施例进一步将根据各待选检测框确定目标检测框优化为：

D1、对各待选检测框进行分层，确定每个空间层的分层检测框。

在本实施例中，不同的绝缘子由于设置在不同的空间位置上，因此，从空间位置上，可以对其按照层次进行划分。例如，距离地面10m、15m和20m高的位置，左右两侧依次设置了绝缘子。10m、15m和20m可看做是三层空间层。分层检测框具体可以理解为分层后，每个空间层中的检测框。

具体的，根据各待选检测框的中心点在图像中分布的密度关系，对各待选检测框进行分层，得到每个空间层，以及每个空间层中的分层检测框。

作为本实施例的一个可选实施例，本可选实施例进一步将对各待选检测框进行分层，确定每个空间层的分层检测框优化为：

D11、确定各待选检测框的中心点。

根据待选检测框的位置坐标，例如，各顶点的位置坐标，计算每个待选检测框的中心点的位置坐标，得到各待选检测框的中心点。

D12、对各中心点进行聚类处理，得到分层后的空间层。

通过聚类算法进行聚类，例如通过dbscan算法计算密度中心和密度圆心半径，将待选检测框分成n类，每一类为一层，得到分层后的各空间层。

D13、针对每个空间层，确定空间层中的目标中心点，将各目标中心点对应的待选检测框确定为空间层的分层检测框。

在本实施例中，目标中心点具体可以理解为各空间层中包含的中心点。对于每个空间层，确定此空间层中包含的目标中心点，并确定各目标中心点对应的待选检测框，将各待选检测框确定为此空间层的分层检测框。

D2、根据目标绝缘子的绝缘子位置确定目标空间层，并确定目标空间层对应的各分层检测框。

在本实施例中，目标空间层具体可以理解为目标绝缘子所在的空间层。在对所有待选检测框分层后，进一步选择其中一层的空间层，实现对检测框的进一步地筛选。由于最终巡检目的是拍摄目标绝缘子，因此根据目标绝缘子的绝缘子位置确定目标绝缘子所在的空间层，确定目标空间层，确定目标空间层中的各分层检测框。例如，目标空间层为15m高度处的空间层，此时选择15m高度处的空间层中的各分层检测框。

D3、根据各分层检测框结合预确定的分类模型确定目标检测框。

在本实施例中，分类模型具体可以理解为预先训练的神经网络模型，用于对检测框进行分类。

具体的，预先采集同类型杆塔飞行时绝缘子检测框，对数据进行标注，输入到模型中进行训练，得到训练好的分类模型，分类模型可用于识别检测框的前后，即图像中的检测框位置在近端还是远端(即前面还是后面)。将各分层检测框输入到分类模型中，得到模型输出的目标检测框，目标检测框的分类结果为近端。

目标检测框的确定过程主要对近端和远端、大尺度和小尺度、视野中心和视野边缘的绝缘子进行筛选，找到满足条件的检测框即可对该检测框的位置估计。

S211、判断目标检测框的数量是否为1，若是，执行S212；否则，执行S213。

S212、将目标检测框的位置坐标作为目标绝缘子的位置坐标，并执行S214。

S213、根据各目标检测框的位置坐标确定目标绝缘子的位置坐标。

具体的，当存在多个目标检测框时，对各目标检测框的位置坐标进行数学计算，例如，取平均值、最大值、最小值、加权求和等方式，计算出最终一个检测框的位置坐标，将此位置坐标确定为目标绝缘子的位置坐标。

作为本实施例的一个可选实施例，本可选实施例进一步根据各目标检测框的位置坐标确定目标绝缘子的位置坐标优化为：

E1、对各目标检测框进行筛选，得到候选检测框。

在本实施例中，候选检测框具体可以理解为对目标检测框进行筛选得到的符合要求的检测框。

对目标检测框进行筛选的方式可以是按照面积进行筛选，按照面积从大到小选择一定数量的检测框作为候选检测框，或者面积值大于一定阈值均作为候选检测框。或者按照长度、高度等条件进行筛选，去除过长、过短(或过高、过低)的检测框等方式。本申请实施例仅示例性的提供几种筛选方式，并不对具体筛选方式进行限定，在实际应用中，可根据实际情况选择合适的筛选方式进行筛选。

E2、根据各候选检测框的位置坐标确定候选检测框的顶点坐标，以及各顶点坐标的位置属性。

在本实施例中，位置属性可以理解为顶点所代表的位置，例如，检测框为矩形框，位置属性包括左上、左下，右上，右下。分别确定每个候选检测框的顶点坐标，以及各顶点坐标所代表的位置属性。

E3、针对每个位置属性，确定位置属性对应的各顶点坐标的平均值。

分别计算每个位置属性的各顶点坐标的平均值。以候选检测框的数量等于2个为例，第一个候选检测框的四个顶点的顶点坐标和位置属性分别为(12,12)左上，(18,12)右上，(18,6)右下，(12,6)左下；第二个候选检测框的四个顶点的顶点坐标和位置属性分别为(11,10)左上，(19,10)右上，(19,4)右下，(11,4)左下。对于位置属性左上，计算顶点(12,12)和顶点(11,10)的平均值为(11.5,11)。采用同样的方式计算右上，右下，左下对应的顶点坐标的平均值，分别为(18.5,11)、(18.5,5)和(11.5,5)。

E4、根据各平均值及对应的位置属性确定目标绝缘子的位置坐标。

将(11.5,11)作为目标绝缘子的左上方的顶点坐标，(18.5,11)作为目标绝缘子的右上方的顶点坐标，(18.5,5)作为目标绝缘子的右下方的顶点坐标，(11.5,5)作为目标绝缘子的左下方的顶点坐标，形成目标绝缘子的位置坐标。

S214、对目标绝缘子进行拍摄。

S215、判断是否所有绝缘子位置均被选定，若否，返回执行S207；若是，执行S216。

S216、结束此次巡检。

确定目标绝缘子的位置坐标后，即确定目标绝缘子，对目标绝缘子的拍照点位的相对角度进行调整，同时调整云台变焦，进行拍照及存档。在拍摄完当前所选择的目标绝缘子后，选择下一个目标绝缘子时，可以考虑现在所在的位置，进行最优路径规划，例如，当前拍摄杆塔正面15m高度处的绝缘子，下一个目标绝缘子可以选择杆塔正面10m高度处的绝缘子，此时无人机仅需要下降即可。无人机在飞行过程中，具有安全高度限制，即需要保持在安全高度范围内飞行。在完成对所有绝缘子的拍摄后，结束此次巡检并返航。

本发明实施例提供了一种无人机巡检方法，通过对图像信息和点云数据进行融合，判断绝缘子检测框内是否包含目标点云数据，对绝缘子进行粗略筛选。通过各目标点云数据的最大深度值进行区域等分，将空间划分为不同等分区域，进而通过对等分区域中的等分点进行分类，确定精确的绝缘子位置。选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像，按照近端和远端划分、空间分层的方式从绝缘子图像中筛选出所要拍摄的目标绝缘子并进行拍摄，减少甚至避免拍摄无用信息，实现对目标绝缘子的准确拍摄，完成巡检。巡检过程中无需手动控制无人机，并且不需要预先采集大量的先验信息，无需提前进行路线规划和处理，实现智能化自主巡检，适用于任意类型的巡检。

实施例三

图4为本发明实施例三提供的一种无人机巡检装置的结构示意图，该装置包括：融合模块41、位置确定模块42、图像采集模块43和筛选模块44。

其中，融合模块41，用于当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

位置确定模块42，用于针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

图像采集模块43，用于从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

筛选模块44，用于从所述绝缘子图像中筛选目标绝缘子，并对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定。

本发明实施例提供了一种无人机巡检装置，通过对图像信息和点云数据进行融合，判断绝缘子检测框内是否包含目标点云数据，对绝缘子进行粗略筛选。通过目标点云数据的深度确定精确的绝缘子位置。选定目标绝缘子，根据目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像，从绝缘子图像中筛选出所要拍摄的目标绝缘子并进行拍摄，减少甚至避免拍摄无用信息，实现对目标绝缘子的准确拍摄，完成巡检。巡检过程中无需手动控制无人机，并且不需要预先采集大量的先验信息，无需提前进行路线规划和处理，实现智能化自主巡检，适用于任意类型的巡检。

进一步地，该装置还包括：

接收模块，用于接收启动巡检指令后，根据给定的目标定位数据控制无人机飞行至预设位置。

进一步地，位置确定模块42，包括：

深度比较单元，用于比较各所述目标点云数据的深度，确定最大深度值；

等分单元，用于根据所述最大深度值进行区域等分，得到等分区域；

区域确定单元，用于根据各所述等分区域确定目标区域；

均值计算单元，用于计算目标区域中各目标点云数据的坐标均值，得到绝缘子位置。

进一步地，等分单元，具体用于将所述最大深度值按照预设等分数量进行等分，得到等分深度；将各所述目标点云数据分别按照各所述等分深度进行等分，得到每个等分深度对应的等分点；针对每个等分深度，将对应的各所述等分点构成的区域确定为等分区域。

进一步地，区域确定单元，具体用于针对每个等分区域，对各所述等分点进行分类，确定各所述等分点所属的目标类别，并确定类别为绝缘子的目标类别所对应的点云数量；将点云数量最大的等分区域确定为目标区域。

进一步地，筛选模块44，包括：

数量确定单元，用于获取设定数量帧的绝缘子图像，并确定各所述绝缘子图像中的绝缘子检测框的总数量；

待选检测框确定单元，用于如果所述总数量满足预设条件，根据所述绝缘子检测框的角点和绝缘子图像的边缘关系确定待选检测框；

目标检测框确定单元，用于根据各所述待选检测框确定目标检测框；

判断单元，用于判断所述目标检测框的数量是否为1，若是，将所述目标检测框的位置坐标作为目标绝缘子的位置坐标；否则，根据各所述目标检测框的位置坐标确定目标绝缘子的位置坐标。

进一步地，目标检测框确定单元，具体用于对各所述待选检测框进行分层，确定每个空间层的分层检测框；根据所述目标绝缘子的绝缘子位置确定目标空间层，并确定所述目标空间层对应的各所述分层检测框；根据各所述分层检测框结合预确定的分类模型确定目标检测框。

进一步地，对各所述待选检测框进行分层，确定每个空间层的分层检测框包括：确定各所述待选检测框的中心点；对各所述中心点进行聚类处理，得到分层后的空间层；针对每个空间层，确定所述空间层中的目标中心点，将各所述目标中心点对应的待选检测框确定为所述空间层的分层检测框。

进一步地，判断单元，具体用于对各所述目标检测框进行筛选，得到候选检测框；根据各所述候选检测框的位置坐标确定候选检测框的顶点坐标，以及各所述顶点坐标的位置属性；针对每个位置属性，确定所述位置属性对应的各所述顶点坐标的平均值；根据各所述平均值及对应的位置属性确定目标绝缘子的位置坐标。

进一步地，筛选模块44，还包括：

坐标确定单元，用于根据点云数据确定各所述目标检测框的深度信息，形成各所述目标检测框的位置坐标；

校正单元，用于根据所述无人机的惯性测量单元的姿态信息对各所述目标检测框的位置坐标进行补偿，并对补偿后的目标检测框的位置坐标进行校正。

本发明实施例所提供的无人机巡检装置可执行本发明任意实施例所提供的无人机巡检方法，具备执行方法相应的功能模块和有益效果。

实施例四

图5为本发明实施例四提供的一种计算机设备的结构示意图，如图5所示，该设备包括处理器50、存储器51、输入装置52和输出装置53；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储器51、输入装置52和输出装置53可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的无人机巡检方法对应的程序指令/模块(例如，无人机巡检装置中的融合模块41、位置确定模块42、图像采集模块43和筛选模块44)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的无人机巡检方法。

存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置52可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置53可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种无人机巡检方法，该方法包括：

当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

从所述绝缘子图像中筛选目标绝缘子，对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的无人机巡检方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述无人机巡检装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种无人机巡检方法，其特征在于，包括：

当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

从所述绝缘子图像中筛选目标绝缘子，对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定；

所述从所述绝缘子图像中筛选目标绝缘子，包括：

获取设定数量帧的绝缘子图像，将各所述绝缘子图像通过预先训练好的神经网络模型处理，确定所包含的绝缘子检测框，统计各所述绝缘子图像中的绝缘子检测框的总数量；

如果所述总数量满足预设条件，根据所述绝缘子检测框的角点和绝缘子图像的边缘关系确定待选检测框；

根据各所述待选检测框确定目标检测框；

判断所述目标检测框的数量是否为1，若是，将所述目标检测框的位置坐标作为目标绝缘子的位置坐标；

否则，根据各所述目标检测框的位置坐标确定目标绝缘子的位置坐标。

2.根据权利要求1所述的方法，其特征在于，还包括：

接收启动巡检指令后，根据给定的目标定位数据控制无人机飞行至预设位置。

3.根据权利要求1所述的方法，其特征在于，所述根据各所述目标点云数据的深度确定绝缘子位置，包括：

比较各所述目标点云数据的深度，确定最大深度值；

根据所述最大深度值进行区域等分，得到等分区域；

根据各所述等分区域确定目标区域；

计算目标区域中各目标点云数据的坐标均值，得到绝缘子位置。

4.根据权利要求3所述的方法，其特征在于，所述根据所述最大深度值进行区域等分，得到等分区域，包括：

将所述最大深度值按照预设等分数量进行等分，得到等分深度；

将各所述目标点云数据分别按照各所述等分深度进行等分，得到每个等分深度对应的等分点；

针对每个等分深度，将对应的各所述等分点构成的区域确定为等分区域。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述等分区域确定目标区域，包括：

针对每个等分区域，对各所述等分点进行分类，确定各所述等分点所属的目标类别，并确定类别为绝缘子的目标类别所对应的点云数量；

将点云数量最大的等分区域确定为目标区域。

6.根据权利要求1所述的方法，其特征在于，所述根据各所述待选检测框确定目标检测框，包括：

对各所述待选检测框进行分层，确定每个空间层的分层检测框；

根据所述目标绝缘子的绝缘子位置确定目标空间层，并确定所述目标空间层对应的各所述分层检测框；

根据各所述分层检测框结合预确定的分类模型确定目标检测框。

7.根据权利要求6所述的方法，其特征在于，所述对各所述待选检测框进行分层，确定每个空间层的分层检测框，包括：

确定各所述待选检测框的中心点；

对各所述中心点进行聚类处理，得到分层后的空间层；

针对每个空间层，确定所述空间层中的目标中心点，将各所述目标中心点对应的待选检测框确定为所述空间层的分层检测框。

8.根据权利要求1所述的方法，其特征在于，所述根据各所述目标检测框的位置坐标确定目标绝缘子的位置坐标，包括：

对各所述目标检测框进行筛选，得到候选检测框；

根据各所述候选检测框的位置坐标确定候选检测框的顶点坐标，以及各所述顶点坐标的位置属性；

针对每个位置属性，确定所述位置属性对应的各所述顶点坐标的平均值；

根据各所述平均值及对应的位置属性确定目标绝缘子的位置坐标。

9.根据权利要求1-8任一项所述的方法，其特征在于，在所述根据各所述待选检测框确定目标检测框之后，还包括：

根据点云数据确定各所述目标检测框的深度信息，形成各所述目标检测框的位置坐标；

根据所述无人机的惯性测量单元的姿态信息对各所述目标检测框的位置坐标进行补偿，并对补偿后的目标检测框的位置坐标进行校正。

10.一种无人机巡检装置，其特征在于，包括：

融合模块，用于当无人机达到预设位置后，对所获取的图像信息和点云数据进行融合，确定融合数据，所述图像信息包括至少一个绝缘子检测框；

位置确定模块，用于针对每个绝缘子检测框，如果根据所述融合数据确定所述绝缘子检测框内包含目标点云数据，根据各所述目标点云数据的深度确定绝缘子位置；

图像采集模块，用于从各所述绝缘子位置中选定目标绝缘子，根据所述目标绝缘子的绝缘子位置控制无人机飞行并采集绝缘子图像；

筛选模块，用于从所述绝缘子图像中筛选目标绝缘子，并对所述目标绝缘子进行拍摄，并返回执行所述目标绝缘子的选定操作，直到所有绝缘子位置均被选定；

所述筛选模块，包括：

数量确定单元，用于获取设定数量帧的绝缘子图像，将各所述绝缘子图像通过预先训练好的神经网络模型处理，确定所包含的绝缘子检测框，统计各所述绝缘子图像中的绝缘子检测框的总数量；

待选检测框确定单元，用于如果所述总数量满足预设条件，根据所述绝缘子检测框的角点和绝缘子图像的边缘关系确定待选检测框；

目标检测框确定单元，用于根据各所述待选检测框确定目标检测框；

判断单元，用于判断所述目标检测框的数量是否为1，若是，将所述目标检测框的位置坐标作为目标绝缘子的位置坐标；否则，根据各所述目标检测框的位置坐标确定目标绝缘子的位置坐标。

11.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的无人机巡检方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的无人机巡检方法。