CN114281093A - 一种基于无人机电力巡检的缺陷检测系统及方法 - Google Patents

Abstract

本发明涉及一种基于无人机电力巡检的缺陷检测系统及方法，该系统包括：无人机和机巢侧智能分析服务器，无人机上设置有摄像头、机载端侧智能分析服务器和飞控平台；无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；机载端侧智能分析服务器根据视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并调整无人机的飞行姿态，之后通过摄像头采集目标物图像；无人机完成巡检时将目标物图像发送至机巢侧智能分析服务器进行缺陷检测；本系统可以完成巡检过程中的自动拍摄任务，并且可以完成对所拍摄目标物的图像数据的缺陷检测分析。

Description

一种基于无人机电力巡检的缺陷检测系统及方法

技术领域

本发明属于无人机电力巡检技术领域，尤其涉及一种基于无人机电力巡检的缺陷检测系统及方法。

背景技术

电网行业线路巡检业务经过近几年的发展已逐渐在飞控和缺陷检测领域具备了一定的智能化水准。目前在无人机巡检过程中主要采用的技术为四旋翼无人机飞控技术。各个飞行状态的控制是通过控制对称的四个旋翼的转速，形成相应不同的运动组合实现的。与此同时，依托四旋翼无人机的精确航迹跟踪已经基本实现无人机自主飞行。在当前四旋翼无人机的自主控制系统中，姿态稳定控制是实现飞行器自主飞行的基础，其原理是控制四旋翼无人机的三个姿态角(俯仰角、滚转角、偏航角)稳定地跟踪期望姿态信号，并保证闭环姿态系统具有期望的动态特性。由于四旋翼无人机姿态与平动的耦合特点，分析可以得知，通过保证姿态达到稳定控制，使得旋翼总升力在期望的方向上产生分量，进而控制飞行器沿期望的航迹方向飞行。

然而，电力巡检虽然已经通过飞控系统技术可以较为有效地辅助飞控人员对无人机飞行航线进行管理。但是无人机巡检在沿既定航线飞行的基础上还需要实现对杆塔目标构件部位的图像拍摄取材任务，而这一任务现在还需要无人机操控员来完成，并且进行拍照的精准度、清晰度无法得到很好的保障，同时相同的拍照目标还会存在一定程度的重复，对后续缺陷检测工作会带来一定的无效工作。

发明内容

针对上述现有技术中存在的缺陷，本发明的目的在于提供一种基于无人机电力巡检的缺陷检测系统及方法，可以完成巡检过程中的自动拍摄任务，并且可以完成对所拍摄目标物的图像数据的缺陷检测分析。

为达到以上目的，本发明采取的技术方案为：

一种基于无人机电力巡检的缺陷检测系统，包括无人机和机巢侧智能分析服务器，所述无人机上设置有摄像头、机载端侧智能分析服务器和飞控平台；

所述无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；

机载端侧智能分析服务器用于根据所述视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台，所述飞控平台根据所述调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

无人机完成巡检时将所述目标物图像发送至所述机巢侧智能分析服务器，所述机巢侧智能分析服务器用于根据所述目标物图像进行缺陷检测。

进一步地，所述目标物位于摄像头视野中心，为所述目标物的几何中心坐标与摄像头视野中心坐标重合，或者所述目标物的几何中心坐标位于摄像头视野中心坐标周围预设范围内。

进一步地，所述机载端侧智能分析服务器用于从所述视频数据中提取多帧视频图像，采用知识蒸馏的非均匀量化的FCOS目标检测算法检测所述视频图像，获得多个预测边框以及预测边框中目标物的所属类别置信度；根据所述所述类别置信度，计算平均所属类别置信度，根据所述平均所述类别置信度以及预测边框在视频图像中的位置坐标，确定无人机的调整方向和调整角度，根据所述调整方向和调整角度，生成所述调整控制信号。

进一步地，所述机载端侧智能分析服务器用于根据所述所属类别置信度，统计多帧视频图像中同一预测边框的每一种所属类别的数量；选取同一预测边框中数量最多的所属类别对应的所属类别置信度并对其计算平均值，获得平均所属类别置信度；根据选取的预测边框在视频图像中的位置坐标，计算其中心度；将所述平均所述类别置信度与各个选取的预测边框的中心度相乘，获得最终置信度；按照最终置信度从大到小的顺序以及对应的预测边框的中心度，依次计算无人机的调整方向和调整角度。

进一步地，所述机巢侧智能分析服务器还用于根据目标物图像的灰度方差函数和图像熵函数，对采集的目标物图像进行图像质量计算，对同一目标物选取图像质量最高的目标物图像进行缺陷检测。

进一步地，所述机巢侧智能分析服务器基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，根据所述缺陷检测模块进行目标物的缺陷检测。

进一步地，所述机巢侧智能分析服务器还用于：

采集目标物缺陷的样本图像，并创建训练集；

构建基于FCOS算法的全精度模型和低精度模型，所述全精度模型和低精度模型包括骨架网络层、特征融合层以及检测头层；

根据所述训练集，对所述全精度模型进行训练，直到所述全精度模型收敛；

根据所述训练集和收敛后的全精度模型，对所述低精度模型进行联合训练，将收敛之后的低精度模型作为所述缺陷检测模型。

进一步地，所述机巢侧智能分析服务器还用于：

将所述训练集输入至全精度模型，通过所述全精度模型的骨架网络层提取特征，通过特征融合层对各级特征进行融合，之后通过检测头层在各级特征每个位置上对目标物缺陷进行回归和分类，获得缺陷的预测结果；针对预测结果计算损失函数，根据损失函数的计算结果进行反向传播，更新所述全精度模型的参数，直到满足收敛条件。

进一步地，所述机巢侧智能分析服务器还用于：

将所述训练集输入至所述低精度模型和收敛后的全精度模型，分别通过所述低精度模型和全精度模型的骨架网络层、特征融合层、检测头层，获得所述低精度模型和全精度模型对缺陷的预测结果；将收敛后的全精度模型对于缺陷的预测结果作为软标签与所述低精度模型进行交叉熵损失计算，根据交叉熵损失计算结果更新所述低精度模型和全精度模型，直到所述低精度模型和全精度模型均收敛，获得的低精度模型为所述缺陷检测模型。

一种采用上述系统的无人机电力巡检的缺陷检测方法，包括：

无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；

机载端侧智能分析服务器根据所述视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台，所述飞控平台根据所述调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

无人机完成巡检时将所述目标物图像发送至所述机巢侧智能分析服务器，所述机巢侧智能分析服务器根据所述目标物图像进行缺陷检测。

本发明提供的系统及方法，通过调整无人机飞行姿态，针对待拍摄的目标物，使得目标物位于摄像头视野中心，后续采集的目标物图像更加准确，通过机载端侧智能分析服务器与飞控平台的配合完成巡检过程中的自动拍摄任务，大幅提升传统人工巡检的效率；同时，可依托机巢侧智能分析服务器完成对所拍摄图像数据的缺陷检测，通过双模型联合训练获得缺陷检测模型，有效提高缺陷检测的准确性。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出根据本发明实施例的一种基于无人机电力巡检的缺陷检测系统的示意图；

图2是示出根据本发明实施例的一种基于无人机电力巡检的缺陷检测方法的流程示意图；

图3是示出根据本发明某一实施例的一种基于无人机电力巡检的缺陷检测方法中生成调整控制信号的流程示意图；

图4是示出根据本发明某一实施例的一种基于无人机电力巡检的缺陷检测方法中模型训练的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。

下面结合附图详细说明本发明的可选实施例。

如图1所示，本发明实施例提供一种基于无人机电力巡检的缺陷检测系统，包括无人机1和机巢侧智能分析服务器2，无人机上设置有摄像头101、机载端侧智能分析服务器102和飞控平台103；

无人机1按照预设巡检路径飞行，并在每个巡航点通过摄像头101采集视频数据并发送至机载端侧智能分析服务器2；

机载端侧智能分析服务器2用于根据视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台103，飞控平台103根据调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

无人机完成巡检时将目标物图像发送至机巢侧智能分析服务器2，机巢侧智能分析服务器2用于根据目标物图像进行缺陷检测。

上述系统能够针对待拍摄的目标物，通过机载端侧智能分析服务器与飞控平台的配合完成巡检过程中的自动拍摄任务，大幅提升传统人工巡检的效率；同时，可依托机载端侧智能分析服务器、机巢侧智能分析服务器完成对所拍摄图像中目标物的缺陷检测。

其中，机载端侧智能分析服务器与飞控平台的API接口对接，以使得飞控平台直接完成对无人机和摄像头的位姿调整。作为一种可选的实施方式，该缺陷检测系统还包括机巢，机巢端侧智能分析服务器设置在该机巢内。机载端侧智能分析服务器为了达到机载功耗要求，可以进行模型轻量化加速设计，可以将机载侧整体额定功率降至10W以下的同时保证机巢侧平均处理时间在1分钟以内。

具体地，本实施例中所述的目标物位于摄像头视野中心，为所述目标物的几何中心坐标与摄像头视野中心坐标重合，或者所述目标物的几何中心坐标位于摄像头视野中心坐标周围预设范围内。

进一步地，机载端侧智能分析服务器102用于：

从所述视频数据中提取多帧视频图像，采用知识蒸馏的非均匀量化的FCOS目标检测算法检测所述视频图像，获得多个预测边框以及预测边框中目标物的所属类别置信度；

根据所述所述类别置信度，计算平均所属类别置信度，根据所述平均所述类别置信度以及预测边框在视频图像中的位置坐标，确定无人机的调整方向和调整角度，根据所述调整方向和调整角度，生成所述调整控制信号。

其中，机载端侧智能分析服务器102根据所述所属类别置信度，统计多帧视频图像中同一预测边框的每一种所属类别的数量；选取同一预测边框中数量最多的所属类别对应的所属类别置信度并对其计算平均值，获得平均所属类别置信度；根据选取的预测边框在视频图像中的位置坐标，计算其中心度；中心度为预测边框的几何中心点与摄像头视野中心点的偏移程度；将所述平均所述类别置信度与各个选取的预测边框的中心度相乘，获得最终置信度；按照最终置信度从大到小的顺序以及对应的预测边框的中心度，依次计算无人机的调整方向和调整角度。

飞控平台根据调整控制信号依次调整无人机的方向和角度，使得目标物位于摄像头视野的中心，并通过摄像头依次采集目标物图像。

具体地，首先，取最终置信度最大的预测边框，根据中心度计算无人机调整的方向和角度，调整无人机到相应位置，采集图片；之后再取最终置信度第二大的预测边框，根据中心度计算无人机调整的方向和角度，调整无人机到相应位置，采集图片；按照顺序依次选取最终置信度直至最小的预测边框，调整无人机并采集图片位置后完成无人机的调节。在实际应用场景中，多个预测边框可能存在不属于所需检测的目标物，当存在这种情况的预测边框时，其最终置信度相对较小，根据最终置信度的排序，舍去小于一定最终置信度的边框，从而可以提高对目标物的缺陷检测效率，以及整体的巡检效率。其中，最终置信度越高，则说明目标物越准确，有利于提高缺陷检测的准确性。

通过调整无人机的位姿，使得目标物位于摄像头视野中心，采集的图像目标物更加明确，有利于提高后续缺陷检测的准确性。

进一步地，机巢侧智能分析服务器2还用于根据目标物图像的灰度方差函数和图像熵函数，对采集的目标物图像进行图像质量计算，对同一目标物选取图像质量最高的目标物图像进行缺陷检测。

其中，灰度方差函数Var(f)的计算公式为：

Var(f)＝∑_y∑_x(|g(x，y)-f(x，y-1)|+|f(x，y)-f(x+1，y)|)； (1)

其中，以拍摄的图像左上角为原点，水平方向为横轴，竖直方向为纵轴，f(x，y)表示图像中位于横轴为x，纵轴为y处的像素值；

图像熵函数Ent(f)的计算公式为：

式中，Pi表示图像中灰度值为i的像素出现的概率，L为灰度级总数，且L＝256；

图像质量Q的计算公式为：

Q(f)＝αVar(f)+(1-α)Ent(f)； (3)

式中，α为加权值，图像质量Q越大则图像越清晰。本实施例的α取值0.3时，图像质量Q的整体评价结果最佳。

机载端侧智能分析服务器在提取视频图像并识别后，并由飞控平台完成无人机飞行姿态调整的同时，还可以根据上述的图像质量计算视频图像，该计算的结果作为当前状态下拍摄的目标物清晰度，通过调整摄像头的参数，以使当前状态下拍摄的目标物清晰度大于预定清晰度。即本实施例可以通过在机载端侧智能分析服务器进行图像质量的计算，以保证机巢侧智能分析服务器进行目标物图像缺陷检测时，能够具有较高的图像质量。

无人机完成巡检时将目标物图像发送至机巢侧智能分析服务器2，机巢侧智能分析服务器根据所述目标物图像进行缺陷检测。具体地，机巢侧智能分析服务器基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，根据所述缺陷检测模块进行目标物的缺陷检测。

机巢侧智能分析服务器基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，具体包括：

采集目标物缺陷的样本图像，并创建训练集；

构建基于FCOS算法的全精度模型和低精度模型，所述全精度模型和低精度模型包括骨架网络层、特征融合层以及检测头层；

根据所述训练集，对所述全精度模型进行训练，直到所述全精度模型收敛；

根据所述训练集和收敛后的全精度模型，对所述低精度模型进行联合训练，将收敛之后的低精度模型作为所述缺陷检测模型。

具体地，首先，创建训练集和标签文件，采集真实电力巡检环境下的目标物图像，训练集包含与其对应的标签文件，该标签文件可以采用标注工具对训练集中每一样本图像的目标物进行人工标注，获得目标物的标注框，生成标注框对应的标签(x,y,w,h,class)，并将所有标签形成标签文件，其中，x和y分别表示目标物所在标注框的左上角横坐标和纵坐标，w,h表示该标注框的宽和高，class表示该目标物所属类别。将目标物图像按照8:2的比例随机划分为训练集和验证集。将图像的分辨率缩放为短边不小于800，长边不大于1333。还可以通过数据增强方法扩充训练集。

其次，构建基于FCOS算法的全精度模型和低精度模型，具体包括：分别为全精度模型和低精度模型创建基于ResNeXt-101残差结构的骨架网络层、特征融合层、检测头层；为全精度模型设置网络参数，其中骨架网络层部分使用在ImageNet数据集上预训练的32比特的权重。为低精度模型设置网络参数，其中骨架网络层部分使用在ImageNet数据集上预训练的待量化的16比特模型。

进一步地，对全精度模型进行训练，包括：将所述训练集输入至全精度模型，通过所述全精度模型的骨架网络层提取特征，通过特征融合层对各级特征进行融合，之后通过检测头层在各级特征每个位置上对目标物缺陷进行回归和分类，获得缺陷的预测结果；针对预测结果计算损失函数，根据损失函数的计算结果进行反向传播，更新所述全精度模型的参数，直到满足收敛条件，获得收敛后的全精度模型。

其中，损失函数定义如下：

t^*＝(l^*，u^*，r^*，b^*)； (4)

其中，l^*,u^*,r^*和b^*是各级特征图每个位置距离目标物标注框左、上、右、下四边距离，L_cls是聚焦损失函数，L_reg是IoU损失函数，N_pos表示正样本数量，λ用于调节回归部分在损失函数中的权重，此处设置为1。p_x，y和t_x，y分别表示各级特征图每个位置预测的目标物分类分数和回归位置，c^*和t^*分别表示各级特征图每个位置真实的目标物分类分数和回归位置，L({p_x，y}，{t_x，y})表示损失函数。

是指示函数，如果

时

为1，否则为0。

进一步地，根据所述训练集和收敛后的全精度模型，对所述低精度模型进行联合训练，具体包括：将所述训练集输入至所述低精度模型和收敛后的全精度模型，分别通过所述低精度模型和全精度模型的骨架网络层、特征融合层、检测头层，获得所述低精度模型和全精度模型对缺陷的预测结果；将收敛后的全精度模型对于缺陷的预测结果作为软标签与所述低精度模型进行交叉熵损失计算，根据交叉熵损失计算结果更新所述低精度模型和全精度模型，直到所述低精度模型和全精度模型均收敛，获得的低精度模型为所述缺陷检测模型。

使用散度运算公式更新所述低精度模型：

式中，β是调节系数，可以设置为1，

为16比特权重参数模型对应的知识蒸馏算法下的分类损失，

为16比特权重参数模型对应的没有知识蒸馏时的分类损失，W_low为量化网络骨架网络权重，p_low为量化精度网络的输出概率，p_full为全精度网络的输出概率，

为KL散度运算。

使用如下公式更新全精度模型：

式中，W_full为全精度网络骨架网络层权重，

为全精度网络的分类损失函数，

为全比特权重参数模型对应的知识蒸馏算法下的分类损失。

本实施例通过采用基于知识蒸馏的非均匀量化的FCOS目标检测算法，可以达到对模型轻量化加速设计，模型轻量化加速体现于知识蒸馏的非均匀量化算法，主要采用权重量化和激活量量化。其中，权重量化的定义为：

式中，w为全精度权重，w_q为量化权重，tanh用于将权重映射到[-1,1]，z_r为全精度数值，z_q为量化后的数值，k为量化的比特数。

激活量量化的定义为：

x_q＝Q(f(x))； (10)

式中，x为全精度输入，x_q为量化输入；在进行激活量量化时，首先使用f(x)将输入范围归一化到[0,1]，然后再对输入进行量化，最终得到低精度模型。

模型蒸馏的思路为：假设存在性能不错的全精度模型，并且直接量化该全精度模型得到的量化模型也能取得一个较好的精度。基于该假设，在训练量化卷积神经网络时，本实施例期望量化卷积神经网络(简称量化网络)的输出特征图与直接量化全精度卷积神经网络(简称全精度网络)的输出特征图尽可能一致。本实施例拟同时训练全精度网络和量化网络，使得全精度网络和量化网络之间可以相互学习，相互调整。在模型量化的过程中，聚焦损失函数用来计算网络的输出概率。使用相对熵来衡量全精度网络概率输出和量化网络的概率输出之间的差异。在训练的过程中，本实施例使用随机梯度下降算法分别最小化目标物函数。

进一步地，参考图2，在一些实施例中，还提供一种采用上述系统的无人机电力巡检的缺陷检测方法，包括：

S1、无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；

S2、机载端侧智能分析服务器根据所述视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台；

S3、所述飞控平台根据所述调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

S4、无人机完成巡检时将所述目标物图像发送至所述机巢侧智能分析服务器，所述机巢侧智能分析服务器根据所述目标物图像进行缺陷检测。

具体地，步骤S2中，所述目标物位于摄像头视野中心，为所述目标物的几何中心坐标与摄像头视野中心坐标重合，或者所述目标物的几何中心坐标位于摄像头视野中心坐标周围预设范围内。

进一步地，参考图3，步骤S2中，根据视频图像计算生成调整控制信号，包括：

S21、从所述视频数据中提取多帧视频图像，采用知识蒸馏的非均匀量化的FCOS目标检测算法检测所述视频图像，获得多个预测边框以及预测边框中目标物的所属类别置信度；

S22、根据所述所述类别置信度，计算平均所属类别置信度，根据所述平均所述类别置信度以及预测边框在视频图像中的位置坐标，确定无人机的调整方向和调整角度，根据所述调整方向和调整角度，生成所述调整控制信号。

进一步地，步骤S22中，根据所述所属类别置信度，统计多帧视频图像中同一预测边框的每一种所属类别的数量；选取同一预测边框中数量最多的所属类别对应的所属类别置信度并对其计算平均值，获得平均所属类别置信度；根据选取的预测边框在视频图像中的位置坐标，计算其中心度；将所述平均所述类别置信度与各个选取的预测边框的中心度相乘，获得最终置信度；按照最终置信度从大到小的顺序以及对应的预测边框的中心度，依次计算无人机的调整方向和调整角度。

进一步地，步骤S4中，机巢侧智能分析服务器根据目标物图像的灰度方差函数和图像熵函数，对采集的目标物图像进行图像质量计算，对同一目标物选取图像质量最高的目标物图像进行缺陷检测。

图像质量计算公式请参考公式(1)-(3)，在此不再赘述。

进一步地，所述机巢侧智能分析服务器基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，根据所述缺陷检测模块进行目标物的缺陷检测。

其中，参考图4，基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，具体包括：

S41、采集目标物缺陷的样本图像，并创建训练集；

S42、构建基于FCOS算法的全精度模型和低精度模型，所述全精度模型和低精度模型包括骨架网络层、特征融合层以及检测头层；

S43、根据所述训练集，对所述全精度模型进行训练，直到所述全精度模型收敛；

S44、根据所述训练集和收敛后的全精度模型，对所述低精度模型进行联合训练，将收敛之后的低精度模型作为所述缺陷检测模型。

其中，步骤S43中，对所述全精度模型进行训练，具体包括：

将所述训练集输入至全精度模型，通过所述全精度模型的骨架网络层提取特征，通过特征融合层对各级特征进行融合，之后通过检测头层在各级特征每个位置上对目标物缺陷进行回归和分类，获得缺陷的预测结果；针对预测结果计算损失函数，根据损失函数的计算结果进行反向传播，更新所述全精度模型的参数，直到满足收敛条件。

进一步地，步骤S44中，对所述低精度模型进行联合训练，具体包括：

将所述训练集输入至所述低精度模型和收敛后的全精度模型，分别通过所述低精度模型和全精度模型的骨架网络层、特征融合层、检测头层，获得所述低精度模型和全精度模型对缺陷的预测结果；将收敛后的全精度模型对于缺陷的预测结果作为软标签与所述低精度模型进行交叉熵损失计算，根据交叉熵损失计算结果更新所述低精度模型和全精度模型，直到所述低精度模型和全精度模型均收敛，获得的低精度模型为所述缺陷检测模型。

具体训练方法请参考系统实施例，在此不再赘述。

上述实施例提供的系统和方法，通过调整无人机飞行姿态，针对待拍摄的目标物，使得目标物位于摄像头视野中心，后续采集的目标物图像更加准确，通过机载端侧智能分析服务器与飞控平台的配合完成巡检过程中的自动拍摄任务，大幅提升传统人工巡检的效率；同时，可依托机巢侧智能分析服务器完成对所拍摄图像数据的缺陷检测，通过双模型联合训练获得缺陷检测模型，有效提高缺陷检测的准确性。

以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。

Claims (10)

1.一种基于无人机电力巡检的缺陷检测系统，其特征在于，包括无人机和机巢侧智能分析服务器，所述无人机上设置有摄像头、机载端侧智能分析服务器和飞控平台；

所述无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；

机载端侧智能分析服务器用于根据所述视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台，所述飞控平台根据所述调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

无人机完成巡检时将所述目标物图像发送至所述机巢侧智能分析服务器，所述机巢侧智能分析服务器用于根据所述目标物图像进行缺陷检测。

2.如权利要求1所述的系统，其特征在于，所述目标物位于摄像头视野中心，为所述目标物的几何中心坐标与摄像头视野中心坐标重合，或者所述目标物的几何中心坐标位于摄像头视野中心坐标周围预设范围内。

3.如权利要求1或2所述的系统，其特征在于，所述机载端侧智能分析服务器用于从所述视频数据中提取多帧视频图像，采用知识蒸馏的非均匀量化的FCOS目标检测算法检测所述视频图像，获得多个预测边框以及预测边框中目标物的所属类别置信度；根据所述所述类别置信度，计算平均所属类别置信度，根据所述平均所述类别置信度以及预测边框在视频图像中的位置坐标，确定无人机的调整方向和调整角度，根据所述调整方向和调整角度，生成所述调整控制信号。

4.根据权利要求3所述的系统，所述机载端侧智能分析服务器用于根据所述所属类别置信度，统计多帧视频图像中同一预测边框的每一种所属类别的数量；选取同一预测边框中数量最多的所属类别对应的所属类别置信度并对其计算平均值，获得平均所属类别置信度；根据选取的预测边框在视频图像中的位置坐标，计算其中心度；将所述平均所述类别置信度与各个选取的预测边框的中心度相乘，获得最终置信度；按照最终置信度从大到小的顺序以及对应的预测边框的中心度，依次计算无人机的调整方向和调整角度。

5.如权利要求1或2所述的系统，其特征在于，所述机巢侧智能分析服务器还用于根据目标物图像的灰度方差函数和图像熵函数，对采集的目标物图像进行图像质量计算，对同一目标物选取图像质量最高的目标物图像进行缺陷检测。

6.如权利要求1所述的系统，其特征在于，所述机巢侧智能分析服务器基于知识蒸馏的非均匀量化的FCOS目标检测算法训练获得缺陷检测模型，根据所述缺陷检测模块进行目标物的缺陷检测。

7.如权利要求6所述的系统，其特征在于，所述机巢侧智能分析服务器还用于：

采集目标物缺陷的样本图像，并创建训练集；

构建基于FCOS算法的全精度模型和低精度模型，所述全精度模型和低精度模型包括骨架网络层、特征融合层以及检测头层；

根据所述训练集，对所述全精度模型进行训练，直到所述全精度模型收敛；

根据所述训练集和收敛后的全精度模型，对所述低精度模型进行联合训练，将收敛之后的低精度模型作为所述缺陷检测模型。

8.如权利要求7所述的系统，其特征在于，所述机巢侧智能分析服务器还用于：

将所述训练集输入至全精度模型，通过所述全精度模型的骨架网络层提取特征，通过特征融合层对各级特征进行融合，之后通过检测头层在各级特征每个位置上对目标物缺陷进行回归和分类，获得缺陷的预测结果；针对预测结果计算损失函数，根据损失函数的计算结果进行反向传播，更新所述全精度模型的参数，直到满足收敛条件。

9.如权利要求8所述的系统，其特征在于，所述机巢侧智能分析服务器还用于：

将所述训练集输入至所述低精度模型和收敛后的全精度模型，分别通过所述低精度模型和全精度模型的骨架网络层、特征融合层、检测头层，获得所述低精度模型和全精度模型对缺陷的预测结果；将收敛后的全精度模型对于缺陷的预测结果作为软标签与所述低精度模型进行交叉熵损失计算，根据交叉熵损失计算结果更新所述低精度模型和全精度模型，直到所述低精度模型和全精度模型均收敛，获得的低精度模型为所述缺陷检测模型。

10.一种采用如权利要求1-9任一所述系统的无人机电力巡检的缺陷检测方法，其特征在于，包括：

无人机按照预设巡检路径飞行，并在每个巡航点通过摄像头采集视频数据并发送至机载端侧智能分析服务器；

机载端侧智能分析服务器根据所述视频数据提取视频图像并识别待拍摄的目标物，根据视频图像计算生成调整控制信号并发送至无人机的飞控平台，所述飞控平台根据所述调整控制信号调整无人机的飞行姿态，使得目标物位于摄像头视野的中心，之后通过摄像头采集目标物图像；

无人机完成巡检时将所述目标物图像发送至所述机巢侧智能分析服务器，所述机巢侧智能分析服务器根据所述目标物图像进行缺陷检测。

Images