CN117873130A - 面向配电网无人机巡检的低成本自主巡检方法及无人机 - Google Patents
面向配电网无人机巡检的低成本自主巡检方法及无人机 Download PDFInfo
- Publication number
- CN117873130A CN117873130A CN202410046913.0A CN202410046913A CN117873130A CN 117873130 A CN117873130 A CN 117873130A CN 202410046913 A CN202410046913 A CN 202410046913A CN 117873130 A CN117873130 A CN 117873130A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- aerial vehicle
- unmanned aerial
- honey
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000009826 distribution Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 235000012907 honey Nutrition 0.000 claims description 113
- 230000006870 function Effects 0.000 claims description 32
- 241000257303 Hymenoptera Species 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000003746 surface roughness Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000010187 selection method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种面向配电网无人机巡检的低成本自主巡检方法及无人机，本发明方法包括在无人机飞行至被巡检杆塔上方时，确定无人机的航点和巡检拍照点位，在完成各个巡检拍照点位的巡检拍照作业后回到航点的位置，然后利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云，基于三维点云识别电力线点云，利用电力线点云规划无人机飞行的航线并控制无人机沿着航线飞行至下一个被巡检杆塔；同时基于三维点云进行障碍物检测，若检测到障碍物则调整无人机姿态进行避障。本发明能够在没有RTK(实时动态定位)系统的情况下面向配电网实现无人机自主巡检，无需人为操控，具有巡检成本低的优点。
Description
技术领域
本发明涉及配电网的无人机巡检技术领域，具体涉及一种面向配电网无人机巡检的低成本自主巡检方法及无人机。
背景技术
在配电网巡检领域，传统的巡检方式需要人工操作，耗时耗力且效率低下。近年来，随着无人机技术的快速发展，无人机巡检逐渐成为一种替代传统巡检方式的有效手段。然而，现有的无人机巡检技术存在一些问题，如高昂的成本、对RTK(实时动态定位)系统的依赖、无法自主规划巡检路线等。现有技术通常依赖于RTK系统进行无人机定位和路径规划，增加了设备成本和操作复杂性。在复杂的配电网环境中，存在大量障碍物，如杆塔和电线。目前的技术在遇到障碍物时通常需要人工干预，无法实现真正的自主避障。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向配电网无人机巡检的低成本自主巡检方法及无人机，本发明能够在没有RTK(实时动态定位)系统的情况下面向配电网实现无人机自主巡检，无需人为操控，具有巡检成本低的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种面向配电网无人机巡检的低成本自主巡检方法，包括在无人机飞行至被巡检杆塔上方时，确定无人机的航点和巡检拍照点位，在完成各个巡检拍照点位的巡检拍照作业后回到航点的位置，然后利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云，基于三维点云识别电力线点云，利用电力线点云规划无人机飞行的航线并控制无人机沿着航线飞行至下一个被巡检杆塔；同时基于三维点云进行障碍物检测，若检测到障碍物则调整无人机姿态进行避障。
可选地，所述确定无人机的航点和巡检拍照点位时，确定无人机的航点包括：
S101，利用摄像头获取被巡检杆塔的实时图像；
S102，针对被巡检杆塔的实时图像采用预先训练好的神经网络模型提取被巡检杆塔的关键点坐标，所述神经网络模型被预先训练建立了被巡检杆塔的实时图像、被巡检杆塔的关键点坐标之间的映射关系；
S103，从被巡检杆塔的关键点坐标中提取杆塔塔头的坐标和杆塔的方位，所述杆塔的方位为基于杆塔上的两个关键点的连线确定，结合无人机的位置信息确定无人机的航点，包括经纬度坐标、航向、无人机与杆塔塔头之间的距离。
可选地，所述确定无人机的航点和巡检拍照点位时，确定无人机的巡检拍照点位包括：
S201，利用深度摄像头拍摄地面图像；
S202，利用地面图像的深度信息获取无人机的对地距离；
S203，利用无人机的对地距离，结合杆塔塔头的坐标和杆塔的方位，确定无人机的巡检拍照点位的坐标。
可选地，所述基于三维点云识别电力线点云包括：
S301，获取三维点云；
S302，利用三维点云中点云的高差信息提取电力线候选点云；
S303，针对电力线候选点云计算候选点云特征；
S304，针对候选点云特征进行特征选择以得到提取出的电力线点云。
可选地，步骤S302包括：
S401，为点云数据在X-O-Y平面上建立格网；
S402，将每个格网内的高度最低的点云作为参考地面点；
S403，针对点云数据中的每一个点云，判断该点云与该点云所在格网内的参考地面点之间的高差是否超过预设阈值，若超过预设阈值则将该点云保留为电力线候选点云。
可选地，步骤S303中针对电力线候选点云计算候选点云特征时，计算的候选点云特征包括回波特征、密度特征、高程纹理特征、垂直剖面特征和基于特征值的特征中的部分或全部，所述回波特征是指邻域内回波强度均值，所述密度特征是指点云密度，所述高程纹理特征包括当前点与邻域内最低点的高差、当前点与邻域内最高点的高差以及邻域内高差的标准差，所述垂直剖面特征包括电力线候选点云的垂直剖面几何形态，所述基于特征值的特征包括候选点云特征的线性度、平面度、球形度、特征值之和、各向异性以及表面粗糙度中的部分或全部。
可选地，步骤S304中针对候选点云特征进行特征选择以得到提取出的电力线点云，是指采用人工蜂群算法ABC针对候选点云特征进行特征选择以得到提取出的电力线点云，包括：
S501，初始化迭代次数和蜜蜂种群，所述蜜蜂种群包括引领蜂和跟随蜂；
S502，将候选点云特征作为解空间中的蜜源，通过引领蜂在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；所述计算蜜源的适应度值的函数表达式为：
上式中，fiti为由特征子集表示的第i个蜜源的适应度值，fi为由特征子集表示的第i个蜜源的目标函数值，abs(fi)表示取fi的绝对值，且有目标函数值的计算函数表达式为：
f＝α×Acc-β×C，
上式中，f为目标函数值，Acc为由特征子集表示的蜜源在SVM分类器在训练集上的准确率，α和β为调节参数，C为蜜源的复杂度；
S503，根据下式计算选择的较好蜜源被选择的概率：
上式中，pi为第i个较好蜜源被选择的概率，fiti为由特征子集表示的第i个蜜源的适应度值，NP为采用贪心法选择的较好蜜源的数量；
S504，跟随蜂采用轮盘赌方式选择引领蜂，将候选点云特征作为解空间中的蜜源，在选择解的领域搜索得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；所述在选择解的领域搜索得到由特征子集表示的蜜源的函数表达式为：
上式中，vid表示在选择解的领域搜索得到由特征子集表示的蜜源，xid为选择解的领域中的第i个蜜源，xjd为选择解的领域中的第j个蜜源，j≠i，是[-1，1]均匀分布的随机数；
S505，判断是否有被放弃的蜜源，若有被放弃的蜜源，则将引领蜂转为侦查蜂，根据下式在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源：
上式中，表示第t+1次迭代得到由特征子集表示的第i个蜜源，/>表示第t次迭代得到由特征子集表示的第i个蜜源，Ld为蜜源解空间的搜索下限，rand(0，1)为0～1之间的随机数，Ud为蜜源解空间的搜索上限，triali为第t次迭代得到由特征子集表示的第i个蜜源/>被迭代搜索的次数，limit为预设的阈值；记录迄今为止最好的蜜源；
S506，判断迭代次数是否等于预设的最大迭代次数，若不等于预设的最大迭代次数，则跳转步骤S503，否则，将迄今为止最好的蜜源对应的特征子集作为提取出的电力线点云输出，结束并退出。
可选地，所述基于三维点云进行障碍物检测包括：
S601，获取点云数据；
S602，将点的RGB值作为特征向量，以区分不同点之间的差异；
S603，将每个点的特征向量作为输入数据，使用k-means聚类算法将点云数据进行预处理分成若干簇，k-means算法在预处理时根据每个点到簇中心的距离进行分类，使得同一个簇内的点距离中心点更近、不同簇之间的点距离更远，每个簇表示一个对象或障碍物；
S604，将预处理后的每个目标点云簇作为输入，经过PointNet网络进行特征提取，得到每个点云簇的特征表示；
S605，将得到每个点云簇的特征表示送入全连接层进行分类和回归，以检测障碍物并输出其位置和类别信息；所述分类任务是指全连接层的输出将被送入一个softmax激活函数，以获得每个类别的概率分布，从而实现点云数据的分类；所述回归任务是指全连接层的输出将被用来预测物体的位置信息，包括物体的中心坐标、边界框的尺寸；
S606，输出目标物体的类别信息和位置信息。
此外，本发明还提供一种无人机，包括无人机本体，所述无人机本体中设有相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述面向配电网无人机巡检的低成本自主巡检方法。
此外，本发明还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述面向配电网无人机巡检的低成本自主巡检方法。
和现有技术相比，本发明主要具有下述优点：本发明方法包括在无人机飞行至被巡检杆塔上方时，确定无人机的航点和巡检拍照点位，在完成各个巡检拍照点位的巡检拍照作业后回到航点的位置，然后利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云，基于三维点云识别电力线点云，利用电力线点云规划无人机飞行的航线并控制无人机沿着航线飞行至下一个被巡检杆塔；同时基于三维点云进行障碍物检测，若检测到障碍物则调整无人机姿态进行避障。本发明能够在没有RTK(实时动态定位)系统的情况下面向配电网实现无人机自主巡检，无需人为操控，具有巡检成本低的优点。
附图说明
图1为本发明实施例方法的基本原理示意图。
图2为本发明实施例中的无人机巡线示意图。
图3为本发明实施例中的电力线提取示意图。
图4为本发明实施例中基于ABC算法和SVM分类的特征选择示意图。
图5为本发明实施例中的障碍物检测示意图。
具体实施方式
附图的详细说明意在作为本申请的一些实施例的说明，而非意在代表本申请能够得以实现的仅有形式。应理解的是，相同或等同的功能可以由意在包含于本申请的精神和范围之内的不同实施例完成。
如图1所示，本实施例面向配电网无人机巡检的低成本自主巡检方法包括在无人机飞行至被巡检杆塔上方时，确定无人机的航点和巡检拍照点位，在完成各个巡检拍照点位的巡检拍照作业后回到航点的位置，然后利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云，基于三维点云识别电力线点云，利用电力线点云规划无人机飞行的航线并控制无人机沿着航线飞行至下一个被巡检杆塔；同时基于三维点云进行障碍物检测，若检测到障碍物则调整无人机姿态进行避障。作为一种可选的实施方式，参见图1，本实施例中利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云时，采用的深度摄像头为D435i深度摄像头。
参见图1可知，本实施例方法首先获取杆塔位置信息，设定无人机与杆塔塔头的预设距离，无人机飞到杆塔正上方，通过Realsense-D435i摄像头拍摄的实时画面，利用基于神经网络的特征点检测和描述算法，提取杆塔关键信息，生成航点，保存航点信息，所述航点信息包括经纬度坐标信息、航向、无人机与杆塔塔头之间的距离。测量无人机对地距离，并根据所述预设距离，确定无人机的拍照点位。无人机在巡检完所述点位后，回到航点位置。无人机通过所述摄像头拍摄的实时视频流生成三维点云数据，所述的生成三维点云数据的整个过程包括点云生成、降噪、表面重建。点云生成利用RGB和深度信息将每个像素点转换成三维空间中的一个点；通过高斯滤波算法取出点云数据中包含的噪声，提高点云的质量；使用体素格网重建对点云数据进行表面重建，有助于所述的障碍物识别。通过基于特征选择的方法提取出架空电线，规划出无人机飞行航线。无人机沿着架空电线，飞向下一个待巡检杆塔。根据所述三维点云，利用分割点云算法，检测出障碍物。通过深度图探测与障碍物的距离，在无人机飞抵与障碍物的安全距离时，控制终端获取无人机当前的飞行姿态、飞行高度，并根据障碍物的大小，调整无人机姿态，进行避障。
本实施例中确定无人机的航点和巡检拍照点位时，确定无人机的航点包括：
S101，利用摄像头获取被巡检杆塔的实时图像；
S102，针对被巡检杆塔的实时图像采用预先训练好的神经网络模型提取被巡检杆塔的关键点坐标，所述神经网络模型被预先训练建立了被巡检杆塔的实时图像、被巡检杆塔的关键点坐标之间的映射关系；
S103，从被巡检杆塔的关键点坐标中提取杆塔塔头的坐标和杆塔的方位，所述杆塔的方位为基于杆塔上的两个关键点的连线确定，结合无人机的位置信息确定无人机的航点，包括经纬度坐标、航向、无人机与杆塔塔头之间的距离。例如作为一种可选的实施方式，本实施例中针对被巡检杆塔的实时图像采用预先训练好的SuperPoint网络，该网络输出一组关键点及其描述子；选择高质量的角点和边缘点，筛选出关键点；将筛选后的关键点位置映射到地理坐标系，生成无人机航点。生成无人机航点后，保存航点信息。测量无人机对地距离，根据预设距离，确定无人机拍照点位。无人机飞行到指定点位后，采集巡检图像并返回航点。当然的，无人机在每个航点进行相同操作。
如图2所示，本实施例中确定无人机的航点和巡检拍照点位时，确定无人机的巡检拍照点位包括：
S201，利用深度摄像头拍摄地面图像；
S202，利用地面图像的深度信息获取无人机的对地距离；
S203，利用无人机的对地距离，结合杆塔塔头的坐标和杆塔的方位，确定无人机的巡检拍照点位的坐标。
本实施例中基于三维点云识别电力线点云包括：
S301，获取三维点云；
S302，利用三维点云中点云的高差信息提取电力线候选点云；
S303，针对电力线候选点云计算候选点云特征；
S304，针对候选点云特征进行特征选择以得到提取出的电力线点云。
候选点分割方法是一种基于电力线悬空分布特性的方法，利用高差信息提取电力线候选点。首先，在X-O-Y平面上建立格网，并在每个格网内搜索高程最低点作为参考地面点。对于每个格网内的点云数据，计算其与参考地面点的高差值，若高差值大于设定阈值，则将该点保留为电力线候选点。如图3所示，本实施例中步骤S302包括：
S401，为点云数据在X-O-Y平面上建立格网；
S402，将每个格网内的高度最低的点云作为参考地面点；
S403，针对点云数据中的每一个点云，判断该点云与该点云所在格网内的参考地面点之间的高差是否超过预设阈值，若超过预设阈值则将该点云保留为电力线候选点云。
本实施例步骤S303中针对电力线候选点云计算候选点云特征时，计算的候选点云特征包括回波特征、密度特征、高程纹理特征、垂直剖面特征和基于特征值的特征中的部分或全部，回波特征是指邻域内回波强度均值，密度特征是指点云密度，高程纹理特征包括当前点与邻域内最低点的高差、当前点与邻域内最高点的高差以及邻域内高差的标准差，垂直剖面特征包括电力线候选点云的垂直剖面几何形态，基于特征值的特征包括候选点云特征的线性度、平面度、球形度、特征值之和、各向异性以及表面粗糙度中的部分或全部。
如图4所示，本实施例中步骤S304中针对候选点云特征进行特征选择以得到提取出的电力线点云，是指采用人工蜂群算法ABC(Artificial Bee Colony)针对候选点云特征进行特征选择以得到提取出的电力线点云，包括：
S501，初始化迭代次数和蜜蜂种群，所述蜜蜂种群包括引领蜂和跟随蜂；
S502，将候选点云特征作为解空间中的蜜源，通过引领蜂在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；将候选点云特征作为解空间中的蜜源时，蜜源i(i＝1，2，..，NP)的质量对应于解的适应度fiti，NP为蜜源的数量。设求解问题的维数为D，在t次迭代时蜜源i的位置表示为其中t表示当前的迭代次数；/>Ld和Ud分别表示搜索空间的下限和上限，d＝1，2，...，D。蜜源i的初始位置按照式(1)在搜索空间随机产生：
xid＝Ld+rand(0，1)(Ud-Ld)， (1)
上式中，xid为随机产生的蜜源i的初始位置，Ld和Ud分别表示搜索空间的下限和上限，rand(0，1)为0和1之间的随机数；所述计算蜜源的适应度值的函数表达式为：
上式中，fiti为由特征子集表示的第i个蜜源的适应度值，fi为由特征子集表示的第i个蜜源的目标函数值，abs(fi)表示取fi的绝对值，且有目标函数值的计算函数表达式为：
f＝α×Acc-β×C， (3)
上式中，f为目标函数值，Acc为由特征子集表示的蜜源在SVM分类器在训练集上的准确率，α和β为调节参数，C为蜜源的复杂度；本实施例中SVM分类器的决策函数公式如下：
f(x)＝sign(wT*x+b)，
其中，f(x)为SVM分类器的决策函数，sign为符号函数，w是权重向量，上标T表示向量的转置操作，x是输入特征向量，b是偏置项；
S503，根据下式计算选择的较好蜜源被选择的概率：
上式中，pi为第i个较好蜜源被选择的概率，fiti为由特征子集表示的第i个蜜源的适应度值，NP为采用贪心法选择的较好蜜源的数量；
S504，跟随蜂采用轮盘赌方式选择引领蜂，将候选点云特征作为解空间中的蜜源，在选择解的领域搜索得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；所述在选择解的领域搜索得到由特征子集表示的蜜源的函数表达式为：
上式中，vid表示在选择解的领域搜索得到由特征子集表示的蜜源，xid为选择解的领域中的第i个蜜源，xjd为选择解的领域中的第j个蜜源，j≠i，是[-1，1]均匀分布的随机数；当新蜜源vid的适应度优于xid时，采用贪婪选择方法用新蜜源代替原来的蜜源，否则保留xid。所有的引领蜂完成式(5)的运算后，飞回信息交流区共享蜜源；
S505，判断是否有被放弃的蜜源，若有被放弃的蜜源，则将引领蜂转为侦查蜂，根据下式在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源：
上式中，表示第t+1次迭代得到由特征子集表示的第i个蜜源，/>表示第t次迭代得到由特征子集表示的第i个蜜源，Ld为蜜源解空间的搜索下限，rand(0,1)为0～1之间的随机数，Ud为蜜源解空间的搜索上限，triali为第t次迭代得到由特征子集表示的第i个蜜源/>被迭代搜索的次数，limit为预设的阈值；记录迄今为止最好的蜜源；
S506，判断迭代次数是否等于预设的最大迭代次数，若不等于预设的最大迭代次数，则跳转步骤S503，否则，将迄今为止最好的蜜源对应的特征子集作为提取出的电力线点云输出，结束并退出。
本实施例在搜索蜜源的过程中，蜜蜂进行局部搜索和全局搜索，两种搜索相互作用，共同推动特征选择过程的进行。所述局部搜索是指每个蜜蜂根据自己的领域信息进行搜索，尝试改进当前的特征子集。所述全局搜索是指蜜蜂之间共享最佳特征子集的信息来促进整个蜜蜂群体的搜索效率，这种信息交流通过选择适应值最好的蜜蜂作为“侦查蜂”，它们会在整个特征子集空间中进行搜索，并将其发现的最佳特征子集广播给其他蜜蜂。相较于单独的ABC算法，本实施例提出的基于ABC和SVM分类器的特征选择方法具有以下优势：(1)，传统的ABC算法通常只考虑优化目标，例如最大化目标函数或最小化代价函数。而结合了SVM分类的特征选择方法可以在特征选择过程中综合考虑分类算法的性能指标，使得特征选择更加准确和可靠。(2)，通过结合SVM分类器，特征选择方法能够利用SVM所学习到的特征重要性信息，将领域知识引入到特征选择过程中。这有助于更好地捕捉特征与目标变量之间的关系。(3)，传统的人工蜂群算法可能对初始解的依赖较大，容易受到噪声数据的干扰。而结合了SVM分类的特征选择方法可以通过SVM分类器的稳健性来提高特征选择的稳定性。SVM分类器对噪声数据具有一定的容错性，能够更好地过滤噪声特征，从而得到更稳定的特征子集。
如图5所示，本实施例基于三维点云进行障碍物检测包括：
S601，获取点云数据；
S602，将点的RGB值作为特征向量，以区分不同点之间的差异；
S603，将每个点的特征向量作为输入数据，使用k-means聚类算法将点云数据进行预处理分成若干簇，k-means算法在预处理时根据每个点到簇中心的距离进行分类，使得同一个簇内的点距离中心点更近、不同簇之间的点距离更远，每个簇表示一个对象或障碍物；
S604，将预处理后的每个目标点云簇作为输入，经过PointNet网络进行特征提取，得到每个点云簇的特征表示；
S605，将得到每个点云簇的特征表示送入全连接层进行分类和回归，以检测障碍物并输出其位置和类别信息；所述分类任务是指全连接层的输出将被送入一个softmax激活函数，以获得每个类别的概率分布，从而实现点云数据的分类；所述回归任务是指全连接层的输出将被用来预测物体的位置信息，包括物体的中心坐标、边界框的尺寸；
S606，输出目标物体的类别信息和位置信息。
其中，步骤S602～S603用于点云分割(Point Cloud Segmentation)，针对获取点云数据基于聚类的点云分割算法对点云数据进行处理，将点云数据根据点之间的距离以及色块一致性进行聚类，将同一物体的点划分为同一类别。步骤S604～S605用于目标检测(Object Detection)：利用深度学习模型进行目标检测。首先，将经过点云分割得到的不同类别的点云数据输入PointNet模型中，模型通过卷积层提取点云的特征表示。然后，通过全连接层对提取的特征进行分类和回归，以检测障碍物并输出其位置和类别信息。步骤S606则用于输出结果(Output)：根据PointNet模型的输出，得到障碍物的位置和类别信息。在本实施例中，控制终端在计算出障碍物的位置和类别信息后，向无人机发出避障指令，改变无人机的旋翼转速，前进方向，达到避障。在避障后继续沿着航线飞行，进行巡检操作。
综上所述，本实施例方法利用无人机搭载的Realsense-D435i摄像头和基于神经网络的特征点检测和描述算法，能够快速获取杆塔的位置信息，并生成航点，实现高效准确的杆塔信息提取；本实施例方法采用的基于特征选择的电力线提取算法和智能优化算法，能够自动选择适合的特征集合，提高了电力线提取的准确性和效率。本实施例方法实现了无人机在无RTK环境下能够自主巡检，无需人工干预，减少了人力资源的投入，降低了巡检成本；本实施例方法通过分割点云算法和深度学习模型，实现对障碍物的检测和识别，根据障碍物的大小和无人机的安全距离，动态调整无人机的姿态，实现避障功能，有避免无人机在巡检过程中与障碍物的碰撞，保证巡检的安全性和可靠性。
此外，本实施例还提供一种无人机，包括无人机本体，所述无人机本体中设有相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述面向配电网无人机巡检的低成本自主巡检方法。此外，本实施例还提供一种计算机可读存储介质，其中存储有计算机程序，所述计算机程序用于被微处理器编程或配置以执行所述面向配电网无人机巡检的低成本自主巡检方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种面向配电网无人机巡检的低成本自主巡检方法，其特征在于，包括在无人机飞行至被巡检杆塔上方时，确定无人机的航点和巡检拍照点位，在完成各个巡检拍照点位的巡检拍照作业后回到航点的位置，然后利用无人机搭载的深度摄像头实时拍摄视频流生成三维点云，基于三维点云识别电力线点云，利用电力线点云规划无人机飞行的航线并控制无人机沿着航线飞行至下一个被巡检杆塔；同时基于三维点云进行障碍物检测，若检测到障碍物则调整无人机姿态进行避障。
2.根据权利要求1所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，所述确定无人机的航点和巡检拍照点位时，确定无人机的航点包括：
S101，利用摄像头获取被巡检杆塔的实时图像；
S102，针对被巡检杆塔的实时图像采用预先训练好的神经网络模型提取被巡检杆塔的关键点坐标，所述神经网络模型被预先训练建立了被巡检杆塔的实时图像、被巡检杆塔的关键点坐标之间的映射关系；
S103，从被巡检杆塔的关键点坐标中提取杆塔塔头的坐标和杆塔的方位，所述杆塔的方位为基于杆塔上的两个关键点的连线确定，结合无人机的位置信息确定无人机的航点，包括经纬度坐标、航向、无人机与杆塔塔头之间的距离。
3.根据权利要求1所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，所述确定无人机的航点和巡检拍照点位时，确定无人机的巡检拍照点位包括：
S201，利用深度摄像头拍摄地面图像；
S202，利用地面图像的深度信息获取无人机的对地距离；
S203，利用无人机的对地距离，结合杆塔塔头的坐标和杆塔的方位，确定无人机的巡检拍照点位的坐标。
4.根据权利要求1所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，所述基于三维点云识别电力线点云包括：
S301，获取三维点云；
S302，利用三维点云中点云的高差信息提取电力线候选点云；
S303，针对电力线候选点云计算候选点云特征；
S304，针对候选点云特征进行特征选择以得到提取出的电力线点云。
5.根据权利要求4所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，步骤S302包括：
S401，为点云数据在X-O-Y平面上建立格网；
S402，将每个格网内的高度最低的点云作为参考地面点；
S403，针对点云数据中的每一个点云，判断该点云与该点云所在格网内的参考地面点之间的高差是否超过预设阈值，若超过预设阈值则将该点云保留为电力线候选点云。
6.根据权利要求4所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，步骤S303中针对电力线候选点云计算候选点云特征时，计算的候选点云特征包括回波特征、密度特征、高程纹理特征、垂直剖面特征和基于特征值的特征中的部分或全部，所述回波特征是指邻域内回波强度均值，所述密度特征是指点云密度，所述高程纹理特征包括当前点与邻域内最低点的高差、当前点与邻域内最高点的高差以及邻域内高差的标准差，所述垂直剖面特征包括电力线候选点云的垂直剖面几何形态，所述基于特征值的特征包括候选点云特征的线性度、平面度、球形度、特征值之和、各向异性以及表面粗糙度中的部分或全部。
7.根据权利要求4所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，步骤S304中针对候选点云特征进行特征选择以得到提取出的电力线点云，是指采用人工蜂群算法ABC针对候选点云特征进行特征选择以得到提取出的电力线点云，包括：
S501，初始化迭代次数和蜜蜂种群，所述蜜蜂种群包括引领蜂和跟随蜂；
S502，将候选点云特征作为解空间中的蜜源，通过引领蜂在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；所述计算蜜源的适应度值的函数表达式为：
上式中，fiti为由特征子集表示的第i个蜜源的适应度值，fi为由特征子集表示的第i个蜜源的目标函数值，abs(fi)表示取fi的绝对值，且有目标函数值的计算函数表达式为：
f＝α×Acc-β×C，
上式中，f为目标函数值，Acc为由特征子集表示的蜜源在SVM分类器在训练集上的准确率，α和β为调节参数，C为蜜源的复杂度；
S503，根据下式计算选择的较好蜜源被选择的概率：
上式中，pi为第i个较好蜜源被选择的概率，fiti为由特征子集表示的第i个蜜源的适应度值，NP为采用贪心法选择的较好蜜源的数量；
S504，跟随蜂采用轮盘赌方式选择引领蜂，将候选点云特征作为解空间中的蜜源，在选择解的领域搜索得到由特征子集表示的蜜源，将生成的蜜源输入SVM分类器中，计算蜜源的适应度值，采用贪心法选择较好蜜源；所述在选择解的领域搜索得到由特征子集表示的蜜源的函数表达式为：
上式中，vid表示在选择解的领域搜索得到由特征子集表示的蜜源，xid为选择解的领域中的第i个蜜源，xjd为选择解的领域中的第j个蜜源，j≠i，是[-1,1]均匀分布的随机数；
S505，判断是否有被放弃的蜜源，若有被放弃的蜜源，则将引领蜂转为侦查蜂，根据下式在解空间中随机搜索蜜源领域得到由特征子集表示的蜜源：
上式中，表示第t+1次迭代得到由特征子集表示的第i个蜜源，/>表示第t次迭代得到由特征子集表示的第i个蜜源，Ld为蜜源解空间的搜索下限，rand(0,1)为0～1之间的随机数，Ud为蜜源解空间的搜索上限，triali为第t次迭代得到由特征子集表示的第i个蜜源/>被迭代搜索的次数，limit为预设的阈值；记录迄今为止最好的蜜源；
S506，判断迭代次数是否等于预设的最大迭代次数，若不等于预设的最大迭代次数，则跳转步骤S503，否则，将迄今为止最好的蜜源对应的特征子集作为提取出的电力线点云输出，结束并退出。
8.根据权利要求1所述的面向配电网无人机巡检的低成本自主巡检方法，其特征在于，所述基于三维点云进行障碍物检测包括：
S601，获取点云数据；
S602，将点的RGB值作为特征向量，以区分不同点之间的差异；
S603，将每个点的特征向量作为输入数据，使用k-means聚类算法将点云数据进行预处理分成若干簇，k-means算法在预处理时根据每个点到簇中心的距离进行分类，使得同一个簇内的点距离中心点更近、不同簇之间的点距离更远，每个簇表示一个对象或障碍物；
S604，将预处理后的每个目标点云簇作为输入，经过PointNet网络进行特征提取，得到每个点云簇的特征表示；
S605，将得到每个点云簇的特征表示送入全连接层进行分类和回归，以检测障碍物并输出其位置和类别信息；所述分类任务是指全连接层的输出将被送入一个softmax激活函数，以获得每个类别的概率分布，从而实现点云数据的分类；所述回归任务是指全连接层的输出将被用来预测物体的位置信息，包括物体的中心坐标、边界框的尺寸；
S606，输出目标物体的类别信息和位置信息。
9.一种无人机，包括无人机本体，所述无人机本体中设有相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述面向配电网无人机巡检的低成本自主巡检方法。
10.一种计算机可读存储介质，其中存储有计算机程序，其特征在于，所述计算机程序用于被微处理器编程或配置以执行权利要求1～8中任意一项所述面向配电网无人机巡检的低成本自主巡检方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410046913.0A CN117873130A (zh) | 2024-01-11 | 2024-01-11 | 面向配电网无人机巡检的低成本自主巡检方法及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410046913.0A CN117873130A (zh) | 2024-01-11 | 2024-01-11 | 面向配电网无人机巡检的低成本自主巡检方法及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117873130A true CN117873130A (zh) | 2024-04-12 |
Family
ID=90580738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410046913.0A Pending CN117873130A (zh) | 2024-01-11 | 2024-01-11 | 面向配电网无人机巡检的低成本自主巡检方法及无人机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117873130A (zh) |
-
2024
- 2024-01-11 CN CN202410046913.0A patent/CN117873130A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Uy et al. | Pointnetvlad: Deep point cloud based retrieval for large-scale place recognition | |
| Tang et al. | Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features | |
| US20210390329A1 (en) | Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium | |
| CN109614985B (zh) | 一种基于密集连接特征金字塔网络的目标检测方法 | |
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| CN109598241B (zh) | 基于Faster R-CNN的卫星图像海上舰船识别方法 | |
| KR102279376B1 (ko) | CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| US11556745B2 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| US7995055B1 (en) | Classifying objects in a scene | |
| KR102279388B1 (ko) | 차선 모델을 이용하여 차선을 검출할 수 있는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
| JP2020038662A (ja) | 車線候補ピクセルを分類して車線を検出する学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ， ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ｌａｎｅ ｔｈｒｏｕｇｈ ｃｌａｓｓｉｆｙｉｎｇ ｌａｎｅ ｃａｎｄｉｄａｔｅ ｐｉｘｅｌｓ ａｎｄ ｔｅｓｔ ｍｅｔｈｏｄ， ｔｅｓｔ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝ | |
| CN108470174B (zh) | 障碍物分割方法及装置、计算机设备及可读介质 | |
| CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
| Pham et al. | Road damage detection and classification with YOLOv7 | |
| CN113484875B (zh) | 一种基于混合高斯排序的激光雷达点云目标分级识别方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| US9892340B2 (en) | Method for classifying objects in an imaging surveillance system | |
| CN110909588A (zh) | 基于cnn的用于车道线检测的方法和装置 | |
| CN113205139A (zh) | 一种基于密度聚类的无人艇水上球体检测方法 | |
| CN105760813A (zh) | 一种基于植物枝根演化行为的无人机目标检测方法 | |
| CN117873130A (zh) | 面向配电网无人机巡检的低成本自主巡检方法及无人机 | |
| Guan et al. | 3D-Cnn Based Tree species classification using mobile lidar data | |
| CN115376023A (zh) | 基于形变卷积网络的养殖区域检测方法、无人机、介质 | |
| CN114924260A (zh) | 一种多激光雷达点云配准方法 | |
| JP2023528530A (ja) | 訓練装置、制御方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |