CN116188470B - 一种基于无人机航拍识别的故障定位方法和系统 - Google Patents
一种基于无人机航拍识别的故障定位方法和系统 Download PDFInfo
- Publication number
- CN116188470B CN116188470B CN202310479331.7A CN202310479331A CN116188470B CN 116188470 B CN116188470 B CN 116188470B CN 202310479331 A CN202310479331 A CN 202310479331A CN 116188470 B CN116188470 B CN 116188470B
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- image
- fault
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 claims abstract description 57
- 230000010354 integration Effects 0.000 claims abstract description 13
- 239000000575 pesticide Substances 0.000 claims description 44
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 34
- 238000005507 spraying Methods 0.000 claims description 30
- 230000011218 segmentation Effects 0.000 claims description 22
- 239000005437 stratosphere Substances 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 230000000704 physical effect Effects 0.000 claims description 7
- 238000009792 diffusion process Methods 0.000 claims description 6
- 239000003814 drug Substances 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000005260 corrosion Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012706 support-vector machine Methods 0.000 claims description 4
- 230000012010 growth Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000003058 natural language processing Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明请求保护一种基于无人机航拍识别的故障定位方法和系统，通过人工校正无人机航拍图像，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；对标准位置停机坪样本图像的无人机航拍图像执行图像叠合比对，得到候选无人机坐标，分析候选故障无人机样本图像的异构故障特征集，分类为故障和无故障无人机样本图像；分析航拍样本图像，依次执行无人机部件的检测，依靠得到的无人机部件检测得分执行多图像类别数据整合的无人机故障定位，将选举得分最大的一类作为无人机故障定位得分。本发明的方案可有效基于航拍图像的拍摄效果对无人机的故障与否进行识别并给出准确的故障定位。
Description
技术领域
本申请涉及命令响应技术领域，特别涉及一种基于无人机航拍识别的故障定位方法和系统。
背景技术
随着科技的发展，控制航拍无人机在空中拍摄目标区域的图像，已成为一种观测目标区域状况、侦查、搜寻目标的新手段，在提升效率的同时也极大的拓展了使用者的视野。
现今绝大多数的航拍无人机向控制器返回的执行结果中，仅包括非常简单的、笼统的结论，例如执行成功、执行失败这两种非常宽泛的结论，相较于相对唯一的执行成功结果，相当数量的影响因素都会导致执行失败，在无法根据该执行结果准确定位具体失败原因的情况下，只能一一变更所有可能导致执行失败的影响因素，在产品开发、测试的过程中，会为产品故障发现和修复提供极大的障碍，极大的降低了故障发现和解决的效率。
目前无人机执行器的故障诊断方法主要分为两种，基于解析模型的方法和基于数据驱动的方法。对于基于解析模型的方法，需要对无人机系统建立复杂的观测器模型，同时也难以对干扰、噪声以及误差进行精确建模，对观测器参数的设计要求很高。
发明内容
为了解决当前无人机航拍图像中识别出无人机故障效率低下的问题，本发明请求保护一种基于无人机航拍识别的故障定位方法和系统。
根据本发明第一方面，本发明请求保护一种基于无人机航拍识别的故障定位方法，所述方法具体过程为：
S101、人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
S201、对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
S301、分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
S401、对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
S501、依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
S601、采用S501取选举得分最大的一类作为无人机故障定位得分。
进一步地，所述S101中人工校正第一无人机航拍图像和第二无人机航拍图像，只对航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；具体过程为：
S1011、人工校正第一无人机航拍图像和第二无人机航拍图像，在第一无人机航拍图像上依靠航拍点网格单元距离配置数据均匀的原则，筛选平流层上的特征点，特征点筛选应符合下式：
符合特征
的点即为特征点，其中N为邻居点，D为航拍网格单元距离值，(a,b)为平流层上的任一点，/>
为(a,b)的八邻居点，s为天空的网格单元距离值上限；
S1012、依靠筛选的特征点执行航拍区延伸，得到整个平流层航拍区，进行逆运算获得整个平流层航拍区，取两者的分割线，即可获得地空分割线，将地空分割线执行腐蚀生长，得到地空分割位置；
S1013、在地空分割位置执行飞行路线核准，认为所述飞行路线为无人机本身或无人机所停驻的停机坪，依靠所述飞行路线角度调整停机坪样本图像至标准位置，即获得包含标准位置停放无人机的停机坪样本图像。
进一步地，所述S201中对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，分析对应坐标的候选故障无人机样本图像；具体过程为：
S2011、在调整至标准位置的航拍和无人机停机坪样本图像上执行故障无人机样本图像检测，依据无人机图像依据最小值扩散确定特征关键点，然后对航拍图像每个特征关键点的x方向执行网格单元距离值分析，来寻找无人机头、无人机尾与天空的分割点，获得无人机的横坐标；
S2012、再依据对无人机图像每个特征关键点x方向左右各50个网格单元距离对应的y方向的对比度值执行统计，获得y方向对比度曲线，在计算出平流层平均对比度后，得到无人机与天空在y方向上的分界线，获得无人机身上下的纵坐标；
S2013、依靠横纵坐标，标记回调整至标准位置的航拍和无人机停机坪样本图像即分析出候选故障无人机样本图像。
进一步的，所述S301中分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；具体过程为：
针对候选故障无人机样本图像的航拍与故障无人机样本图像，依次分析航拍样本图像的物理属性、运动属性、梯度直方图特征以及故障无人机样本图像的物理属性、运动属性、光学属性，构造一个多属性整合向量，依据完成训练的二元SVM，实现故障无人机样本图像的检测。
进一步地，所述S401中对分类为无人机的样本图像，分析无人机的样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析无人机的样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
具体过程为：
S4011、采用关键点配准方法实现对飞行操控平台的检测；
S4012、采用边框分析方法得到无人机感应器类型、无人机喷药器位置；
S4013、采用对比度相关性方法得到桨叶、螺旋桨装置位置。
进一步地，所述S4011中采用关键点配准方法实现对飞行操控平台的检测；具体过程为：
依据快速鲁棒特征分析故障无人机样本图像的SURF关键点；
依据分析到的SURF关键点，再采用自然语言处理方法构建每个强弱训练样本的特征向量，然后将特征向量输入支持向量机分类器执行训练，得到完成训练的SVM分类器；
在故障无人机样本图像上滑动窗口分析小样本图像，构建SURF句柄特征，依据完成训练的SVM分类器实现对飞行操控平台的检测；
所述S4012中采用边框分析方法得到无人机感应器类型、无人机喷药器位置；具体过程为：
通过边缘分析算法对故障无人机样本图像分析边缘图像，对分析的边缘图像执行形态学处理即获得故障无人机样本图像的降噪图像，在对降噪图像执行边框分析，获得故障无人机样本图像的外边框；
依据提前完成训练的不同故障的真实无人机感应器图作为卷积算子，对获得故障无人机样本图像的外边框图执行卷积滤波，形成无人机感应器响应图，再依据上限判断区分不同类型无人机头弧度的无人机，并且同时获得无人机喷药器的位置。
进一步的，所述S4013中采用对比度相关性方法得到桨叶、螺旋桨装置位置；具体过程为：
SS402、设H为输入的遥感图像的网格单元距离值图，尺寸为K*L，对于H中的网格单元距离对比度关联图中任意一网格单元距离点的对比度相关度
的值为
其中，
是网格单元距离/>
和网格单元距离/>
的网格相对差值；
,p、q、j、k为网格单元距离值图中某一点坐标值；
SS403、对于第二无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合桨叶几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即桨叶中心位置；
桨叶几何约束条件包括：上限分割后得到的邻居域密度小于0.8，上限分割后得到的邻居域面积大于500网格单元距离，小于2000网格单元距离，长宽比大于2；
SS404、对第一无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合螺旋桨装置几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即螺旋桨装置中心位置：
螺旋桨装置几何约束条件包括：上限分割后得到的邻居域密度大于0.7，上限分割后得到的邻居域面积大于85网格单元距离，小于350网格单元距离，长宽比小于2.5。
进一步地，所述S501中依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；具体过程为：
对于无人机位置，规定位置在135-434网格单元距离的无人机类型为喷洒农药无人机，位置在435-688网格单元距离的无人机类型为导航无人机，其它位置则为其它无人机；
对于无人机高度，规定高度在42-67网格单元距离的无人机类型为喷洒农药无人机，高度在31-41网格单元距离的无人机类型为导航无人机，其它高度则为其它无人机；
针对飞行操控平台类型，检测到重型类型飞行操控平台的无人机认为是喷洒农药无人机或者导航无人机，其他类型飞行操控平台的无人机为其它无人机；
针对无人机感应器类型，依靠提前训练的喷洒农药无人机和导航无人机的真实无人机感应器图，能够检测出喷洒农药无人机感应器的无人机认为是喷洒农药无人机，能够检测出导航无人机感应器的无人机认为是导航无人机，都不能检测出的认为是其它无人机；
针对无人机喷药器位置，依据对边框响应点执行最小值扩散，获得边框响应的极大值点，即无人机头的中心点，获得无人机喷药器位置的坐标；无人机喷药器位置的坐标和无人机前端的坐标若一致，则认为该无人机类型与无人机感应器类型一致，否则认为是其它无人机；
针对桨叶位置，桨叶与无人机头的距离在108-147网格单元距离内认为是喷洒农药无人机，在148-223网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；
针对螺旋桨装置位置，前端螺旋桨装置与无人机头的距离在52-76网格单元距离内认为是喷洒农药无人机，在77-95网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；后端螺旋桨装置与无人机头的距离在194-258网格单元距离内认为是喷洒农药无人机，在259-336网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；其中前后端任取一个作为判断标准即可。
进一步的，所述S601中采用S501取选举得分最大的一类作为无人机故障定位得分；具体过程为：
将无人机的无人机部件检测得分分七次执行选举，取选举得分的最大值作为无人机类型定位得分。
根据本发明第二方面，本发明请求保护一种基于无人机航拍识别的故障定位系统，包括：
预处理模块，人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
候选模块，对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
故障聚类模块，分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
候选故障定位模块，对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
故障定位模块依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
反馈模块，采用S501取选举得分最大的一类作为无人机故障定位得分。
本发明请求保护基于无人机航拍识别的故障定位方法和系统，通过人工校正无人机航拍图像，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；对标准位置停机坪样本图像的无人机航拍图像执行图像叠合比对，得到候选无人机坐标，分析候选故障无人机样本图像的异构故障特征集，分类为故障和无故障无人机样本图像；分析航拍样本图像，依次执行无人机部件的检测，依靠得到的无人机部件检测得分执行多图像类别数据整合的无人机故障定位，将选举得分最大的一类作为无人机故障定位得分。本发明的方案可有效基于航拍图像的拍摄效果对无人机的故障与否进行识别并给出准确的故障定位。
附图说明
图1为本发明所涉及的基于无人机航拍识别的故障定位方法的工作流程图；
图2为本发明所涉及的基于无人机航拍识别的故障定位方法的第二工作流程图；
图3为本发明所涉及的基于无人机航拍识别的故障定位方法的第三工作流程图；
图4为本发明所涉及的基于无人机航拍识别的故障定位方法的第四工作流程图；
图5为本发明所涉及的基于无人机航拍识别的故障定位系统的结构模块图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
具体发明实施例一：结合图1说明本发明实施例，本发明实施例基于无人机航拍识别的故障定位方法具体过程为：
S101、人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
S201、对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
S301、分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
S401、对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
S501、依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
S601、采用S501取选举得分最大的一类作为无人机故障定位得分。
具体发明实施例二：参照附图2，本发明实施例与具体发明实施例一不同的是，所述S101中人工校正第一无人机航拍图像和第二无人机航拍图像，只对航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；具体过程为：
S1011、人工校正第一无人机航拍图像和第二无人机航拍图像，在第一无人机航拍图像上依靠航拍点网格单元距离配置数据均匀的原则，筛选平流层上的特征点，特征点筛选应符合下式：
符合特征
的点即为特征点，其中N为邻居点，D为航拍网格单元距离值，(a,b)为平流层上的任一点，/>
为(a,b)的八邻居点，s为天空的网格单元距离值上限；
S1012、依靠筛选的特征点执行航拍区延伸，得到整个平流层航拍区，进行逆运算可获得整个平流层航拍区，取两者的分割线，即可获得地空分割线，将地空分割线执行腐蚀生长，得到地空分割位置；
S1013、在地空分割位置执行飞行路线核准，可以认为所述飞行路线为无人机本身或无人机所停驻的停机坪，依靠所述飞行路线角度调整停机坪样本图像至标准位置，即可获得包含标准位置停放无人机的停机坪样本图像。
其它步骤及参数与具体发明实施例一相同。
具体发明实施例三：参照附图3，本发明实施例与具体发明实施例一或二不同的是，所述S201中对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，分析对应坐标的候选故障无人机样本图像；具体过程为：
S2011、在调整至标准位置的航拍和无人机停机坪样本图像上执行故障无人机样本图像检测，依据无人机图像依据最小值扩散来快速确定特征关键点，然后对航拍图像每个特征关键点的x方向执行网格单元距离值分析，来寻找无人机头、无人机尾与天空的分割点，获得无人机的横坐标；
S2012、再依据对无人机图像每个特征关键点x方向左右各50个网格单元距离,对应的y方向的对比度值执行统计，获得y方向对比度曲线，在计算出平流层平均对比度后，得到无人机与天空在y方向上的分界线，获得无人机身上下的纵坐标；
S2013、依靠上述横纵坐标，标记回调整至标准位置的航拍和无人机停机坪样本图像即可分析出候选故障无人机样本图像。
其它步骤及参数与具体发明实施例一或二相同。
具体发明实施例四：本发明实施例与具体发明实施例一至三之一不同的是，所述S301中分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；具体过程为：
针对候选故障无人机样本图像的航拍与故障无人机样本图像，依次分析航拍样本图像的物理属性、运动属性、梯度直方图特征以及故障无人机样本图像的物理属性、运动属性、光学属性，构造一个多属性整合向量，依据完成训练的二元SVM，实现故障无人机样本图像的检测。
其它步骤及参数与具体发明实施例一至三之一相同。
本发明需要从样本库中提取所要追踪的目标的样本，然后对样本进行特征提取，随后针对这些样本训练分类器用于之后航拍过程中的在线检测，接着针对特定的区域来规划无人机的自动航拍故障定位路线，自动航拍故障定位路线规划，规划完自动航拍故障定位路线之后，对无人机的各项参数进行设定，包括飞行高度、航拍角度、超声波探测器探测最近距离等，随后无人机开始自动航拍故障定位寻找特定目标，同时摄像头提供的视频信息、GPS提供的位置信息以及气压计提供的高度信息实时传输到PC上位机，当无人机通过图像识别寻找到特定目标后，结束自动航拍故障定位，对特定目标进行追踪，追踪的同时将目标的位置信息以及实施视频传输至上位机。
具体发明实施例五：本发明实施例与具体发明实施例一至四之一不同的是，所述S401中对分类为无人机的样本图像，分析无人机的样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析无人机的样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；具体过程为：
为进一步区分形状、颜色各异的不同无人机故障，参照附图4，本发明针对航拍和无人机图像的故障无人机样本图像，依据多种检测方法用于检测无人机的不同无人机部件，最终结合飞行操控平台、无人机感应器、螺旋桨装置、桨叶的检测得分实现无人机故障定位的方法。
S4011、采用关键点配准方法实现对飞行操控平台的检测；
S4012、采用边框分析方法得到无人机感应器类型、无人机喷药器位置；
S4013、采用对比度相关性方法得到桨叶、螺旋桨装置位置。
其它步骤及参数与具体发明实施例一至四之一相同。
具体发明实施例六：本发明实施例与具体发明实施例一至五之一不同的是，所述S4011中采用关键点配准方法实现对飞行操控平台的检测；具体过程为：
考虑到各国无人机的飞行操控平台形状、涂装各异，为此本发明研究针对喷洒农药无人机及导航无人机飞行操控平台的定位。这两类重型军无人机的飞行操控平台位于无人机的尾部，外边框形状虽为梯形，但接近矩形状，梯形内部有圆形标识与两条线段，一条斜线穿过圆心，另一条路线则与圆形相切。
考虑到飞行操控平台的独特形状，为此依据快速鲁棒特征变换分析故障无人机样本图像的SURF关键点；对飞行操控平台强弱样本图像；
依据分析到的SURF关键点，再采用自然语言处理方法构建每个强弱训练样本的特征向量，用来描述飞行操控平台，然后将特征向量输入支持向量机(Support VectorMachine,SVM)分类器执行训练，得到完成训练的SVM分类器；
在故障无人机样本图像上滑动窗口分析小样本图像，构建SURF句柄特征，依据完成训练的SVM分类器实现对飞行操控平台的检测。
其它步骤及参数与具体发明实施例一至五之一相同。
具体发明实施例七：本发明实施例与具体发明实施例一至六之一不同的是，所述S4012中采用边框分析方法得到无人机感应器类型、无人机喷药器位置；具体过程为：
不同故障无人机的无人机感应器，有明显的形状和角度差异，为此本发明依据卷积滤波实现无人机头类型的定位。
需要获得无人机无人机头的边框，考虑到故障无人机样本图像操控平台上的复杂建筑，可以通过边缘分析算法对故障无人机样本图像分析边缘图像，而该边缘图像能够覆盖整个无人机，对分析的边缘图像执行形态学处理(膨胀、腐蚀、孔洞填充)即获得故障无人机样本图像的降噪图像，在对降噪图像执行边框分析，获得故障无人机样本图像的外边框；
即使该方法无法完全消除无人机身处的阴影干扰，但可以比较完整的分析出无人机头外边框，并且使无人机身处的边框与平流层连接在一起，降低了无人机操控平台上复杂建筑及其阴影所产生的边框对无人机头定位带来的影响。
依据提前完成训练的不同故障的真实无人机感应器图作为卷积算子，对获得故障无人机样本图像的外边框图执行卷积滤波，形成无人机感应器响应图，再依据上限判断即可区分不同类型无人机头弧度的无人机，并且同时获得无人机喷药器的位置；
其它步骤及参数与具体发明实施例一至六之一相同。
具体发明实施例八：本发明实施例与具体发明实施例一至七之一不同的是，所述S4013中采用对比度相关性方法得到桨叶、螺旋桨装置位置；具体过程为：
无人机图像中的故障无人机样本图像的网格单元距离对比度一般分为两类，由无人机的上层建筑(如桨叶等)角反射或点反射所引起的高对比度的网格单元距离点，以及由操控平台等漫反射所引起的低对比度的网格单元距离点。因此故障无人机样本图像的表面结构由强峰和弱峰构成，其中强峰由对比度高的网格单元距离点组成，弱峰由对比度低的网格单元距离点组成。反应到在故障无人机样本图像的故障无人机样本图像中，即桨叶无人机部件的对比度较高，因此本发明通过对比度关联图，实现无人机图像无人机桨叶无人机部件的检测。对比度关联图的设计思想是整体图像中对比度分布少同时对比度大的网格单元距离，对应的相关度高。
SS402、设H为输入的遥感图像的网格单元距离值图，尺寸为K*L，对于H中的网格单元距离对比度关联图中任意一网格单元距离点的对比度相关度
的值为
其中，
是网格单元距离/>
和网格单元距离/>
的网格相对差值；
,p、q、j、k为网格单元距离值图中某一点坐标值；
SS403、对于第二无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合桨叶几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即桨叶中心位置；
桨叶几何约束条件包括：上限分割后得到的邻居域密度(即上限分割后得到的邻居域面积与上限分割后得到的邻居域最小外接矩形之比)小于0.8，上限分割后得到的邻居域面积大于500网格单元距离，小于2000网格单元距离，长宽比大于2；
SS404、对第一无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合螺旋桨装置几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即螺旋桨装置中心位置：
螺旋桨装置几何约束条件包括：上限分割后得到的邻居域密度(即上限分割后得到的邻居域面积与上限分割后得到的邻居域最小外接矩形之比)大于0.7，上限分割后得到的邻居域面积大于85网格单元距离，小于350网格单元距离，长宽比小于2.5。
在航拍图像中，垂直发射系统的对比度与无人机操控平台存在明显的差异，加之其形状成矩形状且大小基本一致，因此本发明也通过对比度相关性检测结合物理属性实现垂直发射系统的检测。
其它步骤及参数与具体发明实施例一至七之一相同。
具体发明实施例九：本发明实施例与具体发明实施例一至八之一不同的是，所述S501中依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；具体过程为：
本发明依据航拍图像样本图像获得无人机的位置数据、飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置，依据无人机图像样本图像获得了无人机高度数据、桨叶位置。依靠上述7组无人机部件检测得分，对每个无人机部件的检测得分执行定位选举，将无人机分为喷洒农药无人机、导航无人机以及其它无人机总共三类，取选举得分累加值最大的一类作为无人机定位得分，实现故障定位。
该方法利用航拍故障定位无人机航拍获取光伏组件红外图片和无人机实时位置信息和姿态数据，使用主干网络进行特征提取，采用基于注意力机制和FPN结构的FPT结构进行信息融合，将航拍图片作为输入，故障所在光伏组件的像素坐标作为输出；对原始图像进行分割得到光伏组件掩模，再根据目标检测网络的定位结果确定有故障的光伏组件，得到目标组件的角点像素坐标；根据无人机拍摄实时坐标和姿态角建立坐标转换模型，根据空中三角几何关系将神经网络输出的像素坐标转化为大地坐标下的位置坐标，得到故障所在光伏组件的位置信息。该方法缓解了基于深度学习的目标检测算法定位精度不高的问题，并减小航拍图像定位的计算量，大幅提高故障定位的实时性，可以实现组件故障的高精度实时监测。
对于无人机高度，规定高度在38-45网格单元距离的无人机类型为喷洒农药无人机，高度在30-37网格单元距离的无人机类型为导航无人机，其它高度则为其它无人机；
针对飞行操控平台类型，检测到重型类型飞行操控平台的无人机认为是喷洒农药无人机或者导航无人机，其他类型飞行操控平台的无人机为其它无人机；
针对无人机感应器类型，依靠提前训练的喷洒农药无人机和导航无人机的真实无人机感应器图，能够检测出喷洒农药无人机感应器的无人机认为是喷洒农药无人机，能够检测出导航无人机感应器的无人机认为是导航无人机，都不能检测出的认为是其它无人机；
针对无人机喷药器位置，依据对边框响应点执行最小值扩散，获得边框响应的极大值点，即无人机头的中心点，获得无人机喷药器位置的坐标；由于之前无人机检测时已经得到无人机只前后端的横纵坐标，因此无人机喷药器位置的坐标和无人机前端的坐标若一致，则认为该无人机类型与无人机感应器类型一致，否则认为是其它无人机；
针对桨叶位置，依靠它与无人机头的距离作为分类标准，其中桨叶与无人机头(无人机前端)的距离在115-160网格单元距离内认为是喷洒农药无人机，在161-210网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；
针对螺旋桨装置位置，也是依靠它与无人机头的距离作为分类标准，前端螺旋桨装置与无人机头的距离在60-80网格单元距离内认为是喷洒农药无人机，在81-50网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；后端螺旋桨装置与无人机头的距离在205-265网格单元距离内认为是喷洒农药无人机，在266-325网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；其中前后端任取一个作为判断标准即可，这是由于部分无人机受阴影遮挡，只能检测出一个螺旋桨装置，可依靠检测出的坐标，判断是前端还是后端螺旋桨装置。
根据本发明的另一实施例，还可以采用蚁群算法进行路径规划，无人机在巡线拍摄时需要遍历最佳拍摄点，为了提高航拍故障定位效率，需要规划一条最佳拍摄路径，即按照拍摄路径无人机经过每个拍摄点一次且仅一次，而且总的飞行距离最短。按照此思路计算出来的为理论最佳路径，需要根据实际情况进行相应的优化。在确定拍摄点以及最佳路径情况下，将路径信息以及坐标信息转化为相应的坐标信息，通过GPS定位功能，实现无人机的自动巡线功能。无人机自动对输电线路进行航拍故障定位，航拍故障定位作业前确定航拍故障定位目标以及航拍故障定位作业角度，规划航拍故障定位作业流程并优化航拍故障定位路径，将航拍故障定位路径按照公式转换成相应的GPS导航数据，航拍故障定位路径包括无人机起飞点、航拍故障定位目标点、降落点等经纬度坐标信息。目前常用的路径规划方法是统筹各个航拍故障定位目标点，然后逐个计算飞行路径，将路径信息转换成导航数据信息，手动输入到无人机导航控制系统，整个工作流程对路径计算和转换精度要求高，耗时长且容易出错，给无人机安全飞行带来很大隐患。无人机地面监控系统随着GPS导航技术的发展在无人机航拍故障定位作业中得到广泛应用，将航拍故障定位路径规划通过手动计算转移到数字地图上，无人机航拍故障定位作业从起飞到降落整个过程可以在数字地图直观显示出来，缩减了航拍故障定位作业时间，通过GPS导航数据信息确保无人机飞行位置，判断是否处于安全距离。
其它步骤及参数与具体发明实施例一至八之一相同。根据本发明另一实施例，参照图5，本发明请求保护一种基于无人机航拍识别的故障定位系统，包括：
预处理模块，人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
候选模块，对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
故障聚类模块，分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
候选故障定位模块，对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
故障定位模块依靠得到的无人机位置、高度数据，与检测得到的5个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
反馈模块，采用S501取选举得分最大的一类作为无人机故障定位得分。
本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
本公开中使用了流程图用来说明依靠本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例执行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的结果下可以对这些实施例执行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.基于无人机航拍识别的故障定位方法，其特征在于：所述方法具体过程为：
S101、人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
S201、对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
S301、分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
S401、对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
S501、依靠得到的无人机位置、高度数据，与检测得到的多个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
S601、采用S501取选举得分最大的一类作为无人机故障定位得分；
所述S501中依靠得到的无人机位置、高度数据，与检测得到的多个无人机部件检测得分执行多图像类别数据整合的无人机故障定位，具体过程为：
依据航拍图像样本图像获得无人机的位置数据、飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置，依据无人机图像样本图像获得无人机高度数据、桨叶位置；
依靠所述多个无人机部件检测得分，对每个无人机部件的检测得分执行定位选举，将无人机分为喷洒农药无人机、导航无人机以及其它无人机总共三类，取选举得分累加值最大的一类作为无人机定位得分，实现故障定位。
2.如权利要求1所述基于无人机航拍识别的故障定位方法，其特征在于：所述S101中人工校正第一无人机航拍图像和第二无人机航拍图像，只对航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；具体过程为：
S1011、人工校正第一无人机航拍图像和第二无人机航拍图像，在第一无人机航拍图像上依靠航拍点网格单元距离配置数据均匀的原则，筛选平流层上的特征点，特征点筛选应符合下式：
符合特征
的点即为特征点，其中N为邻居点，D为航拍网格单元距离值，(a,b)为平流层上的任一点，/>
为(a,b)的八邻居点，s为天空的网格单元距离值上限；
S1012、依靠筛选的特征点执行航拍区延伸，得到整个平流层航拍区，进行逆运算获得整个平流层航拍区，取两者的分割线，即可获得地空分割线，将地空分割线执行腐蚀生长，得到地空分割位置；
S1013、在地空分割位置执行飞行路线核准，认为所述飞行路线为无人机本身或无人机所停驻的停机坪，依靠所述飞行路线角度调整停机坪样本图像至标准位置，即获得包含标准位置停放无人机的停机坪样本图像。
3.如权利要求1或2所述基于无人机航拍识别的故障定位方法，其特征在于：所述S201中对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，分析对应坐标的候选故障无人机样本图像；具体过程为：
S2011、在调整至标准位置的航拍和无人机停机坪样本图像上执行故障无人机样本图像检测，依据无人机图像依据最小值扩散确定特征关键点，然后对航拍图像每个特征关键点的x方向执行网格单元距离值分析，来寻找无人机头、无人机尾与天空的分割点，获得无人机的横坐标；
S2012、再依据对无人机图像每个特征关键点x方向左右各50个网格单元距离对应的y方向的对比度值执行统计，获得y方向对比度曲线，在计算出平流层平均对比度后，得到无人机与天空在y方向上的分界线，获得无人机身上下的纵坐标；
S2013、依靠横纵坐标，标记回调整至标准位置的航拍和无人机停机坪样本图像即分析出候选故障无人机样本图像。
4.如权利要求3所述基于无人机航拍识别的故障定位方法，其特征在于：所述S301中分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；具体过程为：
针对候选故障无人机样本图像的航拍与故障无人机样本图像，依次分析航拍样本图像的物理属性、运动属性、梯度直方图特征以及故障无人机样本图像的物理属性、运动属性、光学属性，构造一个多属性整合向量，依据完成训练的二元SVM，实现故障无人机样本图像的检测。
5.如权利要求4所述基于无人机航拍识别的故障定位方法，其特征在于：所述S401中对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析无人机的样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
具体过程为：
S4011、采用关键点配准方法实现对飞行操控平台的检测；
S4012、采用边框分析方法得到无人机感应器类型、无人机喷药器位置；
S4013、采用对比度相关性方法得到桨叶、螺旋桨装置位置。
6.如权利要求5所述基于无人机航拍识别的故障定位方法，其特征在于：所述S4011中采用关键点配准方法实现对飞行操控平台的检测；具体过程为：
依据快速鲁棒特征分析故障无人机样本图像的SURF关键点；
依据分析到的SURF关键点，再采用自然语言处理方法构建每个强弱训练样本的特征向量，然后将特征向量输入支持向量机分类器执行训练，得到完成训练的SVM分类器；
在故障无人机样本图像上滑动窗口分析小样本图像，构建SURF句柄特征，依据完成训练的SVM分类器实现对飞行操控平台的检测；
所述S4012中采用边框分析方法得到无人机感应器类型、无人机喷药器位置；具体过程为：
通过边缘分析算法对故障无人机样本图像分析边缘图像，对分析的边缘图像执行形态学处理即获得故障无人机样本图像的降噪图像，在对降噪图像执行边框分析，获得故障无人机样本图像的外边框；
依据提前完成训练的不同故障的真实无人机感应器图作为卷积算子，对获得故障无人机样本图像的外边框图执行卷积滤波，形成无人机感应器响应图，再依据上限判断区分不同类型无人机头弧度的无人机，并且同时获得无人机喷药器的位置。
7.如权利要求6所述基于无人机航拍识别的故障定位方法，其特征在于：所述S4013中采用对比度相关性方法得到桨叶、螺旋桨装置位置；具体过程为：
SS402、设H为输入的遥感图像的网格单元距离值图，尺寸为K*L，对于H中的网格单元距离对比度关联图中任意一网格单元距离点的对比度相关度
的值为
其中，
是网格单元距离/>
和网格单元距离/>
的网格相对差值；
,p、q、j、k为网格单元距离值图中某一点坐标值；
SS403、对于第二无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合桨叶几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即桨叶中心位置；
桨叶几何约束条件包括：上限分割后得到的邻居域密度小于0.8，上限分割后得到的邻居域面积大于500网格单元距离，小于2000网格单元距离，长宽比大于2；
SS404、对第一无人机航拍图像先经过SS402处理，获得对比度关联图，在经过上限分割，得到相关性样本图像的降噪图像，再筛选符合螺旋桨装置几何约束条件的邻居域，取邻居域中心坐标即获得对比度显著样本图像的中心坐标，即螺旋桨装置中心位置：
螺旋桨装置几何约束条件包括：上限分割后得到的邻居域密度大于0.7，上限分割后得到的邻居域面积大于85网格单元距离，小于350网格单元距离，长宽比小于2.5。
8.如权利要求7所述基于无人机航拍识别的故障定位方法，其特征在于：所述S501中依靠得到的无人机位置、高度数据，与检测得到的多个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；具体过程为：
对于无人机位置，规定位置在135-434网格单元距离的无人机类型为喷洒农药无人机，位置在435-688网格单元距离的无人机类型为导航无人机，其它位置则为其它无人机；
对于无人机高度，规定高度在42-67网格单元距离的无人机类型为喷洒农药无人机，高度在31-41网格单元距离的无人机类型为导航无人机，其它高度则为其它无人机；
针对飞行操控平台类型，检测到重型类型飞行操控平台的无人机认为是喷洒农药无人机或者导航无人机，其他类型飞行操控平台的无人机为其它无人机；
针对无人机感应器类型，依靠提前训练的喷洒农药无人机和导航无人机的真实无人机感应器图，能够检测出喷洒农药无人机感应器的无人机认为是喷洒农药无人机，能够检测出导航无人机感应器的无人机认为是导航无人机，都不能检测出的认为是其它无人机；
针对无人机喷药器位置，依据对边框响应点执行最小值扩散，获得边框响应的极大值点，即无人机头的中心点，获得无人机喷药器位置的坐标；无人机喷药器位置的坐标和无人机前端的坐标若一致，则认为该无人机类型与无人机感应器类型一致，否则认为是其它无人机；
针对桨叶位置，桨叶与无人机头的距离在108-147网格单元距离内认为是喷洒农药无人机，在148-223网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；
针对螺旋桨装置位置，前端螺旋桨装置与无人机头的距离在52-76网格单元距离内认为是喷洒农药无人机，在77-95网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；后端螺旋桨装置与无人机头的距离在194-258网格单元距离内认为是喷洒农药无人机，在259-336网格单元距离内认为是导航无人机，其它结果则认为是其它无人机；其中前后端任取一个作为判断标准即可。
9.如权利要求8所述基于无人机航拍识别的故障定位方法，其特征在于：所述S601中采用S501取选举得分最大的一类作为无人机故障定位得分；具体过程为：
将无人机的无人机部件检测得分分七次执行选举，取选举得分的最大值作为无人机类型定位得分。
10.一种基于无人机航拍识别的故障定位系统，其特征在于，包括：
预处理模块，人工校正第一无人机航拍图像和第二无人机航拍图像，只对第一无人机航拍图像执行飞行路线核准，得到候选无人机停驻停机坪的样本图像，并依靠路线角度，调整停机坪样本图像至标准位置；
候选模块，对标准位置停机坪样本图像的第一无人机航拍图像和第二无人机航拍图像执行图像叠合比对，得到候选无人机坐标，即得到无人机位置、高度数据，分析对应坐标的候选故障无人机样本图像；
故障聚类模块，分析候选故障无人机样本图像的异构故障特征集，依据提前完成训练的二元SVM，将候选无人机分类为故障无人机样本图像和无故障无人机样本图像；
候选故障定位模块，对分类为无人机的样本图像，分析故障无人机样本图像的航拍样本图像，依次执行飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置共4个无人机部件的检测，分析故障无人机样本图像的故障无人机样本图像，执行桨叶位置无人机部件的检测；
故障定位模块依靠得到的无人机位置、高度数据，与检测得到的多个无人机部件检测得分执行多图像类别数据整合的无人机故障定位；
反馈模块，采用S501取选举得分最大的一类作为无人机故障定位得分；
所述故障定位模块中依靠得到的无人机位置、高度数据，与检测得到的多个无人机部件检测得分执行多图像类别数据整合的无人机故障定位，具体过程为：
依据航拍图像样本图像获得无人机的位置数据、飞行操控平台类型、无人机喷药器位置、无人机感应器类型、螺旋桨装置位置，依据无人机图像样本图像获得无人机高度数据、桨叶位置；
依靠所述多个无人机部件检测得分，对每个无人机部件的检测得分执行定位选举，将无人机分为喷洒农药无人机、导航无人机以及其它无人机总共三类，取选举得分累加值最大的一类作为无人机定位得分，实现故障定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310479331.7A CN116188470B (zh) | 2023-04-28 | 2023-04-28 | 一种基于无人机航拍识别的故障定位方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310479331.7A CN116188470B (zh) | 2023-04-28 | 2023-04-28 | 一种基于无人机航拍识别的故障定位方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188470A CN116188470A (zh) | 2023-05-30 |
| CN116188470B true CN116188470B (zh) | 2023-07-04 |
Family
ID=86440688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310479331.7A Active CN116188470B (zh) | 2023-04-28 | 2023-04-28 | 一种基于无人机航拍识别的故障定位方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188470B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721095B (zh) * | 2023-08-04 | 2023-11-03 | 杭州瑞琦信息技术有限公司 | 一种航拍式的道路照明故障检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004977A (zh) * | 2021-10-25 | 2022-02-01 | 成都飞机工业（集团）有限责任公司 | 一种基于深度学习的航拍数据目标定位方法及系统 |
| CN114529817A (zh) * | 2022-02-21 | 2022-05-24 | 东南大学 | 基于注意力神经网络的无人机光伏故障诊断及定位方法 |
| CN115294473A (zh) * | 2022-07-05 | 2022-11-04 | 哈尔滨理工大学 | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9977434B2 (en) * | 2016-06-23 | 2018-05-22 | Qualcomm Incorporated | Automatic tracking mode for controlling an unmanned aerial vehicle |
| CN108871409A (zh) * | 2018-05-02 | 2018-11-23 | 北京畅东科技有限公司 | 一种故障检测方法和系统 |
| CN109344753A (zh) * | 2018-09-21 | 2019-02-15 | 福州大学 | 一种基于深度学习的航拍图像输电线路细小金具识别方法 |
| CN110119162A (zh) * | 2019-06-20 | 2019-08-13 | 亿航智能设备（广州）有限公司 | 一种无人机避障控制方法、无人机及计算机可读存储介质 |
| CN111311597B (zh) * | 2020-03-27 | 2023-04-18 | 国网福建省电力有限公司龙岩供电公司 | 一种缺陷绝缘子的无人机巡检方法与系统 |
| CN112269398B (zh) * | 2020-11-04 | 2024-03-15 | 国网福建省电力有限公司漳州供电公司 | 一种变电站无人机自主巡检系统 |
| CN113256668A (zh) * | 2021-06-13 | 2021-08-13 | 中科云尚(南京)智能技术有限公司 | 图像分割方法以及装置 |
| CN115562340A (zh) * | 2022-10-19 | 2023-01-03 | 金华八达集团有限公司 | 一种配网线路无人机巡检故障判别系统 |
| CN115562348A (zh) * | 2022-11-03 | 2023-01-03 | 国网福建省电力有限公司漳州供电公司 | 基于变电站的无人机图像技术方法 |
| CN115980742B (zh) * | 2023-03-20 | 2023-05-19 | 成都航空职业技术学院 | 一种用于无人飞行器的雷达探测方法及装置 |
-
2023
- 2023-04-28 CN CN202310479331.7A patent/CN116188470B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114004977A (zh) * | 2021-10-25 | 2022-02-01 | 成都飞机工业（集团）有限责任公司 | 一种基于深度学习的航拍数据目标定位方法及系统 |
| CN114529817A (zh) * | 2022-02-21 | 2022-05-24 | 东南大学 | 基于注意力神经网络的无人机光伏故障诊断及定位方法 |
| CN115294473A (zh) * | 2022-07-05 | 2022-11-04 | 哈尔滨理工大学 | 一种基于目标检测与实例分割的绝缘子故障识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188470A (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Bottle detection in the wild using low-altitude unmanned aerial vehicles | |
| EP3850456B1 (en) | Control and navigation systems, pose optimisation, mapping, and localisation techniques | |
| CN109635666A (zh) | 一种基于深度学习的图像目标快速检测方法 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN114004977B (zh) | 一种基于深度学习的航拍数据目标定位方法及系统 | |
| Tavasoli et al. | Real-time autonomous indoor navigation and vision-based damage assessment of reinforced concrete structures using low-cost nano aerial vehicles | |
| CN116188470B (zh) | 一种基于无人机航拍识别的故障定位方法和系统 | |
| CN109871739B (zh) | 基于yolo-sioctl的机动站自动目标检测与空间定位方法 | |
| CN106908040A (zh) | 一种基于surf算法的双目全景视觉机器人自主定位方法 | |
| CN109213204A (zh) | 基于数据驱动的auv海底目标搜寻航行系统及方法 | |
| CN111598952A (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
| CN116127405A (zh) | 一种融合点云地图、运动模型和局部特征的位置识别方法 | |
| CN110427030B (zh) | 一种基于Tiny-YOLOship目标检测算法的无人艇自主对接回收方法 | |
| CN113379738A (zh) | 一种基于图像的疫木检测与定位方法及系统 | |
| CN113554705B (zh) | 一种变化场景下的激光雷达鲁棒定位方法 | |
| CN110889353B (zh) | 基于主焦点大视场光电望远镜的空间目标识别方法 | |
| CN113436313B (zh) | 一种基于无人机的三维重建误差主动修正方法 | |
| CN113436276B (zh) | 基于视觉相对定位的多无人机编队方法 | |
| CN118411507A (zh) | 一种具有动态目标的场景的语义地图构建方法及系统 | |
| CN114462545A (zh) | 一种基于语义slam的地图构建方法及装置 | |
| CN114485607A (zh) | 一种运动轨迹的确定方法、作业设备、装置、存储介质 | |
| Wang et al. | The unified object detection framework with arbitrary angle | |
| CN118279770B (zh) | 一种基于slam算法的无人机跟拍方法 | |
| Rui et al. | Real-Time obstacle detection based on monocular vision for unmanned surface vehicles | |
| CN116399350B (zh) | 一种融合YOLOv5的半直接法视觉里程计的确定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |