CN111814720B - 一种基于无人机视觉的机场跑道异物检测与分类方法 - Google Patents

一种基于无人机视觉的机场跑道异物检测与分类方法 Download PDF

Info

Publication number
CN111814720B
CN111814720B CN202010694197.9A CN202010694197A CN111814720B CN 111814720 B CN111814720 B CN 111814720B CN 202010694197 A CN202010694197 A CN 202010694197A CN 111814720 B CN111814720 B CN 111814720B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
fine detection
foreign matter
suspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010694197.9A
Other languages
English (en)
Other versions
CN111814720A (zh
Inventor
杨帆
裴彤
陈实
李韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202010694197.9A priority Critical patent/CN111814720B/zh
Publication of CN111814720A publication Critical patent/CN111814720A/zh
Application granted granted Critical
Publication of CN111814720B publication Critical patent/CN111814720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机视觉的机场跑道异物检测与分类方法，通过对MaskR‑CNN目标分割深度学习网络进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的MaskR‑CNN目标分割深度学习网络中进行异物定位、形状检测和分类，实现对异物的准确定位、分类和形状检测。

Description

一种基于无人机视觉的机场跑道异物检测与分类方法
技术领域
本发明涉及图像识别领域，具体涉及一种基于无人机视觉的机场跑道异物检测与分类方法。
背景技术
在目前机场跑道异物检测方法中，有两种检测平台，即固定式平台与移动端平台。
前者是基于固定铺设的检测传感装置进行异常检测，特点是通过机场跑道两侧根据机场跑道的形状布置大量诸如雷达，摄像头等传感器，从而使得机场跑道能够被全部覆盖感知。但大量布置会导致检测成本高昂，并且灵活度不够，一旦系统完成布置后，要进行修改需要大量额外成本。
后者，是通过一台或多台可移动单位搭载摄像头，以特定的路径巡检机场跑道，拍摄照片覆盖跑道全部区域，进行检测。近年来，无人机技术进展迅猛，无人机定位精度，操控性能，无线通信能力以及航拍图像质量的长足发展，为无人机实现可靠的异物检测提高了坚实的技术基础，而无人机凭借相对于固定摄像头的低成本，高度灵活可定制性，并且比起地面无人车，拥有更大的拍摄视野，越来越收到青睐。
在异物检测所运用的传感器上，目前主要是有雷达与摄像头两种。雷达是目前主流的异物检测系统所运用的传感器，其具有精度高，技术成熟的特点，但也有很多缺点，首先，是高精度雷达成本很大，并且，若要雷达能够实现较远的探测距离，需要雷达具备较大的发射功率，这样会使雷达的体积较大，难以部署在移动端平台。其次，雷达无法获取异物的深层次的语义信息，即雷达能够感知异物是否存在，但无法感知异物具体是什么，即无法给异物分类。
而运用摄像头的异物检测系统则可以有效弥补雷达的不足。首先，摄像头成本比雷达要低，并且摄像头易于小型化，可以在更广范围的平台部署。其次，随着深度学习图像目标检测飞速发展，基于摄像头与深度学习技术，不仅可以定位异物，还可以对异物进行分类。但目前，摄像头仍然有很多问题。首先，摄像头的像素是受到制约的，即如果摄像头的像素过高，会极大提高摄像头的成本，以及后端深度学习图像处理的运算量，使得异物检测系统失去实用性。其次，在摄像头的像素一定的情况下，摄像头检测效率与检测精度则形成了一对矛盾。即若要提高摄像头检测效率，需要摄像头离机场跑道较远，从而获得较大的拍摄视野，但这样会导致异物在成像图像中的尺寸变小，使得基于深度学习的目标检测性能大大降低，无法有效对异物定位与分类。若让摄像头离异物较近，则会降低摄像头的视野，从而使得需要布设更多固定摄像头或者搭载摄像头的移动平台需要移动更多距离，才能使得全部机场得到扫描，从而降低了系统的实用性。在无人机平台上，这一矛盾体现在，无人机以一个较高的高度飞行巡检时，无人机摄像头的视野较广，可以更快的速度与更多的路径扫描整个跑道，但会使得异物目标尺寸变小，深度学习算法难以正确识别。而无人机在一个较低的高度飞行时，则会使得拍摄视野较小，检测效率很低。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于无人机视觉的机场跑道异物检测与分类方法解决了无人机低空巡检效率慢，高空巡检时，异物在图像中过小不易异物分类的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种基于无人机视觉的机场跑道异物检测与分类方法，包括以下步骤：
S1、采用机场跑道的训练图像集对MaskR-CNN目标分割深度学习网络进行训练，将训练完成的MaskR-CNN目标分割深度学习网络部署在无人机的机载计算机中；
S2、采用无人机对机场跑道进行粗检测，得到粗检测无人机跑道上所有异物疑似点的坐标；
S3、根据无人机跑道上所有异物疑似点的坐标，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序；
S4、根据无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序，对每个细检测区域进行拍摄，得到细检测图像集；
S5、将细检测图像集输入训练完成的MaskR-CNN目标分割深度学习网络中，得到检测异物的位置、分类及形状。
进一步地，步骤S1包括以下分步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在图像中的像素点和类型进行标注，得到训练图像集；
S13、采用训练图像集训练MaskR-CNN目标分割深度学习网络，得到训练完成的MaskR-CNN目标分割深度学习网络；
S14、将训练完成的MaskR-CNN目标分割深度学习网络部署到无人机的机载计算机中。
进一步地，步骤S2包括以下分步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h′：
Figure BDA0002590454160000031
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h′匀速飞行；
S23、在匀速飞行过程中，通过无人机以间隔
Figure BDA0002590454160000041
的时间俯视拍摄照片，其中，γ为冗余系数，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录无人机拍摄每张照片时对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与无人机拍摄每张照片时对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到粗检测无人机跑道上所有异物疑似点的坐标。
上述进一步方案的有益效果为：无人机以一个较高的高度拍摄，可以增大拍摄的覆盖范围，在相同的跑道面积下，可以减少拍摄次数。无人机飞行线路简单，为两条往返高度固定的直线飞行路线，分别巡检一半的跑道区域，相比与“弓”字型巡检线路，简单的飞行路线使得无人机飞行更加稳定，使得无人机的成像质量更高，可以减少无人机转向带来的速度，时间损耗，可以一直以一个稳定速度飞行，使得无人机更快的巡检跑道；并且无人机在相机像素有限，异物在拍摄照片中非常小的情况下，能够确认疑似异物点的绝对坐标。
ITTI算法相比卷积神经网络，虽然无法获取异物的详细信息，但在物体尺寸非常小的情况，卷积神经网络露警率极高，无法有效检测异物，运用对尺寸相对不敏感的ITTI算法检测，根据巡检异物秉承的低漏警率优先的原则，增大虚警率，从而使得异物检测的漏警率显著降低。
无人机进行快速粗检测，得到一组疑似点的坐标，并根据疑似点的坐标，可以排除一大片没有异物的区域，从而使得细检测不需要遍历整个跑道，从而极大地增加了巡检效率。
进一步地，步骤S3包括以下分步骤：
S31、根据所有异物疑似点的坐标，构建细检测区域的目标损失函数；
S32、对目标损失函数进行求解，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序。
进一步地，步骤S31中目标损失函数为：
Figure BDA0002590454160000051
所述目标损失函数满足如下约束：
0≤xi≤W,0≤yi≤L,hmin≤hi≤hmaxi＝1,2,…K
Figure BDA0002590454160000052
Figure BDA0002590454160000053
Figure BDA0002590454160000054
Figure BDA0002590454160000055
满足：
Figure BDA0002590454160000056
与
Figure BDA0002590454160000057
Figure BDA0002590454160000058
其中，xi为第i个细检测区域的中心横坐标，yi为第i个细检测区域的中心纵坐标，K为细检测区域数量，λh为第一高度差惩罚因子，hi为第i个细检测区域的无人机拍摄时的高度，λS为图像质量惩罚因子，W为无人机跑道的宽度，L为无人机跑道的长度，hmin为无人机最小拍摄高度，hmax为无人机最大拍摄高度，SLmin为细检测区域的最小长度，SLmax为细检测区域的最大长度，SWmin为细检测区域的最小宽度，SWmax为细检测区域的最大宽度，Cl为相机靶面长度，Cw为相机靶面宽度，
Figure BDA0002590454160000061
为加号或者减号，F为相机等效焦距，Fw为相机的水平拉伸系数，Fl为相机竖直拉伸系数，(xSP,ySP)为粗检测无人机跑道上异物疑似点的坐标，SetSP为粗检测无人机跑道上所有异物疑似点的坐标的集合，Pi为第i个细检测区域的图像质量，SLi为第i个细检测区域的长度，SWi为第i个细检测区域的宽度，Ni为第i个细检测区域中异物疑似点的数量。
上述进一步方案的有益效果为：
(1)目标损失函数包含了无人机的飞行路径距离，使得无人机以尽可能短的飞行路线遍历细检测区域；
(2)考虑到无人机水平飞行与爬升降低的飞行速度，飞行的稳定性不同，将无人机的高度损失与水平损失，并设置了超参数λh，可以灵活的根据实际无人机的飞行情况，调整λh。
(3)目标损失函数同时包括图像质量损失，即无人机在规划细检测区域时候，让异物在照片中的尺寸尽可能的大，从而使得神经网络获得更好的效果。
(4)目标损失函数，同时综合无人机水平飞行距离，爬升降低距离以异物图像质量及三种情况，使得无人机在规划细检测区域与遍历路径既使得路径尽可能短，又使得异物成像质量尽可能高。
进一步地，步骤S32包括以下分步骤：
S321、对细检测区域中的异物疑似点进行第一次聚类处理，得到初始聚类结果；
S322、对初始聚类结果进行第二次聚类处理，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序。
进一步地，步骤S321包括以下步骤：
S3211、初始化i＝0；
S3212、检测第i个细检测区域中是否存在异物疑似点，若是，则跳转至步骤S3213，若否，则跳转至步骤S3215；
S3213、寻找异物疑似点，以该异物疑似点为中心，设置长为SLmax和宽为SWmax的最大矩形检测区域；
S3214、将最大矩形检测区域中覆盖的异物疑似点归为第i簇，并删除最大矩形检测区域中的异物疑似点；
S3215、判断i是否大于细检测区域数量K，若是，则得到初始聚类结果，进入步骤S322，若否，则i自加1，跳转至步骤S3212。
进一步地，步骤S322包括以下步骤：
S32201、将所有簇命为未处理簇组，计算簇组中每个簇的长宽比为
Figure BDA0002590454160000071
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形；
S32202、根据最小外接矩形的长宽，计算簇组中每个簇的区域图像质量，求和得到
Figure BDA0002590454160000077
S32203、遍历簇组中每个簇中的异物疑似点，得到异物疑似点的数量最小的簇Cluster；
S32204、将剩余簇中的异物疑似点转入簇Cluster中；
S32205、判断当前簇Cluster中是否存在长宽比为
Figure BDA0002590454160000072
且满足长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，若是，则跳转至步骤S32206，若否，则跳转至步骤S32207；
S32206、计算每个簇的区域图像质量和
Figure BDA0002590454160000073
判断区域图像质量和
Figure BDA0002590454160000074
是否大于
Figure BDA0002590454160000075
若是，则跳转至步骤S32208，若否，则跳转至步骤S32207，其中，
Figure BDA0002590454160000076
为当前簇Cluster中第i个细检测区域的图像质量；
S32207、将簇Cluster中其他簇中的异物疑似点去除，并将簇Cluster从未处理簇组中删除，判断未处理簇组是否为空，若是，得到所有已处理簇，并跳转至步骤S32208，若否，则跳转至步骤S32203；
S32208、计算每个已处理簇的长宽比为
Figure BDA0002590454160000081
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，得到细检测区域的中心坐标、每个细检测区域的长度和每个细检测区域的宽度；
S32209、计算无人机拍摄每个细检测区域的高度
Figure BDA0002590454160000082
S32210、根据细检测区域的中心坐标、每个细检测区域的长度、每个细检测区域的宽度和每个细检测区域的高度
Figure BDA0002590454160000083
采用启发式算法，求解以下损失函数，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序：
Figure BDA0002590454160000084
其中，l1,l2,…,lK为细检测区域的顺序序号，
Figure BDA0002590454160000085
为无人机在第li个细检测区域上拍摄照片时的三维空间位置，λ第二高度惩罚因子。
上述进一步方案的有益效果为：将问题转化成TSP问题，可以运用较为成熟的启发式算法，得到一个损失值较小的进行最优解。
综上，本发明的有益效果为：
(1)、采用两轮高低空粗细检测相结合的方法，先通过高空快速粗检测，确定疑似点，使得低空细检测不需要检查整个跑道，而只需要检测指定的区域，从而在保证检测率的基础上，极大地提高了检测效率。
(2)、通过对MaskR-CNN目标分割深度学习网络进行训练，并采用两轮高低空粗细检测相结合的方法去获得精细的检测区域，再对精细的检测区域进行拍照，并将图片输入训练完成的MaskR-CNN目标分割深度学习网络中进行异物定位、形状检测和分类，实现对异物的准确定位、分类和形状检测。
(3)、在低空检测时，综合无人机的水平飞行距离，爬升/降低距离，以及拍摄照片的图像质量，来规划无人机飞行路径，并自适应的调整拍摄高度，使得无人机在低空以尽可能快速，尽可能高质量地检测所有异物。
附图说明
图1为一种基于无人机视觉的机场跑道异物检测与分类方法的流程图；
图2为无人机飞行线路图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于无人机视觉的机场跑道异物检测与分类方法，包括以下步骤：
S1、采用机场跑道的训练图像集对MaskR-CNN目标分割深度学习网络进行训练，将训练完成的MaskR-CNN目标分割深度学习网络部署在无人机的机载计算机中；
步骤S1包括以下分步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在图像中的像素点和类型进行标注，得到训练图像集；
S13、采用训练图像集训练MaskR-CNN目标分割深度学习网络，得到训练完成的MaskR-CNN目标分割深度学习网络；
S14、将训练完成的MaskR-CNN目标分割深度学习网络部署到无人机的机载计算机中。
S2、采用无人机对机场跑道进行粗检测，得到粗检测无人机跑道上所有异物疑似点的坐标；
步骤S2包括以下分步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h′：
Figure BDA0002590454160000101
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h′匀速飞行；
图2为无人机飞行线路图，从跑道起点靠左侧
Figure BDA0002590454160000102
初起飞，直线飞至跑道终点靠左侧
Figure BDA0002590454160000103
处，然后向右飞至终点靠右侧
Figure BDA0002590454160000104
最后飞回起点靠右侧
Figure BDA0002590454160000105
处。
S23、在匀速飞行过程中，通过无人机以间隔
Figure BDA0002590454160000106
的时间俯视拍摄照片，其中，γ为冗余系数，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录无人机拍摄每张照片时对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与无人机拍摄每张照片时对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到粗检测无人机跑道上所有异物疑似点的坐标。
S3、根据无人机跑道上所有异物疑似点的坐标，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序；
步骤S3包括以下分步骤：
S31、根据所有异物疑似点的坐标，构建细检测区域的目标损失函数；
步骤S31中目标损失函数为：
Figure BDA0002590454160000111
所述目标损失函数满足如下约束：
0≤xi≤W,0≤yi≤L,hmin≤hi≤hmaxi＝1,2,…K
Figure BDA0002590454160000112
Figure BDA0002590454160000113
Figure BDA0002590454160000114
Figure BDA0002590454160000115
满足：
Figure BDA0002590454160000116
与
Figure BDA0002590454160000117
Figure BDA0002590454160000118
其中，xi为第i个细检测区域的中心横坐标，yi为第i个细检测区域的中心纵坐标，K为细检测区域数量，λh为第一高度差惩罚因子，hi为第i个细检测区域的无人机拍摄时的高度，λS为图像质量惩罚因子，W为无人机跑道的宽度，L为无人机跑道的长度，hmin为无人机最小拍摄高度，hmax为无人机最大拍摄高度，SLmin为细检测区域的最小长度，SLmax为细检测区域的最大长度，SWmin为细检测区域的最小宽度，SWmax为细检测区域的最大宽度，Cl为相机靶面长度，Cw为相机靶面宽度，
Figure BDA0002590454160000119
为加号或者减号，F为相机等效焦距，Fw为相机的水平拉伸系数，Fl为相机竖直拉伸系数，(xSP,ySP)为粗检测无人机跑道上异物疑似点的坐标，SetSP为粗检测无人机跑道上所有异物疑似点的坐标的集合，Pi为第i个细检测区域的图像质量，SLi为第i个细检测区域的长度，SWi为第i个细检测区域的宽度，Ni为第i个细检测区域中异物疑似点的数量。
S32、对目标损失函数进行求解，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序。
步骤S32包括以下分步骤：
S321、对细检测区域中的异物疑似点进行第一次聚类处理，得到初始聚类结果；
步骤S321包括以下步骤：
S3211、初始化i＝0；
S3212、检测第i个细检测区域中是否存在异物疑似点，若是，则跳转至步骤S3213，若否，则跳转至步骤S3215；
S3213、寻找异物疑似点，以该异物疑似点为中心，设置长为SLmax和宽为SWmax的最大矩形检测区域；
S3214、将最大矩形检测区域中覆盖的异物疑似点归为第i簇，并删除最大矩形检测区域中的异物疑似点；
S3215、判断i是否大于细检测区域数量K，若是，则得到初始聚类结果，进入步骤S322，若否，则i自加1，跳转至步骤S3212。
S322、对初始聚类结果进行第二次聚类处理，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序。
步骤S322包括以下步骤：
S32201、将所有簇命为未处理簇组，计算簇组中每个簇的长宽比为
Figure BDA0002590454160000121
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形；
S32202、根据最小外接矩形的长宽，计算簇组中每个簇的区域图像质量，求和得到
Figure BDA0002590454160000131
S32203、遍历簇组中每个簇中的异物疑似点，得到异物疑似点的数量最小的簇Cluster；
S32204、将剩余簇中的异物疑似点转入簇Cluster中；
S32205、判断当前簇Cluster中是否存在长宽比为
Figure BDA0002590454160000132
且满足长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，若是，则跳转至步骤S32206，若否，则跳转至步骤S32207；
S32206、计算每个簇的区域图像质量和
Figure BDA0002590454160000133
判断区域图像质量和
Figure BDA0002590454160000134
是否大于
Figure BDA0002590454160000135
若是，则跳转至步骤S32208，若否，则跳转至步骤S32207，其中，
Figure BDA0002590454160000136
为当前簇Cluster中第i个细检测区域的图像质量；
S32207、将簇Cluster中其他簇中的异物疑似点去除，并将簇Cluster从未处理簇组中删除，判断未处理簇组是否为空，若是，得到所有已处理簇，并跳转至步骤S32208，若否，则跳转至步骤S32203；
S32208、计算每个已处理簇的长宽比为
Figure BDA0002590454160000137
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，得到细检测区域的中心坐标、每个细检测区域的长度和每个细检测区域的宽度；
S32209、计算无人机拍摄每个细检测区域的高度
Figure BDA0002590454160000138
S32210、根据细检测区域的中心坐标、每个细检测区域的长度、每个细检测区域的宽度和每个细检测区域的高度
Figure BDA0002590454160000139
采用启发式算法，求解以下损失函数，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序：
Figure BDA0002590454160000141
其中，l1,l2,…,lK为细检测区域的顺序序号，
Figure BDA0002590454160000142
为无人机在第li个细检测区域上拍摄照片时的三维空间位置，λ第二高度惩罚因子。
S4、根据无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序，对每个细检测区域进行拍摄，得到细检测图像集；
S5、将细检测图像集输入训练完成的MaskR-CNN目标分割深度学习网络中，得到检测异物的位置、分类及形状。

Claims (6)

1.一种基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，包括以下步骤：
S1、采用机场跑道的训练图像集对MaskR-CNN目标分割深度学习网络进行训练，将训练完成的MaskR-CNN目标分割深度学习网络部署在无人机的机载计算机中；
S2、采用无人机对机场跑道进行粗检测，得到粗检测无人机跑道上所有异物疑似点的坐标；
S3、根据无人机跑道上所有异物疑似点的坐标，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序；
步骤S3包括以下分步骤：
S31、根据所有异物疑似点的坐标，构建细检测区域的目标损失函数；
步骤S31中目标损失函数为：
Figure FDA0003635030380000011
所述目标损失函数满足如下约束：
0≤xi≤W,0≤yi≤L,hmin≤hi≤hmaxi＝1,2,…K
SLmin≤SLi≤SLmax,
Figure FDA0003635030380000012
Figure FDA0003635030380000013
Figure FDA0003635030380000014
Figure FDA0003635030380000015
满足：
Figure FDA0003635030380000021
与
Figure FDA0003635030380000022
Figure FDA0003635030380000023
其中，xi为第i个细检测区域的中心横坐标，yi为第i个细检测区域的中心纵坐标，K为细检测区域数量，λh为第一高度差惩罚因子，hi为第i个细检测区域的无人机拍摄时的高度，λS为图像质量惩罚因子，W为无人机跑道的宽度，L为无人机跑道的长度，hmin为无人机最小拍摄高度，hmax为无人机最大拍摄高度，SLmin为细检测区域的最小长度，SLmax为细检测区域的最大长度，SWmin为细检测区域的最小宽度，SWmax为细检测区域的最大宽度，Cl为相机靶面长度，Cw为相机靶面宽度，
Figure FDA0003635030380000024
为加号或者减号，F为相机等效焦距，Fw为相机的水平拉伸系数，Fl为相机竖直拉伸系数，(xSP,ySP)为粗检测无人机跑道上异物疑似点的坐标，SetSP为粗检测无人机跑道上所有异物疑似点的坐标的集合，Pi为第i个细检测区域的图像质量，SLi为第i个细检测区域的长度，SWi为第i个细检测区域的宽度，Ni为第i个细检测区域中异物疑似点的数量；
S32、对目标损失函数进行求解，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序；
S4、根据无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序，对每个细检测区域进行拍摄，得到细检测图像集；
S5、将细检测图像集输入训练完成的MaskR-CNN目标分割深度学习网络中，得到检测异物的位置、分类及形状。
2.根据权利要求1所述的基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，所述步骤S1包括以下分步骤：
S11、从俯视角度拍摄带有异物的机场跑道，得到原始图像集；
S12、对原始图像集中异物在图像中的像素点和类型进行标注，得到训练图像集；
S13、采用训练图像集训练MaskR-CNN目标分割深度学习网络，得到训练完成的MaskR-CNN目标分割深度学习网络；
S14、将训练完成的MaskR-CNN目标分割深度学习网络部署到无人机的机载计算机中。
3.根据权利要求1所述的基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，所述步骤S2包括以下分步骤：
S21、根据机场跑道的宽度W和无人机的相机参数，得到无人机的粗检测拍摄高度h′：
Figure FDA0003635030380000031
其中，F为相机等效焦距，FW为相机的水平拉伸系数，CW为相机靶面宽度；
S22、构建无人机飞行线路，并以速度v和高度h′匀速飞行；
S23、在匀速飞行过程中，通过无人机以间隔
Figure FDA0003635030380000032
的时间俯视拍摄照片，其中，γ为冗余系数，Fl为相机竖直拉伸系数，Cl为相机靶面长度；
S24、通过机载GPS，记录无人机拍摄每张照片时对应的坐标；
S25、采用ITTI算法对每张照片进行显著性检测，得到一组异物疑似点相对坐标；
S26、将该组异物疑似点相对坐标与无人机拍摄每张照片时对应的坐标相加，得到异物疑似点绝对坐标；
S27、将所有照片中的异物疑似点绝对坐标进行合并，得到粗检测无人机跑道上所有异物疑似点的坐标。
4.根据权利要求1所述的基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，所述步骤S32包括以下分步骤：
S321、对细检测区域中的异物疑似点进行第一次聚类处理，得到初始聚类结果；
S322、对初始聚类结果进行第二次聚类处理，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序。
5.根据权利要求4所述的基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，所述步骤S321包括以下步骤：
S3211、初始化i＝0；
S3212、检测第i个细检测区域中是否存在异物疑似点，若是，则跳转至步骤S3213，若否，则跳转至步骤S3215；
S3213、寻找异物疑似点，以该异物疑似点为中心，设置长为SLmax和宽为SWmax的最大矩形检测区域；
S3214、将最大矩形检测区域中覆盖的异物疑似点归为第i簇，并删除最大矩形检测区域中的异物疑似点；
S3215、判断i是否大于细检测区域数量K，若是，则得到初始聚类结果，进入步骤S322，若否，则i自加1，跳转至步骤S3212。
6.根据权利要求4所述的基于无人机视觉的机场跑道异物检测与分类方法，其特征在于，所述步骤S322包括以下步骤：
S32201、将所有簇命为未处理簇组，计算簇组中每个簇的长宽比为
Figure FDA0003635030380000041
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形；
S32202、根据最小外接矩形的长宽，计算簇组中每个簇的区域图像质量，求和得到
Figure FDA0003635030380000042
S32203、遍历簇组中每个簇中的异物疑似点，得到异物疑似点的数量最小的簇Cluster；
S32204、将剩余簇中的异物疑似点转入簇Cluster中；
S32205、判断当前簇Cluster中是否存在长宽比为
Figure FDA0003635030380000051
且满足长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，若是，则跳转至步骤S32206，若否，则跳转至步骤S32207；
S32206、计算每个簇的区域图像质量和
Figure FDA0003635030380000052
判断区域图像质量和
Figure FDA0003635030380000053
是否大于
Figure FDA0003635030380000054
若是，则跳转至步骤S32208，若否，则跳转至步骤S32207，其中，
Figure FDA0003635030380000055
为当前簇Cluster中第i个细检测区域的图像质量；
S32207、将簇Cluster中其他簇中的异物疑似点去除，并将簇Cluster从未处理簇组中删除，判断未处理簇组是否为空，若是，得到所有已处理簇，并跳转至步骤S32208，若否，则跳转至步骤S32203；
S32208、计算每个已处理簇的长宽比为
Figure FDA0003635030380000056
且长度大于SLmin小于SLmax，宽度大于SWmin小于SWmax的最小外接矩形，得到细检测区域的中心坐标、每个细检测区域的长度和每个细检测区域的宽度；
S32209、计算无人机拍摄每个细检测区域的高度
Figure FDA0003635030380000057
S32210、根据细检测区域的中心坐标、每个细检测区域的长度、每个细检测区域的宽度和每个细检测区域的高度
Figure FDA0003635030380000058
采用启发式算法，求解以下损失函数，得到无人机在每个细检测区域上拍摄照片时的三维空间位置和顺序：
Figure FDA0003635030380000059
其中，l1,l2,…,lK为细检测区域的顺序序号，
Figure FDA00036350303800000510
为无人机在第li个细检测区域上拍摄照片时的三维空间位置，λ第二高度惩罚因子。
CN202010694197.9A 2020-07-17 2020-07-17 一种基于无人机视觉的机场跑道异物检测与分类方法 Active CN111814720B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010694197.9A CN111814720B (zh) 2020-07-17 2020-07-17 一种基于无人机视觉的机场跑道异物检测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010694197.9A CN111814720B (zh) 2020-07-17 2020-07-17 一种基于无人机视觉的机场跑道异物检测与分类方法

Publications (2)

Publication Number Publication Date
CN111814720A CN111814720A (zh) 2020-10-23
CN111814720B true CN111814720B (zh) 2022-06-17

Family

ID=72865997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010694197.9A Active CN111814720B (zh) 2020-07-17 2020-07-17 一种基于无人机视觉的机场跑道异物检测与分类方法

Country Status (1)

Country Link
CN (1) CN111814720B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160217A (zh) * 2021-05-12 2021-07-23 北京京东乾石科技有限公司 一种线路异物的检测方法、装置、设备及存储介质
CN113326752B (zh) * 2021-05-20 2024-04-30 淮阴工学院 一种基于无人机的光伏电站识别方法及系统
CN114035604B (zh) * 2021-09-27 2022-06-17 广州赋安数字科技有限公司 一种视频监控和无人机空地联动的异常目标检测方法
CN114162318B (zh) * 2022-02-11 2022-05-06 华南理工大学 一种机场异物监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN110244750A (zh) * 2019-04-25 2019-09-17 中国南方电网有限责任公司超高压输电公司昆明局 一种无人机巡视路径规划方法及装置
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN110866483A (zh) * 2019-11-11 2020-03-06 南京航空航天大学 一种动静结合的机场跑道异物视觉检测与定位方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341369B2 (en) * 2018-11-15 2022-05-24 Nvidia Corporation Distributed batch normalization using partial populations
CN109766884A (zh) * 2018-12-26 2019-05-17 哈尔滨工程大学 一种基于Faster-RCNN的机场跑道异物检测方法
CN109946751A (zh) * 2019-04-12 2019-06-28 中国民用航空飞行学院 一种无人机的机场跑道fod自动探测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244750A (zh) * 2019-04-25 2019-09-17 中国南方电网有限责任公司超高压输电公司昆明局 一种无人机巡视路径规划方法及装置
CN110135296A (zh) * 2019-04-30 2019-08-16 上海交通大学 基于卷积神经网络的机场跑道fod检测方法
CN110244760A (zh) * 2019-06-06 2019-09-17 深圳市道通智能航空技术有限公司 一种避障方法、装置和电子设备
CN110866483A (zh) * 2019-11-11 2020-03-06 南京航空航天大学 一种动静结合的机场跑道异物视觉检测与定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
寇墨林 等.无人机影像目标检测技术研究进展.《测控技术》.2020,第39卷(第08期), *

Also Published As

Publication number Publication date
CN111814720A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814720B (zh) 一种基于无人机视觉的机场跑道异物检测与分类方法
CN111814721B (zh) 基于无人机高低空联合扫描的机场跑道异物检测分类方法
CN109765930B (zh) 一种无人机视觉导航系统
KR102327185B1 (ko) 정밀도로지도 갱신을 위한 객체 변화 탐지 시스템 및 그 방법
US10860871B2 (en) Integrated sensor calibration in natural scenes
US11017228B2 (en) Method and arrangement for condition monitoring of an installation with operating means
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
KR101839599B1 (ko) 드론을 이용한 도로시설물 측량 조사 시스템
KR102195179B1 (ko) 항공사진을 이용한 정사영상 구축방법
CN106155086A (zh) 一种道路检测无人机及其自动巡航方法
CN109460046B (zh) 一种无人机自然地标识别与自主着陆方法
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN111765974B (zh) 一种基于微型制冷红外热像仪的野生动物观测系统及方法
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN114359714A (zh) 基于事件相机的无人体避障方法、装置及智能无人体
CN115797873B (zh) 一种人群密度检测方法、系统、设备、存储介质及机器人
CN112819895A (zh) 一种摄像机标定方法及装置
CN113066120A (zh) 一种基于机器视觉的智能杆塔倾斜检测方法
CN112119428A (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
CN107576329B (zh) 基于机器视觉的固定翼无人机着降引导合作信标设计方法
KR102349818B1 (ko) 개선된 cnn 기반으로 한 도로 균열 감지 자율 비행 드론
US20230222642A1 (en) Inundation damage determination device, inundation damage determination method, and program
Angkhem et al. Night-Time Human Detection From UAV
Qi et al. Detection and tracking of a moving target for UAV based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant