CN106203439A - 基于标志物多特征融合的无人机自动寻的着陆方法 - Google Patents

基于标志物多特征融合的无人机自动寻的着陆方法 Download PDF

Info

Publication number
CN106203439A
CN106203439A CN201610481768.4A CN201610481768A CN106203439A CN 106203439 A CN106203439 A CN 106203439A CN 201610481768 A CN201610481768 A CN 201610481768A CN 106203439 A CN106203439 A CN 106203439A
Authority
CN
China
Prior art keywords
characteristic point
scene graph
unmanned plane
image
present frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610481768.4A
Other languages
English (en)
Other versions
CN106203439B (zh
Inventor
吉利
白晓东
赵来定
谢继东
马曙晖
吕晨飞
张珺蓉
肖建
李锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201610481768.4A priority Critical patent/CN106203439B/zh
Publication of CN106203439A publication Critical patent/CN106203439A/zh
Application granted granted Critical
Publication of CN106203439B publication Critical patent/CN106203439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于标志物多特征融合的无人机自动寻的着陆方法,是一种基于标志物颜色、形态学轮廓以及特征点,多种特征的无人机自动寻的着陆方法,以机载摄像机实时采集到的视频图像为对象,自动地较准确地检测目标在图像中的位置。该方法以标志物图形的颜色特征、轮廓的形态特征和特征点作为判断依据,能够适应低空无人机航空序列图像的视角变换、几何变换、放射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题,可以实时地对基准图形进行检测,进而实时计算标志物的坐标,检测结果准确率高,对无人机自动寻地着陆具有重要的应用价值。

Description

基于标志物多特征融合的无人机自动寻的着陆方法
技术领域
本发明涉及一种基于标志物多特征融合的无人机自动寻的着陆方法,属于无人机技术和图像处理交叉领域。
背景技术
基于视觉的无人机自动导航在过去几年已经成为热门研究领域(S.Azrad,F.Kendoul,and K.Nonami.Visual servoing of quadrotor micro-air vehicle usingcolor-based tracking algorithm.J.of System Design and Dynamics,4(2):255–268,2010.)。视觉图像提供了大量的、丰富的低成本信息,并且轻量级的摄像头已经能够嵌入到微型无人机中。到目前为止,无人机降落对操控人员的要求比较高,主要由无人机驾驶员操控。同时,在即将来到的无人机应用大潮中,使用驾驶员无疑会浪费大量的人力物力。因此,利用图像处理技术,实现无人机的自动寻地降落是十分必要的。无人机自动寻的降落是无人机应用必须跨过的门槛,本发明即是利用无人机机载摄像头和图像处理系统对降落目标进行识别。
基于视觉的导航着陆系统只需要一个摄像头和一个机载图像处理单元,利用摄像头传回的实时视频图像来计算目标位置,辅助机载的导航控制系统控制无人机完成自主着陆。2006年赵文彬等在论文《角点检测综述》中描述,角点在保留图像图形重要特征的同时,可以有效地减少信息的数据量,使其信息的含量很高,有效地提高了计算的速度,有利于图像的可靠匹配,使得实时处理成为可能。但是,角点检测通常不大健壮,经常需要专业的管理,并且会产生大量的冗余以防止主识别任务中个别错误数据影响匹配结果。
SIFT(Scale-invariant feature transform)是最强健的局部不变特征描述方法(A.E.Abdel-Hakim,and A.A.Farag.CSIFT:A SIFT Descriptor with Color InvariantCharacteristics.IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR'06)(Volume:2)2006),设计主要用于灰度图,但颜色在检测特征和目标匹配任务中提供了很有价值的信息,如果没有颜色信息很多目标会被错误分类或者误匹配。
Herbert Bay,Tinne Tuytelaars,Luc Van Gool等人于2006年在ECCV大会(Computer Vision–ECCV 2006)上提出了加速鲁棒特性(SURF,Speeded up robustfeatures),SURF和SIFT基于相同原理,实现步骤有细微差别,SURF使用海森矩阵的行列式值作为特征点侦测并用积分图加速运算,检测速度比SIFT提高了数倍。但是,要想在微型无人机上应用SURF算法(A.Harsha Vardhan;Nishchal K.Verma;Rahul K.Sevakula;AlSalour.Unsupervised approach for object matching using Speeded Up RobustFeatures.IEEE Applied Imagery Pattern Recognition Workshop(AIPR)13-15Oct.2015),需要牺牲一定的准确性以换取执行速度。
2011年C′eline Teuli`ere,Laurent Eck,Eric Marchand等人在IEEE/RSJInternational Conference上发表的论文提出了一种基于颜色追踪移动目标的算法,并用所提方法在微型无人机上实现了追踪系统。图像的颜色特征描述的是图像的全局特征,其对图像的局部大小、方向、形状等变化不敏感,不能很好地得到图像的局部特征,形态学轮廓容易受摄像角度影响产生形变。
综上,角点检测速度快,但受到图像噪声、光照等的影响,它的健壮性不是很好。SIFT和SURF计算复杂,在有限的条件下实时性和准确性不能兼得,并且当视频中不存在目标图像时也能检测到特征点。图像的颜色和形态学特征受光照强弱、拍摄角度等影响,不能完全分辨目标和噪声。因此,以上方法都不可行,有必要寻找一种抗干扰能力强,实时性强的目标检测方法。
发明内容
本发明所要解决的技术问题是提供一种基于标志物多特征融合的无人机自动寻的着陆方法,能够利用机载摄像设备实时获取的图像,采用目标模板匹配和目标颜色、形态学轮廓相结合的方式准确找出降落标志物位置。本发明利用了颜色、形态学轮廓、特征点,多种特征来完成检测。具有高抗干扰性,可以有效解决实时图像与模板图像在视角变换、几何变换、仿射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种基于标志物多特征融合的无人机自动寻的着陆方法,所述标志物仅包括红绿蓝中的任意两种颜色,包括以下具体步骤:
步骤1,载入标志物的基准图像,提取基准图像的特征点集合和特征向量;
步骤2,接入机载摄像机的实时视频流,对视频图像进行逐帧处理,具体为:
201,提取场景图的最优匹配特征点集合,具体为:
1)提取当前帧场景图的特征点集合和特征向量;
2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配,获得匹配特征点对集合;
3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离,并对求得的欧氏距离进行排序,得到匹配特征点对的距离集合;
4)计算匹配特征点对的距离集合中距离的均值mean(Ds),并找出匹配特征点对的距离集合中的最短距离min(Ds),若mean(Ds)/min(Ds)>T,则当前帧场景图和基准图像匹配,进入5),否则舍弃当前帧场景图,返回1)执行对下一帧场景图的操作;其中,T为第一阈值;
5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合,从而得到场景图的最优匹配特征点集合;
202,获取基准图在场景图中的最优位置,具体为:
a)对当前帧场景图进行RGB三通道分离,得到R、G、B通道图像;
b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像,分别计算其与另外两个通道图像的像素值的相对强度的乘积,得到两张相对像素强度的灰度图I1和I2
c)对b)中的到的灰度图I1和I2进行阈值化,得到二值化图像
b)膨胀对其中白色像素块边缘提亮,得到图像
d)获取中的连通域,按照边界长度对连通域进行排序,滤除边界长度不在有效边界长度范围内的连通域;
e)获取d)中剩余连通域的外接矩形,滤除外接矩形长宽比不在有效比值范围内的连通域;
f)将e)中剩余连通域映射到上,所得到的区域作为兴趣区;对兴趣区内求像素和,获取每个连通域对应的一对兴趣区的像素和的比值,滤除该比值小于第二阈值的连通域;
g)将f)中剩余连通域中对应的一对兴趣区的像素和的比值最大的连通域,作为基准图在场景图中的最优位置;
步骤3,获取201中得到的最优匹配特征点集合中落入基准图在场景图中的最优位置中的特征点,这些特征点的像素中心即为标志物的位置。
作为本发明的进一步优化方案,步骤201中5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合,具体为:
首先,利用当前帧场景图的匹配特征点对集合中的特征点,根据最大期望EM算法在RKHS空间域内估计出其最优矢量场;然后,利用最优矢量场对匹配特征点对集合中的误匹配特征点对进行剔除,从而得到最优匹配特征点对集合。
作为本发明的进一步优化方案,步骤201中2)使用快速最近邻算法FLANN对基准图像特征点集和当前帧场景图特征点集进行匹配。
作为本发明的进一步优化方案,步骤201中1)使用SURF算法提取当前帧场景图的特征点集和特征向量。
作为本发明的进一步优化方案,步骤1中使用SURF算法提取基准图像的特征点集和特征向量。
作为本发明的进一步优化方案,步骤201中1)提取当前帧场景图的特征点集合和特征向量前,还包括对当前帧场景图进行缩放,以满足实际需求。
作为本发明的进一步优化方案,步骤202中a)对当前帧场景图进行RGB三通道分离,得到R、G、B通道图像后,还包括将R、G、B通道图像从8为无符号型转换成32为浮点型,以便于后续计算。
作为本发明的进一步优化方案,步骤202中d)或e)或f)中剩余连通域数量为0,则舍弃当前帧场景图,返回步骤201,执行对下一帧场景图的操作。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明是一种基于标志物颜色、形态学轮廓以及特征点,多种特征的无人机自动寻的着陆方法,以机载摄像机实时采集到的视频图像为对象,自动地较准确地检测目标在图像中的位置。该方法以标志物图形的颜色特征、轮廓的形态特征和特征点作为判断依据,能够适应低空无人机航空序列图像的视角变换、几何变换、放射变换、畸变、亮度变换、噪声干扰等恶劣情况下的匹配问题,可以实时地对基准图形进行检测,进而实时计算标志物的坐标,检测结果准确率高,对无人机自动寻地着陆具有重要的应用价值。
附图说明
图1是本发明的方法流程图。
图2是提取场景图的最优匹配特征点集合的流程图。
图3是获取基准图在场景图中的最优位置的流程图。
图4是基准图像。
图5是基准图像的特征点。
图6是本实例中的场景图。
图7是场景图检测到的特征点。
图8是场景图匹配特征点。
图9是的显示效果。
图10是的显示效果。
图11是场景图检测到的连通域。
图12是连通域按边界长度去噪后的结果。
图13是连通域按外接矩形长宽比去噪后的结果。
图14是连通域按兴趣区内像素和比值去噪后的结果。
图15是最终在场景图找到最优特征点。
具体实施方式
下面结合附图以及具体实施例对本发明的技术方案做进一步的详细说明:
本发明是一种基于标志物颜色、轮廓及特征点检测的无人机自动寻的着陆方法,如图1至3所示,具体内容这里不再赘述。
本实例中,视频采集于离目标1-4米的相机,拍摄角度相机镜头和目标法线最大偏角60度,帧大小1920*1080,帧速率29f/s。标志物(基准图)图像如图4所示,基准图像包括红蓝两种颜色,图片大小1681*1651像素。检测目标区域,通过对着陆标志物的颜色、形态学轮廓和特征点来检测出标志物在场景图像中的区域,具体步骤如下:
1、载入基准图像It,如图4所示,其中基准图中间的“停”是红色的,此时确保基准图像颜色空间是RGB,采取通道分离提取红色通道图该通道每个像素值的范围在0~255。使用SURF(Speed-up robust features,快速鲁棒特征)算法提取基准图像红色通道图的特征点集合和特征向量discrptorT,为兼顾匹配点的准确率和处理速度Hessian矩阵阈值设置为1200,检测到87个特征点,如图5所示,记为
d s t { d n ( x n , y n ) } n = 1 N t , ( N t = 87 ) - - - ( 1 )
其中,Nt为基准图像的特征点数,n=(1,2,…,Nt),dn(xn,yn)为基准图像的第n个特征点,(xn,yn)为第n个特征点在基准图像中的坐标。
2、接入机载摄像机实时视频流,载入当前帧场景图,当前帧场景图大小为1920*1080像素。考虑到大尺寸的图形对图像处理单元负载较大,因此调整当前帧场景图到合适的尺寸380*220,记为如图6所示,其中,i为当前帧场景图的帧序号。
同样对当前帧场景图进行通道分离,获取R通道的图像使用SURF算法提取的特征点集合和特征向量discrptorS,检测到172个特征点,如图7所示,记为
d s i { d j ( x j , y j ) } j = 1 N s i , ( N s i = 172 ) - - - ( 2 )
其中,为当前帧场景图的特征点数,dj(xj,yj)为当前帧场景图的第j个特征点,(xj,yj)为第j个特征点在当前帧场景图中的坐标。
3、使用快速最近邻算法(Fast Library for Approximate Nearest Neighbors,简称FLANN)对基准图像的特征点集合和当前帧场景图的特征点集合进行匹配,得到匹配特征点对集合p,其中有87个匹配特征点对,记为
p { d k t ( x k , y k ) , d k s ( x k ′ , y k ′ ) } k = 1 N , ( N = 87 ) - - - ( 3 )
其中,N为匹配特征点对的数量,(xk,yk)为匹配特征点对集合p中第k个基准图像的特征点,(xk,yk)为匹配特征点对集合p中第k个基准图像的特征点在基准图像中的坐标,(xk',yk')为匹配特征点对集合p中第k个当前帧场景图的特征点,(xk',yk')为匹配特征点对集合p中第k个当前帧场景图的特征点在当前帧场景图中的坐标。
4、计算所有匹配特征点对的特征向量之间的欧氏距离为:
D s { || d k t ( x k , y k ) - d k s ( x k ′ , y k ′ ) || 2 } k = 1 N , ( N = 87 ) - - - ( 4 )
其中,Ds为匹配特征点对的距离集合。
以及,对计算得到的匹配特征点对的距离集合求均值,均值mean(Ds)=0.369205。
对匹配特征点对的距离进行快速排序并保存,在已排序的距离中使用二分法搜索返回其中的最短距离min(Ds)=0.185192。计算得mean(Ds)/min(Ds)=1.99363,阈值T预先设置为10倍min(Ds),条件
mean(Ds)/min(Ds)>T (5)
成立,则当前帧场景图和基准图像匹配,进入步骤5。
5、利用矢量场一致(Vector Field Consensus,简称VFC)算法和最大期望(Expectation Maximization,简称EM)算法获取匹配特征点对的集合中的最优匹配特征点对集合,从而得到场景图的最优匹配特征点集合。
VFC算法的核心思想在于正确匹配点对在再生核希尔伯特空间(ReproducingKernel Hilbert Space,RKHS)空间域内保持着低频光滑特性,因此,可用SURF算法提取到的匹配特征点在RKHS空间域内估计出匹配特征点的最优矢量场f。反过来,可再用最优矢量场f对误匹配特征点对进行剔除(马佳义.基于非参数模型的点集匹配算法研究[D].华中科技大学,2014.)。进一步具体有:
VFC算法中,假设正确匹配点为各向同性的高斯白噪声,且误匹配点对服从均匀分布。对每对我们与之关联一个隐变量zk∈{0,1},其中zk=1代表样本点为正确匹配点对,zk=0代表样本点为误匹配点对。令矩阵X和Y分别表示输入和输出数据,其第k行分别为xT k与yT k,于是我们得到一个匹配点对所对应的混合模型的似然函数(马佳义.基于非参数模型的点集匹配算法研究[D].华中科技大学,2014.):
p ( Y | X , θ ) = Π k = 1 N Σ z k p ( y k , z k | x k , θ ) - - - ( 6 )
其中包含所有未知参数集,代表在参数θ下xk与yk的匹配概率。
根据文献(J.Ma,J.Zhao,J.Tian,A.L.Yuille and Z.Tu.Robust Point MatchingVia Vector Field Consensus.IEEE Transactions on Image Processing,23(4):1706-1721,2014.),求解最优矢量场f可进一步转化为最小化以下能量函数ε(f):
上式中的f指当前估计出的矢量场,λ为归一化参数,表示RKHS空间。其中,pk=P(zk=1|zk,yk,θ)表示第k个样本与当前估计出的矢量场f的吻合程度,γ表示正确匹配点对的比率,zk取1表示第k个匹配点对标记为正确匹配点(内点)。
利用最大期望Expectation Maximization(EM)算法对公式(6)进行迭代,最终可以得到最优矢量场f,并对误匹配特征点对进行剔除,得到最优匹配特征点对集合p',其中最优匹配特征点对35个,如图8所示,记为(N′=35)其中,N'为最优匹配特征点对的个数,为最优匹配特征点对集合p′中的第m个基准图像的特征点,(xm,ym)为最优匹配特征点对集合p'中的第m个基准图像的特征点在基准图像中的坐标,为最优匹配特征点对集合p'中的第m个当前帧场景图的特征点,(xm',ym')为最优匹配特征点对集合p'中的第m个当前帧场景图的特征点在当前帧场景图中的坐标。
6、获得当前帧场景图的最优匹配特征点集合即为
7、获取当前帧场景图的三个通道图像IB,IG,IR,并将三个通道图像从8位无符号型转换成32位浮点型,以便于后续计算。
8、根据公式(8)
I 1 = ( I B / I G ) * ( I B / I R ) I 2 = ( I R / I B ) * ( I R / I G ) - - - ( 8 )
分别计算IB和IR相对于另外两个通道图像像素强度的乘积,得到两张灰度图I1和I2
9、阈值化I1和I2:对图像中的像素强度做出决策,将I1中像素值大于0.1的置为1,否则置为0,将I2中像素值大于0.3的置为1,否则置为0,得到二值化图像分别如图9和图10所示。
10、膨胀对白色像素块边缘提亮,解决粘连,得到图像检测到中的连通域有4个,连通域集合记为如图11所示,其中,l代表连通域的边界长度。
11、按连通域的边界长度对连通域进行过滤,(此时注意,在过滤过程中,对剩余连通域的数量S1进行限定,如果连通域数量大于6个,则阈值S1设置为6,否则阈值S1设置为3),本实例中S1设置为3,则最多保留S1个边界长度最大的连通域,并且剔除长度小于40的连通域,本实例剔除长度为31的连通域,刚好剩下3个连通域,如图12所示,将剩下的连通域集合记为
12、对连通域集合中的3个连通域求其外接矩形,得外接矩形集合计算3个外接矩形的长宽比,结果如表1所示:
表1连通域外接矩形参数
W(width) H(height) Min(W,H)/Max(W,H)
5 46 0.108696
23 12 0.521739
73 74 0.986486
对每个外接矩形的长宽比做出决策,将连通域外接矩形长宽比排序,(此时注意,在过滤过程中,对剩余连通域的数量S2进行限定,如果连通域数量大于6个,则阈值S2设置为6,否则阈值S2设置为3)本实例中设置为3,最多保存S2个外接矩形长宽比最大连通域,剔除长宽比低于0.5的外接矩形和对应的连通域。本实例中,剔除长宽比为0.108696的连通域,剩下2个连通域,如图13所示,将剩下的连通域集合记为
13、将中的连通域映射到上,所得到的区域作为兴趣区,共有2对兴趣区,得到兴趣区对的集合其中,Aq为基准图像上的第q个兴趣区,Aq'为当前帧场景图上的第q个兴趣区。对每个兴趣区内求像素和,获取每个连通域对应的一对兴趣区的像素和的比值,如表2所示,得到比值的集合R:
R { m i n ( s u m ( A q ) , s u m ( A q ′ ) ) / m a x ( s u m ( A q ) , s u m ( A q ′ ) ) } q = 1 M , ( M = 2 ) - - - ( 9 )
表2兴趣区内的像素和
sum(Ai) sum(Ai') R
42 0 0
4528 1153 0.254632
在剩下的连通域中剔除比值低于阈值0.03的连通域(兴趣区对),筛选出最符合条件的连通域C,如图14所示。
使用步骤13得到的连通域C规范步骤6得到的当前帧场景图的最优匹配特征点集合得到落入区域C中的当前帧场景图特征点集合。本实例中,落入区域C中的当前帧场景图特征点的数量为16,这些特征点即为所求最优特征点,找到这些特征点的中心,即可知标志物在场景中的位置,如图15所示。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.基于标志物多特征融合的无人机自动寻的着陆方法,所述标志物仅包括红绿蓝中的任意两种颜色,其特征在于,包括以下具体步骤:
步骤1,载入标志物的基准图像,提取基准图像的特征点集合和特征向量;
步骤2,接入机载摄像机的实时视频流,对视频图像进行逐帧处理,具体为:
201,提取场景图的最优匹配特征点集合,具体为:
1)提取当前帧场景图的特征点集合和特征向量;
2)将当前帧场景图的特征点集合和基准图像的特征点集合进行匹配,获得匹配特征点对集合;
3)计算匹配特征点对集合中所有匹配特征点对的特征向量之间的欧氏距离,并对求得的欧氏距离进行排序,得到匹配特征点对的距离集合;
4)计算匹配特征点对的距离集合中距离的均值mean(Ds),并找出匹配特征点对的距离集合中的最短距离min(Ds),若mean(Ds)/min(Ds)>T,则当前帧场景图和基准图像匹配,进入5),否则舍弃当前帧场景图,返回1)执行对下一帧场景图的操作;其中,T为第一阈值;
5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合,从而得到场景图的最优匹配特征点集合;
202,获取基准图在场景图中的最优位置,具体为:
a)对当前帧场景图进行RGB三通道分离,得到R、G、B通道图像;
b)选取对应标志物所含两种颜色的当前帧场景图的两个通道图像,分别计算其与另外两个通道图像的像素值的相对强度的乘积,得到两张相对像素强度的灰度图I1和I2
c)对b)中的到的灰度图I1和I2进行阈值化,得到二值化图像
b)膨胀对其中白色像素块边缘提亮,得到图像
d)获取中的连通域,按照边界长度对连通域进行排序,滤除边界长度不在有效边界长度范围内的连通域;
e)获取d)中剩余连通域的外接矩形,滤除外接矩形长宽比不在有效比值范围内的连通域;
f)将e)中剩余连通域映射到上,所得到的区域作为兴趣区;对兴趣区内求像素和,获取每个连通域对应的一对兴趣区的像素和的比值,滤除该比值小于第二阈值的连通域;
g)将f)中剩余连通域中对应的一对兴趣区的像素和的比值最大的连通域,作为基准图在场景图中的最优位置;
步骤3,获取201中得到的最优匹配特征点集合中落入基准图在场景图中的最优位置中的特征点,这些特征点的像素中心即为标志物的位置。
2.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤201中5)利用矢量场一致VFC算法和最大期望EM算法获取匹配特征点对的集合中的最优匹配特征点对集合,具体为:
首先,利用当前帧场景图的匹配特征点对集合中的特征点,根据最大期望EM算法在RKHS空间域内估计出其最优矢量场;然后,利用最优矢量场对匹配特征点对集合中的误匹配特征点对进行剔除,从而得到最优匹配特征点对集合。
3.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤201中2)使用快速最近邻算法FLANN对基准图像特征点集和当前帧场景图特征点集进行匹配。
4.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤201中1)使用SURF算法提取当前帧场景图的特征点集和特征向量。
5.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤1中使用SURF算法提取基准图像的特征点集和特征向量。
6.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤201中1)提取当前帧场景图的特征点集合和特征向量前,还包括对当前帧场景图进行缩放,以满足实际需求。
7.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤202中a)对当前帧场景图进行RGB三通道分离,得到R、G、B通道图像后,还包括将R、G、B通道图像从8为无符号型转换成32为浮点型,以便于后续计算。
8.根据权利要求1所述的基于标志物多特征融合的无人机自动寻的着陆方法,其特征在于,步骤202中d)或e)或f)中剩余连通域数量为0,则舍弃当前帧场景图,返回步骤201,执行对下一帧场景图的操作。
CN201610481768.4A 2016-06-27 2016-06-27 基于标志物多特征融合的无人机自动寻的着陆方法 Active CN106203439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610481768.4A CN106203439B (zh) 2016-06-27 2016-06-27 基于标志物多特征融合的无人机自动寻的着陆方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610481768.4A CN106203439B (zh) 2016-06-27 2016-06-27 基于标志物多特征融合的无人机自动寻的着陆方法

Publications (2)

Publication Number Publication Date
CN106203439A true CN106203439A (zh) 2016-12-07
CN106203439B CN106203439B (zh) 2019-05-31

Family

ID=57462151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610481768.4A Active CN106203439B (zh) 2016-06-27 2016-06-27 基于标志物多特征融合的无人机自动寻的着陆方法

Country Status (1)

Country Link
CN (1) CN106203439B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527455A (zh) * 2017-01-03 2017-03-22 北京博瑞空间科技发展有限公司 无人机降落控制方法及装置
CN108896053A (zh) * 2018-07-12 2018-11-27 北京理工大学 一种行星着陆光学导航最优路标选取方法
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110865650A (zh) * 2019-11-19 2020-03-06 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2273590C1 (ru) * 2004-11-16 2006-04-10 Зао Вниира-Овд Комплексная система посадки летательных аппаратов и способ захода на посадку
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101692283A (zh) * 2009-10-15 2010-04-07 上海大学 无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2273590C1 (ru) * 2004-11-16 2006-04-10 Зао Вниира-Овд Комплексная система посадки летательных аппаратов и способ захода на посадку
CN101504287A (zh) * 2009-01-22 2009-08-12 浙江大学 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法
CN101692283A (zh) * 2009-10-15 2010-04-07 上海大学 无人旋翼机仿生着陆系统的摄像机外参数在线自标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LU KE, ETC.: "Automatic Landing on Carrier Method of Unmanned Air Vehicle", 《PROCEEDINGS OF 2014 IEEE CHINESE GUIDANCE, NAVIGATION AND CONTROL CONFERENCE》 *
NATHAN RACKLIFFE, ETC.: "Using Geographic Information Systems (GIS) for UAV Landings and UGV Navigation", 《IEEE CONFERENCES》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527455A (zh) * 2017-01-03 2017-03-22 北京博瑞空间科技发展有限公司 无人机降落控制方法及装置
CN108896053A (zh) * 2018-07-12 2018-11-27 北京理工大学 一种行星着陆光学导航最优路标选取方法
CN108896053B (zh) * 2018-07-12 2021-11-23 北京理工大学 一种行星着陆光学导航最优路标选取方法
CN110068321A (zh) * 2019-03-27 2019-07-30 清华大学 定点降落标志的uav相对位姿估计方法
CN110322462A (zh) * 2019-06-13 2019-10-11 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110322462B (zh) * 2019-06-13 2021-07-27 暨南大学 基于5g网络的无人机视觉着陆方法及系统
CN110865650A (zh) * 2019-11-19 2020-03-06 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法
CN110865650B (zh) * 2019-11-19 2022-12-20 武汉工程大学 基于主动视觉的无人机位姿自适应估计方法

Also Published As

Publication number Publication date
CN106203439B (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
Pang et al. $\mathcal {R}^ 2$-CNN: fast Tiny object detection in large-scale remote sensing images
Schwarz et al. RGB-D object recognition and pose estimation based on pre-trained convolutional neural network features
Wang et al. Object detection combining recognition and segmentation
CN107610114B (zh) 基于支持向量机的光学卫星遥感影像云雪雾检测方法
CN106203439B (zh) 基于标志物多特征融合的无人机自动寻的着陆方法
Hu et al. Location-aware fine-grained vehicle type recognition using multi-task deep networks
Ahmad et al. An edge-less approach to horizon line detection
Lai et al. Traffic Signs Recognition and Classification based on Deep Feature Learning.
CN102521616A (zh) 基于稀疏表示的行人检测方法
Chen et al. Automatic panoramic UAV image mosaic using ORB features and robust transformation estimation
CN109255052A (zh) 一种基于多特征的三阶段车辆检索方法
Hsiao et al. Gradient networks: Explicit shape matching without extracting edges
CN102129569A (zh) 基于多尺度对比特征的对象检测设备和方法
Wang et al. Deep learning-based human activity analysis for aerial images
Trinh et al. Facet-based multiple building analysis for robot intelligence
Huang et al. A multistage target tracker in IR image sequences
Wu et al. Real-time 2D hands detection and tracking for sign language recognition
Poddar et al. Light Weight Character and Shape Recognition for Autonomous Drones
KhabiriKhatiri et al. Road Traffic Sign Detection and Recognition using Adaptive Color Segmentation and Deep Learning
Liu et al. Vehicle attribute recognition for normal targets and small targets based on multitask cascaded network
Rachmadi et al. Japan road sign classification using cascade convolutional neural network
Wang et al. Detection of harbours from high resolution remote sensing imagery via saliency analysis and feature learning
Liu et al. Unsupervised Domain Adaptation for Remote Sensing Vehicle Detection using Domain-specific Channel Recalibration
Jin et al. Remote Sensing Image Scene Classification Based on Combining Multiple Features
Puttagunta et al. Low resolution recognition of aerial images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20161207

Assignee: NANJING UNIVERSITY OF POSTS AND TELECOMMUNICATIONS NANTONG INSTITUTE Co.,Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2021980011448

Denomination of invention: Automatic homing landing method of UAV Based on multi feature fusion of markers

Granted publication date: 20190531

License type: Common License

Record date: 20211027