CN105825523B - 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法 - Google Patents

一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法 Download PDF

Info

Publication number
CN105825523B
CN105825523B CN201610136685.1A CN201610136685A CN105825523B CN 105825523 B CN105825523 B CN 105825523B CN 201610136685 A CN201610136685 A CN 201610136685A CN 105825523 B CN105825523 B CN 105825523B
Authority
CN
China
Prior art keywords
runway
frame target
target area
sample
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610136685.1A
Other languages
English (en)
Other versions
CN105825523A (zh
Inventor
曹云峰
胡运强
丁萌
庄丽葵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201610136685.1A priority Critical patent/CN105825523B/zh
Publication of CN105825523A publication Critical patent/CN105825523A/zh
Application granted granted Critical
Publication of CN105825523B publication Critical patent/CN105825523B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，属于定位导航与控制技术领域。本方法包括如下步骤：(1)根据前一帧目标的位置及尺度在前一帧目标位置附近区域采集样本，并提取样本的压缩特征；(2)利用贝叶斯分类器判断得到当前帧目标的位置区域；(3)提取前后两帧图像目标区域上SIFT特征点，并以SIFT特征点间距离变化率作为相邻帧图像跑道区域尺寸的变化率；(4)引入SIFT特征点模值作为跑道区域尺寸变化率的权值，得到最终跑道区域尺度变化率；(5)更新跑道区域尺度，并在当前帧目标区域邻近范围内采集正负样本，训练更新分类器。本发明提高了跑道跟踪的实时性和准确性。

Description

一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法
技术领域
本发明涉及一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，属于定位导航与控制技术领域。
背景技术
随着机器视觉技术发展及其在多个领域成功应用，近年来将视觉技术用于无人飞行器自主导航得到广泛研究。固定翼无人机飞行速度高，在着陆过程中跑道在视觉传感器的视野中尺寸不断变大，而且变化率不恒定，与无人机的速度及无人机与跑道的相对距离相关。无人机速度越快，则变化率越大，无人机距离跑道越近，变化率越大。故此，实现快速变尺度跑道跟踪是固定翼无人机基于视觉导航成功着陆的关键。
Xiaobing Wang等人利用跑道的边缘特性对跑道进行检测和跟踪。文中利用改进的canny方法进行边缘检测，并使用Hough变换求取边缘直线的表示。由于Hough变换运行速度较慢，该跟踪方法并不能实现对跑道的快速跟踪。近年来有许多快速跟踪方法，如Zhang等人提出的基于压缩感知的快速跟踪算法。压缩跟踪算法利用随机测量矩阵在多尺度图像特征空间提取目标外观模型，用相同的随机测量矩阵提取测试样本的特征，使用二值分类器跟踪目标区域。Zhang提出的跟踪算法是目前最快速有效的跟踪方法之一。但在算法中相邻帧之间采样样本的尺寸是以恒定的变化率变化。但是，无人机着陆过程中跑道在视觉传感器中获得的图像中的尺寸相邻帧之间变化率不是恒定的。在着陆初期，无人机距离跑道1千米以上时，相邻帧跑道在图像中的尺度变化很小，可以忽略不计，而无人机相距跑道较近（在500米以内时），此时变化率较大，而且无人机的速度也会影响到相邻帧的变化率。经实验，采用Zhang的算法进行跑道跟踪时，跑道区域的尺寸几乎不变，最终算法会跟踪到跑道的局部区域。故此采用Zhang提出的多尺度策略并不能有效地跟踪跑道。
发明内容
本发明提出了一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，在压缩跟踪的基础上，改进跟踪框尺度变化方法，实现在着陆过程中对跑道的鲁棒多尺度跟踪，即跟踪算法得到的目标区域大小适应跑道尺寸的变化。
本发明为解决其技术问题采用如下技术方案：
一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，包括如下步骤：
(1)根据前一帧目标的位置及尺度在前一帧目标位置附近区域采集样本，并提取样本的压缩特征；
(2)利用贝叶斯分类器判断得到当前帧目标的位置区域；
(3)提取前后两帧图像目标区域上SIFT特征点，并以SIFT特征点间距离变化率作为相邻帧图像跑道区域尺寸的变化率；
(4)引入SIFT特征点模值作为跑道区域尺寸变化率的权值，得到最终跑道区域尺度变化率；
(5)更新跑道区域尺度，并在当前帧目标区域邻近范围内采集正负样本，训练更新分类器。
所述步骤(1)具体实现过程如下：以前一帧目标位置为圆心，以为半径进行采样，其中、分别为前一帧目标区域的宽度和高度，然后根据压缩跟踪算法提取出样本的压缩特征。
所述步骤(3)具体实现过程如下：首先分别提取前后两帧图像目标区域中的SIFT特征点并进行匹配，得到两组对应的点集，分别记为, ,其中与为前后两帧目标区域中相匹配的SIFT特征点，n为成功匹配的特征点对数；相邻两帧目标区域在x轴方向与y轴方向尺度变化率,分别为
其中，分别点集S中任意两特征点,在x轴y轴方向上的距离,则为点集中相匹配的特征点、在x轴y轴方向的距离。
所述步骤(4)具体实现过程如下：在变化率中引入特征点的模值m作为权值，即将两特征点的距离乘以此两特征点的模值后代入到变化率计算式中，则相邻两帧图像目标区域在x轴y轴方向的变化率为：
其中、为特征点的模值，、为特征点、的模值。
所述步骤（5）中所述邻近范围，其指正样本的采样范围是以当前帧目标位置为圆心，以5个像素即r=5为半径；负样本采样范围以当前帧目标位置为圆心，在距离圆心位置距离大于且小于的区域，其中w，h分别为当前帧目标区域的宽度和高度。
本发明的有益效果如下：
提高了跑道跟踪的实时性；
本发明采用压缩特征，将高维的目标特征转变为低维的特征，极大降低了算法的耗时。同目前的已有跑道跟踪算法相比，本发明的跑道跟踪算法在实时性具有明显的优势。
提高了跑道跟踪的准确性；
跑道跟踪的结果将由无人机视觉导航系统进行进一步处理得到无人机的导航信息，为此跟踪结果必须包含完整的的跑道。本发明实现了对跑道的多尺度跟踪，经实验证明在着陆过程中跟踪结果包含完整的跑道区域，提高了跟踪结果的准确性。
具有较强的鲁棒性；
SIFT特征具有较强的鲁棒性，本发明在此基础上引入SIFT的模值作为权值，提高了尺度变化率的准确性，进一步增强了算法的鲁棒性。
附图说明
图1是面向固定翼无人机着陆快速多尺度跑道跟踪算法流程图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
图1为本发明面向固定翼无人机着陆快速多尺度跑道跟踪方法的具体实施方式。首先由其他方式得到测试序列图像第一帧图像目标的位置及其尺寸，对目标区域跟踪框初始化，然后读入第一帧图像提取目标区域内的SIFT（尺度不变特征变换）特征，同时在此过程中进行压缩跟踪算法的初始化如分类器的初始化。读入下一帧图像，利用压缩跟踪算法得到这一帧图像的目标区域，提取目标区域内的SIFT特征点，并与前一帧图像目标区域的特征点进行匹配，得到相应的特征点集S，，求得目标区域在x轴y轴方向的变化率，利用变化率对目标区域的尺寸进行更新。同时随机测量矩阵的大小也要根据目标区域的尺寸变化而变化。

Claims (3)

1.一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，其特征在于，包括如下步骤：
(1)根据前一帧目标的位置及尺度在前一帧目标位置附近区域采集样本，并提取样本的压缩特征；
(2)利用贝叶斯分类器判断得到当前帧目标的位置区域；
(3)提取前后两帧图像目标区域上SIFT特征点，并以SIFT特征点间距离变化率作为相邻帧图像跑道区域尺寸的变化率；具体实现过程如下：首先分别提取前后两帧图像目标区域中的SIFT特征点并进行匹配，得到两组对应的点集，分别记为S＝{s1,s2,…,si,…sn},S'＝{s′1,s′2,…,s′i,…s′n},其中si与s′i为前后两帧目标区域中相匹配的SIFT特征点，n为成功匹配的特征点对数；相邻两帧目标区域在x轴方向与y轴方向尺度变化率xrate,yrate分别为：
其中xij＝||xj-xi||，yij＝||yj-yi||分别点集S中任意两特征点Pi,Pj在x轴y轴方向上的距离,x′ij＝||x′j-x′i||、y′ij＝||y′j-y′i||则为点集S′中相匹配的特征点P′i、P′j在x轴y轴方向的距离；
(4)将SIFT特征点模值与两特征点的距离相乘后代入变化率计算公式中而得到最终跑道区域尺度变化率；具体实现过程如下：在变化率中引入特征点的模值m作为权值，即将两特征点的距离乘以此两特征点的模值后代入到公式(1)和(2)中，则相邻两帧图像目标区域在x轴y轴方向的变化率为：
其中mi、mj为特征点Pi、Pj的模值，m′i、m′j为特征点P′i、P′j的模值；
(5)更新跑道区域尺度，并在当前帧目标区域邻近范围内采集正负样本，训练更新分类器。
2.根据权利要求1所述的一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，其特征在于所述步骤(1)具体实现过程如下：以前一帧目标位置为圆心，以为半径进行采样，其中w、h分别为前一帧目标区域的宽度和高度，然后根据压缩跟踪算法提取出样本的压缩特征。
3.根据权利要求1所述的一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法，其特征在于：所述步骤(5)中所述邻近范围，其指正样本的采样范围是以当前帧目标位置为圆心，以5个像素即r＝5为半径；负样本采样范围以当前帧目标位置为圆心，在距离圆心位置距离大于且小于的区域，其中w，h分别为当前帧目标区域的宽度和高度。
CN201610136685.1A 2016-03-11 2016-03-11 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法 Expired - Fee Related CN105825523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610136685.1A CN105825523B (zh) 2016-03-11 2016-03-11 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610136685.1A CN105825523B (zh) 2016-03-11 2016-03-11 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法

Publications (2)

Publication Number Publication Date
CN105825523A CN105825523A (zh) 2016-08-03
CN105825523B true CN105825523B (zh) 2019-07-19

Family

ID=56987573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610136685.1A Expired - Fee Related CN105825523B (zh) 2016-03-11 2016-03-11 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法

Country Status (1)

Country Link
CN (1) CN105825523B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763426A (zh) * 2021-08-30 2021-12-07 北京理工大学 一种快速交汇过程目标可靠跟踪方法
CN116385475B (zh) * 2023-06-06 2023-08-18 四川腾盾科技有限公司 一种针对大型固定翼无人机自主着陆的跑道识别分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279748A (zh) * 2013-06-04 2013-09-04 南京三宝科技股份有限公司 一种基于sift–cof特征光流的道路检测方法
CN104408460A (zh) * 2014-09-17 2015-03-11 电子科技大学 一种车道线检测及跟踪检测方法
CN105279770A (zh) * 2015-10-21 2016-01-27 浪潮(北京)电子信息产业有限公司 一种目标跟踪控制方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279748A (zh) * 2013-06-04 2013-09-04 南京三宝科技股份有限公司 一种基于sift–cof特征光流的道路检测方法
CN104408460A (zh) * 2014-09-17 2015-03-11 电子科技大学 一种车道线检测及跟踪检测方法
CN105279770A (zh) * 2015-10-21 2016-01-27 浪潮(北京)电子信息产业有限公司 一种目标跟踪控制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《基于序列图像的无人机进近着陆跑道识别与跟踪研究》;张琴 等;《云南民族大学学报：自然科学版》;20140228;第23卷(第2期);第146-150页
《基于序歹#8 图像的UAV着陆跑道识别方法》;杨世保 等;《仪器仪表学报》;20110630;第32卷(第6期);第232-236页

Also Published As

Publication number Publication date
CN105825523A (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
CN104766058B (zh) 一种获取车道线的方法和装置
CN109102522B (zh) 一种目标跟踪方法及装置
CN107657279B (zh) 一种基于少量样本的遥感目标检测方法
CN107909600A (zh) 一种基于视觉的无人机实时运动目标分类与检测方法
WO2016015547A1 (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
EP2874097A2 (en) Automatic scene parsing
CN103810491B (zh) 融合深度和灰度图像特征点的头姿估计兴趣点检测方法
CN106407958B (zh) 基于双层级联的面部特征检测方法
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN103077521A (zh) 一种用于视频监控的感兴趣区域提取方法
CN103593832A (zh) 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN106127145A (zh) 瞳孔定位及跟踪方法
CN108021869A (zh) 一种结合高斯核函数的卷积神经网络跟踪方法
CN107798691A (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN102853835B (zh) 基于尺度不变特征变换的无人飞行器景象匹配定位方法
CN103886325A (zh) 一种分块的循环矩阵视频跟踪方法
CN102938147A (zh) 一种基于快速鲁棒特征的低空无人机视觉定位方法
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
CN105825523B (zh) 一种面向固定翼无人机着陆的快速变尺度跑道跟踪方法
CN105825215B (zh) 一种基于局部近邻嵌入核函数的仪表定位方法及使用载体
CN103996207A (zh) 一种物体跟踪方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190719

Termination date: 20210311