CN104484868A - 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 - Google Patents
一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 Download PDFInfo
- Publication number
- CN104484868A CN104484868A CN201410525532.7A CN201410525532A CN104484868A CN 104484868 A CN104484868 A CN 104484868A CN 201410525532 A CN201410525532 A CN 201410525532A CN 104484868 A CN104484868 A CN 104484868A
- Authority
- CN
- China
- Prior art keywords
- target
- circle
- image
- prime
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Abstract
一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法,包括如下步骤:1)进行模板匹配获取目标位置,采用相关系数匹配方式来进行模板匹配;2)根据上一帧得到的圆心圈定检测范围;3)进行图像二值化,获取图像的轮廓图,通过创建包围闭合轮廓的圆来获得待选圆集;4)在待检测区域中获得半径最接近目标边长一半的圆形,获得目标圆并转化到全图片帧时的坐标,重复包括2)~3)在内之后的步骤;若没有找到,则重复包括1)~3)在内之后的步骤。本发明实时性良好、稳定性较好。
Description
技术领域
本发明涉及一种运动目标航拍跟踪方法。
背景技术
通常的,无人机通过GPS进行定位导航,然而GPS的精确范围有限,当无人机进入目标一定范围内后,无人机便较难进行精确定位。且现有的目标跟踪算法种类繁多,目标运动模型研究如kalman预测跟踪,meanshift跟踪,粒子滤波跟踪等;目标表现模型研究上Tracking byDetection成为视觉跟踪比较热门的话题,如Ensemble Tracking、Support Vectortracking、Incremental Leaningfor Visual Tracking及TLD等。但大多算法针对特定场景或缺乏实时性及实用性。
存在的技术缺陷为:实时性较差、稳定性较差。
发明内容
为了克服已有运动目标航拍跟踪方法的实时性较差、稳定性较差的不足,本发明提供了一种实时性良好、稳定性较好的结合模板匹配和图像轮廓的运动目标航拍跟踪方法。
本发明解决其技术问题所采用的技术方案是:
一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法,包括如下步骤:
1)进行模板匹配获取目标位置
模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配,过程如下:
假设原图像是一张p*q的图像I,有一张w*h的模板图像T,匹配的过程如下:
(1.1)创建一个大小与I相同的结果图像R,令x=0,y=0;
(1.2)从原图像S的左上角(x,y)开始,切割一块(x,y)至(x+w,y+h)的临时图像S;
(1.3)比较临时图像S和模板图像T的相似度,记为a;
(1.4)相似度a就是结果图像R(x,y)处的像素值;
(1.5)令x=x+1,y=y+1;
(1.6)重复(1.2)~(1.6)的步骤直到x=p-w,y=q-h停止。
(1.7)遍历结果图像R,数值最大的点(m,n)即为目标正方形的左上顶点坐标,可得目标中心的坐标c(x,y)为(m+w/2,n+h/2);
采用相关系数匹配方式来进行模板匹配,通过匹配模板对其均值的相对值与图像对其均值的相关值来实现,数值最大的为最优匹配。
其中
T′(x′,y′)=T(x′,y′)-1/(w·h)·Σx″,y"T(x",y")
I′(x+x′,y+y′)=I(x+x′,y+y′)-1/(w·h)·Σx",y"I(x+x",y+y")
R(x,y)得出的结果即为流程中的相似度a,x'和x"表示模板矩阵的行号,y'和y"的表示模板矩阵的列号。
模板匹配时,需要根据高度来调整模板的大小,当高度为h时,i=(x*Ir*Hr)/(h*Xr),对模板进行重置大小的操作,调整其边长为i,再进行模板匹配,获取目标正方形的中心c(x,y),所述中心c(x,y)为圆心;
2)根据上一帧得到的圆心圈定检测范围
先要对目标半径进行更新,即当高度变为h时,实际长度为x时在视频中的目标长度i为
在拍摄高度为Hr时,获取边长Xr的长度在图像中的像素个数Ir;
据公式(2)得目标边长i,同时设定待检测区域,每获取一帧目标物在视频帧中最大相对位移为maxImove:
maxImove=S*IBR=S*Ir/(h*Xr/Hr); (4)
待检测区域为以上一帧目标圆心为中心,以maxImove/2*2=maxImove为边长的区域;
3)进行图像二值化,获取图像的轮廓图,通过创建包围闭合轮廓的圆来获得待选圆集,这些待选圆是包围轮廓的圆形边界框,这使得只要遮挡不截断目标的一个闭合轮廓连续区域,目标圆就会持续存在;
4)在待检测区域中获得半径最接近目标边长一半的圆形,获得目标圆并转化到全图片帧时的坐标,重复包括2)在内之后的步骤;若没有找到,则重复包括1)在内之后的步骤。
获得的目标圆表示便实现了目标的跟踪。
本发明的技术构思为:该方法针对无人机对航模标准平面标识物(如图1所示)的精确定位的应用场景。首先利用模板匹配中的相关系数匹配方式进行目标定位,通过模板匹配的结果确定待检测区域,在待检测区域内通过闭合轮廓逼近圆的原理获得待选圆的集合,从待选圆集合中选择符合条件的目标圆,后续循环待检测区域的定位方式,若其中未找到符合条件的圆则重复模板匹配。待检测区域的设定可以有效地减小计算量,后续定位的方式也可以有效地提高定位的效率。
本发明的有益效果主要表现在:1、缩小了检测范围,实时性较好,稳定性较好;2、充分利用无人机的已知数据,降低了系统的复杂度。
附图说明
图1是航模标准平面标志物的示意图。
图2是结合模板匹配和图像轮廓的运动目标航拍跟踪方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2,一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法,包括如下步骤:
1)进行模板匹配获取目标位置,本发明选择了相关系数匹配方式(CV_TM_CCOEFF)来进行模板匹配,因经过分析实验后发现其对目标旋转也具有较好的适应性。
模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配,过程如下:
假设原图像是一张p*q的图像I,有一张w*h的模板图像T,匹配的过程如下:
(1.1)创建一个大小与I相同的结果图像R,令x=0,y=0;
(1.2)从原图像S的左上角(x,y)开始,切割一块(x,y)至(x+w,y+h)的临时图像S;
(1.3)比较临时图像S和模板图像T的相似度,记为a;
(1.4)相似度a就是结果图像R(x,y)处的像素值;
(1.5)令x=x+1,y=y+1;
(1.6)重复(1.2)~(1.6)的步骤直到x=p-w,y=q-h停止。
(1.7)遍历结果图像R,数值最大的点(m,n)即为目标正方形的左上顶点坐标,可得目标中心的坐标c(x,y)为(m+w/2,n+h/2);
采用相关系数匹配方式来进行模板匹配,通过匹配模板对其均值的相对值与图像对其均值的相关值来实现,数值最大的为最优匹配。
其中
T′(x′,y′)=T(x′,y′)-1/(w·h)·Σx″,y"T(x",y")
I′(x+x′,y+y′)=I(x+x′,y+y′)-1/(w·h)·Σx",y"I(x+x",y+y")
R(x,y)得出的结果即为流程中的相似度a,x'和x"表示模板矩阵的行号,y'和y"的表示模板矩阵的列号;
模板匹配时,需要根据高度来调整模板的大小,当高度为h时,i=(x*Ir*Hr)/(h*Xr),对模板进行重置大小的操作,调整其边长为i,再进行模板匹配,获取目标正方形的中心c(x,y),所述中心c(x,y)为圆心;
2)根据上一帧得到的圆心圈定检测范围
先要对目标半径进行更新,即当高度变为h时,实际长度为x时在视频中的目标长度i为
在拍摄高度为Hr时,获取边长Xr的长度在图像中的像素个数Ir;
据公式(2)得目标边长i,同时设定待检测区域,每获取一帧目标物在视频帧中最大相对位移为maxImove:
maxImove=S*IBR=S*Ir/(h*Xr/Hr); (4)
待检测区域为以上一帧目标圆心为中心,以maxImove/2*2=maxImove为边长的区域;
3)进行图像二值化,获取图像的轮廓图,通过创建包围闭合轮廓的圆来获得待选圆集,这些待选圆是包围轮廓的圆形边界框,这使得只要遮挡不截断目标的一个闭合轮廓连续区域,目标圆就会持续存在;
4)在待检测区域中获得半径最接近目标边长一半的圆形,获得目标圆并转化到全图片帧时的坐标,重复包括2)在内之后的步骤;若没有找到,则重复包括1)在内之后的步骤;
获得的目标圆表示,即实现目标跟踪。
本实施例中,实际应用中,需要知道实际中的长度在拍摄后图像中的长度,本实验进行了一个简单的换算,需要先设定一些参考量,在拍摄高度为Hr时,获取边长Xr的长度在图像中的像素个数Ir。
高度可以由无人机实时获取或者是控制,所以是已知量,由相似三角形可知:x/Xr=h/Hr。故在这些参考量的情况下,高度为h时,对应在实际中长度为x=h*Xr/Hr,可得出图像中的像素个数与实际中长度的比值(IBR)如下
IBR=Ir:(h×Xr/Hr); (1)
故高度为h时,实际长度为x时在视频中的长度i为
同理高度为h时,视频中长度为i时在实际中的长度x为
多轴无人机飞行速度最大可达约10米/秒,但实际操作中的飞行速度较慢约1-2米/秒。本发明在假设无人机飞行速度小于v米/秒的条件下进行设计,故速度为v米/秒时,两帧之间无人机运动距离约为1/30*v*100=S(厘米),由以上公式可得h时,每获取一帧目标物在视频帧中最大相对位移maxImove为:
maxImove=S*IBR=S*Ir/(h*Xr/Hr) (4)。
Claims (1)
1.一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法,其特征在于:所述跟踪方法包括如下步骤:
1)进行模板匹配获取目标位置
模板匹配的过程通过在原图像即输入图像上滑动模板实时进行匹配,过程如下:
假设原图像是一张p*q的图像I,有一张w*h的模板图像T,匹配的过程如下:
(1.1)创建一个大小与I相同的结果图像R,令x=0,y=0;
(1.2)从原图像S的左上角(x,y)开始,切割一块(x,y)至(x+w,y+h)的临时图像S;
(1.3)比较临时图像S和模板图像T的相似度,记为a;
(1.4)相似度a就是结果图像R(x,y)处的像素值;
(1.5)令x=x+1,y=y+1;
(1.6)重复(1.2)~(1.6)的步骤直到x=p-w,y=q-h停止;
(1.7)遍历结果图像R,数值最大的点(m,n)即为目标正方形的左上顶点坐标,可得目标中心的坐标c(x,y)为(m+w/2,n+h/2);
采用相关系数匹配方式来进行模板匹配,通过匹配模板对其均值的相对值与图像对其均值的相关值来实现,数值最大的为最优匹配;
其中
T′(x′,y′)=T(x′,y′)-1/(w·h)·Σx",y"T(x",y")
I′(x+x′,y+y′)=I(x+x′,y+y′)-1/(w·h)·Σx",y"I(x+x",y+y")
R(x,y)得出的结果即为流程中的相似度a,x'和x"表示模板矩阵的行号,y'和y"的表示模板矩阵的列号;
模板匹配时,需要根据高度来调整模板的大小,当高度为h时,i=(x*Ir*Hr)/(h*Xr),对模板进行重置大小的操作,调整其边长为i,再进行模板匹配,获取目标正方形的中心c(x,y),所述中心c(x,y)为圆心;
2)根据上一帧得到的圆心圈定检测范围
先要对目标半径进行更新,即当高度变为h时,实际长度为x时在视频中的目标长度i为
在拍摄高度为Hr时,获取边长Xr的长度在图像中的像素个数Ir;
据公式(2)得目标边长i,同时设定待检测区域,每获取一帧目标物在视频帧中最大相对位移为maxImove:
maxImove=S*IBR=S*Ir/(h*Xr/Hr); (4)
待检测区域为以上一帧目标圆心为中心,以maxImove/2*2=maxImove为边长的区域;
3)进行图像二值化,获取图像的轮廓图,通过创建包围闭合轮廓的圆来获得待选圆集,这些待选圆是包围轮廓的圆形边界框,这使得只要遮挡不截断目标的一个闭合轮廓连续区域,目标圆就会持续存在;
4)在待检测区域中获得半径最接近目标边长一半的圆形,获得目标圆并转化到全图片帧时的坐标,重复包括2)在内之后的步骤;若没有找到,则重复包括1)在内之后的步骤;
获得的目标圆表示,即实现目标跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410525532.7A CN104484868B (zh) | 2014-10-08 | 2014-10-08 | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410525532.7A CN104484868B (zh) | 2014-10-08 | 2014-10-08 | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104484868A true CN104484868A (zh) | 2015-04-01 |
CN104484868B CN104484868B (zh) | 2017-06-30 |
Family
ID=52759408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410525532.7A Active CN104484868B (zh) | 2014-10-08 | 2014-10-08 | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104484868B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105857582A (zh) * | 2016-04-06 | 2016-08-17 | 北京博瑞爱飞科技发展有限公司 | 调整拍摄角度的方法、装置和无人驾驶飞行器 |
CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
CN107543507A (zh) * | 2017-09-15 | 2018-01-05 | 歌尔科技有限公司 | 屏幕轮廓的确定方法及装置 |
CN108256565A (zh) * | 2018-01-10 | 2018-07-06 | 广东工业大学 | 一种基于交叉熵相异度的自适应模版匹配方法及装置 |
CN108256566A (zh) * | 2018-01-10 | 2018-07-06 | 广东工业大学 | 一种基于余弦相似度的自适应模版匹配方法及装置 |
CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
CN108885469A (zh) * | 2016-09-27 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 用于在跟踪系统中初始化目标物体的系统和方法 |
CN109445432A (zh) * | 2018-10-31 | 2019-03-08 | 中国科学技术大学 | 基于图像的无人机和地面移动机器人编队定位方法 |
WO2019085621A1 (zh) * | 2017-11-06 | 2019-05-09 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置及追踪器 |
CN112312190A (zh) * | 2020-10-10 | 2021-02-02 | 游艺星际(北京)科技有限公司 | 视频画面的展示方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5832115A (en) * | 1997-01-02 | 1998-11-03 | Lucent Technologies Inc. | Ternary image templates for improved semantic compression |
CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
CN102737386A (zh) * | 2012-05-15 | 2012-10-17 | 北京硅盾安全技术有限公司 | 一种运动目标抗融合遮挡跟踪算法 |
-
2014
- 2014-10-08 CN CN201410525532.7A patent/CN104484868B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5832115A (en) * | 1997-01-02 | 1998-11-03 | Lucent Technologies Inc. | Ternary image templates for improved semantic compression |
CN102646279A (zh) * | 2012-02-29 | 2012-08-22 | 北京航空航天大学 | 一种基于运动预测与多子块模板匹配相结合的抗遮挡跟踪方法 |
CN102737386A (zh) * | 2012-05-15 | 2012-10-17 | 北京硅盾安全技术有限公司 | 一种运动目标抗融合遮挡跟踪算法 |
Non-Patent Citations (2)
Title |
---|
NERMIN SAMET 等: "Ground-Nesting Insert Could Use Visual Tracking for Monitoring Nest Position during Learning Flights", 《FROM ANIMALS TO ANIMATS 13》 * |
董晶 等: "无人机视频运动目标实时检测及跟踪", 《应用光学》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11263761B2 (en) | 2016-02-26 | 2022-03-01 | SZ DJI Technology Co., Ltd. | Systems and methods for visual target tracking |
CN108351654B (zh) * | 2016-02-26 | 2021-08-17 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
CN108351654A (zh) * | 2016-02-26 | 2018-07-31 | 深圳市大疆创新科技有限公司 | 用于视觉目标跟踪的系统和方法 |
CN105857582A (zh) * | 2016-04-06 | 2016-08-17 | 北京博瑞爱飞科技发展有限公司 | 调整拍摄角度的方法、装置和无人驾驶飞行器 |
CN108885469A (zh) * | 2016-09-27 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 用于在跟踪系统中初始化目标物体的系统和方法 |
CN106529434B (zh) * | 2016-10-25 | 2019-04-09 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
CN106529434A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 基于视觉注意力模型的鱼群个体目标跟踪方法 |
CN107543507A (zh) * | 2017-09-15 | 2018-01-05 | 歌尔科技有限公司 | 屏幕轮廓的确定方法及装置 |
WO2019085621A1 (zh) * | 2017-11-06 | 2019-05-09 | 深圳市道通智能航空技术有限公司 | 目标追踪方法、装置及追踪器 |
CN108256566A (zh) * | 2018-01-10 | 2018-07-06 | 广东工业大学 | 一种基于余弦相似度的自适应模版匹配方法及装置 |
CN108256565A (zh) * | 2018-01-10 | 2018-07-06 | 广东工业大学 | 一种基于交叉熵相异度的自适应模版匹配方法及装置 |
CN109445432A (zh) * | 2018-10-31 | 2019-03-08 | 中国科学技术大学 | 基于图像的无人机和地面移动机器人编队定位方法 |
CN112312190A (zh) * | 2020-10-10 | 2021-02-02 | 游艺星际(北京)科技有限公司 | 视频画面的展示方法、装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104484868B (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104484868A (zh) | 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法 | |
US10863166B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
CN109791696B (zh) | 用于场景的3d重建的方法、设备和定位事件摄像机的方法 | |
US9888235B2 (en) | Image processing method, particularly used in a vision-based localization of a device | |
Lovegrove et al. | Spline Fusion: A continuous-time representation for visual-inertial fusion with application to rolling shutter cameras. | |
CN103761737B (zh) | 基于稠密光流的机器人运动估计方法 | |
CN102646275B (zh) | 通过跟踪和定位算法实现虚拟三维叠加的方法 | |
CN109472828B (zh) | 一种定位方法、装置、电子设备及计算机可读存储介质 | |
CN104933718A (zh) | 一种基于双目视觉的物理坐标定位方法 | |
CN103680291A (zh) | 基于天花板视觉的同步定位与地图绘制的方法 | |
CN112833892B (zh) | 一种基于轨迹对齐的语义建图方法 | |
CN104021538A (zh) | 物体定位方法和装置 | |
CN104881029A (zh) | 基于一点ransac和fast算法的移动机器人导航方法 | |
Zhang et al. | Multiple vehicle-like target tracking based on the velodyne lidar | |
Liu et al. | Towards SLAM-based outdoor localization using poor GPS and 2.5 D building models | |
CN104898675A (zh) | 一种机器人智能导航控制方法 | |
CN103994765A (zh) | 一种惯性传感器的定位方法 | |
KR102029741B1 (ko) | 객체를 추적하는 방법 및 시스템 | |
Bergeon et al. | Low cost 3D mapping for indoor navigation | |
CN104809720B (zh) | 基于小交叉视场的两相机目标关联方法 | |
Nadav et al. | Off-road path and obstacle detection using monocular camera | |
Kupervasser et al. | Robust positioning of drones for land use monitoring in strong terrain relief using vision-based navigation | |
US11514588B1 (en) | Object localization for mapping applications using geometric computer vision techniques | |
CN111260727A (zh) | 一种基于图像处理的网格定位方法、装置及存储介质 | |
CN106559748A (zh) | 一种基于直线交比的室内定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |