CN106780558A - 基于计算机视觉的点生成无人机目标初始跟踪框的方法 - Google Patents

基于计算机视觉的点生成无人机目标初始跟踪框的方法 Download PDF

Info

Publication number
CN106780558A
CN106780558A CN201611223423.5A CN201611223423A CN106780558A CN 106780558 A CN106780558 A CN 106780558A CN 201611223423 A CN201611223423 A CN 201611223423A CN 106780558 A CN106780558 A CN 106780558A
Authority
CN
China
Prior art keywords
window
point
target
frame
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611223423.5A
Other languages
English (en)
Other versions
CN106780558B (zh
Inventor
李轩
陈志超
周彬
崔克楠
葛雨辰
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201611223423.5A priority Critical patent/CN106780558B/zh
Publication of CN106780558A publication Critical patent/CN106780558A/zh
Application granted granted Critical
Publication of CN106780558B publication Critical patent/CN106780558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉技术领域,其公开了一种基于计算机视觉的点生成无人机目标初始跟踪框的方法,解决传统技术采用人为设定跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。本发明中,在用户手动选取的目标点后,根据设定的比例因子产生初始填充框,并产生填充框的轮廓响应图。以目标点作为中心点,中心点在一定范围内滑动时,窗口跟随中心点滑动,并且进行尺度缩放。根据用户设定目标点是否在窗口内,对所产生的窗口进行筛选,最终利用轮廓密度对窗口进行评分排序,并从中挑选出最优的目标跟踪框。

Description

基于计算机视觉的点生成无人机目标初始跟踪框的方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种基于计算机视觉的点生成无人机目标初始跟踪框的方法。
背景技术
目标跟踪是计算机视觉领域中一个重要的技术,在军事、医疗、监控以及人机交互中有着重要的应用。它融合了图像处理、模式识别、人工智能及自动控制等多种不同技术的综合性应用技术,广泛应用于各种领域中。而对于目标跟踪来说,有众多的跟踪算法,它们大多采用跟踪框的方法来进行跟踪。
在跟踪框对目标进行跟踪的过程中,跟踪框要在每一帧画面当中进行更新。并且初始跟踪框往往会作为算法中的匹配模板,因此跟踪框的初始化对后续的跟踪算法有着重要的影响。
在消费级无人机等的目标跟踪的应用技术中,用户往往通过手动框取目标的方法,来人为设定初始跟踪框。人为设定的跟踪框会出现跟踪框相对于目标设置的过大,会将周围背景物体框选在内,或者过小从而未能完全将目标框选在内的情况。这样造成初始跟踪框会包含过多的无用背景信息,对后续算法造成干扰,或者造成初始跟踪框包含信息不足,影响后续算法的匹配精度,从而降低了目标跟踪的准确性。
发明内容
本发明所要解决的技术问题是:提出一种基于计算机视觉的点生成无人机目标初始跟踪框的方法,解决传统技术采用人为手动框选初始跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。
本发明解决上述技术问题所采用的方案是:
基于计算机视觉的点生成无人机目标初始跟踪框的方法,包括以下步骤:
a.根据用户选择的目标点获取初始填充框;
b.获取初始填充框的边缘响应图;
c.以目标点为中心点,当中心点在一定范围内滑动时,令初始填充框跟随中心点滑动,并且进行尺度缩放,产生N个窗口;
d.基于用户选择的目标点对产生的N个窗口进行筛选;
e.利用边缘响应图,对筛选过后的窗口进行基于轮廓密度的评分,选取评分最高的窗口作为最优的目标跟踪框。
作为进一步优化,步骤a中,用户通过点击拍摄图像上的位于目标物体上的点的方式选择目标点,从而获取初始填充框。
作为进一步优化,步骤a中,设镜头拍摄得到的图像尺寸高宽分别为ho和wo,用户选取的目标点为(x0,y0),记初始充框的高度和宽度为hp和wp,其中心坐标位置为(xp,yp),则有:
其中r和k均为常数,根据空间先验知识及实际应用场景人为设定:
若无人机飞行较高,图像中目标较小,则r和k设定为较小的值;
若无人机离目标较近,图像中目标较大,则r和k设定为较大的值。
作为进一步优化,步骤b中,利用基于结构化随机森林的边缘响应,获得初始填充框的边缘响应图。
作为进一步优化,步骤c具体包括:
c1.以目标点(x0,y0)为中心,产生一个中心点滑动范围框,其高度和宽度分别为α×hp和α×wp,通过此范围框,将中心点的滑动限制在此范围内;
c2.以该范围框的左上角顶点为原点,开始做步长为(△x,△y)的中心点滑动,填充框在跟随中心点的滑动而滑动的同时,进行窗口大小缩放:
设高度缩放因子为scaleh,其为(1×n)的向量,宽度缩放因子为scalew,其为(1×m)的向量,那么每次中心点移动时,都会产生(n×m)个大小不同的窗口,中心点在整个滑动范围框上滑动后,将会产生N个窗口:
作为进一步优化,步骤d中,所述基于用户选择的目标点对产生的N个窗口进行筛选的方法为:如果用户选择的目标点位于窗口内,则保留该窗口,否则将其剔除。
作为进一步优化,步骤e具体包括:
e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数:
设窗口内的总轮廓数为Q,其中跨越初始填充框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I=Q-W;
e2.对每一个窗口进行基于轮廓密度的评分,评分规则如下:
其中s为窗口评分,L为窗口的周长;
e3.选取评分最高的窗口作为最优的目标跟踪框。
本发明的有益效果是:
(1)本发明能有效地将根据用户选择目标点生成目标初始化跟踪框,将目标物框选在内,相比于通过固定比例扩大初始框来获取填充框的方法,本发明中的方法是通过点生成目标跟踪框,方法简单、便捷,可以通过计算点周围不同尺寸窗口的轮廓密度来获取最优的跟踪框,使得最终产生的由点产生的目标跟踪框既能够将跟踪目标完全框选在内,又不会框选过多背景物体,为后续的跟踪算法提供了良好的初始目标跟踪框;
(2)本发明针对用户点击目标的情况生成跟踪框,较用手动框的方法而言更方便快捷,提高用户体检;
(3)本发明不仅适用于无人机目标跟踪框的初始化,通过设定合适的参数,还可以适用于多种应用场景下来进行基于点生成初始目标跟踪框。
附图说明
图1为本发明实施例中无人机目标跟踪框生成方法流程图;
图2为由点生成初始填充框的示意图;
图3为中心点滑动示意图。
具体实施方式
本发明旨在提出一种基于计算机视觉的点生成无人机目标初始跟踪框的方法,解决传统技术采用人为设定跟踪框的方式可能存在初始框包含过多无用背景信息造成干扰或者包含有用信息不足而影响准确性的问题。
其核心思想为:在用户手动选取的目标点后,根据设定的比例因子产生初始填充框,并产生填充框的轮廓响应图。以目标点作为中心点,中心点在一定范围内滑动时,窗口跟随中心点滑动,并且进行尺度缩放。根据用户设定目标点是否在窗口内,对所产生的窗口进行筛选,最终利用轮廓密度对窗口进行评分排序,并从中挑选出最优的目标跟踪框。
下面结合附图及实施例对本发明的方案作进一步的描述:
如图1所示,本实施例中的基于计算机视觉的点生成无人机目标初始跟踪框的方法,包括以下实现步骤:
(1)获取初始填充框:
根据用户点击的目标点,结合应用场景的先验知识,获取初始填充框。如图2所示,图中人像中央的黑点代表用户选择的目标点,而实线框为初始填充框。
设镜头拍摄得到的图像尺寸高宽分别为ho和wo,用户选取的目标点为(x0,y0),记初始充框的高度和宽度为hp和wp,其中心坐标位置为(xp,yp),则有:
其中r和k均为常数,根据空间先验知识及实际应用场景人为设定:
即若无人机飞行较高,图像中目标较小,则r和k设定为较小的值,
若无人机离目标较近,图像中目标较大,则r和k设定为较大的值。
r和k的选取是为了保证在不同应用场景下,所产生的填充框都能够尽量将目标物体完全框选在内,或者填充框的大小和目标物体尺寸尽量接近。通过上式便可以由用户选择的目标点获取初始填充框。
(2)获取边缘响应图:
利用基于结构化随机森林的边缘响应,获得初始填充框的边缘响应图,这种获取边缘的方法速度较快,并能够获得较为清晰的边缘轮廓。
(3)多尺寸窗口遍历:
由于初始填充框无法将目标最优地框选在内,所以需要对初始填充框的大小和位置进行调整。首先需要进行多尺寸窗口遍历,令填充框中心在用户选择的目标点周围小范围内滑动的同时,对填充框的大小进行缩放,做多尺寸遍历。
具体的方法如下:首先以目标点(x0,y0)为中心,产生一个中心点滑动范围框,其高度和宽度分别为α×hp和α×wp,通过此范围框,能够将中心点的滑动限制在此范围内。以该范围框的左上角顶点为原点,开始做步长为(△x,△y)的中心点滑动。填充框在跟随中心点的滑动而滑动的同时,进行窗口大小缩放。预先设定高度缩放因子为scaleh,其为(1×n)的向量,宽度缩放因子为scalew,其为(1×m)的向量。那么每次中心点移动时,都将会产生(n×m)个大小不同的窗口,中心点在整个滑动范围框上滑动后,将会产生N个窗口:
如图3所示,黑色实心点为用户选取的目标点,中央的小实线框为中心点滑动范围框,较大实线框为初始填充框,而虚线框为滑动窗口,黑色空心点是滑动窗口的中央点。
(4)基于目标点的窗口筛选:
产生的N个窗口中,可能存在用户手动选择的目标点不在所产生窗口内的情况。而用户选择点是目标初始定位的唯一依据,现假设用户所选择的目标点位置一定位于目标上,可以利用该假设条件对N个窗口进行筛选,筛选准则为:如果用户选择点位于窗口内,则该窗口保留,否则将其剔除。通过筛选剔除掉M个窗口,剩下的窗口将进行基于轮廓密度的评分排序。
(5)轮廓密度评分:
利用边缘响应图,对筛选过后的N-M个窗口进行基于轮廓密度的评分。计算方法为:对窗口内的轮廓进行计数,设窗口内的总轮廓数为Q,其中跨越初始框四条边界的轮廓数量为W,那么完全闭合在窗口内的轮廓数量为I=Q-W。
对经过重叠率筛选的窗口统计闭合轮廓数,并对每一个窗口进行基于轮廓密度的评分,评分规则如下:
其中L为窗口的周长,s为窗口评分。基于评分s进行窗口选取,选取评分最高的窗口作为最终优的目标初始跟踪框。

Claims (7)

1.基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,包括以下步骤:
a.根据用户选择的目标点获取初始填充框;
b.获取初始填充框的边缘响应图;
c.以目标点为中心点,当中心点在一定范围内滑动时,令初始填充框跟随中心点滑动,并且进行尺度缩放,产生N个窗口;
d.基于用户选择的目标点对产生的N个窗口进行筛选;
e.利用边缘响应图,对筛选过后的窗口进行基于轮廓密度的评分,选取评分最高的窗口作为最优的目标跟踪框。
2.如权利要求1所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤a中,用户通过点击拍摄图像上的位于目标物体上的点的方式选择目标点,从而获取初始填充框。
3.如权利要求1所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤a中,设镜头拍摄得到的图像尺寸高宽分别为ho和wo,用户选取的目标点为(x0,y0),记初始充框的高度和宽度为hp和wp,其中心坐标位置为(xp,yp),则有:
h p = h o × r w p = w o × k ( x p , y p ) = ( x 0 , y 0 )
其中r和k均为常数,根据空间先验知识及实际应用场景人为设定:
若无人机飞行较高,图像中目标较小,则r和k设定为较小的值;
若无人机离目标较近,图像中目标较大,则r和k设定为较大的值。
4.如权利要求3所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤b中,利用基于结构化随机森林的边缘响应,获得初始填充框的边缘响应图。
5.如权利要求4所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤c具体包括:
c1.以目标点(x0,y0)为中心,产生一个中心点滑动范围框,其高度和宽度分别为α×hp和α×wp,通过此范围框,将中心点的滑动限制在此范围内;
c2.以该范围框的左上角顶点为原点,开始做步长为(△x,△y)的中心点滑动,填充框在跟随中心点的滑动而滑动的同时,进行窗口大小缩放:
设高度缩放因子为scaleh,其为(1×n)的向量,宽度缩放因子为scalew,其为(1×m)的向量,那么每次中心点移动时,都会产生(n×m)个大小不同的窗口,中心点在整个滑动范围框上滑动后,将会产生N个窗口:
N = ( ( n × m ) × r o u n d ( α × h p Δ y ) × r o u n d ( α × w p Δ x ) ) .
6.如权利要求5所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤d中,所述基于用户选择的目标点对产生的N个窗口进行筛选的方法为:如果用户选择的目标点位于窗口内,则保留该窗口,否则将其剔除。
7.如权利要求6所述的基于计算机视觉的点生成无人机目标初始跟踪框的方法,其特征在于,步骤e具体包括:
e1.在筛选之后的剩余窗口中对每一个窗口内的轮廓进行计数:
设窗口内的总轮廓数为Q,其中跨越初始填充框四条边界的轮廓数量为W,则完全闭合在窗口内的轮廓数量为I=Q-W;
e2.对每一个窗口进行基于轮廓密度的评分,评分规则如下:
s = I L
其中s为窗口评分,L为窗口的周长;
e3.选取评分最高的窗口作为最优的目标跟踪框。
CN201611223423.5A 2016-12-27 2016-12-27 基于计算机视觉的点生成无人机目标初始跟踪框的方法 Active CN106780558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611223423.5A CN106780558B (zh) 2016-12-27 2016-12-27 基于计算机视觉的点生成无人机目标初始跟踪框的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611223423.5A CN106780558B (zh) 2016-12-27 2016-12-27 基于计算机视觉的点生成无人机目标初始跟踪框的方法

Publications (2)

Publication Number Publication Date
CN106780558A true CN106780558A (zh) 2017-05-31
CN106780558B CN106780558B (zh) 2020-05-12

Family

ID=58926497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611223423.5A Active CN106780558B (zh) 2016-12-27 2016-12-27 基于计算机视觉的点生成无人机目标初始跟踪框的方法

Country Status (1)

Country Link
CN (1) CN106780558B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741365A (zh) * 2018-11-27 2019-05-10 上海歌尔泰克机器人有限公司 目标跟踪方法、无人机、终端设备及存储介质
CN110414535A (zh) * 2019-07-02 2019-11-05 绵阳慧视光电技术有限责任公司 一种基于背景区分的手工初始框修正方法及系统
CN113205106A (zh) * 2020-06-19 2021-08-03 深圳瑞为智能科技有限公司 一种基于检测框密度优化的目标检测应用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727325A (zh) * 2009-12-30 2010-06-09 中国电信股份有限公司 一种具有凸镜效果的图像容器控件实现方法和装置
CN104463909A (zh) * 2014-11-28 2015-03-25 北京交通大学长三角研究院 基于信度组合地图模型的视觉目标跟踪方法
CN105678806A (zh) * 2016-01-07 2016-06-15 中国农业大学 一种基于Fisher判别的生猪行为轨迹自动跟踪方法
CN105830430A (zh) * 2013-12-21 2016-08-03 高通股份有限公司 用以使对象跟踪框的显示稳定的系统和方法
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727325A (zh) * 2009-12-30 2010-06-09 中国电信股份有限公司 一种具有凸镜效果的图像容器控件实现方法和装置
CN105830430A (zh) * 2013-12-21 2016-08-03 高通股份有限公司 用以使对象跟踪框的显示稳定的系统和方法
CN104463909A (zh) * 2014-11-28 2015-03-25 北京交通大学长三角研究院 基于信度组合地图模型的视觉目标跟踪方法
CN105678806A (zh) * 2016-01-07 2016-06-15 中国农业大学 一种基于Fisher判别的生猪行为轨迹自动跟踪方法
CN106250812A (zh) * 2016-07-15 2016-12-21 汤平 一种基于快速r‑cnn深度神经网络的车型识别方法
CN106250850A (zh) * 2016-07-29 2016-12-21 深圳市优必选科技有限公司 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741365A (zh) * 2018-11-27 2019-05-10 上海歌尔泰克机器人有限公司 目标跟踪方法、无人机、终端设备及存储介质
CN110414535A (zh) * 2019-07-02 2019-11-05 绵阳慧视光电技术有限责任公司 一种基于背景区分的手工初始框修正方法及系统
CN110414535B (zh) * 2019-07-02 2023-04-28 绵阳慧视光电技术有限责任公司 一种基于背景区分的手工初始框修正方法及系统
CN113205106A (zh) * 2020-06-19 2021-08-03 深圳瑞为智能科技有限公司 一种基于检测框密度优化的目标检测应用方法

Also Published As

Publication number Publication date
CN106780558B (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111797716B (zh) 一种基于Siamese网络的单目标跟踪方法
CN104657587B (zh) 一种激光条纹的中心线提取方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN105930767B (zh) 一种基于人体骨架的动作识别方法
CN108304820B (zh) 一种人脸检测方法、装置及终端设备
CN106709456A (zh) 基于计算机视觉的无人机目标跟踪框初始化方法
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN107808143A (zh) 基于计算机视觉的动态手势识别方法
CN104463191A (zh) 一种基于注意机制的机器人视觉处理方法
CN108717531A (zh) 基于Faster R-CNN的人体姿态估计方法
CN104573731A (zh) 基于卷积神经网络的快速目标检测方法
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN109598234A (zh) 关键点检测方法和装置
CN107944435A (zh) 一种三维人脸识别方法、装置及处理终端
CN106228528A (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN109087337B (zh) 基于分层卷积特征的长时间目标跟踪方法及系统
CN111062310B (zh) 一种基于虚拟样本生成的少样本无人机图像识别方法
CN104408462A (zh) 面部特征点快速定位方法
CN108764080B (zh) 一种基于点云空间二值化的无人机视觉避障方法
CN109034131A (zh) 一种半自动人脸关键点标注方法及存储介质
CN108564120A (zh) 基于深度神经网络的特征点提取方法
CN106780558A (zh) 基于计算机视觉的点生成无人机目标初始跟踪框的方法
CN109871829A (zh) 一种基于深度学习的检测模型训练方法和装置
CN106446833B (zh) 一种用于复杂场景图像识别的多通道仿生视觉方法
CN108089695A (zh) 一种控制可移动设备的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant