CN107993256A - 动态目标跟踪方法、装置及存储介质 - Google Patents
动态目标跟踪方法、装置及存储介质 Download PDFInfo
- Publication number
- CN107993256A CN107993256A CN201711206458.2A CN201711206458A CN107993256A CN 107993256 A CN107993256 A CN 107993256A CN 201711206458 A CN201711206458 A CN 201711206458A CN 107993256 A CN107993256 A CN 107993256A
- Authority
- CN
- China
- Prior art keywords
- field picture
- frame
- target frame
- target
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了动态目标跟踪方法、装置及存储介质,该方法包括如下步骤:从载入的视频获取第一帧图像,确定目标框的坐标位置;在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,后向跟踪所述离散点在所述第一帧图像中的位置为第二位置;如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。相较于现有技术,本发明根据第一位置和第二位置之间的距离来确定目标框在第二帧图像中的坐标位置判断是否跟踪成型,从而可以有效提高了目标跟踪的准确性,同时通过卡尔曼滤波预测可以有效的提高抗遮挡能力和防范目标漂移。
Description
技术领域
本发明涉及计算机图像处理领域,尤其是一种动态目标跟踪方法、装置及存储介质。
背景技术
随着计算机硬件和图像处理技术的发展,动态物体的跟踪技术已经广泛应用到了民生的各种领域。例如在智能交通领域用于控制交通流量、检测车辆异常行为、监控交通事故、判定行人行为等.或者在视频监控中用于自动识别不同物体,分析抽取视频源中关键有用信息,快速准确的定位事故现场,判断监控画面中的异常情况,并以最快和最佳的方式发出警报或触发其它动作,从而有效进行事前预警。动态跟踪技术更广泛的应用于医学图像、视觉重构、自主导航、视觉控制等领域。
当前流行的动态跟踪技术主要有vibe,KLT,TLD等,其中vibe在处理相应速度上具有很大的优势,但是跟踪效果不够理想。KLT和TLD都采取了自我学习的机制,不断更新跟踪过程中的样本,从而大大提高了跟踪的持续性和准确性。但是由于学习机制使用的方法比较复杂,处理时间太长,实时性有待进一步改善。另外在运动物体遇到遮挡的时候,往往容易丢失跟踪目标。
因此,如何提高跟踪处理速度和目标遮挡问题是跟踪动态物体亟待解决的问题。
发明内容
鉴于以上内容,有必要提供一种动态目标跟踪方法、装置及存储介质,旨在改善目标跟踪的准确度。
本发明提供了一种动态目标跟踪方法,包括如下步骤:
从载入的视频获取第一帧图像,在所述第一帧图像中确定目标框的坐标位置;
在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,通过光流法前向跟踪所述离散点在所述第二帧图像中的位置,然后根据所述离散点在所述第二帧图像中的位置通过光流法后向跟踪所述离散点在所述第一帧图像中的位置为第二位置,其中,所述第一帧图像沿所述视频的时间轴方向位于所述第二帧图像之前;
如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。
进一步,在所述第一帧图像中确定目标框的坐标位置后,还包括:根据所述第一帧图像中的目标框的坐标位置通过滤波方法预测第二帧图像中的目标框的重心位置;
在根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置之后,还包括根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置。
进一步,所述滤波方法为卡尔曼滤波,包括如下步骤:
使用所述第一帧图像中的目标框重心位置x(t)、速度v(t)、加速度a(t)建立所述目标框的运动关系式如下:
x'(t)=v(t)
v'(t)=a(t)
a(t)=na(t)
y(t)=x(t)+ny(t)
其中,na(t),ny(t)为所述目标框的运动随机特性的参量,x'(t)为x(t)的导数,v'(t)为v(t)的导数;
根据离散模型建立所述目标框的运动关系式如下:
x(t+1)=x(t)+v(t)T+0.5a(t)T2
v(t+1)=v(t)+a(t)T
a(t+1)=a(t)+na(t)
y(t)=x(t)+ny(t)
建立所述目标框的过程方程X(t+1)和观测方程Y(t)如下:
X(t+1)=F(t+1,t)X(t)+V1(t)
Y(t)=C(t)X(t)+V2(t)
其中,
根据所述目标框在所述第一帧图像中的坐标位置,根据所述过程方程和观测方程获取所述第二帧图像内的目标框的重心位置。
进一步,在所述第一帧图像中确定目标框的坐标位置后,还包括:将所述第一帧图像灰度化,在所述第一帧图像内的目标框周围以预设方式选取若干第一样本框;
在根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置后,还包括:
根据所述第二帧图像中调整后的目标框以所述预设方式选取与所述第一样本框对应的第二样本框;
比较所述第一样本框和第二样本框之间的相似度,若所述相似度在一相似度阈值内,则确定所述第二帧图像内的目标框合格。
进一步,所述比较所述第一样本框和第二样本框之间的相似度包括:
比较每个第二样本框和与所述对应第一样本框每个样本之间的相似度;
如果所述选取第二样本框和第一样本框的所有样本相似度的平均值在所述相似度阈值内,则确定所述第二帧图像内选取的样本框为合格的备选样本框。
进一步,所述预设方式包括:
以预设比例扩大或者缩小所述目标框的尺寸选取样本框,和/或,
以预设角度旋转所述目标框的方向选取样本框。
进一步,根据所述相似度从高至低的顺序,从所述第一样本框和所述第二样本框中选取若干样本框作为所述第二帧图像中的目标框的新的样本框。
进一步,根据接收的选择框的坐标点转换为所述第一帧图像中的目标框的坐标位置。
一种动态目标跟踪装置,包括存储器及处理器,所述存储器存储若干被所述处理器执行的程序所述处理器执行所述程序时实现所述的动态目标跟踪方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理执行时实现所述的动态目标跟踪方法的步骤。
相较于现有技术,本发明提供的动态目标跟踪方法、装置及存储介质在第一帧图像和第二帧图像之间计算前向跟踪和后向跟踪两次光流跟踪,根据第一位置和第二位置之间的距离来确定目标框在第二帧图像中的坐标位置判断是否跟踪成型,从而可以有效提高了目标跟踪的准确性。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的动态目标跟踪方法的流程图。
图2是本发明第一实施例中选取第一样本框的示意图。
图3是本发明第二实施例提供的动态目标跟踪方法的流程图。
图4是本发明第三实施例提供的动态目标跟踪方法的流程图。
图5a~5c是连续跟踪方法TLD对大象行走视频的测试效果图;
图5d~5g是本发明第三实施例对大象行走视频的测试效果图;
图6a~6c是连续跟踪方法TLD对追踪罪犯车辆视频的测试效果图;
图6d~6g是本发明第三实施例对追踪罪犯车辆视频的测试效果图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施方式及实施方式中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在于限制本发明。
在本发明的各实施例中,为了便于描述而非限制本发明,本发明专利申请说明书以及权利要求书中使用的术语″连接″并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
图1是本发明第一实施例提供的动态目标跟踪方法的流程图,如图1所示,该一种动态目标跟踪方法包括步骤S11~S13。
步骤S11:从载入的视频获取第一帧图像,根据输入的指令在所述第一帧图像中确定目标框的坐标位置。
本步骤中,根据用户的需求系统可以选用摄像头接入或者打开本地视频。其中,接入摄像头的时候调用OpenCV的内置函数,设置好相应的参数之后,直接打开摄像头并且保持摄像头对象。其中,装载视频的时候,调用撰写的视频载入函数,设置好相应的参数后,直接打开视频文件并且保持视频对象。所述视频摄像头接入模块初始化之前必须创建相应的视频摄像头对象,打开或者装载后保持,以便后续对摄像头或者视频进行操作。
如图2所示,所述载入视频或者打开摄像头,使用MFC库创建点击按钮,建立消息响应函数,在消息相应函数里调用相应的函数载入视频或者打开摄像头,将载入后的指向视频或者摄像头的句柄保存到全局变量,然后从载入后的视频或者摄像头句柄中读取第一帧图像并且显示在交互界面,用户在交互界面可以选择使用鼠标确定多个跟踪目标。在摄像头视频模块接入之后,从载入后的视频或者摄像头句柄中读取第一帧图像,通过系统界面框定需要跟踪的目标,可以确定多个目标。具体而言,所述在windows窗口和视频帧之间建立大小尺寸映射,通过鼠标响应函数,将windows窗口大小转换为视频图像实际尺寸大小,根据接收的选择框的坐标点转换为所述第一帧图像中的目标框的坐标位置,以供后续跟踪使用。在确定了跟踪目标后,将跟踪目标框的坐标保存,如果框选了多个目标,使用数组分别保存不同目标框的坐标位置。
步骤S12:在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,通过光流法前向跟踪所述离散点在所述第二帧图像中的位置,然后根据所述离散点在所述第二帧图像中的位置通过光流法后向跟踪所述离散点在所述第一帧图像中的位置为第二位置,其中,所述第一帧图像沿所述视频的时间轴方向位于所述第二帧图像之前。
其中,光流是一种简单实用的图像运动的表达方式,1998年Negahdaripour将光流重新定义为动态图像的几何变化和辐射度变化的全面表示。光流的研究是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”,即研究图像灰度在时间上的变化与景象中物体结构及其运动的关系。一般情况下,光流由相机运动、场景中目标运动或两者的共同运动产生的相对运动引起的。光流计算方法大致可分为三类:基于匹配的方法、频域的方法和梯度的方法,本领域技术人员可以选择合适的光流法跟踪上述的离散点,本发明对此不做限制。
步骤S13:如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。
此外,本实施方式中,可以设置人机交互界面,界面良好,功能丰富,通过交互界面确定跟踪目标或者范围,跟踪过程中通过跟踪、检测和学习模块结合进行处理,将视频跟踪的结果显示在交互界面,不断重复过程,直到跟踪结束,方便用户对动态跟踪过程进行过程把控,数据保存和分析,还可以根据用户需求选择打开摄像头或者装载视频,在动态跟踪过程中对跟踪过程进行控制,选择暂停,保存当前数据,还原跟踪过程,导出模型数据,以及可以根据用户需求对动态跟踪过程的每个步骤进行分析,根据需要查看重点关注数据,将动态跟踪过程的目标样本截取,光流跟踪过程可视化,分类过程可视化。
本实施方式提供的动态目标跟踪方法在第一帧图像和第二帧图像之间计算前向跟踪和后向跟踪两次光流跟踪,根据第一位置和第二位置之间的距离来确定目标框在第二帧图像中的坐标位置判断是否跟踪成型,从而可以有效提高了目标跟踪的准确性。
图3是本发明第二实施例提供的动态目标跟踪方法的流程图。所述的第二实施方式与第一实施方式的主要区别在于,第二实施方式为采用滤波方式获取目标框的重心位置,并根据重心位置调整目标框在第二帧图像的坐标位置。需要说明的是,在本发明的精神或基本特征的范围内,适用于第一实施方式中的各具体方案也可以相应的适用于第二实施方式中,为节省篇幅及避免重复起见,在此就不再赘述。
如图3所示,该一种动态目标跟踪方法包括步骤S21~S25。
步骤S21:从载入的视频获取第一帧图像,根据输入的指令在所述第一帧图像中确定目标框的坐标位置。
步骤S22:根据所述第一帧图像中的目标框的坐标位置通过滤波方法预测第二帧图像中的目标框的重心位置。
本步骤中,所述滤波方法为卡尔曼滤波,在视频或者连续的摄像头运动图像中,图像帧之间的变化较小,从而可以近似认为目标框的变化具有连续性。采用卡尔曼滤波的方法包括如下步骤:
使用所述第一帧图像中的目标框重心位置x(t)、速度v(t)、加速度a(t)建立所述目标框的运动关系式如下:
x'(t)=v(t)
v'(t)=a(t)
a(t)=na(t)
y(t)=x(t)+ny(t)
其中,na(t),ny(t)为所述目标框的运动随机特性的参量,x'(t)为x(t)的导数,v'(t)为v(t)的导数;
根据离散模型建立所述目标框的运动关系式如下:
x(t+1)=x(t)+v(t)T+0.5a(t)T2
v(t+1)=v(t)+a(t)T
a(t+1)=a(t)+na(t)
y(t)=x(t)+ny(t)
视频是由逐帧离散的图像组成,因此使用离散模型来描述目标框的运动变化,建立所述目标框的过程方程Xt+1和观测方程Y(t)如下:
X(t+1)=F(t+1,t)X(t)+V1(t)
Y(t)=C(t)X(t)+V2(t)
其中,
根据所述目标框在所述第一帧图像中的坐标位置,根据所述过程方程和观测方程获取所述第二帧图像内的目标框的重心位置。
步骤S23:在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,通过光流法前向跟踪所述离散点在所述第二帧图像中的位置,然后根据所述离散点在所述第二帧图像中的位置通过光流法后向跟踪所述离散点在所述第一帧图像中的位置为第二位置,其中,所述第一帧图像沿所述视频的时间轴方向位于所述第二帧图像之前。
步骤S24:如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。
步骤S25:根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置。
本第二实施方式提供的所述动态目标跟踪方法除了具有在第一实施方式中所提到的技术效果之外,还在处于通过滤波方法获取目标框的重心位置来调整目标框在第二帧图像中的坐标位置,跟踪过程的移动轨迹数据和预测动态目标的运动轨迹,在目标遇到遮挡的时候也能有效跟踪,改善了目标受到遮挡导致目标丢失的问题。
图4是本发明第三实施例提供的动态目标跟踪方法的流程图。所述的第三实施方式与第二实施方式的主要区别在于,第三实施方式还通过第一样本框和第二样板框的相似度比较来进一步判断当前目标框的跟踪状况。需要说明的是,在本发明的精神或基本特征的范围内,适用于第一实施方式中的各具体方案也可以相应的适用于第二实施方式中,为节省篇幅及避免重复起见,在此就不再赘述。
如图4所示,该一种动态目标跟踪方法包括步骤S31~S39。
步骤S31:从载入的视频获取第一帧图像,根据输入的指令在所述第一帧图像中确定目标框的坐标位置。
步骤S32:将所述第一帧图像灰度化,在所述第一帧图像内的目标框周围以预设方式选取若干第一样本框。
本步骤中,以预设比例扩大或者缩小所述目标框的尺寸选取样本框,以及以预设角度旋转所述目标框的方向选取样本框。图5是本发明第三实施例使用鼠标确定多个第一样本框的示意图。在第一帧图像内的目标框周围以不同尺度选取第一样本框,第一样本框的尺寸以目标框为参照,例如以0.1作为递增从目标框的0.9比例大小到1.2比例(0.9,1.0,1.1,1.2)选取共4个尺寸的第一样本框,在目标框的上、下、左、右、45度角和135度角方向选取八个第一样本框,总计得到32个第一样本框作为目标样本,所有的这些第一样本框就构成可目标框的匹配样本。
步骤S:33:根据所述第一帧图像中的目标框的坐标位置通过滤波方法预测第二帧图像中的目标框的重心位置。
步骤S34:在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,通过光流法前向跟踪所述离散点在所述第二帧图像中的位置,然后根据所述离散点在所述第二帧图像中的位置通过光流法后向跟踪所述离散点在所述第一帧图像中的位置为第二位置,其中,所述第一帧图像沿所述视频的时间轴方向位于所述第二帧图像之前。
步骤S35:如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。
步骤S36:根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置。
步骤S37:根据所述第二帧图像中调整后的目标框以所述预设方式选取与所述第一样本框对应的第二样本框。
本步骤中,以预设比例扩大或者缩小所述目标框的尺寸选取样本框,以及以预设角度旋转所述目标框的方向选取样本框。例如,可以预设比例扩大或者缩小所述目标框的尺寸选取样本框,以及以预设角度旋转所述目标框的方向选取样本框。和在第二帧图像内的目标框周围以不同尺度选取第二样本框,第二样本框的尺寸以目标框为参照,例如以0.1作为递增从目标框的0.9比例大小到1.2比例(0.9,1.0,1.1,1.2)选取共4个尺寸的第二样本框,在目标框的上、下、左、右、45度角和135度角方向选取八个第二样本框,总计得到32个第二样本框作为目标样本,所有的这些第二样本框就构成可目标框的匹配样本。
步骤S38:比较所述第一样本框和第二样本框之间的相似度,若所述相似度在一相似度阈值内,则确定所述第二帧图像内选取的样本框为合格的备选样本框,即所述第二帧图像内的目标框合格。
本步骤中,可以通过如下方式来比较第一样本框和第二样本框的相似度。
1)比较每个第一样本框和与所述第一样本框对应的第二样本框之间的相似度;
2)如果所述第一样本框和第二样本框的相似度的平均值在所述相似度阈值内,则确定所述第二帧图像内的目标框合格。
步骤S39:根据所述相似度从高至低的顺序,从所述第一样本框和所述第二样本框中选取若干样本框作为所述第二帧图像中的目标框的新的样本框。例如可以取相似度大的一半跟原来的第一样本框的一半一起作为所述第二帧图像中的目标框的新的样本框,继续以第二帧图像和目标框重复上述步骤进行跟踪。
图5a~5c是连续跟踪方法TLD对大象行走视频的测试效果图,图5d~5g是本发明第三实施例对大象行走视频的测试效果图。图5a和图5d为手动框定目标框。从图5a~5c可知,TLD跟踪方法运行到200帧时,目标框就已明显漂移,当跟踪到240帧目标框完全漂移,到392帧时已经丢失目标。从图5d~5g可知,采取本发明第三实施例提供的跟踪方法,无论大象头部姿势怎样变化,目标框始终未偏离真实的目标位置,直至整个视频结束(第392帧)。
图6a~6c是连续跟踪方法TLD对追踪罪犯车辆视频的测试效果图,图6d~6g是本发明第三实施例对追踪罪犯车辆视频的测试效果图。本测试采取追踪罪犯车辆的视频,视频中主要是相似车辆之间的跟踪。图6a~6c为TLD方法的跟踪效果,图6d~6g为本发明第三实施例提供的跟踪方法的跟踪效果。图6a和图6d分别初始化目标框,框定某辆车辆。第62帧的时候,TLD方法已经产生了飘逸,而且非常明显。第63帧中图中路灯遮挡住了目标车辆,TLD方法跟踪失败,采取本发明第三实施例提供的跟踪方法依然可以追踪到目标。到338帧时由于桥梁遮挡,TLD方法彻底丢失目标,本发明第三实施例提供的跟踪方法依然可以恢复原有的目标。
本第三实施方式提供的所述动态目标跟踪方法除了具有在第二实施方式中所提到的技术效果之外,还在通过第一样本框和第二样板框的相似度比较来进一步判断当前目标框的跟踪状况,从而可以进一步提高目标跟踪地准确性。另外,通过对第二帧图像的目标框对应的样本框进行过滤和筛选,将第二帧图像与第一帧图像的样本框中相似度较大的样本保留下来,以供后续学习模块进行分类和学习,根据后验概率大小纠正错误的样本分类,将错误分类的好样本重新选入好样本集合,将坏样本剔除出去。
以上是对本发明所提供的方法进行的详细描述。上述实施方式中的各步骤可在动态目标跟踪装置中实现。该动态目标跟踪装置可为一电子设备,该电子设备包括存储装置和处理器。存储装置存储有可被处理处执行的计算机程序。所述的电子设备可以是电脑、手机、平板电脑、个人数字助理等。
本实施方式中,所述的存储装置可以是不同类型存储设备,用于存储各类数据。例如,可以是电子设备的内存,还可以是可外接于该电子设备的存储卡,如闪存、SM卡(SmartMedia Card,智能媒体卡)、SD卡(Secure Digital Card,安全数字卡)等。存储装置10用于存储各类数据。
处理器包含但不限于处理器(Central Processing Unit,CPU)、微控制单元(Micro Controller Unit,MCU)等用于解释计算机指令以及处理计算机软件中的数据的装置。所述的目标跟踪方法的执行程序可以被分割成一个或多个模块,所述一个或多个模块被存储在电子设备的存储装置中并被配置成由一个或多个处理器(本实施方式为一个处理器)执行,以完成本发明。本发明所称的模块是完成一特定功能的程序段,比程序更适合于描述软件在处理器中的执行过程。
电子设备还可以包括显示屏及输入设备,显示屏安装于电子设备,用于视频及执行结果,输入设备用于输入控制指令和所述选择框。
在本发明所提供的几个具体实施方式中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施方式仅仅是示意性的。对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由同一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
以上实施方式仅用以说明本发明的技术方案而非限制,尽管参照以上较佳实施方式对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换都不应脱离本发明技术方案的精神和范围。
Claims (10)
1.一种动态目标跟踪方法,其特征在于,包括如下步骤:
从载入的视频获取第一帧图像,在所述第一帧图像中确定目标框的坐标位置;
在所述第一帧图像的目标框选取若干离散点,其中,所述离散点的坐标位置为第一位置,通过光流法前向跟踪所述离散点在所述第二帧图像中的位置,然后根据所述离散点在所述第二帧图像中的位置通过光流法后向跟踪所述离散点在所述第一帧图像中的位置为第二位置,其中,所述第一帧图像沿所述视频的时间轴方向位于所述第二帧图像之前;
如果所述第一位置和所述第二位置之间的距离小于一预设值,则根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置。
2.如权利要求1所述的动态目标跟踪方法,其特征在于,
在所述第一帧图像中确定目标框的坐标位置后,还包括:根据所述第一帧图像中的目标框的坐标位置通过滤波方法预测第二帧图像中的目标框的重心位置;
在根据所述第一帧图像的目标框通过所述光流法获取所述目标框在所述第二帧图像中的坐标位置之后,还包括根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置。
3.如权利要求2所述的动态目标跟踪方法,其特征在于,所述滤波方法为卡尔曼滤波,包括如下步骤:
使用所述第一帧图像中的目标框重心位置x(t)、速度v(t)、加速度a(t)建立所述目标框的运动关系式如下:
x'(t)=v(t)
v'(t)=a(t)
a(t)=na(t)
y(t)=x(t)+ny(t)
其中,na(t),ny(t)为所述目标框的运动随机特性的参量,x'(t)为x(t)的导数,v'(t)为v(t)的导数;
根据离散模型建立所述目标框的运动关系式如下:
x(t+1)=x(t)+v(t)T+0.5a(t)T2
v(t+1)=v(t)+a(t)T
a(t+1)=a(t)+na(t)
y(t)=x(t)+ny(t)
建立所述目标框的过程方程X(t+1)和观测方程Y(t)如下:
X(t+1)=F(t+1,t)X(t)+V1(t)
Y(t)=C(t)X(t)+V2(t)
其中,
根据所述目标框在所述第一帧图像中的坐标位置,根据所述过程方程和观测方程获取所述第二帧图像内的目标框的重心位置。
4.如权利要求3所述的动态目标跟踪方法,其特征在于,
在所述第一帧图像中确定目标框的坐标位置后,还包括:将所述第一帧图像灰度化,在所述第一帧图像内的目标框周围以预设方式选取若干第一样本框;
在根据所述重心位置和所述目标框在所述第二帧图像中的坐标位置调整所述目标框在所述第二帧图像中的坐标位置后,还包括:
根据所述第二帧图像中调整后的目标框以所述预设方式选取与所述第一样本框对应的第二样本框;
比较所述第一样本框和第二样本框之间的相似度,若所述相似度在一相似度阈值内,则确定所述第二帧图像内的目标框合格。
5.如权利要求4所述的动态目标跟踪方法,其特征在于,所述比较所述第一样本框和第二样本框之间的相似度包括:
比较每个第二样本框和与所述对应的第一样本框中的所有样本之间的相似度;
如果所述选取第二样本框和第一样本框的所有样本相似度的平均值在所述相似度阈值内,则确定所述第二帧图像内选取的样本框为合格的备选样本框。
6.如权利要求5所述的动态目标跟踪方法,其特征在于,所述预设方式包括:
以预设比例扩大或者缩小所述目标框的尺寸选取样本框,和/或,
以预设角度旋转所述目标框的方向选取样本框。
7.如权利要求6所述的动态目标跟踪方法,其特征在于,根据所述相似度从高至低的顺序,从所述第一样本框和所述第二样本框中选取若干样本框作为所述第二帧图像中的目标框的新的样本框。
8.如权利要求1所述的动态目标跟踪方法,其特征在于,根据接收的选择框的坐标点转换为所述第一帧图像中的目标框的坐标位置。
9.一种动态目标跟踪装置,包括存储器及处理器,所述存储器存储若干被所述处理器执行的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-9中任一项所述的动态目标跟踪方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理执行时实现如权利要求1-9中任一项所述的动态目标跟踪方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711206458.2A CN107993256A (zh) | 2017-11-27 | 2017-11-27 | 动态目标跟踪方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711206458.2A CN107993256A (zh) | 2017-11-27 | 2017-11-27 | 动态目标跟踪方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107993256A true CN107993256A (zh) | 2018-05-04 |
Family
ID=62032344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711206458.2A Pending CN107993256A (zh) | 2017-11-27 | 2017-11-27 | 动态目标跟踪方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107993256A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109712173A (zh) * | 2018-12-05 | 2019-05-03 | 北京空间机电研究所 | 一种基于卡尔曼滤波器的图像位置运动估计方法 |
TWI706330B (zh) * | 2019-01-09 | 2020-10-01 | 圓展科技股份有限公司 | 目標追蹤方法 |
CN112258556A (zh) * | 2020-10-22 | 2021-01-22 | 北京字跳网络技术有限公司 | 视频中指定区域的跟踪方法、装置、可读介质和电子设备 |
CN112639877A (zh) * | 2018-09-12 | 2021-04-09 | 日立汽车系统株式会社 | 图像识别装置 |
CN113362280A (zh) * | 2021-05-14 | 2021-09-07 | 同济大学 | 一种基于医学造影的动态目标跟踪方法 |
CN115334249A (zh) * | 2022-10-17 | 2022-11-11 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、系统及摄像系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739691A (zh) * | 2009-12-04 | 2010-06-16 | 北京智安邦科技有限公司 | 视频虚警目标检测方法及装置 |
CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
CN106709938A (zh) * | 2016-11-18 | 2017-05-24 | 电子科技大学 | 基于改进tld的多目标追踪方法 |
-
2017
- 2017-11-27 CN CN201711206458.2A patent/CN107993256A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739691A (zh) * | 2009-12-04 | 2010-06-16 | 北京智安邦科技有限公司 | 视频虚警目标检测方法及装置 |
CN105678809A (zh) * | 2016-01-12 | 2016-06-15 | 湖南优象科技有限公司 | 手持式自动跟拍装置及其目标跟踪方法 |
CN106709938A (zh) * | 2016-11-18 | 2017-05-24 | 电子科技大学 | 基于改进tld的多目标追踪方法 |
Non-Patent Citations (3)
Title |
---|
孔令东 等: "旋翼无人机实时视觉跟踪算法", 《南通大学学报(自然科学版)》 * |
汪洪桥 等: "《模式分析的多核方法及其应用》", 31 March 2014, 国防工业出版社 * |
龚小彪: "基于TLD框架的目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112639877A (zh) * | 2018-09-12 | 2021-04-09 | 日立汽车系统株式会社 | 图像识别装置 |
CN109712173A (zh) * | 2018-12-05 | 2019-05-03 | 北京空间机电研究所 | 一种基于卡尔曼滤波器的图像位置运动估计方法 |
TWI706330B (zh) * | 2019-01-09 | 2020-10-01 | 圓展科技股份有限公司 | 目標追蹤方法 |
CN112258556A (zh) * | 2020-10-22 | 2021-01-22 | 北京字跳网络技术有限公司 | 视频中指定区域的跟踪方法、装置、可读介质和电子设备 |
CN113362280A (zh) * | 2021-05-14 | 2021-09-07 | 同济大学 | 一种基于医学造影的动态目标跟踪方法 |
CN113362280B (zh) * | 2021-05-14 | 2022-07-05 | 同济大学 | 一种基于医学造影的动态目标跟踪方法 |
CN115334249A (zh) * | 2022-10-17 | 2022-11-11 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、系统及摄像系统 |
CN115334249B (zh) * | 2022-10-17 | 2023-03-10 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
US11893749B1 (en) | 2022-10-17 | 2024-02-06 | Chengdu Tommi Technology Co., Ltd. | Focus following method based on motion gravity center, storage medium and photographing system |
WO2024082615A1 (zh) * | 2022-10-17 | 2024-04-25 | 成都唐米科技有限公司 | 基于运动重心的跟焦方法、存储介质及摄像系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107993256A (zh) | 动态目标跟踪方法、装置及存储介质 | |
US20200349730A1 (en) | Simultaneous localization and mapping method, computer device, and storage medium | |
CN109741369B (zh) | 一种用于机器人跟踪目标行人的方法及系统 | |
CN101297322B (zh) | 健壮的在线脸部跟踪 | |
US20180114071A1 (en) | Method for analysing media content | |
CN110163889A (zh) | 目标跟踪方法、目标跟踪装置、目标跟踪设备 | |
CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
CN111199556B (zh) | 基于摄像头的室内行人检测和跟踪方法 | |
CN111783878B (zh) | 目标检测方法、装置、电子设备以及可读存储介质 | |
CN110637461B (zh) | 计算机视觉系统中的致密光学流处理 | |
CN109657583A (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
CN104217459B (zh) | 一种球面特征提取方法 | |
CN108762505A (zh) | 基于手势的虚拟对象控制方法、装置、存储介质和设备 | |
CN107146238A (zh) | 基于特征块优选的运动目标跟踪方法 | |
US11682212B2 (en) | Hierarchical data organization for dense optical flow processing in a computer vision system | |
CN112084886B (zh) | 提升检测神经网络目标检测性能的方法及装置 | |
CN109754034A (zh) | 一种基于二维码的终端设备定位方法及装置 | |
CN111583307A (zh) | 运动目标实时检测跟踪系统及方法 | |
CN111046746A (zh) | 一种车牌检测方法及装置 | |
Wang et al. | Deep learning based target detection algorithm for motion capture applications | |
CN116429082A (zh) | 一种基于st-orb特征提取的视觉slam方法 | |
US20160071280A1 (en) | HARDWARE ARCHITECTURE FOR REAL-TIME EXTRACTION OF MAXIMALLY STABLE EXTREMAL REGIONS (MSERs) | |
Aziz et al. | Efficient and robust learning for sustainable and reacquisition-enabled hand tracking | |
CN113256724A (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
CN112825116B (zh) | 监控视频图像人脸检测和追踪方法、装置、介质及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |