CN108776972B - 一种对象跟踪方法及装置 - Google Patents
一种对象跟踪方法及装置 Download PDFInfo
- Publication number
- CN108776972B CN108776972B CN201810421167.3A CN201810421167A CN108776972B CN 108776972 B CN108776972 B CN 108776972B CN 201810421167 A CN201810421167 A CN 201810421167A CN 108776972 B CN108776972 B CN 108776972B
- Authority
- CN
- China
- Prior art keywords
- target particle
- video frame
- particle
- weight
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种对象追踪方法及装置,该方法包括获取当前视频帧的上一视频帧对应的目标粒子集合,从目标粒子集合中采集目标粒子;利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算第二巴氏系数和第一距离值,获得每个目标粒子的权重;当第二巴氏系数与第一巴氏系数之差小于第一阈值,增大目标粒子的权重系数比值;根据增大后权重系数比值,更新每一目标粒子的权重,再根据每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为跟踪对象的位姿,从而实现对跟踪对象的跟踪。应用本发明实施例提供的方案进行对象跟踪能够在背景和对象有相似的颜色分布或者对象被遮挡时,实现对象跟踪。
Description
技术领域
本发明涉及视觉计算技术领域,特别是涉及一种对象跟踪方法及装置。
背景技术
对象跟踪是视觉计算领域的一个核心问题,其在视频帧监控、交通管制、 人机交互、虚拟现实等领域都有着广阔的应用前景。在视觉计算领域中,对象 跟踪是通过分析采集的反映对象的运动情况的数据,获得对象的位置,进而得 到对象的运动轨迹,是运动对象分析过程的关键环节,属于计算机视觉中的低 层视觉范畴,是对象行为识别和场景理解的基础。
由上述对对象追踪的描述可知,对象跟踪过程中需要确定对象在视频帧流 各帧中的几何状态,这些几何状态包括位置、尺寸以及取向等,由于被跟踪的 对象通常具有不规则的运动,再加上复杂背景的干扰,因此对象跟踪方法面临着 诸多挑战,是计算机视觉领域的研究热点之一。
传统对象跟踪方法包括基于生成式模型的跟踪方法以及基于判别式模型 的跟踪方法。其中,粒子滤波跟踪算法是属于基于生成式模型的跟踪方法的一 种算法,由于该粒子滤波跟踪算法对状态变量没有限制,因此该粒子滤波跟踪 算法可以处理非线性、非高斯问题,适合在复杂环境下对对象进行跟踪,针对 具有非刚体特性的对象(如,行人)和复杂的跟踪环境,具有较好的跟踪效果。
由于粒子滤波跟踪算法具有上述描述的诸多优点,因此该粒子滤波跟踪算 法得到了广泛的应用,例如,现有技术提出一种基于颜色的粒子滤波算法的行 人跟踪方法,该方法具体为:利用第一对象区域的颜色直方图的像素值分布和 每一第二粒子区域的颜色直方图的相似性,实现对每个目标粒子相对于当前视 频帧的权重的更新,利用更新后每个目标粒子的权重和每个目标粒子相对于当 前视频帧的位置,估计行人的当前位置,从而实现行人的跟踪,其中,上述第 一对象区域为上一视频帧中行人所在区域,第二粒子区域为目标粒子对应于当 前视频帧的区域,目标粒子为从预设数量的粒子中按照权重大小选取的粒子。
发明内容
本发明实施例的目的在于提供一种对象跟踪方法及装置,以在背景和对象 有相似的颜色分布或者对象被遮挡时,能够对对象进行跟踪。
具体技术方案如下:
一种对象跟踪方法,所述方法包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子 集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算 法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为 当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计 算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域 为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述 跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系 数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒 子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分 别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每 一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对 于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第 一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第 二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏 系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标 粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的 权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒 子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前 视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当 前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位 姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述利用第一区域的颜色直方图的像素值分布和第一LBP特 征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,包括:
根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子 区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区 域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒 子相应于上一视频帧所在的区域;
根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利 用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量, 计算各个目标粒子对应的第二巴氏系数和第一距离值。
进一步地,每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始 视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视 频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象 的第一个视频帧。
进一步地,在所述利用计算得到的第二巴氏系数和所述第一距离值,获得 每个目标粒子相对于当前视频帧的权重后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第 一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数 大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视 频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪 对象的位姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素 值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP 特征向量。
进一步地,所述利用计算得到的第二巴氏系数和所述第一距离值,获得每 个目标粒子相对于当前视频帧的权重,包括:
其中,为第n个目标粒子相对于当前视频帧的颜色直方图的权重,为第n个目标粒子相对于当前视频帧的特征向量的权重,n为目标粒子的序号, α为第n个目标粒子相对于当前视频帧的颜色直方图的权重的系数,β为第n 个目标粒子相对于当前视频帧的LBP特征向量。
一种对象跟踪装置,所述装置包括:
目标粒子集合获取模块,用于获取当前视频帧的上一视频帧对应的目标粒 子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合, 所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块,用于按照粒子的权重大小,从所述目标粒子集合中采 样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块,用于利用第一对象区域的颜色直方图的像素值分布和第一 LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中, 所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP 特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子 对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒 子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二 LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征 向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块,用于利用计算得到的第二巴氏系数和所述第一距离值,获 得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块,用于针对每一目标粒子,当目标粒子对应的第二 巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒 子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中, 每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系 数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数 比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值, 所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块,用于根据每一目标粒子的增大后权重系数比值,更新每一 目标粒子相对于当前视频帧的权重;
第一估计模块,用于根据每一目标粒子的更新后权重和每一目标粒子相对 于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为 所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述第一计算模块包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当 前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒 子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征 向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第 一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第 一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个 第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,上述计算 机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述 任一上述的对象追踪方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机 程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的对象追踪 方法。
本发明实施例提供的一种对象跟踪方案中,可以获取当前视频帧的上一视 频帧对应的目标粒子集合;按照粒子的权重大小,从目标粒子集合中采样第一 数量个粒子,作为当前视频帧对应的目标粒子;利用第一对象区域的颜色直方 图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系 数和第一距离值;利用计算得到的第二巴氏系数和所述第一距离值,获得每个 目标粒子相对于当前视频帧的权重;针对每一目标粒子,当目标粒子对应的第 二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标 粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值;根据 每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的 权重;根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当 前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位 姿,从而实现对所述跟踪对象的跟踪。与现有技术相比,本发明实施例提供的 方案通过计算各个目标粒子对应的第二巴氏系数,使得跟踪对象在与背景有相 似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针 对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一 巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏 系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实 现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述 中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付 出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种对象跟踪方法流程图;
图2a为本发明实施例提供的第一对象区域示意图;
图2b为本发明实施例提供的第一对象区域中像素点的示意图;
图2c为本发明实施例提供的第一对象区域中像素点的像素值示意图;
图2d为本发明实施例提供的第一对象区域中一像素点相邻像素点对应二 进制示意图;
图2e为本发明实施例提供的第一对象区域中一像素点相邻像素点对应二 进制旋转后的示意图;
图3为本发明实施例提供的一种主用户的频谱接入预测流程图;
图4为本发明实施例提供的第二种对象跟踪方法流程图;
图5为本发明实施例提供的第三种对象跟踪方法流程图;
图6为本发明实施例提供的对象跟踪住鞥之结构示意图;
图7为本发明实施例提供的一种认电子设备示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的第一种对象跟踪方法流程图,方法包括:
S101,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目 标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波 跟踪算法的运算对象;
其中,当上一视频帧是初始视频帧时,目标粒子集合是基于粒子滤波跟踪 算法,事先设定数量个粒子构成的集合,该集合可以认为是全集;
当上一视频帧不是初始视频帧时,目标粒子集合是从全集中选择出来的粒 子构成的集合。
每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的 中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重 和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视 频帧。
值得一提的是,运动状态参数为能够反映粒子运动和位置的参数,运动状 态参数包括运动速度、初始化尺度因子和位置。
每一粒子相对于视频帧的初始位置是指:每一粒子相对于初始视频帧的位 置。由于每一粒子设定了初始的运动速度,因此各个粒子相对于后续各帧的位 置会发生变化。
需要说明的是,初始视频帧分布的粒子的集合为目标粒子集合的全集。
S102,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子, 作为当前视频帧对应的目标粒子;
其中,第一数量可以是小于、大于或等于目标粒子集合中粒子的数量,但 是为了避免出现目标粒子数量经过多次循环对对象进行追踪时,目标粒子集合 的数量趋于太少的情况下,或是目标粒子数量太多造成系统的计算量大,因此 第一数量最佳取等于初始视频帧中目标粒子集合粒子的数量。
需要说明的是,上述采集的粒子可以是目标粒子集合中的同一个粒子,也 可以是目标粒子集合中的不同粒子,若目标集合中的权重较大,则该权重较大 的粒子可能被采集的几率高。
此步骤的目标粒子集合是上一视频帧对应的目标粒子集合。
S103,利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向 量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对 象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为: 所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴 氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目 标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向 量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
其中,第一对象区域可以理解为上一视频帧跟踪对象所在的区域,该区域 可以是跟踪对象的边缘所对应的区域,也可以是包围跟踪对象的窗口所对应的 区域。
现对第一LBP特征向量进行详细描述,如图2a-2e所示,该第一对象区域 为窗口所对应的区域,该第一对象区域如图2a所示,现任选该第一对象区域 中一个像素点,并以该像素点为中心,在该像素点周围选取8个像素点邻域如 图2b所示,该像素点和该像素点周围的8个像素点对应的像素值如图2c所示, 将该像素点对应的像素值分别与该像素点相邻的8个像素点的灰度值进行比较, 若大于该像素点对应的像素值,则将该像素点的位置被标记为1,否则,将该 像素点的位置被标记为0,如图2d所示。
基于此,通过该像素点对应的像素值分别与该像素点相邻的8个像素点的 灰度值进行比较,可产生8位二进制数,将该8位二进制数转换为十进制数, 转换后的十进制就是该像素点的LBP值,以该LBP值来反映该像素点的纹理 信息。在图2d中该像素点的LBP值为由二进制01111010进行十进制转换得到 122。
基于上述对该像素点的LBP值描述,为了降低LBP的编码模式,可以将 图2d中该像素点相邻的8位二进制值按照顺时针或逆时针进行旋转,如图2e 所示,以使由该8位二进制获得该像素点的LBP值最小为目的,将二进制 01111010旋转后得到二进制01001111得到79,将得到的最小LBP值即79 作为该像素点的LBP纹理特征。
基于对第一对象区域某一像素点的LBP值描述,如图3所示,将第一对 象区域分割为3x5块小窗口单元,对于每一小窗口单元,计算LBP直方图, 即LBP值出现的频率,然后对该LBP直方图进行归一化处理,对LBP值出现 的频率进行标准化运算,将标准化运算后的结果作为第一对象区域的LBP特 征向量。
一种实施方式中,可以通过以下步骤获得第一LBP特征向量:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素 值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP 特征向量。
可见,该实施方式通过计算跟踪对象在上一视频帧中的LBP纹理特征, 进而获得第一LBP特征向量,使得跟踪对象即使在有遮挡物遮挡时,也能够 通过计算跟踪对象在上一视频帧中的LBP纹理特征,实现对跟踪对象的跟踪。
S104,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒 子相对于当前视频帧的权重;
其中,为第n个目标粒子相对于当前视频帧的颜色直方图的权重,为第n个目标粒子相对于当前视频帧的特征向量的权重,n为目标粒子的序号, α为第n个目标粒子相对于当前视频帧的颜色直方图的权重的系数,β为第n 个目标粒子相对于当前视频帧的LBP特征向量。
可见,本实施方式能够利用第二巴氏系数和所述第一距离值,按照如上述 表达式快速、准确地获得每个目标粒子相对于当前视频帧的权重。
其中,可以根据如下公式获得巴氏系数得到的权重,该公式为:σB为目标粒子相对于当前视频的LBP特征向量方差;Ht为第一对象区域的颜色直方图的像素值分布;Hn为第n个目标粒子相对于当前 视频帧的颜色直方图的像素值分布。
在S104之后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第 一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数 大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视 频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪 对象的位姿,从而实现对所述跟踪对象的跟踪。
可见,本实施方式针对跟踪对象未在当背景和跟踪对象有相似的颜色分布 或者对象被遮挡的情况下,仅需要根据每一目标粒子的权重和每一目标粒子相 对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿便 可。
S105,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对 应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数 小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第 一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为: 目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向 量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目 标粒子相对于当前视频帧的颜色直方图;
一种实现方式中,第一阈值可以为-0.2和/或第二阈值可以为0.65,当然, 上述第一阈值和第二阈值的取值还可以为其他数据,本发明并不对此进行限 定。
需要说明的是,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴 氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈 值时,就意味着,跟踪对象对遮挡物遮挡住或跟踪对象与背景的颜色相近,因 此,可以增大该目标粒子相对于当前视频帧的LBP权重在该目标粒子的整体 权重所占的比例,也就是说,通过提高跟踪对象的LBP纹理特征来对跟踪对 象进行跟踪,能够使跟踪对象被遮挡物遮挡时或跟踪对象与背景颜色相近时, 也能够被成功地跟踪,提高了跟踪对象的准确性。
S106,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对 于当前视频帧的权重;
由上述计算每个目标粒子相对于当前视频帧的权重的表达式可知,权重系 数比值为β/α,增大该权重系数比值的一种方法是增大β,和/或减小α,进而 增大了β/α,β/α的增大,也就意味着该目标粒子的LBP特征向量权重在该 目标粒子相对视频帧的权重所占的比值增大,从而避免了跟踪对象在被遮挡物 遮挡时,跟踪对象失败。
S107,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧 的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象 的位姿,从而实现对所述跟踪对象的跟踪。
基于对权重的描述可知,本步骤通过每一目标粒子的更新后权重和每一目 标粒子相对于当前视频帧的当前位姿,便可按照如下公式估计得到当前视频帧 所对应粒子的中心点的位姿。
在S107之后,该方法还包括:
将所述跟踪对象对应于当前视频帧所在的区域作为新的第一对象区域,返 回执行S101的步骤,从而实现实时对跟踪对象的追踪。
由此可见,本发明实施例提供的对象跟踪方法,通过计算各个目标粒子对 应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够 实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过 将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第 一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对 应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物 遮挡时,也能够实现对跟踪对象的跟踪。
图4为本发明实施例提供的第二种对象跟踪方法流程图,该方法包括:
S201,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目 标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波 跟踪算法的运算对象;
S202,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子, 作为当前视频帧对应的目标粒子;
S203,利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向 量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对 象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为: 所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴 氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目 标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向 量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
S204,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒 子相对于当前视频帧的权重;
S205,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对 应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数 小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第 一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为: 目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向 量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目 标粒子相对于当前视频帧的颜色直方图;
S206,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对 于当前视频帧的权重;
S207,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧 的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象 的位姿,从而实现对所述跟踪对象的跟踪。
其中,S201~S207分别与图1实施例中的步骤S101~S107执行的方法相同。 因此,图1所示实施例部分提及的实现方式均适应于图4所示实施例涉及的相 关步骤,且均能达到相同或相似的有益效果,在此不再赘述。
S208,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对 应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴 氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于 当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所 述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
本步骤是对跟踪对象在没有遮挡物遮挡时或与背景不同的颜色分布情况 下,对跟踪对象实现跟踪。
由此可见,本发明实施例提供的对象跟踪方法,既能够在跟踪对象没有遮 挡物遮挡时或与背景不同的颜色分布情况下,又能够在背景和跟踪对象有相似 的颜色分布或者跟踪对象被遮挡的情况下,对跟踪对象实现实时跟踪;同时, 该方法对具有非刚体特性的对象具有旋转鲁棒特性,可以减少光照和遮挡等因 素对目标跟踪的影响。
图5为本发明实施例提供的第三种对象跟踪方法流程图,该方法包括:
S301,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目 标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波 跟踪算法的运算对象;
其中,S301与图4实施例中的步骤S201执行的方法相同。因此,图4所 示实施例部分提及的实现方式均适应于图5所示实施例涉及的相关步骤,且均 能达到相同或相似的有益效果,在此不再赘述。
S302,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子, 作为当前视频帧对应的目标粒子;
S303,根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
预设的运动模型是事先建立的运动模型,该运动模型是用于基于上一视频 帧的位置估计目标粒子相对于当前视频帧的位置的模型。
S304,根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第 二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;其中,每 个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区 域为:目标粒子相应于上一视频帧所在的区域;所述第二粒子区域为:目标粒 子对应于当前视频帧的区域,所述第二LBP特征向量为:基于每一第二粒子 区域确定的目标粒子的LBP特征向量;
需要说明的是,预设的扰动幅度是指第一粒子区域在空间各个方向中的扰 动范围,若第一粒子区域是长方形边框包围的粒子区域,则该第一粒子区域的 扰动幅度可以为长方形边框的四条边在X方向和Y方向的运动幅度。
S305,根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向 量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征 向量,计算各个目标粒子对应的第二巴氏系数和第一距离值;其中,所述第一 对象区域为上一视频帧中所述跟踪对象所在区域;所述第一LBP特征向量为: 所述跟踪对象在上一视频帧中的LBP特征向量;所述第一距离值为:每一第 二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述每一目标粒 子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,;
需要说明的是,第二巴氏系数是由第一对象区域的颜色直方图的像素值分 布和每个第二粒子区域的颜色直方图的像素值分布确定的,所述第一距离值是 由第一LBP特征向量和每个第二LBP特征向量确定的。
S306,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒 子相对于当前视频帧的权重;
S307,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对 应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数 小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第 一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为: 目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向 量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目 标粒子相对于当前视频帧的颜色直方图;
S308,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对 于当前视频帧的权重;
S309,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧 的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象 的位姿,从而实现对所述跟踪对象的跟踪。
S310,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对 应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴 氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于 当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所 述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪;
其中,S306~S310分别与图4实施例中的步骤S204~S208执行的方法相同。 因此,图4所示实施例部分提及的实现方式均适应于图5所示实施例涉及的相 关步骤,且均能达到相同或相似的有益效果,在此不再赘述。
由此可见,本发明实施例提供的对象跟踪方法,通过计算各个目标粒子对 应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够 实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过 将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第 一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对 应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物 遮挡时,也能够实现对跟踪对象的跟踪。从而实现跟踪对象既能够在没有遮挡 物遮挡时或与背景不同的颜色分布情况下,又能够在背景和跟踪对象有相似的 颜色分布或者跟踪对象被遮挡的情况下,实现对跟踪对象实时跟踪;同时,该 方法对具有非刚体特性的对象具有旋转鲁棒特性,可以减少光照和遮挡等因素 对目标跟踪的影响。
与上述对象跟踪方法相对应,本申请实施例还提供了对象跟踪装置。
图6为本发明实施例提供的对象跟踪方法的一种结构示意图,上述装置包 括:
目标粒子集合获取模块401,用于获取当前视频帧的上一视频帧对应的目 标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集 合,所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块402,用于按照粒子的权重大小,从所述目标粒子集合 中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块403,用于利用第一对象区域的颜色直方图的像素值分布和 第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值, 其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一 LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标 粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第 二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一 第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP 特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块404,用于利用计算得到的第二巴氏系数和所述第一距离值, 获得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块405,用于针对每一目标粒子,当目标粒子对应的 第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目 标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其 中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏 系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系 数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比 值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块406,用于根据每一目标粒子的增大后权重系数比值,更新 每一目标粒子相对于当前视频帧的权重;
第一估计模块407,用于根据每一目标粒子的更新后权重和每一目标粒子 相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿, 作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
其中,一种实现方式中,所述第一计算模块可以包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当 前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒 子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征 向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第 一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第 一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个 第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
一种实现方式中,每一粒子相对于视频帧的初始位置为:以所述跟踪对象 在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述 初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟 踪对象的第一个视频帧。
一种实现方式中,所述装置还可以包括:
第三估计模块,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数 与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子 对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目 标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的 位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
一种实现方式中,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素 值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP 特征向量。
一种实现方式中,所述权重获得模块可以包括:
其中,为第n个目标粒子相对于当前视频帧的颜色直方图的权重,为第n个目标粒子相对于当前视频帧的特征向量的权重,n为目标粒子的序号, α为第n个目标粒子相对于当前视频帧的颜色直方图的权重的系数,β为第n 个目标粒子相对于当前视频帧的LBP特征向量。
由此可见,本发明实施例提供的对象跟踪装置,通过计算各个目标粒子对 应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够 实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过 将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第 一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对 应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物 遮挡时,也能够实现对跟踪对象的跟踪。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器501、通信 接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储 器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现本发明实施例提 供的一种对象跟踪方法。
具体的,上述一种对象跟踪方法,包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子 集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算 法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为 当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计 算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域 为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述 跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系 数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒 子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分 别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每 一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对 于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第 一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第 二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏 系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标 粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的 权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒 子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前 视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当 前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位 姿,从而实现对所述跟踪对象的跟踪。
由此可见,执行本实施例提供的电子设备,通过计算各个目标粒子对应的 第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现 对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目 标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈 值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的 目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡 时,也能够实现对跟踪对象的跟踪。
上述的相关内容对象跟踪方法的实施方式与前述方法实施例部分提供的 对象跟踪的管理方式相同,这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总 线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根 总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可 以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存 储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处 理器(DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array, FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组 合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实 现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行 所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功 能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编 程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算 机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可 以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个 网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可 以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的 服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如, 软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计 算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上 述实施例中任一种对象跟踪方法。
具体的,上述对象跟踪方法,包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子 集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算 法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为 当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计 算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域 为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述 跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系 数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒 子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分 别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每 一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对 于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第 一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第 二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏 系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标 粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的 权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒 子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前 视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当 前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位 姿,从而实现对所述跟踪对象的跟踪。
由此可见,执行本实施例提供的计算机可读存储介质中存储的应用程序 时,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背 景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算, 且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的 第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二 巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能 够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
上述的相关内容对象跟踪方法的实施方式与前述方法实施例部分提供的 对象跟踪的管理方式相同,这里不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些 实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包 含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素 的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的 其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在 没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括 要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相 似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之 处。尤其,对于装置、电子设备或存储介质实施例而言,由于其基本相似于方 法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡 在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本 发明的保护范围内。
Claims (9)
1.一种对象跟踪方法,其特征在于,所述方法包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪;
所述利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重,包括:
2.如权利要求1所述的方法,其特征在于,所述利用第一区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,包括:
根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
3.如权利要求2所述的方法,其特征在于,
每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视频帧。
4.如权利要求1~3中任一项所述的方法,其特征在于,在所述利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
5.如权利要求4所述的方法,其特征在于,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP特征向量。
6.一种对象跟踪装置,其特征在于,所述装置包括:
目标粒子集合获取模块,用于获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块,用于按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块,用于利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块,用于利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块,用于根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
第一估计模块,用于根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪;
所述权重获得模块包括:
7.如权利要求6所述的装置,其特征在于,所述第一计算模块包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-5任一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421167.3A CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421167.3A CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108776972A CN108776972A (zh) | 2018-11-09 |
CN108776972B true CN108776972B (zh) | 2020-06-12 |
Family
ID=64027059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810421167.3A Active CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108776972B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010066B (zh) * | 2019-12-20 | 2022-11-11 | 华为技术有限公司 | 显示参数确定方法及装置 |
CN112036246B (zh) * | 2020-07-30 | 2021-08-24 | 长安大学 | 遥感影像分类模型的构建方法,遥感影像分类方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881012A (zh) * | 2012-09-04 | 2013-01-16 | 上海交通大学 | 针对目标尺度变化的视觉目标跟踪方法 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
US9405974B2 (en) * | 2013-11-13 | 2016-08-02 | Xerox Corporation | System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments |
CN105913457A (zh) * | 2016-04-14 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 基于加强粒子群优化的粒子滤波目标跟踪方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996312B (zh) * | 2009-08-18 | 2015-03-18 | 索尼株式会社 | 跟踪目标的方法和装置 |
-
2018
- 2018-05-04 CN CN201810421167.3A patent/CN108776972B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881012A (zh) * | 2012-09-04 | 2013-01-16 | 上海交通大学 | 针对目标尺度变化的视觉目标跟踪方法 |
US9405974B2 (en) * | 2013-11-13 | 2016-08-02 | Xerox Corporation | System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
CN105913457A (zh) * | 2016-04-14 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 基于加强粒子群优化的粒子滤波目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
"Kernel-Based Object Tracking Using Particle Filter with Incremental Bhattacharyya Similarity";Mohammad Mahdi Dehshibi et al.;《https://www.researchgate.net/publication/286584311_Kernel-based_object_tracking_using_particle_filter_with_incremental_Bhattacharyya_similarity》;20130412;全文 * |
"Particle Filter Vehicle Tracking Based on SURF Feature Matching";Xiaofeng Lu et al.;《IEEJ Jouranl of Industry Applications》;20130515;第3卷(第2期);全文 * |
"融合颜色与纹理特征的粒子滤波目标跟踪";杨阳 等;《微型机与应用》;20151130;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108776972A (zh) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108898624B (zh) | 一种运动物体跟踪的方法、装置、电子设备和存储介质 | |
CN110598558B (zh) | 人群密度估计方法、装置、电子设备及介质 | |
Yeh et al. | Real-time background modeling based on a multi-level texture description | |
WO2021013049A1 (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
Savaş et al. | Moving object detection using an adaptive background subtraction method based on block-based structure in dynamic scene | |
WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN108776972B (zh) | 一种对象跟踪方法及装置 | |
Zhu et al. | Shadow removal with background difference method based on shadow position and edges attributes | |
CN112634316A (zh) | 目标跟踪方法、装置、设备和存储介质 | |
CN113420848A (zh) | 神经网络模型的训练方法及装置、手势识别的方法及装置 | |
CN116681724A (zh) | 基于YOLOv5-Deepsort算法的矿井人员目标视频跟踪方法及存储介质 | |
CN114387642A (zh) | 图像分割方法、装置、设备和存储介质 | |
CN111476814A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
Yildirim et al. | Direction‐based modified particle filter for vehicle tracking | |
CN113674317A (zh) | 一种高位视频的车辆跟踪方法及装置 | |
Huan et al. | Anti‐occlusion particle filter object‐tracking method based on feature fusion | |
CN107301655B (zh) | 一种基于背景建模的视频移动目标侦测方法 | |
CN108961293B (zh) | 一种背景减除的方法、装置、设备及存储介质 | |
CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
Kumar et al. | Adaptive earth movers distance‐based Bayesian multi‐target tracking | |
CN113223083B (zh) | 一种位置确定方法、装置、电子设备及存储介质 | |
CN112416128B (zh) | 一种手势识别方法及终端设备 | |
Kushwaha et al. | Automatic moving object segmentation methods under varying illumination conditions for video data: comparative study, and an improved method | |
CN113657219A (zh) | 一种视频对象检测跟踪方法、装置及计算设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |