CN108776972A - 一种对象跟踪方法及装置 - Google Patents
一种对象跟踪方法及装置 Download PDFInfo
- Publication number
- CN108776972A CN108776972A CN201810421167.3A CN201810421167A CN108776972A CN 108776972 A CN108776972 A CN 108776972A CN 201810421167 A CN201810421167 A CN 201810421167A CN 108776972 A CN108776972 A CN 108776972A
- Authority
- CN
- China
- Prior art keywords
- particle
- target particle
- video frame
- weight
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000002245 particle Substances 0.000 claims abstract description 622
- 239000013598 vector Substances 0.000 claims abstract description 128
- 238000009826 distribution Methods 0.000 claims abstract description 61
- HNYOPLTXPVRDBG-UHFFFAOYSA-N barbituric acid Chemical compound O=C1CC(=O)NC(=O)N1 HNYOPLTXPVRDBG-UHFFFAOYSA-N 0.000 claims description 40
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000000903 blocking effect Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种对象追踪方法及装置,该方法包括获取当前视频帧的上一视频帧对应的目标粒子集合,从目标粒子集合中采集目标粒子;利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算第二巴氏系数和第一距离值,获得每个目标粒子的权重;当第二巴氏系数与第一巴氏系数之差小于第一阈值,增大目标粒子的权重系数比值;根据增大后权重系数比值,更新每一目标粒子的权重,再根据每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为跟踪对象的位姿,从而实现对跟踪对象的跟踪。应用本发明实施例提供的方案进行对象跟踪能够在背景和对象有相似的颜色分布或者对象被遮挡时,实现对象跟踪。
Description
技术领域
本发明涉及视觉计算技术领域,特别是涉及一种对象跟踪方法及装置。
背景技术
对象跟踪是视觉计算领域的一个核心问题,其在视频帧监控、交通管制、人机交互、虚拟现实等领域都有着广阔的应用前景。在视觉计算领域中,对象跟踪是通过分析采集的反映对象的运动情况的数据,获得对象的位置,进而得到对象的运动轨迹,是运动对象分析过程的关键环节,属于计算机视觉中的低层视觉范畴,是对象行为识别和场景理解的基础。
由上述对对象追踪的描述可知,对象跟踪过程中需要确定对象在视频帧流各帧中的几何状态,这些几何状态包括位置、尺寸以及取向等,由于被跟踪的对象通常具有不规则的运动,再加上复杂背景的干扰,因此对象跟踪方法面临着诸多挑战,是计算机视觉领域的研究热点之一。
传统对象跟踪方法包括基于生成式模型的跟踪方法以及基于判别式模型的跟踪方法。其中,粒子滤波跟踪算法是属于基于生成式模型的跟踪方法的一种算法,由于该粒子滤波跟踪算法对状态变量没有限制,因此该粒子滤波跟踪算法可以处理非线性、非高斯问题,适合在复杂环境下对对象进行跟踪,针对具有非刚体特性的对象(如,行人)和复杂的跟踪环境,具有较好的跟踪效果。
由于粒子滤波跟踪算法具有上述描述的诸多优点,因此该粒子滤波跟踪算法得到了广泛的应用,例如,现有技术提出一种基于颜色的粒子滤波算法的行人跟踪方法,该方法具体为:利用第一对象区域的颜色直方图的像素值分布和每一第二粒子区域的颜色直方图的相似性,实现对每个目标粒子相对于当前视频帧的权重的更新,利用更新后每个目标粒子的权重和每个目标粒子相对于当前视频帧的的位置,估计行人的当前位置,从而实现行人的跟踪,其中,上述第一对象区域为上一视频帧中行人所在区域,第二粒子区域为目标粒子对应于当前视频帧的区域,目标粒子为从预设数量的粒子中按照权重大小选取的粒子。然而该方法虽然对行人具有旋转鲁棒性,而且能够实现对非刚体的对象进行跟踪,但由于该方法主要利用颜色直方图像素值分布进行对象的跟踪,且每个目标粒子的权重仅通过颜色特征进行更新,所以当对象的背景和对象有相似的颜色分布或者对象被遮挡时,可能会导致对象跟踪的失败。
发明内容
本发明实施例的目的在于提供一种对象跟踪方法及装置,以在背景和对象有相似的颜色分布或者对象被遮挡时,能够对对象进行跟踪。
具体技术方案如下:
一种对象跟踪方法,所述方法包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述利用第一区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,包括:
根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
进一步地,每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视频帧。
进一步地,在所述利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP特征向量。
进一步地,所述利用计算得到的巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重,包括:
利用所述巴氏系数和所述第一距离值,分别计算每个目标粒子的颜色直方图的权重与每个目标粒子的特征向量的权重
根据和按照如下表达式计算每个目标粒子的权重
所述表达式为:
其中,为第n个目标粒子的颜色直方图的权重,为第n个目标粒子特征向量的权重,n为目标粒子的序号,α为第n个目标粒子的颜色直方图的权重的系数,β为第n个目标粒子特征向量。
一种对象跟踪装置,所述装置包括:
目标粒子集合获取模块,用于获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块,用于按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块,用于利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块,用于利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块,用于根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
第一估计模块,用于根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
进一步地,所述第一计算模块包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,上述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一上述的对象追踪方法。
在本发明实施的又一方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的对象追踪方法。
本发明实施例提供的一种对象跟踪方案中,可以获取当前视频帧的上一视频帧对应的目标粒子集合;按照粒子的权重大小,从目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值;利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值;根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。与现有技术相比,本发明实施例提供的方案通过计算各个目标粒子对应的第二巴氏系数,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种对象跟踪方法流程图;
图2a为本发明实施例提供的第一对象区域示意图;
图2b为本发明实施例提供的第一对象区域中像素点的示意图;
图2c为本发明实施例提供的第一对象区域中像素点的像素值示意图;
图2d为本发明实施例提供的第一对象区域中一像素点相邻像素点对应二进制示意图;
图2e为本发明实施例提供的第一对象区域中一像素点相邻像素点对应二进制旋转后的示意图;
图3为本发明实施例提供的一种主用户的频谱接入预测流程图;
图4为本发明实施例提供的第二种对象跟踪方法流程图;
图5为本发明实施例提供的第三种对象跟踪方法流程图;
图6为本发明实施例提供的对象跟踪住鞥之结构示意图;
图7为本发明实施例提供的一种认电子设备示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的第一种对象跟踪方法流程图,方法包括:
S101,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
其中,当上一视频帧是初始视频帧时,目标粒子集合是基于粒子滤波跟踪算法,事先设定数量个粒子构成的集合,该集合可以认为是全集;
当上一视频帧不是初始视频帧时,目标粒子集合是从全集中选择出来的粒子构成的集合。
每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视频帧。
值得一提的是,运动状态参数为能够反映粒子运动和位置的参数,运动状态参数包括运动速度、初始化尺度因子和位置。
每一粒子相对于视频帧的初始位置是指:每一粒子相对于初始视频帧的位置。由于每一粒子设定了初始的运动速度,因此各个粒子相对于后续各帧的位置会发生变化。
需要说明的是,初始视频帧分布的粒子的集合为目标粒子集合的全集。
S102,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
其中,第一数量可以是小于、大于或等于目标粒子集合中粒子的数量,但是为了避免出现目标粒子数量经过多次循环对对象进行追踪时,目标粒子集合的数量趋于太少的情况下,或是目标粒子数量太多造成系统的计算量大,因此第一数量最佳取等于初始视频帧中目标粒子集合粒子的数量。
需要说明的是,上述采集的粒子可以是目标粒子集合中的同一个粒子,也可以是目标粒子集合中的不同粒子,若目标集合中的权重较大,则该权重较大的粒子可能被采集的几率高。
此步骤的目标粒子集合是上一视频帧对应的目标粒子集合。
S103,利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
其中,第一对象区域可以理解为上一视频帧跟踪对象所在的区域,该区域可以是跟踪对象的边缘所对应的区域,也可以是包围跟踪对象的窗口所对应的区域。
现对第一LBP特征向量进行详细描述,如图2所示,该第一对象区域为窗口所对应的区域,该第一对象区域如图2a所示,现任选该第一对象区域中一个像素点,并以该像素点为中心,在该像素点周围选取8个像素点邻域如图2b所示,该像素点和该像素点周围的8个像素点对应的像素值如图2c所示,将该像素点对应的像素值分别与该像素点相邻的8个像素点的灰度值进行比较,若大于该像素点对应的像素值,则将该像素点的位置被标记为1,否则,将该像素点的位置被标记为0,如图2d所示。
基于此,通过该像素点对应的像素值分别与该像素点相邻的8个像素点的灰度值进行比较,可产生8位二进制数,将该8位二进制数转换为十进制数,转换后的十进制就是该像素点的LBP值,以该LBP值来反映该像素点的纹理信息。在图2d中该像素点的LBP值为由二进制01111010进行十进制转换得到122。
基于上述对该像素点的LBP值描述,为了降低LBP的编码模式,可以将图2d中该像素点相邻的8位二进制值按照顺时针或逆时针进行旋转,如图2e所示,以使由该8位二进制获得该像素点的LBP值最小为目的,将二进制01111010旋转后得到二进制01001111得到79,将得到的最小LBP值即79作为该像素点的LBP纹理特征。
基于对第一对象区域某一像素点的LBP值描述,如图3所示,将第一对象区域分割为3x5块小窗口单元,对于每一小窗口单元,计算LBP直方图,即LBP值出现的频率,然后对该LBP直方图进行归一化处理,对LBP值出现的频率进行标准化运算,将标准化运算后的结果作为第一对象区域的LBP特征向量。
一种实施方式中,可以通过以下步骤获得第一LBP特征向量:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP特征向量。
可见,该实施方式通过计算跟踪对象在上一视频帧中的LBP纹理特征,进而获得第一LBP特征向量,使得跟踪对象即使在有遮挡物遮挡时,也能够通过计算跟踪对象在上一视频帧中的LBP纹理特征,实现对跟踪对象的跟踪。
S104,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
S104的一种实施方式为:利用计算得到的第二巴氏系数和所述第一距离值,分别计算每个目标粒子相对于当前视频帧的颜色直方图的权重与每个目标粒子相对于当前视频帧的特征向量的权重
根据和按照如下表达式计算每个目标粒子相对于当前视频帧的权重
所述表达式为:
其中,为第n个目标粒子相对于当前视频帧的颜色直方图的权重,为第n个目标粒子相对于当前视频帧的特征向量的权重,n为目标粒子的序号,α为第n个目标粒子相对于当前视频帧的颜色直方图的权重的系数,β为第n个目标粒子相对于当前视频帧的LBP特征向量。
可见,本实施方式能够利用第二巴氏系数和所述第一距离值,按照如上述表达式快速、准确地获得每个目标粒子相对于当前视频帧的权重。
其中,可以根据如下公式获得巴氏系数得到的权重,该公式为:σB为目标粒子相对于当前视频的LBP特征向量方差;Ht为第一对象区域的颜色直方图的像素值分布;Hn为第n个目标粒子相对于当前视频帧的颜色直方图的像素值分布。
σL为目标粒子相对于当前视频的颜色直方图的像素值分布的权重方差;为第n个目标粒子对应的第一距离。
在S104之后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
可见,本实施方式针对跟踪对象未在当背景和跟踪对象有相似的颜色分布或者对象被遮挡的情况下,仅需要根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿便可。
S105,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
一种实现方式中,第一阈值可以为-0.2和/或第二阈值可以为0.65,当然,上述第一阈值和第二阈值的取值还可以为其他数据,本发明并不对此进行限定。
需要说明的是,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值时,就意味着,跟踪对象对遮挡物遮挡住或跟踪对象与背景的颜色相近,因此,可以增大该目标粒子相对于当前视频帧的LBP权重在该目标粒子的整体权重所占的比例,也就是说,通过提高跟踪对象的LBP纹理特征来对跟踪对象进行跟踪,能够使跟踪对象被遮挡物遮挡时或跟踪对象与背景颜色相近时,也能够被成功地跟踪,提高了跟踪对象的准确性。
S106,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
由上述计算每个目标粒子相对于当前视频帧的权重的表达式可知,权重系数比值为β/α,增大该权重系数比值的一种方法是增大β,和/或减小α,进而增大了β/α,β/α的增大,也就意味着该目标粒子的LBP特征向量权重在该目标粒子相对视频帧的权重所占的比值增大,从而避免了跟踪对象在被遮挡物遮挡时,跟踪对象失败。
S107,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
基于对权重的描述可知,本步骤通过每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,便可按照如下公式估计得到当前视频帧所对应粒子的中心点的位姿。
所述公式为:
其中,E[St+1]为当前视频帧的位姿,为第n个目标粒子相对于当前视频帧的权重,为第n个目标粒子相对于当前视频帧的位姿。
在S107之后,该方法还包括:
将所述跟踪对象对应于当前视频帧所在的区域作为新的第一对象区域,返回执行S101的步骤,从而实现实时对跟踪对应的追踪。
由此可见,本发明实施例提供的对象跟踪方法,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
图4为本发明实施例提供的第二种对象跟踪方法流程图,该方法包括:
S201,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
S202,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
S203,利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
S204,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
S205,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
S206,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
S207,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
其中,S201~S207分别与图1实施例中的步骤S101~S107执行的方法相同。因此,图1所示实施例部分提及的实现方式均适应于图4所示实施例涉及的相关步骤,且均能达到相同或相似的有益效果,在此不再赘述。
S208,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
本步骤是对跟踪对象在没有遮挡物遮挡时或与背景不同的颜色分布情况下,对跟踪对象实现跟踪。
由此可见,本发明实施例提供的对象跟踪方法,既能够在跟踪对象没有遮挡物遮挡时或与背景不同的颜色分布情况下,又能够在背景和跟踪对象有相似的颜色分布或者跟踪对象被遮挡的情况下,对跟踪对象实现实时跟踪;同时,该方法对具有非刚体特性的对象具有旋转鲁棒特性,可以减少光照和遮挡等因素对目标跟踪的影响。
图5为本发明实施例提供的第三种对象跟踪方法流程图,该方法包括:
S301,获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
其中,S301与图4实施例中的步骤S201执行的方法相同。因此,图4所示实施例部分提及的实现方式均适应于图5所示实施例涉及的相关步骤,且均能达到相同或相似的有益效果,在此不再赘述。
S302,按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
S303,根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
预设的运动模型是事先建立的运动模型,该运动模型是用于基于上一视频帧的位置估计目标粒子相对于当前视频帧的位置的模型。
S304,根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;其中,每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
需要说明的是,预设的扰动幅度是指第一粒子区域在空间各个方向中的扰动范围,若第一粒子区域是长方形边框包围的粒子区域,则该第一粒子区域的扰动幅度可以为长方形边框的四条边在X方向和Y方向的运动幅度。
S305,根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值;其中,所述第一对象区域为上一视频帧中所述跟踪对象所在区域;所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量;所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,;
需要说明的是,第二巴氏系数是由第一对象区域的颜色直方图的像素值分布和每个第二粒子区域的颜色直方图的像素值分布确定的,所述第一距离值是由第一LBP特征向量和每个第二LBP特征向量确定的。
S306,利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
S307,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
S308,根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
S309,根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
S310,针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪;
其中,S306~S310分别与图4实施例中的步骤S204~S208执行的方法相同。因此,图4所示实施例部分提及的实现方式均适应于图5所示实施例涉及的相关步骤,且均能达到相同或相似的有益效果,在此不再赘述。
由此可见,本发明实施例提供的对象跟踪方法,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。从而实现跟踪对象既能够在没有遮挡物遮挡时或与背景不同的颜色分布情况下,又能够在背景和跟踪对象有相似的颜色分布或者跟踪对象被遮挡的情况下,实现对跟踪对象实时跟踪;同时,该方法对具有非刚体特性的对象具有旋转鲁棒特性,可以减少光照和遮挡等因素对目标跟踪的影响。
与上述对象跟踪方法相对应,本申请实施例还提供了对象跟踪装置。
图6为本发明实施例提供的对象跟踪方法的一种结构示意图,上述装置包括:
目标粒子集合获取模块401,用于获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块402,用于按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块403,用于利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块404,用于利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块405,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块406,用于根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
第一估计模块407,用于根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
其中,一种实现方式中,所述第一计算模块可以包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
一种实现方式中,每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视频帧。
一种实现方式中,所述装置还可以包括:
第三估计模块,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
一种实现方式中,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP特征向量。
一种实现方式中,所述权重获得模块可以包括:
第四计算子模块,用于利用所述巴氏系数和所述第一距离值,分别计算每个目标粒子的颜色直方图的权重与每个目标粒子的特征向量的权重
第五计算子模块,用于根据和按照如下表达式计算每个目标粒子的权重
所述表达式为:
其中,为第n个目标粒子的颜色直方图的权重,为第n个目标粒子特征向量的权重,n为目标粒子的序号,α为第n个目标粒子的颜色直方图的权重的系数,β为第n个目标粒子特征向量。
由此可见,本发明实施例提供的对象跟踪装置,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现本发明实施例提供的一种对象跟踪5方法。
具体的,上述一种对象跟踪方法,包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
由此可见,执行本实施例提供的电子设备,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
上述的相关内容对象跟踪方法的实施方式与前述方法实施例部分提供的对象跟踪的管理方式相同,这里不再赘述。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一种对象跟踪方法。
具体的,上述对象跟踪方法,包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
由此可见,执行本实施例提供的计算机可读存储介质中存储的应用程序时,通过计算各个目标粒子对应的第二巴氏系数的计算,使得跟踪对象在与背景有相似的颜色分布时,能够实现对跟踪对象的跟踪,通过第一距离值的计算,且针对每一目标粒子,通过将目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值对应的目标粒子,和/或目标粒子对应的第二巴氏系数小于第二阈值对应的目标粒子,增大该目标粒子的权重系数比值,能够实现跟踪对象有遮挡物遮挡时,也能够实现对跟踪对象的跟踪。
上述的相关内容对象跟踪方法的实施方式与前述方法实施例部分提供的对象跟踪的管理方式相同,这里不再赘述。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备或存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种对象跟踪方法,其特征在于,所述方法包括:
获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
2.如权利要求1所述的方法,其特征在于,所述利用第一区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,包括:
根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
3.如权利要求2所述的方法,其特征在于,
每一粒子相对于视频帧的初始位置为:以所述跟踪对象在初始视频帧中的中心点为中心,按照高斯分布确定的,每一粒子相对于所述初始视频帧的权重和运动状态参数均相同,所述初始视频帧为:确定出所述跟踪对象的第一个视频帧。
4.如权利要求1~3中任一项所述的方法,其特征在于,在所述利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重后,所述方法还包括:
针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差大于或等于第一阈值,和/或当目标粒子对应的第二巴氏系数大于或等于第二阈值,根据每一目标粒子的权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
5.如权利要求4所述的方法,其特征在于,所述第一LBP特征向量的获得过程为:
利用所述第一对象区域,分别计算所述第一对象区域的颜色直方图的像素值分布和所述跟踪对象在上一视频帧中的LBP纹理特征;
采用所述跟踪对象在上一视频帧中的LBP纹理特征,计算所述第一LBP特征向量。
6.如权利要求5所述的方法,其特征在于,所述利用计算得到的巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重,包括:
利用所述巴氏系数和所述第一距离值,分别计算每个目标粒子的颜色直方图的权重与每个目标粒子的特征向量的权重
根据和按照如下表达式计算每个目标粒子的权重
所述表达式为:
其中,为第n个目标粒子的颜色直方图的权重,为第n个目标粒子特征向量的权重,n为目标粒子的序号,α为第n个目标粒子的颜色直方图的权重的系数,β为第n个目标粒子特征向量。
7.一种对象跟踪装置,其特征在于,所述装置包括:
目标粒子集合获取模块,用于获取当前视频帧的上一视频帧对应的目标粒子集合,其中,所述目标粒子集合为:上一视频帧所对应的粒子构成的集合,所述粒子为:粒子滤波跟踪算法的运算对象;
目标粒子选取模块,用于按照粒子的权重大小,从所述目标粒子集合中采样第一数量个粒子,作为当前视频帧对应的目标粒子;
第一计算模块,用于利用第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值,其中,所述第一对象区域为:上一视频帧中所述跟踪对象所在区域,所述第一LBP特征向量为:所述跟踪对象在上一视频帧中的LBP特征向量,每一目标粒子对应的第二巴氏系数为:第二粒子区域的颜色直方图的巴氏系数,所述第二粒子区域为:目标粒子对应于当前视频帧的区域,所述第一距离值为:每一第二LBP特征向量分别与所述第一LBP特征向量之间的距离,所述第二LBP特征向量为:基于每一第二粒子区域确定的目标粒子的LBP特征向量;
权重获得模块,用于利用计算得到的第二巴氏系数和所述第一距离值,获得每个目标粒子相对于当前视频帧的权重;
权重系数比值增大模块,用于针对每一目标粒子,当目标粒子对应的第二巴氏系数与目标粒子对应的第一巴氏系数之差小于第一阈值,和/或当目标粒子对应的第二巴氏系数小于第二阈值,增大目标粒子的权重系数比值,其中,每一目标粒子对应的第一巴氏系数为:第一粒子区域的颜色直方图的巴氏系数,所述第一粒子区域为:目标粒子对应于前一视频帧的区域,所述权重系数比值为:第二LBP特征向量的权重系数与第二颜色直方图的权重系数的比值,所述第二颜色直方图为目标粒子相对于当前视频帧的颜色直方图;
权重更新模块,用于根据每一目标粒子的增大后权重系数比值,更新每一目标粒子相对于当前视频帧的权重;
第一估计模块,用于根据每一目标粒子的更新后权重和每一目标粒子相对于当前视频帧的当前位姿,估计当前视频帧所对应粒子的中心点的位姿,作为所述跟踪对象的位姿,从而实现对所述跟踪对象的跟踪。
8.如权利要求7所述的装置,其特征在于,所述第一计算模块包括:
第二估计子模块,用于根据预设的运动模型,估计每个目标粒子相对于当前视频帧的位置;
第二计算子模块,用于根据估计得到的每个目标粒子的位置和每个第二粒子区域,计算第二粒子区域的颜色直方图的像素值分布和每一第二LBP特征向量;每个第二粒子区域是由第一粒子区域和预设的扰动幅度确定的,所述第一粒子区域为:目标粒子相应于上一视频帧所在的区域;
第三计算子模块,用于根据第一对象区域的颜色直方图的像素值分布和第一LBP特征向量,利用每个第二粒子区域的颜色直方图的像素值分布和每个第二LBP特征向量,计算各个目标粒子对应的第二巴氏系数和第一距离值。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421167.3A CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810421167.3A CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108776972A true CN108776972A (zh) | 2018-11-09 |
CN108776972B CN108776972B (zh) | 2020-06-12 |
Family
ID=64027059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810421167.3A Active CN108776972B (zh) | 2018-05-04 | 2018-05-04 | 一种对象跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108776972B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112036246A (zh) * | 2020-07-30 | 2020-12-04 | 长安大学 | 遥感影像分类模型的构建方法,遥感影像分类方法及系统 |
CN113010066A (zh) * | 2019-12-20 | 2021-06-22 | 华为技术有限公司 | 显示参数确定方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996312A (zh) * | 2009-08-18 | 2011-03-30 | 索尼株式会社 | 跟踪目标的方法和装置 |
CN102881012A (zh) * | 2012-09-04 | 2013-01-16 | 上海交通大学 | 针对目标尺度变化的视觉目标跟踪方法 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
US9405974B2 (en) * | 2013-11-13 | 2016-08-02 | Xerox Corporation | System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments |
CN105913457A (zh) * | 2016-04-14 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 基于加强粒子群优化的粒子滤波目标跟踪方法 |
-
2018
- 2018-05-04 CN CN201810421167.3A patent/CN108776972B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101996312A (zh) * | 2009-08-18 | 2011-03-30 | 索尼株式会社 | 跟踪目标的方法和装置 |
CN102881012A (zh) * | 2012-09-04 | 2013-01-16 | 上海交通大学 | 针对目标尺度变化的视觉目标跟踪方法 |
US9405974B2 (en) * | 2013-11-13 | 2016-08-02 | Xerox Corporation | System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
CN105913457A (zh) * | 2016-04-14 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 基于加强粒子群优化的粒子滤波目标跟踪方法 |
Non-Patent Citations (3)
Title |
---|
MOHAMMAD MAHDI DEHSHIBI ET AL.: ""Kernel-Based Object Tracking Using Particle Filter with Incremental Bhattacharyya Similarity"", 《HTTPS://WWW.RESEARCHGATE.NET/PUBLICATION/286584311_KERNEL-BASED_OBJECT_TRACKING_USING_PARTICLE_FILTER_WITH_INCREMENTAL_BHATTACHARYYA_SIMILARITY》 * |
XIAOFENG LU ET AL.: ""Particle Filter Vehicle Tracking Based on SURF Feature Matching"", 《IEEJ JOURANL OF INDUSTRY APPLICATIONS》 * |
杨阳 等: ""融合颜色与纹理特征的粒子滤波目标跟踪"", 《微型机与应用》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113010066A (zh) * | 2019-12-20 | 2021-06-22 | 华为技术有限公司 | 显示参数确定方法及装置 |
CN113010066B (zh) * | 2019-12-20 | 2022-11-11 | 华为技术有限公司 | 显示参数确定方法及装置 |
CN112036246A (zh) * | 2020-07-30 | 2020-12-04 | 长安大学 | 遥感影像分类模型的构建方法,遥感影像分类方法及系统 |
CN112036246B (zh) * | 2020-07-30 | 2021-08-24 | 长安大学 | 遥感影像分类模型的构建方法,遥感影像分类方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108776972B (zh) | 2020-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020156361A1 (zh) | 一种训练样本获得方法、装置、电子设备和存储介质 | |
CN108898624B (zh) | 一种运动物体跟踪的方法、装置、电子设备和存储介质 | |
CN110598558B (zh) | 人群密度估计方法、装置、电子设备及介质 | |
Yeh et al. | Real-time background modeling based on a multi-level texture description | |
CN111950394B (zh) | 一种车辆变道的预测方法、装置及计算机存储介质 | |
CN111723644A (zh) | 一种监控视频遮挡检测方法及系统 | |
WO2021013049A1 (zh) | 前景图像获取方法、前景图像获取装置和电子设备 | |
CN110708568B (zh) | 一种视频内容突变检测方法及装置 | |
CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
CN108961293B (zh) | 一种背景减除的方法、装置、设备及存储介质 | |
CN108765463B (zh) | 一种结合区域提取与改进纹理特征的运动目标检测方法 | |
CN108776972B (zh) | 一种对象跟踪方法及装置 | |
CN113420848A (zh) | 神经网络模型的训练方法及装置、手势识别的方法及装置 | |
CN116681724A (zh) | 基于YOLOv5-Deepsort算法的矿井人员目标视频跟踪方法及存储介质 | |
CN113223083B (zh) | 一种位置确定方法、装置、电子设备及存储介质 | |
Al-Smadi et al. | A new spatio-temporal background–foreground bimodal for motion segmentation and detection in urban traffic scenes | |
CN114387642A (zh) | 图像分割方法、装置、设备和存储介质 | |
López-Rubio et al. | Local color transformation analysis for sudden illumination change detection | |
Huan et al. | Anti‐occlusion particle filter object‐tracking method based on feature fusion | |
CN113762027B (zh) | 一种异常行为的识别方法、装置、设备及存储介质 | |
Kushwaha et al. | Automatic moving object segmentation methods under varying illumination conditions for video data: comparative study, and an improved method | |
CN113657219A (zh) | 一种视频对象检测跟踪方法、装置及计算设备 | |
CN111860261A (zh) | 一种客流值的统计方法、装置、设备及介质 | |
Zhang et al. | Estimation of atmospheric light based on gaussian distribution | |
Kandavalli et al. | Design and implementation of colour texture‐based multiple object detection using morphological gradient approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |