CN101577005A - 一种目标跟踪方法及装置 - Google Patents
一种目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN101577005A CN101577005A CNA2009100866022A CN200910086602A CN101577005A CN 101577005 A CN101577005 A CN 101577005A CN A2009100866022 A CNA2009100866022 A CN A2009100866022A CN 200910086602 A CN200910086602 A CN 200910086602A CN 101577005 A CN101577005 A CN 101577005A
- Authority
- CN
- China
- Prior art keywords
- target
- similarity
- histogram
- present image
- current search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005286 illumination Methods 0.000 claims abstract description 94
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 29
- 239000002245 particle Substances 0.000 claims description 98
- 241000282341 Mustela putorius furo Species 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 3
- 241000405217 Viola <butterfly> Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种目标跟踪方法,包括:获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域;计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型;根据所述目标模型,在当前图像中搜索目标的最优位置。此外,本发明还公开了一种目标跟踪装置。本发明所公开的技术方案,能够提高目标跟踪算法对光照变化的稳定性。
Description
技术领域
本发明涉及目标跟踪技术,尤其涉及一种目标跟踪方法及目标跟踪装置。
背景技术
目标跟踪技术是指通过对视频流或者图像序列进行分析,计算出目标在每帧图像上的二维位置坐标,并根据不同的特征,将不同帧图像中的同一运动目标关联起来,得到各个运动目标完整的运动轨迹。
现有技术中,目标跟踪算法均是基于运动目标的颜色直方图(即颜色特征)进行跟踪的,但由于这种方法对颜色的依赖性较大,因此一般只能适用于光照相对稳定的环境中,在光照复杂变化的情况下,难以取得好的跟踪效果。
发明内容
有鉴于此,本发明中一方面提供一种目标跟踪方法,另一方面提供一种目标跟踪装置,以便提高目标跟踪算法对光照变化的稳定性。
本发明所提供的目标跟踪方法,包括:
获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域;
计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型;
根据所述目标模型,在当前图像中搜索目标的最优位置。
较佳地,所述根据目标模型,在当前图像中搜索目标的最优位置为:
根据所述目标模型,利用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法在当前图像中搜索目标的最优位置。
较佳地,所述根据目标模型,利用粒子滤波跟踪算法在当前图像中搜索目标的最优位置包括:
按照设定的约束条件,抽取符合所述约束条件的粒子点;
对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度;
根据每个粒子点对应的相似度,确定目标在当前图像中的位置。
较佳地,所述根据每个粒子点对应的相似度,确定目标在当前图像中的位置包括:将相似度最大的粒子点所对应的位置确定为目标在当前图像中的位置;
或者包括:根据每个粒子点对应的相似度,按照相似度大权重大,相似度小权重小的原则,为每个粒子点确定一个权重,将所有粒子点所对应位置的权重平均值确定为目标在当前图像中的位置。
较佳地,所述根据目标模型,利用均值偏移跟踪算法在当前图像中搜索目标的最优位置包括:
A、将所述目标的初始位置作为当前搜索位置;
B、根据所述当前搜索位置,在当前图像中确定目标的当前搜索区域;
C、计算所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型;
D、将所述目标模型和所述当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到目标的预期位置;
E、判断所述当前搜索位置与所述目标的预期位置之间的距离是否小于设定的阈值,如果是,则将所述目标的预期位置作为目标在当前图像中的位置;否则,将所述目标的预期位置作为当前搜索位置,并返回执行步骤B。
较佳地,所述步骤D和步骤E之间,进一步包括:
D1、根据所述目标的预期位置,在当前图像中确定目标的预期区域;
D2、计算所述目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型;
D3、计算所述目标模型和所述预期模型的相似度,判断所述相似度是否大于所述目标模型和所述当前搜索模型的相似度,如果是,则执行步骤E;否则,将所述当前搜索位置和所述预期位置的平均值作为目标的预期位置,并返回执行步骤D1。
较佳地,步骤D中所述相似度计算公式中为:分别对颜色直方图的相似度和光照鲁棒性特征直方图的相似度进行计算,并基于预设的权重对二者的相似度进行加权处理的计算公式。
较佳地,所述光照鲁棒性特征直方图包括:Haar特征直方图或LBP特征直方图。
本发明所提供的目标跟踪装置,包括:
目标模型确定单元,用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域,计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型;
位置跟踪单元,用于根据所述目标模型,在当前图像中搜索目标的最优位置。
较佳地,所述目标模型确定单元包括:
初始位置确定单元,用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域;
直方图计算单元,用于计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型。
较佳地,所述位置跟踪单元包括:
均值偏移跟踪单元,用于根据所述目标模型,利用均值偏移跟踪算法在当前图像中搜索目标的最优位置;
或,粒子滤波跟踪单元,用于根据所述目标模型,利用粒子滤波跟踪算法在当前图像中搜索目标的最优位置;
或,卡尔曼滤波跟踪单元,用于根据所述目标模型,利用卡尔曼滤波跟踪算法在当前图像中搜索目标的最优位置。
较佳地,所述粒子滤波跟踪单元包括:
粒子抽取单元,用于按照设定的约束条件,抽取符合所述约束条件的粒子点;
目标位置确定单元,用于对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度;将相似度最大的粒子点所对应的位置确定为目标在当前图像中的位置;或者,根据每个粒子点对应的相似度,按照相似度大权重大,相似度小权重小的原则,为每个粒子点确定一个权重,将所有粒子点所对应位置的权重平均值确定为目标在当前图像中的位置。
较佳地,所述均值偏移跟踪单元包括:
初始搜索位置确定单元,用于在当前图像中进行初始搜索时,将所述目标的初始位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元;
搜索区域确定单元,用于从初始搜索位置确定单元或目标位置确定单元中获取当前搜索位置,根据所述当前搜索位置,在当前图像中确定目标的当前搜索区域;
搜索模型计算单元,用于计算所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型;
预期位置计算单元,用于将所述目标模型和所述当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到目标的预期位置;
目标位置确定单元,用于判断所述当前搜索位置与所述目标的预期位置之间的距离是否小于设定的阈值,如果是,则将所述目标的预期位置作为目标在当前图像中的位置;否则,将所述目标的预期位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元。
较佳地,所述均值偏移跟踪单元进一步包括:
预期区域确定单元,用于根据所述目标的预期位置,在当前图像中确定目标的预期区域;
预期模型计算单元,用于计算所述目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型;
预期位置验证单元,用于计算所述目标模型和所述预期模型的相似度,判断所述相似度是否大于所述目标模型和所述当前搜索模型的相似度,如果是,则将所述预期位置输出给目标位置确定单元;否则,将所述当前搜索位置和所述预期位置的平均值作为目标的预期位置,并将所述目标的预期位置输出给预期区域确定单元处理。
从上述方案可以看出,本发明中使用一种光照不变的特征(即光照鲁棒性特征)来强化目标模型,即在确定目标所在的初始区域后,通过计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,并利用该颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型,以便根据该目标模型,在当前图像中搜索目标的最优位置,从而提高了目标跟踪算法对光照变化的稳定性,在光照变化复杂的场景中,有效的进行目标跟踪。
附图说明
图1为本发明实施例中目标跟踪方法的示例性流程图;
图2为Haar特征的示意图;
图3为图1所示步骤103的一种实现方法流程图;
图4为图1所示步骤103的又一种实现方法流程图;
图5为本发明实施例中目标跟踪装置的示例性结构图;
图6为图5所示装置中目标模型确定单元的内部结构示意图;
图7为图5所示装置中位置跟踪单元的一种内部结构示意图;
图8为图5所示装置中位置跟踪单元的又一种内部结构示意图;
图9为图5所示装置中位置跟踪单元的又一种内部结构示意图。
具体实施方式
本发明实施例中,为了提高目标跟踪算法对光照变化的稳定性,使用了一种光照不变的特征(即光照鲁棒性特征)来强化目标模型。其中,光照鲁棒性特征可包括Haar特征或LBP特征等。
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明进一步详细说明。
图1为本发明实施例中目标跟踪方法的示例性流程图。如图1所示,该流程包括如下步骤:
步骤101,获取目标的初始位置,根据该初始位置,确定目标所在的初始区域。
其中,目标的初始位置(记为P0)即目标在前一帧图像中的位置P0,目标所在的初始区域(记为A1)即目标在前一帧图像中对应所述初始位置P0的区域,通常为前一帧图像中以P0为中心点的长为h宽为w的矩形框所包围的区域。
步骤102,计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用该颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型。
本实施例中,对于光照鲁棒性特征,以Haar特征为例进行描述。Haar特征是计算机视觉技术中的一种常用的特征,这种特征对于光照的变化具有较强的鲁棒性,并且计算简单。
图像中任意一点(x,y)处的Haar特征表示为以(x,y)为顶点的矩形区域的像素值的差异。如图2所示,图2A中的白色区域的所有像素点的像素值的和S1与灰色区域的所有像素点的像素值的和S2的差值S1-S2就是这两个矩形区域的左上角顶点位置的一个Haar特征值Haar(x,y)。一般可选择图2中的四种矩形进行计算,具体的计算方法可以参考文献1:“Rapid object detectionusing a boosted cascade of simple features.Viola,P.,Jones,M.Computer Visionand Pattern Recognition,2001.”。
其中,计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图主要包括:提取目标所在初始区域内所有像素点的颜色特征和光照鲁棒性特征,得到对应的颜色直方图和光照鲁棒性特征直方图(直方图的具体计算方法是成熟的技术,可以使用各种现有方法计算),分别记为pcolor和pHaar(以Haar特征为例),这里pcolor和pHaar都是一维向量,其维数分别为H和B。
其中,pcolor为目标模型的颜色模型,pHaar为目标模型的Haar特征模型。
步骤103,根据所述目标模型,在当前图像中搜索目标的最优位置。
本步骤中的具体实现方法可有多种。例如,可采用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法等。
下面以采用均值偏移跟踪算法的情况为例,对本步骤的具体实现过程进行详细描述。
现有的均值偏移跟踪算法主要基于颜色直方图进行目标的跟踪,本发明实施例中,基于含有光照鲁棒性特征直方图的目标模型,也采用含有光照鲁棒性特征的直方图进行目标跟踪,具体过程可如图3所示,图3为本发明实施例中图1所示步骤103的一种实现方法流程图,具体包括如下步骤:
步骤301,将目标的初始位置作为在当前图像中的当前搜索位置。
具体实现时,从目标的初始位置P0开始在当前图像中搜索,即将目标的初始位置P0作为在当前图像中的当前搜索位置P0。
步骤302,根据当前搜索位置,在当前图像中确定目标的当前搜索区域。
其中,所确定的当前搜索区域为当前图像中以P0为中心点的长为h宽为w的矩形框所包围的区域。
步骤303,计算当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型。
本步骤中,对于光照鲁棒性特征,仍以Haar特征为例,其中,计算当前搜索区域的颜色直方图和光照鲁棒性特征直方图主要包括:提取当前搜索区域内所有像素点的颜色特征和光照鲁棒性特征,得到对应的颜色直方图和光照鲁棒性特征直方图,分别记为qcolor和qhaar(以Haar特征为例),其中,qcolor和qhaar都是一维向量,其维数分别为H和B。
步骤304,将目标模型和当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到在当前图像中目标的预期位置。
其中,相似度计算公式可以是:分别对颜色直方图的相似度和光照鲁棒性特征直方图的相似度进行计算,并基于预设的权重对二者的相似度进行加权处理的计算公式,如式(1)所示:
其中,α是一个0到1之间的小数,用于控制两个相似度的权重,在光照变化很大的情况下,可以将α设置成接近于1的值,H和B分别表示是颜色直方图和特征直方图的维数,为事先指定的两个数值。
此外,式(1)也可以有其他的表现形式,只要保证最终的相似性由两个相似度决定,并且保证直方图越相似,相似度ρ(P0)越大即可。
具体实现时,对应不同的目标跟踪算法,可以根据实际的需要,得到不同的相似度计算公式。
之后,根据均值偏移理论,对式(1)进行微分处理,找到微分值等于零时所对应的位置P1,因此以该位置P1为中心的矩形区域的直方图可以使得公式(1)取得局部最大值,因此P1就是当前图像上最有可能的目标的位置,称为目标的预期位置。
步骤305,判断当前搜索位置与目标的预期位置之间的距离是否小于设定的阈值,如果是,则执行步骤306;否则,执行步骤307。
本步骤中,可计算||P1-P0||,并判断是否||P1-P0||<ε,如果是,则执行步骤306。
步骤306,将目标的预期位置作为目标在当前图像中的位置。
步骤307,将目标的预期位置作为当前搜索位置,并返回执行步骤302。
本步骤中,可令P0=P1,之后返回执行步骤302。
此外,图3所示流程中,为了避免步骤304中计算的P1不够准确,可进一步在步骤304和步骤305之间,包括如下步骤:
A、根据目标的预期位置,在当前图像中确定目标的预期区域。
其中,所确定的目标预期区域为当前图像中以P1为中心点的长为h宽为w的矩形框所包围的区域。
B、计算目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型。
其中,颜色直方图和光照鲁棒性特征直方图可分别记为q*color和q*haar(以Haar特征为例),其中,q*color和q*haar都是一维向量,其维数分别为H和B。
C、计算目标模型和预期模型的相似度,判断该相似度是否大于目标模型和当前搜索模型的相似度,如果是,则执行步骤305;否则,执行步骤D。
其中,目标模型和预期模型的相似度为:
则判断是否ρ(P1)>ρ(P0),如果是,则执行步骤305。
D、将当前搜索位置和预期位置的平均值作为目标的预期位置,并返回执行步骤A。
本步骤中,可令 之后返回执行步骤A。
下面再以采用粒子滤波跟踪算法的情况为例,对本步骤的具体实现过程进行详细描述。
现有的粒子滤波跟踪算法主要基于颜色直方图进行目标的跟踪,本发明实施例中,基于含有光照鲁棒性特征直方图的目标模型,也采用含有光照鲁棒性特征的直方图进行目标跟踪,具体过程可如图4所示,图4为本发明实施例中图1所示步骤103的又一种实现方法流程图,具体包括如下步骤:
步骤401,按照设定的约束条件,抽取符合所述约束条件的粒子点。
本步骤中,约束条件可以根据实际情况灵活设置,一般情况下,可以根据目标的运动规律,构造一个函数,以表示目标的运动范围,然后从该函数中随机抽取几个数值(即粒子点),也就是当前帧上目标的可能位置,将其表示为{pi}i=1 n。
步骤402,对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度。
本步骤中,对每个pi,计算其所对应区域的颜色直方图和光照鲁棒性特征直方图,分别记为qcolor和qhaar(以Haar特征为例),其中,qcolor和qhaar都是一维向量,其维数分别为H和B。之后,可按照式(1)中的计算相似性的公式计算出相似度ρ(pi)。
步骤403,根据每个粒子点对应的相似度,确定目标在当前图像中的位置。
本步骤中,可计算{ρ(pi)}i=1 n的最大值,该最大值对应的位置确定为目标在当前图像中的位置。
或者,也可根据每个粒子点对应的相似度ρ(pi)给每个粒子赋予一个权重,即与前一帧的目标相似性大的粒子,获得大权重,反之则获得小权重,之后将所有粒子所对应位置的权重平均值确定为目标在当前图像中的位置。
其中,所有粒子所对应位置的权重平均值可以为:
以上对本发明实施例中的目标跟踪方法进行了详细描述,下面再对本发明实施例中的目标跟踪装置进行详细描述。
图5为本发明实施例中目标跟踪装置的示例性结构图。如图5所示,该装置包括:目标模型确定单元和位置跟踪单元。
其中,目标模型确定单元用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域,计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型。
位置跟踪单元用于根据所述目标模型,在当前图像中搜索目标的最优位置。
具体实现时,目标模型确定单元的内部结构可有多种具体实现形式,图5示出了其中一种。如图6所示,该目标模型确定单元可包括:初始位置确定单元和直方图计算单元。
其中,初始位置确定单元用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域。
直方图计算单元用于计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型。
具体实现时,位置跟踪单元的内部结构也可有多种具体实现形式,例如,该位置跟踪单元可包括(图中未示出):均值偏移跟踪单元或粒子滤波跟踪单元或卡尔曼滤波跟踪单元。
其中,均值偏移跟踪单元用于根据所述目标模型,利用均值偏移跟踪算法在当前图像中搜索目标的最优位置。
粒子滤波跟踪单元用于根据所述目标模型,利用粒子滤波跟踪算法在当前图像中搜索目标的最优位置。
卡尔曼滤波跟踪单元用于根据所述目标模型,利用卡尔曼滤波跟踪算法在当前图像中搜索目标的最优位置。
上述各跟踪单元在具体实现时也可有多种结构形式,下面以均值偏移跟踪单元为例,对均值偏移跟踪单元的内部结构进行详细描述。图7为均值偏移跟踪单元的一种内部结构示意图。如图7所示,该均值偏移跟踪单元可包括:初始搜索位置确定单元、搜索区域确定单元、搜索模型计算单元、预期位置计算单元和目标位置确定单元。
其中,初始搜索位置确定单元用于在当前图像中进行初始搜索时,将所述目标的初始位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元。
搜索区域确定单元用于从初始搜索位置确定单元或目标位置确定单元中获取当前搜索位置,根据所述当前搜索位置,在当前图像中确定目标的当前搜索区域。
搜索模型计算单元用于计算所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型。
预期位置计算单元用于将所述目标模型和所述当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到目标的预期位置。
目标位置确定单元用于判断所述当前搜索位置与所述目标的预期位置之间的距离是否小于设定的阈值,如果是,则将所述目标的预期位置作为目标在当前图像中的位置;否则,将所述目标的预期位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元。
与本发明实施例中目标跟踪方法的实现过程一致,本发明施例中目标跟踪装置的预期位置计算单元和目标位置确定单元之间可如图8所示,进一步包括预期区域确定单元、预期模型计算单元和预期位置验证单元。
其中,预期区域确定单元用于根据所述目标的预期位置,在当前图像中确定目标的预期区域。
预期模型计算单元用于计算所述目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型。
预期位置验证单元用于计算所述目标模型和所述预期模型的相似度,判断所述相似度是否大于所述目标模型和所述当前搜索模型的相似度,如果是,则将所述预期位置输出给目标位置确定单元;否则,将所述当前搜索位置和所述预期位置的平均值作为目标的预期位置,并将所述目标的预期位置输出给预期区域确定单元处理。
下面再以粒子滤波跟踪单元为例,对粒子滤波跟踪单元的内部结构进行详细描述。图9为粒子滤波跟踪单元的一种内部结构示意图。如图9所示,该粒子滤波跟踪单元可包括:粒子抽取单元和目标位置确定单元。
其中,粒子抽取单元用于按照设定的约束条件,抽取符合所述约束条件的粒子点。
目标位置确定单元用于对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度;根据每个粒子点对应的相似度,确定目标在当前图像中的位置。例如,可将相似度最大的粒子点所对应的位置确定为目标在当前图像中的位置;或者,可根据每个粒子点对应的相似度,按照相似度大权重大,相似度小权重小的原则,为每个粒子点确定一个权重,将所有粒子点所对应位置的权重平均值确定为目标在当前图像中的位置。
通过上述实施例中描述的技术方案,可以看出,与现有的目标跟踪方法相比,本发明实施例中使用的目标模型具有很强的光照不变性,采用的跟踪算法(如均值偏移算法)也进行了很大的改进,有利于处理光照变化情况下的跟踪问题,从而可以在光照复杂变化的场景中,有效的进行目标跟踪。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (14)
1、一种目标跟踪方法,其特征在于,该方法包括:
获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域;
计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型;
根据所述目标模型,在当前图像中搜索目标的最优位置。
2、如权利要求1所述的方法,其特征在于,所述根据目标模型,在当前图像中搜索目标的最优位置为:
根据所述目标模型,利用均值偏移跟踪算法、或粒子滤波跟踪算法、或卡尔曼滤波跟踪算法在当前图像中搜索目标的最优位置。
3、如权利要求2所述的方法,其特征在于,所述根据目标模型,利用粒子滤波跟踪算法在当前图像中搜索目标的最优位置包括:
按照设定的约束条件,抽取符合所述约束条件的粒子点;
对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度;
根据每个粒子点对应的相似度,确定目标在当前图像中的位置。
4、如权利要求3所述的方法,其特征在于,所述根据每个粒子点对应的相似度,确定目标在当前图像中的位置包括:将相似度最大的粒子点所对应的位置确定为目标在当前图像中的位置;
或者包括:根据每个粒子点对应的相似度,按照相似度大权重大,相似度小权重小的原则,为每个粒子点确定一个权重,将所有粒子点所对应位置的权重平均值确定为目标在当前图像中的位置。
5、如权利要求2所述的方法,其特征在于,所述根据目标模型,利用均值偏移跟踪算法在当前图像中搜索目标的最优位置包括:
A、将所述目标的初始位置作为当前搜索位置;
B、根据所述当前搜索位置,在当前图像中确定目标的当前搜索区域;
C、计算所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型;
D、将所述目标模型和所述当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到目标的预期位置;
E、判断所述当前搜索位置与所述目标的预期位置之间的距离是否小于设定的阈值,如果是,则将所述目标的预期位置作为目标在当前图像中的位置;否则,将所述目标的预期位置作为当前搜索位置,并返回执行步骤B。
6、如权利要求5所述的方法,其特征在于,所述步骤D和步骤E之间,进一步包括:
D1、根据所述目标的预期位置,在当前图像中确定目标的预期区域;
D2、计算所述目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型;
D3、计算所述目标模型和所述预期模型的相似度,判断所述相似度是否大于所述目标模型和所述当前搜索模型的相似度,如果是,则执行步骤E;否则,将所述当前搜索位置和所述预期位置的平均值作为目标的预期位置,并返回执行步骤D1。
7、如权利要求6所述的方法,其特征在于,步骤D中所述相似度计算公式中为:分别对颜色直方图的相似度和光照鲁棒性特征直方图的相似度进行计算,并基于预设的权重对二者的相似度进行加权处理的计算公式。
8、如权利要求1至7中任一项所述的方法,其特征在于,所述光照鲁棒性特征直方图包括:Haar特征直方图或LBP特征直方图。
9、一种目标跟踪装置,其特征在于,包括:
目标模型确定单元,用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域,计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型;
位置跟踪单元,用于根据所述目标模型,在当前图像中搜索目标的最优位置。
10、如权利要求9所述的装置,其特征在于,所述目标模型确定单元包括:
初始位置确定单元,用于获取目标的初始位置,根据所述初始位置,确定目标所在的初始区域;
直方图计算单元,用于计算目标所在初始区域的颜色直方图和光照鲁棒性特征直方图,利用所述颜色直方图和光照鲁棒性特征直方图表示所述目标的目标模型。
11、如权利要求9所述的装置,其特征在于,所述位置跟踪单元包括:
均值偏移跟踪单元,用于根据所述目标模型,利用均值偏移跟踪算法在当前图像中搜索目标的最优位置;
或,粒子滤波跟踪单元,用于根据所述目标模型,利用粒子滤波跟踪算法在当前图像中搜索目标的最优位置;
或,卡尔曼滤波跟踪单元,用于根据所述目标模型,利用卡尔曼滤波跟踪算法在当前图像中搜索目标的最优位置。
12、如权利要求11所述的装置,其特征在于,所述粒子滤波跟踪单元包括:
粒子抽取单元,用于按照设定的约束条件,抽取符合所述约束条件的粒子点;
目标位置确定单元,用于对所抽取的每个粒子点,确定所述粒子点在当前图像中对应的搜索区域,计算所述搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述搜索区域的颜色直方图和光照鲁棒性特征直方图表示所述粒子点对应的粒子模型;计算每个粒子模型和所述目标模型的相似度,得到各粒子点对应的相似度;将相似度最大的粒子点所对应的位置确定为目标在当前图像中的位置;或者,根据每个粒子点对应的相似度,按照相似度大权重大,相似度小权重小的原则,为每个粒子点确定一个权重,将所有粒子点所对应位置的权重平均值确定为目标在当前图像中的位置。
13、如权利要求11所述的装置,其特征在于,所述均值偏移跟踪单元包括:
初始搜索位置确定单元,用于在当前图像中进行初始搜索时,将所述目标的初始位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元;
搜索区域确定单元,用于从初始搜索位置确定单元或目标位置确定单元中获取当前搜索位置,根据所述当前搜索位置,在当前图像中确定目标的当前搜索区域;
搜索模型计算单元,用于计算所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图,利用所述当前搜索区域的颜色直方图和光照鲁棒性特征直方图表示当前搜索模型;
预期位置计算单元,用于将所述目标模型和所述当前搜索模型代入相似度计算公式中,根据均值偏移理论,对所述相似度计算公式进行微分处理,得到目标的预期位置;
目标位置确定单元,用于判断所述当前搜索位置与所述目标的预期位置之间的距离是否小于设定的阈值,如果是,则将所述目标的预期位置作为目标在当前图像中的位置;否则,将所述目标的预期位置作为当前搜索位置,并将所述当前搜索位置指示给搜索区域确定单元。
14、如权利要求13所述的装置,其特征在于,所述均值偏移跟踪单元进一步包括:
预期区域确定单元,用于根据所述目标的预期位置,在当前图像中确定目标的预期区域;
预期模型计算单元,用于计算所述目标预期区域的颜色直方图和光照鲁棒性特征直方图,利用所述目标预期区域的颜色直方图和光照鲁棒性特征直方图表示目标的预期模型;
预期位置验证单元,用于计算所述目标模型和所述预期模型的相似度,判断所述相似度是否大于所述目标模型和所述当前搜索模型的相似度,如果是,则将所述预期位置输出给目标位置确定单元;否则,将所述当前搜索位置和所述预期位置的平均值作为目标的预期位置,并将所述目标的预期位置输出给预期区域确定单元处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2009100866022A CN101577005A (zh) | 2009-06-12 | 2009-06-12 | 一种目标跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2009100866022A CN101577005A (zh) | 2009-06-12 | 2009-06-12 | 一种目标跟踪方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101577005A true CN101577005A (zh) | 2009-11-11 |
Family
ID=41271939
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2009100866022A Pending CN101577005A (zh) | 2009-06-12 | 2009-06-12 | 一种目标跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101577005A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324030A (zh) * | 2011-09-09 | 2012-01-18 | 广州灵视信息科技有限公司 | 一种基于图像块特征的目标跟踪方法及跟踪系统 |
CN102332166A (zh) * | 2011-09-26 | 2012-01-25 | 北京航空航天大学 | 一种基于概率模型的运动摄像机自动目标跟踪方法 |
CN101777185B (zh) * | 2009-12-09 | 2012-04-25 | 中国科学院自动化研究所 | 融合描述式和判别式建模的目标跟踪方法 |
CN102568003A (zh) * | 2011-12-21 | 2012-07-11 | 北京航空航天大学深圳研究院 | 一种基于视频结构化描述的多摄像机目标跟踪方法 |
CN102800109A (zh) * | 2012-07-16 | 2012-11-28 | 刘怡光 | 基于粒子滤波的机车信号灯跟踪方法 |
CN103325126A (zh) * | 2013-07-09 | 2013-09-25 | 中国石油大学(华东) | 一种在尺度变化和遮挡情况下的视频目标跟踪方法 |
CN103489201A (zh) * | 2013-09-11 | 2014-01-01 | 华南理工大学 | 基于运动模糊信息的目标跟踪方法 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
CN104123000A (zh) * | 2014-07-09 | 2014-10-29 | 昆明理工大学 | 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统 |
CN106033616A (zh) * | 2015-03-17 | 2016-10-19 | 联想(北京)有限公司 | 电子设备和图像处理方法 |
CN106682619A (zh) * | 2016-12-28 | 2017-05-17 | 上海木爷机器人技术有限公司 | 一种对象跟踪方法及装置 |
CN107704814A (zh) * | 2017-09-26 | 2018-02-16 | 中国船舶重工集团公司第七〇九研究所 | 一种基于视频的振动目标监测方法 |
CN108230373A (zh) * | 2018-02-06 | 2018-06-29 | 时明 | 机械清洁设备行走轨迹修正平台 |
CN110634148A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 连续帧图像中的目标提取方法和装置 |
CN110634155A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种基于深度学习的目标检测方法和装置 |
CN114347030A (zh) * | 2022-01-13 | 2022-04-15 | 中通服创立信息科技有限责任公司 | 机器人视觉跟随方法及视觉跟随机器人 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
-
2009
- 2009-06-12 CN CNA2009100866022A patent/CN101577005A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101281648A (zh) * | 2008-04-29 | 2008-10-08 | 上海交通大学 | 低复杂度的尺度自适应视频目标跟踪方法 |
Non-Patent Citations (5)
Title |
---|
DORIN COMANICIU ET.AL: "Kernel-based object tracking", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 * |
MICHAEL ISARD ET.AL: "CONDENSATION-conditional density propagation for visual tracking", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
QUANG ANH NGUYEN ET.AL: "Enhanced kernel-based tracking for monochromatic and thermographic video", 《IEEE INTERNATIONAL CONFERENCE ON VIDEO AND SIGNAL BASED SURVEILLANCE 2006》 * |
WANG CHUAN-XU ET.AL: "A new face tracking algorithm based on local binary pattern and skin color information", 《INTERNATIONAL SYMPOSIUM ON COMPUTER SCIENCE AND COMPUTATIONAL TECHNOLOGY 2008》 * |
王永忠等: "基于多特征自适应融合的核跟踪方法", 《自动化学报》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777185B (zh) * | 2009-12-09 | 2012-04-25 | 中国科学院自动化研究所 | 融合描述式和判别式建模的目标跟踪方法 |
CN102324030A (zh) * | 2011-09-09 | 2012-01-18 | 广州灵视信息科技有限公司 | 一种基于图像块特征的目标跟踪方法及跟踪系统 |
CN102332166A (zh) * | 2011-09-26 | 2012-01-25 | 北京航空航天大学 | 一种基于概率模型的运动摄像机自动目标跟踪方法 |
CN102568003B (zh) * | 2011-12-21 | 2015-04-08 | 北京航空航天大学深圳研究院 | 一种基于视频结构化描述的多摄像机目标跟踪方法 |
CN102568003A (zh) * | 2011-12-21 | 2012-07-11 | 北京航空航天大学深圳研究院 | 一种基于视频结构化描述的多摄像机目标跟踪方法 |
CN102800109A (zh) * | 2012-07-16 | 2012-11-28 | 刘怡光 | 基于粒子滤波的机车信号灯跟踪方法 |
CN103325126B (zh) * | 2013-07-09 | 2016-02-03 | 中国石油大学(华东) | 一种在尺度变化和遮挡情况下的视频目标跟踪方法 |
CN103325126A (zh) * | 2013-07-09 | 2013-09-25 | 中国石油大学(华东) | 一种在尺度变化和遮挡情况下的视频目标跟踪方法 |
CN103489201B (zh) * | 2013-09-11 | 2016-10-05 | 华南理工大学 | 基于运动模糊信息的目标跟踪方法 |
CN103489201A (zh) * | 2013-09-11 | 2014-01-01 | 华南理工大学 | 基于运动模糊信息的目标跟踪方法 |
CN103886609B (zh) * | 2014-04-03 | 2017-04-12 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
CN103886609A (zh) * | 2014-04-03 | 2014-06-25 | 江苏物联网研究发展中心 | 基于粒子滤波和lbp特征的车辆跟踪方法 |
CN104123000A (zh) * | 2014-07-09 | 2014-10-29 | 昆明理工大学 | 一种基于人脸特征检测的非侵入式鼠标指针控制方法及系统 |
CN106033616A (zh) * | 2015-03-17 | 2016-10-19 | 联想(北京)有限公司 | 电子设备和图像处理方法 |
CN106033616B (zh) * | 2015-03-17 | 2020-01-31 | 联想(北京)有限公司 | 电子设备和图像处理方法 |
CN106682619A (zh) * | 2016-12-28 | 2017-05-17 | 上海木爷机器人技术有限公司 | 一种对象跟踪方法及装置 |
CN106682619B (zh) * | 2016-12-28 | 2020-08-11 | 上海木木聚枞机器人科技有限公司 | 一种对象跟踪方法及装置 |
CN107704814A (zh) * | 2017-09-26 | 2018-02-16 | 中国船舶重工集团公司第七〇九研究所 | 一种基于视频的振动目标监测方法 |
CN108230373A (zh) * | 2018-02-06 | 2018-06-29 | 时明 | 机械清洁设备行走轨迹修正平台 |
CN110634148A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 连续帧图像中的目标提取方法和装置 |
CN110634155A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种基于深度学习的目标检测方法和装置 |
CN114347030A (zh) * | 2022-01-13 | 2022-04-15 | 中通服创立信息科技有限责任公司 | 机器人视觉跟随方法及视觉跟随机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101577005A (zh) | 一种目标跟踪方法及装置 | |
US11393103B2 (en) | Target tracking method, device, system and non-transitory computer readable medium | |
US9824294B2 (en) | Saliency information acquisition device and saliency information acquisition method | |
CN109903331B (zh) | 一种基于rgb-d相机的卷积神经网络目标检测方法 | |
CN106203423B (zh) | 一种融合上下文探测的弱结构感知视觉目标跟踪方法 | |
US8791960B2 (en) | Markerless augmented reality system and method using projective invariant | |
Hong et al. | Tracking using multilevel quantizations | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
Romdhane et al. | An improved traffic signs recognition and tracking method for driver assistance system | |
CN103440667B (zh) | 一种遮挡状态下运动目标稳定追踪的自动装置 | |
CN109993061B (zh) | 一种人脸检测与识别方法、系统以及终端设备 | |
Iloie et al. | UV disparity based obstacle detection and pedestrian classification in urban traffic scenarios | |
CN101908214B (zh) | 基于邻域相关的背景重构的运动目标检测方法 | |
CN104966305A (zh) | 基于运动矢量划分的前景检测方法 | |
CN106023248A (zh) | 一种实时的视频跟踪方法 | |
Fei et al. | Real-time visual tracking based on improved perceptual hashing | |
Zhang et al. | Fast moving pedestrian detection based on motion segmentation and new motion features | |
Ding et al. | Simultaneous body part and motion identification for human-following robots | |
CN106407978A (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
Zhao | Motion track enhancement method of sports video image based on otsu algorithm | |
CN104778683A (zh) | 一种基于泛函映射的多模态图像分割方法 | |
CN110570450A (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 | |
CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
CN106056575A (zh) | 一种基于似物性推荐算法的图像匹配方法 | |
KR20030073879A (ko) | 실시간 얼굴 검출 및 움직임 추적 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20091111 |