CN109949342A - 基于目标概率模型的自适应融合互补学习实时跟踪方法 - Google Patents

Abstract

本申请公开了一种基于目标概率模型的自适应融合互补学习实时跟踪方法，该方法在目前主流的跟踪方法互补性实时跟踪(Staple)的基础上，创新性的使用分段函数，当使用颜色直方图特征得到的跟踪目标前景比率小于分段函数阈值时，使用平均值自适应融合系数，当使用颜色直方图特征得到的跟踪目标前景比率大于等于分段函数阈值时，使用指数自适应融合系数。从而实现根据不同视频属性选择恰当的分段函数阈值。该方法性能较优，且具有通用性，可用于解决类似的多特征相融问题。

Description

基于目标概率模型的自适应融合互补学习实时跟踪方法

技术领域

本申请涉及一种基于目标概率模型的自适应融合互补学习实时跟踪方法，属于机器视觉目标跟踪领域。

背景技术

视觉跟踪技术是计算机视觉研究领域中的热点与难点，同时其在商业化应用方面前景广阔，被广泛应用于人机交互、公共安全、医学影像等领域。

目前常用目标跟踪方法使用目标图像的方向梯度直方图与颜色特征来实现优势互补，使用颜色特征弥补方向梯度直方图只能提取目标空间信息而必须忽略颜色特征，使用方向梯度直方图虽然弥补了颜色特征，但只能提取目标颜色信息而忽略空间信息的问题。

在多特征响应融合方面，目前大多数跟踪方法使用固定融合系数，这对于不同情况下的特征相融会造成不同的影响，甚至会严重损伤跟踪器性能，造成目标丢失。

发明内容

根据本申请的一个方面，提供了一种基于目标概率模型的自适应融合互补学习实时跟踪方法，该方法性能较优，且具有通用性，可用于解决类似的多特征相融问题。

所述基于目标概率模型的自适应融合互补学习实时跟踪方法，其特征在于，包括以下步骤：

按下式计算所述互补性实时跟踪方法中的整体匹配值矩阵r：

r＝(1-γ)r_cf+γr_hist

其中，γ为融合系数，r_cf为搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵，r_hist为所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵；

所述融合系数γ的计算包括以下步骤：

步骤S410：获取目标概率模型值β，所述目标概率模型值β：以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到所述目标概率模型值β；

步骤S420：当所述目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，所述第一阈值ε的取值范围为0～1之间；

步骤S430：当所述目标概率模型值β大于或者等于所述第一阈值ε时，按下式计算融合系数γ：

式中，ξ为超参数。

该方法可以用于现有需要确定整体匹配值矩阵的互补性实时跟踪方法。

可选地，所述搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵r_cf，按以下步骤获得：

获取所述搜索区域ο的方向梯度直方图特征并与t-1帧图像I_t-1生成的方向梯度直方图特征进行匹配，得到第二匹配值矩阵，所述第二匹配值矩阵作为所述方向梯度直方图匹配值矩阵r_cf。

可选地，所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵r_hist，按以下步骤获得：

获取搜索区域ο的颜色直方图特征并与t-1帧图像I_t-1生成的颜色直方图特征进行匹配，得到第三匹配值矩阵，所述第三匹配值矩阵作为颜色直方图匹配值矩阵r_hist。

可选地，当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，θ为第二阈值，p为由积分图计算得到的颜色直方图值，ξ为设定的超参数；

p＝∫β_jdu。

可选地，所述方法包括以下步骤：

步骤S100：以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成所述搜索区域ο；

步骤S400：按式r＝(1-γ)r_cf+γr_hist得到所述搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r；

步骤S500：以所述整体匹配值矩阵r中的最大值M_p对应位置作为t帧图像中目标位置P_t；

步骤S600：判断是否为最后一帧图像，如果是则结束，如果不是则返回至所述步骤S100。

根据本申请的又一个方面，提供了一种互补学习实时跟踪装置，包括：

整体匹配值矩阵获取模块，用于按下式计算所述互补性实时跟踪方法中的整体匹配值矩阵r：

r＝(1-γ)r_cf+γr_hist

其中，γ为融合系数，r_cf为所述搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵，r_hist为所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵；

目标概率模型值获取模块，用于获取目标概率模型值β，所述目标概率模型值β：以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到所述目标概率模型值β；

平均值自适应融合系数获取模块，用于当所述目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，所述第一阈值ε的取值范围为0～1之间；

指数自适应融合系数获取模块，用于当所述目标概率模型值β大于或者等于所述第一阈值ε时，按下式计算融合系数γ：

式中，ξ为超参数。

可选地，所述平均值自适应融合系数获取模块，用于当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，θ为第二阈值，p为由积分图计算得到的颜色直方图值，ξ为设定的超参数；

p＝∫β_jdu。

可选地，包括：

搜索区域获取模块，用于以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成所述搜索区域ο；

整体匹配值矩阵获取模块，用于按式r＝(1-γ)r_cf+γr_hist得到所述搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r；

目标位置获取模块，用于以所述整体匹配值矩阵r中的最大值M_p对应位置作为t帧图像中目标位置P_t；

判断模块，用于判断是否为最后一帧图像，如果是则结束，如果不是则返回至所述搜索区域获取模块

本申请能产生的有益效果包括：

1)本申请所提供的基于目标概率模型的自适应融合互补学习实时跟踪方法，该方法是在目前主流的跟踪方法互补性实时跟踪(Staple)的基础上，创新性的使用分段函数，在0～1之间选择分段函数阈值，当使用颜色直方图特征得到的跟踪目标前景比率小于分段函数阈值时，使用平均值自适应融合系数，当使用颜色直方图特征得到的跟踪目标前景比率大于等于分段函数阈值时，使用指数自适应融合系数。从而实现对视频属性：共有光照变化、平面外旋转、尺度变化、遮挡、变形、运动模糊、快速运动、平面内旋转、出视野、背景杂乱、低分辨率的各类视频追踪效果较优。

2)本申请所提供的基于目标概率模型的自适应融合互补学习实时跟踪方法，为解决现有方法在快速运动、运动模糊、低分辨率视频属性下跟踪效果欠佳的情况，在上述方法上增加判定条件，增加阈值。该方法解决了目前主流目标跟踪方法中，使用固定融合系数进行多特征响应融合的问题，该方法性能较优，且方法具有通用性，可用于解决类似的多特征相融问题。

附图说明

图1为本申请一种实施方式中基于目标概率模型的自适应融合互补学习实时跟踪方法的流程示意图；

图2为本申请一种实施方式中融合系数计算方法流程示意图；

图3为本申请又一种实施方式中融合系数计算方法流程示意图；

具体实施方式

下面结合实施例详述本申请，但本申请并不局限于这些实施例。

参见图1，本申请提供的基于目标概率模型的自适应融合互补学习实时跟踪方法，包括以下步骤：

步骤S100：以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成搜索区域ο；

步骤S200：获取搜索区域ο的方向梯度直方图特征并与t-1帧图像I_t-1生成的方向梯度直方图特征进行匹配，得到第二匹配值矩阵，以第二匹配值矩阵作为方向梯度直方图匹配值矩阵r_cf；

步骤S300：获取搜索区域ο的颜色直方图特征并与t-1帧图像I_t-1生成的颜色直方图特征进行匹配，得到第三匹配值矩阵，以第三匹配值矩阵作为颜色直方图匹配值矩阵r_hist；

步骤S400：按式r＝(1-γ)r_cf+γr_hist得到搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r，其中，γ为融合系数；

步骤S500：以所述整体匹配值矩阵r中的最大值M_p(响应值)对应位置作为t帧图像中目标位置P_t；

步骤S600：判断是否为最后一帧图像，如果是则结束，如果不是则返回至步骤S100。

该方法以初始图像帧作为I₀从第二帧图像开始按上述步骤进行处理，以初始图像帧中跟踪目标的初始化位置P₀与目标大小S_o，同时提取所要跟踪目标的方向梯度直方图特征与颜色直方图特征作为已知信息，在后续所有图像帧中预测目标位置的过程，从而实现持续的视觉跟踪。

参见图2，可选地，步骤S400中融合系数γ的计算包括以下步骤：

步骤S410：获取目标概率模型，所述目标概率模型：为以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到目标颜色直方图在搜索区域ο整体上所占概率β，即目标概率模型值β；

步骤S420：当目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值。

说明目标概率模型值越大，所跟踪的目标为期望目标的概率值越大，那么此时应该更多的关注颜色直方图匹配值矩阵r_hist，也就是说此时应该增大融合系数γ的值。

步骤S430：当目标概率模型值β大于或者等于第一阈值ε时，按下式计算融合系数γ：

式中，ξ为设定的超参数。

当目标颜色与背景颜色相近时，此时目标概率模型值也会增大，但此时应该尽可能少的关注颜色直方图，防止将背景信息更新到模板中，造成跟踪模板的污染。设定当目标概率模型值大于或者等于第一阈值ε(具体实施例中ε＝0.38)，就认定为发生了颜色相近情况，此时随着目标概率模型值β的增大，减小融合系数γ。

在生成的目标概率模型上使用积分函数，可以更加突出搜索区域中心区域目标所占比率值，以此比率值作为目标第二所占比率值，具体包括依序步骤：

使用积分图计算颜色直方图的值p，即：

p＝∫β_jdu

其中，β为目标概率模型值；

这类似于使用滑动窗口在计算一块区域的像素值之和，因此会更加突出样本图像中间区域的像素值。

使用第一阈值所得到的自适应融合系数在11种视频属性下跟踪效果较优，但当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，跟踪效果欠佳，此时按下式计算融合系数γ：第二阈值θ，

可选地，在初始帧图像I₀中获取所要跟踪目标的初始化位置P₀与目标大小S_o，同时提取所要跟踪目标的方向梯度直方图特征与颜色直方图特征，作为初始化信息。

可选地，所述初始帧图像I₀中目标图像清晰、无遮挡、无运动模糊。初始帧中目标由人为准确指定。

具体的，本申请提供的方法包括以下步骤：

1.从初始帧图像I₀中获取所要跟踪目标的初始化位置P₀与目标大小S_o，同时提取所要跟踪目标的方向梯度直方图特征与颜色直方图特征，将其作为初始化信息。初始帧图像要求图像清晰，无遮挡、运动模糊等情况，并且初始帧图像中得目标位置需要人为给出。

2.从第二帧图像I_t开始，以前一帧目标位置P_t-1为中心，以前一帧图像大小为匹配区域大小，在前一帧目标大小的一定倍数内生成搜索区域ο(应用中使用得为2.5倍)与上一帧图像I_t-1进行匹配，得到匹配值矩阵。

3.在所获得匹配值矩阵中寻找到最大值M_p，以M_p位置作为新的目标位置P_t。

4.在2的匹配过程中要提取搜索区域ο的方向梯度直方图特征与颜色直方图特征生成匹配矩阵与上一帧目标生成的方向梯度直方图特征与颜色直方图特征矩阵进行匹配，分别得到方向梯度直方图匹配值r_cf矩阵与颜色直方图匹配值矩阵r_hist，使用融合系数γ将二者进行融合获得整体匹配值矩阵，即r＝(1-γ)r_cf+γr_hist。

图2为自适应响应融合流程1

5.在4的颜色直方图响应求取中，使用目标颜色直方图除以整个搜索区域颜色直方图，以此获得目标颜色直方图在整体上所占概率β，生成目标概率模型。

6.当目标概率模型值小于阈值ε时，认为标概率模型值越大，所跟踪的目标为期望目标的概率值越大，那么此时应该更多的关注颜色直方图生成的响应r_hist，也就是说此时应该增大融合系数γ的值。

7.当目标颜色与背景颜色相近时，此时目标概率模型值也会增大，但此时应该尽可能少的关注颜色直方图，防止将背景信息更新到模板中，造成跟踪模板的污染。设定当目标概率模型值大于或者等于阈值ε(使用ε＝0.38)，就认定为发生了颜色相近情况，此时随着目标概率模型值得增大，减小融合系数γ的值。

8.上面6中，当目标概率模型值小于阈值ε时，使用提出的平均值自适应融合系数：

式中n_e为目标区域内得像素数。

9.上面7中当目标概率模型值大于或者等于阈值ε，使用提出的指数自适应相关系数：

式中ξ为一个人为设定的超参数，使用ξ＝2。

图3为自适应响应融合流程2；

10.经过实验验证所提出的算法在整体性能上提高很大，但是在目标快速运动、运动模糊以及低分辨率这三个特定的应用场景下表现较差。因此在上述方面的基础上增加判定条件，增加阈值θ，使用θ＝0.5。

11.上面5中β为目标颜色直方图所占整个搜索区域的比率，在生成的目标概率模型上使用积分函数，可以更加突出搜索区域中心区域目标所占比率值，以此比率值作为目标第二所占比率值。

12.当目标概率模型值大于等于阈值ε且目标第二所占比率值大于等于阈值θ，使用提出的指数自适应相关系数。

13.除上面12得情况外得其他情况使用平均值自适应融合系数。

本申请的另一方面还提供了一种互补学习实时跟踪装置，包括：

整体匹配值矩阵获取模块，用于按下式计算所述互补性实时跟踪方法中的整体匹配值矩阵r：

r＝(1-γ)r_cf+γr_hist

其中，γ为融合系数，r_cf为所述搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵，r_hist为所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵；

目标概率模型值获取模块，用于获取目标概率模型值β，所述目标概率模型值β：以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到所述目标概率模型值β；

平均值自适应融合系数获取模块，用于当所述目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，所述第一阈值ε的取值范围为0～1之间；

指数自适应融合系数获取模块，用于当所述目标概率模型值β大于或者等于所述第一阈值ε时，按下式计算融合系数γ：

式中，ξ为超参数。

可选地，所述平均值自适应融合系数获取模块，用于当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，θ为第二阈值，p为由积分图计算得到的颜色直方图值，ξ为设定的超参数；

p＝∫β_jdu。

可选地，包括：

搜索区域获取模块，用于以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成所述搜索区域ο；

整体匹配值矩阵获取模块，用于按式r＝(1-γ)r_cf+γr_hist得到所述搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r；

目标位置获取模块，用于以所述整体匹配值矩阵r中的最大值M_p对应位置作为t帧图像中目标位置P_t；

判断模块，用于判断是否为最后一帧图像，如果是则结束，如果不是则返回至所述搜索区域获取模块。

以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (8)

1.一种基于目标概率模型的自适应融合互补学习实时跟踪方法，其特征在于，包括以下步骤：

按下式计算所述互补性实时跟踪方法中的整体匹配值矩阵r：

r＝(1-γ)r_cf+γr_hist

其中，γ为融合系数，r_cf为搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵，r_hist为所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵；

所述融合系数γ的计算包括以下步骤：

步骤S410：获取目标概率模型值β，所述目标概率模型值β：以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到所述目标概率模型值β；

步骤S420：当所述目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，所述第一阈值ε的取值范围为0～1之间；

步骤S430：当所述目标概率模型值β大于或者等于所述第一阈值ε时，按下式计算融合系数γ：

式中，ξ为超参数。

2.根据权利要求1所述的方法，其特征在于，所述搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵r_cf，按以下步骤获得：

获取所述搜索区域ο的方向梯度直方图特征并与t-1帧图像I_t-1生成的方向梯度直方图特征进行匹配，得到第二匹配值矩阵，所述第二匹配值矩阵作为所述方向梯度直方图匹配值矩阵r_cf。

3.根据权利要求1所述的方法，其特征在于，所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵r_hist，按以下步骤获得：

获取搜索区域ο的颜色直方图特征并与t-1帧图像I_t-1生成的颜色直方图特征进行匹配，得到第三匹配值矩阵，所述第三匹配值矩阵作为颜色直方图匹配值矩阵r_hist。

4.根据权利要求1所述的方法，其特征在于，所述步骤S420为：

当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，θ为第二阈值，p为由积分图计算得到的颜色直方图值，ξ为设定的超参数；

p＝∫β_j ^du。

5.根据权利要求1所述方法，其特征在于，所述方法包括以下步骤：

步骤S100：以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成所述搜索区域ο；

步骤S400：按式r＝(1-γ)r_cf+γr_hist得到所述搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r；

步骤S500：以所述整体匹配值矩阵r中的最大值M_p对应位置作为t帧图像中目标位置P_t；

步骤S600：判断是否为最后一帧图像，如果是则结束，如果不是则返回至所述步骤S100。

6.一种互补学习实时跟踪装置，其特征在于，包括：

整体匹配值矩阵获取模块，用于按下式计算所述互补性实时跟踪方法中的整体匹配值矩阵r：

r＝(1-γ)r_cf+γr_hist

其中，γ为融合系数，r_cf为所述搜索区域ο与t-1帧图像I_t-1的方向梯度直方图匹配值矩阵，r_hist为所述搜索区域ο与t-1帧图像I_t-1的颜色直方图匹配值矩阵；

目标概率模型值获取模块，用于获取目标概率模型值β，所述目标概率模型值β：以t-1帧图像I_t-1中目标的颜色直方图除以所述搜索区域ο的颜色直方图，得到所述目标概率模型值β；

平均值自适应融合系数获取模块，用于当所述目标概率模型值β小于第一阈值ε时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，所述第一阈值ε的取值范围为0～1之间；

指数自适应融合系数获取模块，用于当所述目标概率模型值β大于或者等于所述第一阈值ε时，按下式计算融合系数γ：

式中，ξ为超参数。

7.根据权利要求6所述装置，其特征在于，所述平均值自适应融合系数获取模块，用于当所处理视频中目标出现快速运动、运动模糊以及跟踪图像分辨率较低时，按下式计算融合系数γ：

式中，n_e为目标区域内的像素数，β为目标概率模型值，θ为第二阈值，p为由积分图计算得到的颜色直方图值，ξ为设定的超参数；

p＝∫β_j ^du。

8.根据权利要求6所述的装置，其特征在于，包括：

搜索区域获取模块，用于以t-1帧图像中目标位置P_t-1为中心，以t-1帧图像尺寸为匹配区域尺寸，在t-1帧图像中目标尺寸的倍数内生成所述搜索区域ο；

整体匹配值矩阵获取模块，用于按式r＝(1-γ)r_cf+γr_hist得到所述搜索区域ο与t-1帧图像I_t-1的整体匹配值矩阵r；

目标位置获取模块，用于以所述整体匹配值矩阵r中的最大值M_p对应位置作为t帧图像中目标位置P_t；

判断模块，用于判断是否为最后一帧图像，如果是则结束，如果不是则返回至所述搜索区域获取模块。