CN110189358B - 一种基于协同特征学习的目标跟踪方法 - Google Patents

一种基于协同特征学习的目标跟踪方法 Download PDF

Info

Publication number
CN110189358B
CN110189358B CN201910375505.9A CN201910375505A CN110189358B CN 110189358 B CN110189358 B CN 110189358B CN 201910375505 A CN201910375505 A CN 201910375505A CN 110189358 B CN110189358 B CN 110189358B
Authority
CN
China
Prior art keywords
template
target
library
time
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910375505.9A
Other languages
English (en)
Other versions
CN110189358A (zh
Inventor
何发智
周伟清
李康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910375505.9A priority Critical patent/CN110189358B/zh
Publication of CN110189358A publication Critical patent/CN110189358A/zh
Application granted granted Critical
Publication of CN110189358B publication Critical patent/CN110189358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于协同特征学习的目标跟踪方法，改进了经典的粒子滤波框架，克服粒子退化和贫乏问题；通过不同的学习模式确定相应的特征学习方法，并将相应的特征进行协同学习，克服目标在时间和空间上极度相关的问题，得到具有强鉴别力的特征，用以表现目标模型；并在不同的学习模式中选择不同的模型更新策略自适应更新目标模型，从而提高目标跟踪的精度和鲁棒性。

Description

一种基于协同特征学习的目标跟踪方法
技术领域
本发明属于计算机视觉技术领域，涉及一种目标跟踪方法，具体涉及一种基于协同特征学习的具备鲁棒性的目标跟踪方法。
背景技术
目标跟踪算法是计算机视觉中重要的问题之一。该问题主要是在图像序列的每一帧中估计目标的位置。目标跟踪算法一般分为鉴别式算法和生成式算法。鉴别式算法通常将跟踪问题视为一个分类问题，对背景样本和目标样本进行分类。而生成式算法将跟踪问题视为一个区域最佳匹配问题，在每一帧中找到与当前目标模型最为相似的区域作为目标的位置。由于环境的复杂性和目标运动的多样性，精确的目标模型成为生成式跟踪算法中的决定性因素。
协同学习指的是多个资源或个体以协同的方式实现一个特定目标的过程或能力。而协同特征学习则是从不同对象，阶段，任务中等学习协同特征，使其具有更强的鉴别力和表现力，从而更有利于实现最终的目标。
粒子滤波通过近似概率分布的随机搜索实现了目标的动态模型。其核心思想是基于蒙特卡洛方法，通过从后验概率中抽取的随机状态粒子集来表达其分布，即寻找一组在状态空间传播的随机样本对概率密度函数进行近似，从而获得状态最小方差分布。尽管算法中的概率分布只是真实分布的一种近似，但当粒子数量 N→∞时，可以逼近任何形式的概率密度分布，并且该算法其对变量参数的非线性特性有更强的建模能力。但是粒子滤波算法仍然会存在问题，重采样阶段会造成样本有效性和多样性的损失，导致样本贫乏现象，因此如何保持粒子的有效性和多样性，克服样本贫乏，也是一个研究重点。
发明内容
本发明的目的是提高目标跟踪的精确度，采用协同特征学习，学习目标外观模型，并自适应更新目标模型，实现鲁棒性的目标跟踪。
本发明所采用的技术方案是：一种基于协同特征学习的目标跟踪方法，其特征在于，包括以下步骤：
步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；
步骤1的具体实现过程为：
从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x，y，vx，vy，hx，wy}计算目标的初始状态，式中x，y分别表示目标中心点在垂直方向和水平方向的坐标，vx，vy，分别表示目标在垂直方向和水平方向的速度，hx，wy表示为目标的高和宽；
粒子滤波参数包括粒子数N、初始概率分布p(x0)、状态转移矩阵A和扰动参数Turb；
使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征；
假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板
Figure BDA0002051515130000021
Figure BDA0002051515130000022
Figure BDA0002051515130000023
Figure BDA0002051515130000024
式中，m表示该颜色直方图由m个bin组成，py表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为其函数变量，xc为目标中心位置， xi为目标矩形框中像素点位置，hx，wy分别表示该目标矩形的高和宽，f表示归一化因子，h(xi)计算在xi的像素的所属的bin，n表示在目标矩形中的所有的像素总数，函数δ[h(xi)-u]用来确定在xi的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；
特征模板库是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板称之为库模板；
模板库定义为：
Figure BDA0002051515130000025
式中
Figure BDA0002051515130000026
代表了k时刻模板库中具有显著特征的第r个模板；
Figure BDA0002051515130000027
表示了对应模板的匹配度，意味着在模板库中成功匹配的次数；
Figure BDA0002051515130000028
表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；Nk表示在k时刻模板库中模板总数；
而根据
Figure BDA0002051515130000031
进行模板库的初始化；
步骤2：从粒子滤波的初始化分布p(x0)中，按高斯分布采样N个粒子
Figure BDA0002051515130000032
Figure BDA0002051515130000033
表示在初始时刻第i个粒子的状态，
Figure BDA0002051515130000034
表示对应粒子的权重，初始化权重
Figure BDA0002051515130000035
，i＝1，...，N；
步骤3：k＝k+1；
步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；
步骤5：由最小均方差得出目标的估计状态，即基于
Figure BDA0002051515130000036
得到目标的估计状态，作为候选模板；
步骤6：根据公式
Figure BDA0002051515130000037
计算当前目标模板与候选模板的更新代价Stemp，式中
Figure BDA0002051515130000038
表示了k时刻的目标特征模板；
Figure BDA0002051515130000039
表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似；
步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；
步骤8：按式
Figure BDA00020515151300000310
在下一帧或当前帧，对粒子进行重采样，式中
Figure BDA00020515151300000311
表示k时刻的第i个粒子，
Figure BDA00020515151300000312
表示k时刻第 i个粒子的对应权重；
所述重采样，是选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；
步骤9：判断当前帧是否为最后一帧；
若否，返回到步骤3
若是，则结束流程。
本发明提出的协同特征学习，克服了在目标跟踪过程中目标在时间和空间上极度相关的问题，得到了强辨别力的特征；并且在不同特征学习模式中采用恰当的模型更新策略得到目标的精确模型。相比于之前的模型更新策略，该方法具有更好的灵活性和适用性，能提高目标跟踪的精度。
附图说明
图1为本发明实施例的流程图；
图2为本发明实施例中Crows的部分跟踪结果；
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及具体实施示例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图2，本发明提供的一种基于协同特征学习的目标跟踪方法，以对图像序列Crows跟踪的参数选择进行说明，包括以下步骤：
步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；具体可描述如下：
步骤1的具体实现过程为：
从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x，y，vx，vy，hx，wy}计算目标的初始状态，式中x，y分别表示目标中心点在垂直方向和水平方向的坐标，vx，vy，分别表示目标在垂直方向和水平方向的速度，hx，wy表示为目标的高和宽；
粒子滤波参数包括粒子数N，初始概率分布p(x0)，状态转移矩阵A，扰动参数Turb，在本实施例中N＝50，初始概率分布p(x0)取高斯分布，状态转移矩阵 A＝eye(6)，A(1，3)＝1，A(2，4)＝1，Turb表示每个组成成分的变化幅度，取值为： Turb＝ones(1，6)*0.1。
使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征。
假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板
Figure BDA0002051515130000041
Figure BDA0002051515130000051
Figure BDA0002051515130000052
Figure BDA0002051515130000053
式中，m表示该颜色直方图由m个bin组成，py表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为其函数变量，xc为目标中心位置， xi为目标矩形框中像素点位置，hx，wy分别表示该目标矩形的高和宽，f表示归一化因子，h(xi)计算在xi的像素的所属的bin，n表示在目标矩形中的所有的像素总数，函数δ[h(xi)-u]用来确定在xi的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；在该实施例中
Figure BDA0002051515130000054
特征模板库可以看作是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板可称之为库模板
模板库可定义为
Figure BDA0002051515130000055
式中
Figure BDA0002051515130000056
代表了k时刻模板库中具有显著特征的第r个模板；
Figure BDA0002051515130000057
表示了对应模板的匹配度，意味着在模板库中成功匹配的次数；
Figure BDA0002051515130000058
表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；Nk表示在k时刻模板库中模板总数；
而根据
Figure BDA0002051515130000059
进行模板库的初始化；
步骤2：从粒子滤波的初始化分布p(x0)中，按高斯分布采样N个粒子
Figure BDA00020515151300000510
Figure BDA00020515151300000511
表示在初始时刻第i个粒子的状态，
Figure BDA00020515151300000512
表示对应粒子的权重，初始化权重
Figure BDA00020515151300000513
，i＝1，...，N；在该实例中N＝50；
步骤3：k＝k+1；
步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；
步骤4的具体实现包括以下子步骤：
步骤4.1：利用状态方程st+1＝A*st+wt*Turb对各个粒子进行预测；式中A为状态转移矩阵，wt为高斯白噪声，为randn产生随机噪声；Turb为每个组成部分的扰动，已初始化；
步骤4.2：根据步骤1中的公式，计算每一个粒子的颜色直方图
Figure BDA0002051515130000061
Bhattacharyya系数用来作为颜色直方图特征之间的相似度，对于离散变量表示为
Figure BDA0002051515130000062
式中p，q分别表示一个颜色直方图，p(u)，q(u)分别表示对应的直方图bin，，因此计算Bhattacharyya系数
Figure BDA0002051515130000063
衡量目标模板与每个粒子之间的相似性，
Figure BDA0002051515130000064
为k时刻第i个粒子的特征，
Figure BDA0002051515130000065
表示k时刻目标模板；
然后计算每个粒子的观测概率p(zk|sk)，式中zk表示k时刻粒子的估计状态，sk表示k时刻粒子的观测状态，p(zk|sk)表示在k时刻粒子在观测状态下估计状态的概率，再根据公式
Figure BDA0002051515130000066
Figure BDA0002051515130000067
其中
Figure BDA0002051515130000068
为Bhattacharyya距离，计算每个粒子的权重
Figure BDA0002051515130000069
并对权值做归一化处理
Figure BDA00020515151300000610
步骤5：由最小均方差得出目标的估计状态，作为候选模板；
本实施例中，根据最小均方误差
Figure BDA00020515151300000611
计算目标的估计状态，式中
Figure BDA00020515151300000612
表示k时刻第i个粒子的转态，
Figure BDA00020515151300000613
为对应粒子的权重；
步骤6：计算当前目标模板与候选模板的更新代价Stemp；
本实施例中，公式
Figure BDA00020515151300000614
计算当前目标模板与候选模板的更新代价Stemp，式中
Figure BDA00020515151300000615
表示了k时刻的目标特征模板；
Figure BDA00020515151300000616
表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似。
步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；
阈值定义为候选特征模板和目标特征模板之间的代价，根据代价之间的差异，设定三个主要阈值，也即校正阈值Th1，更新阈值Th2，匹配阈值Th3.通过这三个阈值的区分，构建的四个模式分别为：校正模式，更新模式，匹配模式，回退模式，阈值Th1，Th2，Th3的取值从小到大。
本实施例中，Th1＝0.05，Th2＝0.07，Th3＝0.12，th0＝0.05，th4＝0.10，th5＝0.15
当
Figure BDA0002051515130000071
时，为校正模式；计算候选模板与模板库中的库模板的更新代价，即由式
Figure BDA0002051515130000072
计算得
Figure BDA0002051515130000073
根据下式进行目标模板的更新：
Figure BDA0002051515130000074
式中，
Figure BDA0002051515130000075
表示学习率，
Figure BDA0002051515130000076
表示k+1时刻的目标模板特征，
Figure BDA0002051515130000077
表示k时刻的目标特征模板，
Figure BDA0002051515130000078
表示k时刻的候选模板特征，Nk表示该时刻对应的模板库中的库模板数量，ns＜th0表示代价较小的库模板的数量，ns＞th4为代价较大的库模板的数量；
根据下式进行相应匹配度的更新：
Figure BDA0002051515130000079
式中，
Figure BDA00020515151300000710
表示为k+1时刻第r个库模板的匹配度，
Figure BDA00020515151300000711
表示为候选模板与库模板之间代价较小的数量，
Figure BDA00020515151300000712
表示为对应的库模板的匹配度，
Figure BDA00020515151300000713
表示为候选模板与库模板之间相似度较大的数量，
Figure BDA00020515151300000714
表示对应的库模板匹配度，Nk表示该时刻对应的模板库中的库模板数量；
当
Figure BDA00020515151300000715
时，为更新模式；根据下式更新目标模板和模板库：
Figure BDA00020515151300000716
Figure BDA00020515151300000717
Figure BDA0002051515130000081
式中，
Figure BDA0002051515130000082
表示k+1时刻的目标模板，
Figure BDA0002051515130000083
表示k时刻的候选模板，
Figure BDA0002051515130000084
表示k+1时刻的候选模板对应的匹配度，T{H(k+1)}表示k+1时刻的模板库；
当
Figure BDA0002051515130000085
时，为匹配模式；计算候选模板与模板库中的模板的更新代价函数，即
Figure BDA0002051515130000086
再根据下式进行模板和模板库的更新：
Figure BDA0002051515130000087
Figure BDA0002051515130000088
Figure BDA0002051515130000089
式中，
Figure BDA00020515151300000810
表示k+1时刻的目标模板，
Figure BDA00020515151300000811
表示k时刻的候选模板，nsn＜th5表示为候选模板与库模板代价较小的库模板数量，
Figure BDA00020515151300000812
为对应库模板的匹配度， nsf＜th5表示候选模板与库模板代价较大的库模板数量，
Figure BDA00020515151300000813
表示对应的库模板匹配度，Nk表示该时刻对应的模板库中的库模板数量
当
Figure 1
时，选择回退模式，更新模板如下：
Figure BDA00020515151300000815
式中，
Figure BDA00020515151300000816
表示k+1时刻的目标模板，
Figure BDA00020515151300000817
表示k时刻模板库中的第r个库模板，
Figure BDA00020515151300000818
表示k时刻模板库中第r个库模板的时间属性，
Figure BDA00020515151300000819
示k时刻模板库中第r个库模板的匹配度属性，Nk表示该时刻模板库中库模板的数量
以上公式表示以当前目标模板进行匹配失败后从目标模板库中重新选择目标模板的过程；
由多次实验可知，当失败后最多进行三次重新传播粒子进行跟踪就可以跟踪到结果，因此在实验中设置跟踪失败后的循环跟踪的次数为三次；以当前目标模板进行匹配失败后从目标模板库中重新选择模板的过程，具体过程如下：
第一次：从模板库选择时间大于当前目标模板中的最小的模板作为目标模板，即
Figure BDA0002051515130000091
式中
Figure BDA0002051515130000092
表示k+1时刻的目标模板，
Figure BDA0002051515130000093
表示k时刻模板库中的第r个库模板，
Figure BDA0002051515130000094
为其对应时间属性；
第二次：选择匹配度最大的模板作为当前目标模板，即
Figure BDA0002051515130000095
式中
Figure BDA0002051515130000096
表示k+1时刻的目标模板，
Figure BDA0002051515130000097
表示k时刻模板库中的第r个库模板，
Figure BDA0002051515130000098
为其对应时间属性，
Figure BDA0002051515130000099
为其对应匹配度；
第三次：选择匹配度次大的模板作为当前目标模板，即
Figure BDA00020515151300000910
Figure BDA00020515151300000911
式中
Figure BDA00020515151300000912
表示k+1时刻的目标模板，
Figure BDA00020515151300000913
表示k 时刻模板库中的第r个库模板，
Figure BDA00020515151300000914
为其对应时间属性，
Figure BDA00020515151300000915
为其对应的匹配度；
在执行协同特征学习前，需更新模板库中每个模板的时间属性，即
Figure BDA00020515151300000916
式中
Figure BDA00020515151300000917
表示k+1时刻模板库中第r个库模板的时间属性；
当模板库中的模板数量Nt＞Nmax时，根据匹配度将模板从模板库中移除，删除匹配度较低的目标模板，以保证模板库中目标模板的可靠度，其中Nmax＝20 为模板库中最大模板的个数。
步骤8：按式
Figure BDA00020515151300000918
在下一帧或当前帧，对粒子进行重采样，式中
Figure BDA00020515151300000919
表示k时刻的第i个粒子，
Figure BDA00020515151300000920
表示k时刻第 i个粒子的对应权重，
所述重采样，即选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；
步骤9：判断当前帧是否为最后一帧；
若否，则回转执行步骤3；
若是，则结束流程。
本发明改进粒子滤波框架，克服粒子退化和贫乏问题；通过不同的学习模式确定相应的特征学习方法，并将相应的特征进行协同学习，克服目标在时间和空间上极度相关的问题，得到具有强鉴别力的特征，用以表现目标模型；并在不同的学习模式中选择不同的模型更新策略自适应更新目标模型，从而提高目标跟踪的精度和鲁棒性。
应当理解的是，本说明书未详细阐述的部分均属于现有技术，详细阐述的部分为本专利独创的技术方案。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种基于协同特征学习的目标跟踪方法，其特征在于，包括以下步骤：
步骤1：初始化目标的位置、粒子滤波模型参数，构建并初始化特征模板库；
步骤1的具体实现过程为：
从第一帧k＝0开始，从ground truth中得到目标的初始位置，用矩形框表示目标，即根据s＝{x，y,vx,vy,hx,wy}计算目标的初始状态，式中x，y分别表示目标中心点在垂直方向和水平方向的坐标，vx,vy，分别表示目标在垂直方向和水平方向的速度，hx，wy表示为目标的高和宽；
粒子滤波参数包括粒子数N、初始概率分布p(x0)、状态转移矩阵A和扰动参数Turb；
使用颜色直方图作为目标的显著特征，从目标区域中得到的特征作为模板特征；
假设颜色分布直方图由m个离散的直方图条bin组成，根据以下公式，在初始位置处计算目标的颜色直方图特征，作为初始目标模板
Figure FDA0003349963990000011
Figure FDA0003349963990000012
Figure FDA0003349963990000013
Figure FDA0003349963990000014
式中，m表示该颜色直方图由m个bin组成；py表示目标在y处的颜色直方图特征；k(r)为Epanechnikov核函数，r为函数变量；xc为目标中心位置，xi为目标矩形框中像素点位置，hx,wy分别表示该目标矩形的高和宽；f表示归一化因子；h(xi)计算在xi的像素所属的bin，n表示在目标矩形中的所有的像素总数；函数δ[h(xi)-u]用来确定在xi的像素是否属于u bin，即第u个bin，如果是则为1，否则，则为0；
特征模板库是对目标模板的一个有效存储，将其简称为模板库，模板库中的目标模板称之为库模板；
模板库定义为：
Figure FDA0003349963990000021
式中
Figure FDA0003349963990000022
代表了k时刻模板库中具有显著特征的第r个模板；
Figure FDA0003349963990000023
表示了相应模板的匹配度，意味着在模板库中成功匹配的次数；
Figure FDA0003349963990000024
表示了相应模板的时间属性，代表了该模板最近作为目标模板的时间；Nk表示在k时刻模板库中模板总数；
而根据
Figure FDA0003349963990000025
进行模板库的初始化；
步骤2：从粒子滤波的初始化分布p(x0)中，按高斯分布采样N个粒子
Figure FDA0003349963990000026
Figure FDA0003349963990000027
表示在初始时刻第i个粒子的状态，
Figure FDA0003349963990000028
表示对应粒子的权重，初始化权重
Figure FDA0003349963990000029
,i＝1,…，N；
步骤3：k＝k+1；
步骤4：由状态转移方程对各个粒子进行预测，计算每个粒子的颜色特征和相似度，然后计算每个粒子的权重；
步骤5：由最小均方差得出目标的估计状态，即基于
Figure FDA00033499639900000210
得到目标的估计状态，作为候选模板；
步骤6：根据公式
Figure FDA00033499639900000211
计算当前目标模板与候选模板的更新代价Stemp，式中
Figure FDA00033499639900000212
表示了k时刻的目标特征模板；
Figure FDA00033499639900000213
表示了在k时刻的候选特征模板；代价越小表示了候选特征模板与目标特征模板越相似；
步骤7：执行协同特征学习过程，更新目标模板和目标模板库，确定最终目标位置；
步骤7的具体实现过程是：
阈值定义为候选特征模板和目标特征模板之间的代价，根据代价之间的差异，设定三个阈值：校正阈值Th1，更新阈值Th2，匹配阈值Th3；通过这三个阈值的区分，构建的四个模式：校正模式，更新模式，匹配模式，回退模式，阈值Th1，Th2，Th3的取值从小到大；
当
Figure FDA00033499639900000214
时，为校正模式；计算候选模板与模板库中的库模板的更新代价，即由式
Figure FDA0003349963990000031
计算得
Figure FDA0003349963990000032
根据下式进行目标模板的更新：
Figure FDA0003349963990000033
式中，
Figure FDA0003349963990000034
表示学习率，
Figure FDA0003349963990000035
表示k+1时刻的目标模板特征，
Figure FDA0003349963990000036
表示k时刻的目标特征模板，
Figure FDA0003349963990000037
表示k时刻的候选模板特征，Nk表示该时刻对应的模板库中的库模板数量,ns＜th0表示代价较小的库模板的数量，ns＞th4为代价较大的库模板的数量；
根据下式进行相应匹配度的更新：
Figure FDA0003349963990000038
式中，
Figure FDA0003349963990000039
表示为k+1时刻第r个库模板的匹配度，nsn＜th表示为候选模板与库模板之间代价较小的数量，
Figure FDA00033499639900000310
表示为对应的库模板的匹配度，nnf＞th4表示为候选模板与库模板之间相似度较大的数量，
Figure FDA00033499639900000311
表示对应的库模板匹配度,Nk表示该时刻对应的模板库中的库模板数量；
当
Figure FDA00033499639900000312
时，为更新模式：根据下式更新目标模板和模板库：
Figure FDA00033499639900000313
Figure FDA00033499639900000314
Figure FDA00033499639900000315
式中，
Figure FDA00033499639900000316
表示k+1时刻的目标模板，
Figure FDA00033499639900000317
表示k时刻的候选模板，
Figure FDA00033499639900000318
表示k+1时刻的候选模板对应的匹配度，T{H(k+1)}表示k+1时刻的模板库；
当
Figure FDA0003349963990000041
时，为匹配模式：计算候选模板与模板库中的模板的更新代价函数，即
Figure FDA0003349963990000042
再根据下式进行模板和模板库的更新：
Figure FDA0003349963990000043
Figure FDA0003349963990000044
Figure FDA0003349963990000045
式中，
Figure FDA0003349963990000046
表示k+1时刻的目标模板，
Figure FDA0003349963990000047
表示k时刻的候选模板，nsn＜th表示为候选模板与库模板代价较小的库模板数量，
Figure FDA0003349963990000048
为对应库模板的匹配度，nsf＞th5表示候选模板与库模板代价较大的库模板数量，
Figure FDA0003349963990000049
表示对应的库模板匹配度,Nk表示该时刻对应的模板库中的库模板数量；
当
Figure FDA00033499639900000410
时，选择回退模式，更新模板如下：
Figure FDA00033499639900000411
式中，
Figure FDA00033499639900000412
表示k+1时刻的目标模板，
Figure FDA00033499639900000413
表示k时刻模板库中的第r个库模板，
Figure FDA00033499639900000414
表示k时刻模板库中第r个库模板的时间属性，
Figure FDA00033499639900000415
示k时刻模板库中第r个库模板的匹配度属性，Nk表示该时刻模板库中库模板的数量；
以上公式表示以当前目标模板进行匹配失败后从目标模板库中重新选择目标模板的过程；
在执行协同特征学习前，需更新模板库中每个模板的时间属性，即
Figure FDA00033499639900000416
式中
Figure FDA00033499639900000417
表示k时刻模板库中第r个库模板的时间属性；
当模板库中的模板数量Nt>Nmax时，根据匹配度将模板从模板库中移除，删除匹配度较低的目标模板，以保证模板库中目标模板的可靠度，其中Nmax为模板库中最大模板的个数；
步骤8：按式
Figure FDA0003349963990000051
在下一帧或当前帧，对粒子进行重采样，式中
Figure FDA0003349963990000052
表示k时刻的第i个粒子，
Figure FDA0003349963990000053
表示k时刻第i个粒子的对应权重；
所述重采样，是选择具有较大权重的粒子，将较小权重的粒子进行剔除；然后，在剩余的粒子中，基于高斯分布，根据权重，产生对应比例的粒子；
步骤9：判断当前帧是否为最后一帧；
若否，返回到步骤3
若是，结束流程。
2.根据权利要求1所述的基于协同特征学习的目标跟踪方法，其特征在于，步骤4的具体实现包括以下子步骤：
步骤4.1：利用状态方程st+1＝A*st+wt*Turb对各个粒子进行预测；式中A为状态转移矩阵，wt为高斯白噪声，Turb为每个组成部分的扰动；
步骤4.2：根据步骤1中的公式，计算每一个粒子的颜色直方图
Figure FDA0003349963990000054
Bhattacharyya系数用来作为颜色直方图特征之间的相似度，对于离散变量表示为
Figure FDA0003349963990000055
式中p，q分别表示一个颜色直方图，p(u)，q(u)分别表示对应的直方图bin，因此计算Bhattacharyya系数
Figure FDA0003349963990000056
衡量目标模板与每个粒子之间的相似性，
Figure FDA0003349963990000057
为k时刻第i个粒子的特征，
Figure FDA0003349963990000058
表示k时刻目标模板；
然后计算每个粒子的观测概率p(zk|sk)，式中zk表示k时目标的估计状态，sk表示k时刻目标的观测状态，p(zk|sk)表示在k时刻目标在观测状态下估计状态的概率，再根据公式
Figure FDA0003349963990000059
其中
Figure FDA00033499639900000510
为Bhattacharyya距离，计算每个粒子的权重
Figure FDA00033499639900000511
并对权值做归一化处理
Figure FDA00033499639900000512
CN201910375505.9A 2019-05-07 2019-05-07 一种基于协同特征学习的目标跟踪方法 Active CN110189358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910375505.9A CN110189358B (zh) 2019-05-07 2019-05-07 一种基于协同特征学习的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910375505.9A CN110189358B (zh) 2019-05-07 2019-05-07 一种基于协同特征学习的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN110189358A CN110189358A (zh) 2019-08-30
CN110189358B true CN110189358B (zh) 2022-03-15

Family

ID=67715779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910375505.9A Active CN110189358B (zh) 2019-05-07 2019-05-07 一种基于协同特征学习的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN110189358B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088624A1 (en) * 2010-01-25 2011-07-28 Hewlett-Packard Development Company,L.P. Data processing system and method
CN105405151A (zh) * 2015-10-26 2016-03-16 西安电子科技大学 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN108507579A (zh) * 2018-04-08 2018-09-07 浙江大承机器人科技有限公司 一种基于局部粒子滤波的重定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011088624A1 (en) * 2010-01-25 2011-07-28 Hewlett-Packard Development Company,L.P. Data processing system and method
CN105405151A (zh) * 2015-10-26 2016-03-16 西安电子科技大学 基于粒子滤波和加权Surf的抗遮挡目标跟踪方法
CN107705321A (zh) * 2016-08-05 2018-02-16 南京理工大学 基于嵌入式系统的运动目标检测与跟踪方法
CN106408592A (zh) * 2016-09-09 2017-02-15 南京航空航天大学 一种基于目标模板更新的目标跟踪方法
CN108507579A (zh) * 2018-04-08 2018-09-07 浙江大承机器人科技有限公司 一种基于局部粒子滤波的重定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
To correspond topological entities in non-quiescent context of replicated collaborative modeling system;Zhiyong Huang;《2009 11th IEEE International Conference on Computer-Aided Design and Computer Graphics》;20090918;全文 *
视频目标跟踪算法的鲁棒性研究;李诚;《中国优秀硕士学位论文全文数据库》;20180615;全文 *

Also Published As

Publication number Publication date
CN110189358A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
US20240168563A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
Raju et al. Image segmentation by using histogram thresholding
Maggio et al. Efficient multitarget visual tracking using random finite sets
Sathya et al. PSO-based Tsallis thresholding selection procedure for image segmentation
CN101283376B (zh) 使用轨迹分段分析的双向跟踪
CN109859238B (zh) 一种基于多特征最优关联的在线多目标跟踪方法
CN108647649B (zh) 一种视频中异常行为的检测方法
CN111369597B (zh) 一种基于多特征融合的粒子滤波目标跟踪方法
CN111080673B (zh) 一种抗遮挡目标跟踪方法
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
Iraei et al. Object tracking with occlusion handling using mean shift, Kalman filter and edge histogram
CN111242971B (zh) 一种基于改进的双中心粒子群优化算法的目标跟踪方法
Wongthanavasu Cellular automata for medical image processing
CN113379789B (zh) 一种复杂环境下运动目标跟踪方法
Najafzadeh et al. Object tracking using Kalman filter with adaptive sampled histogram
CN110189358B (zh) 一种基于协同特征学习的目标跟踪方法
CN111223126B (zh) 一种基于迁移学习的跨视角轨迹模型构建方法
CN110751671B (zh) 一种基于核相关滤波与运动估计的目标跟踪方法
CN109063749B (zh) 一种基于角点辐射域的鲁棒卷积核数量适配方法
El-Zaart et al. SAR images thresholding for oil spill detection
CN115984202A (zh) 一种斑马鱼心血管功能智能识别与评价方法
CN113920391A (zh) 一种基于生成尺度自适应真值图的目标计数方法
JP2010141668A (ja) 移動対象追跡装置、移動対象追跡方法及び移動対象追跡プログラム
Naik et al. A scale adaptive tracker using hybrid color histogram matching scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant