CN109523587A - 基于多特征和自适应字典学习的目标跟踪方法及系统 - Google Patents

基于多特征和自适应字典学习的目标跟踪方法及系统 Download PDF

Info

Publication number
CN109523587A
CN109523587A CN201811385388.6A CN201811385388A CN109523587A CN 109523587 A CN109523587 A CN 109523587A CN 201811385388 A CN201811385388 A CN 201811385388A CN 109523587 A CN109523587 A CN 109523587A
Authority
CN
China
Prior art keywords
dictionary
target
color characteristic
template
textural characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811385388.6A
Other languages
English (en)
Inventor
郑鹏根
黄智慧
赵慧民
詹瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201811385388.6A priority Critical patent/CN109523587A/zh
Publication of CN109523587A publication Critical patent/CN109523587A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多特征和自适应字典学习的目标跟踪方法及系统，其中，所述方法包括：获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；基于LC‑KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置。在本发明实施例中，利用判别字典，能够补充目标外观的表征能力，以及减少背景噪声干扰提高跟踪精度。

Description

基于多特征和自适应字典学习的目标跟踪方法及系统
技术领域
本发明涉及目标跟踪技术领域，尤其涉及一种基于多特征和自适应字典学习的目标跟踪方法及系统。
背景技术
在计算机视觉领域，可视化追踪问题由于它的复杂场景依然是一个具有挑战性的研究，例如目标遮挡、目标变形、转动、规模变化和杂乱的背景等问题。近年来，一直都有许多基于不同理论框架改良而得的可视化追踪算法。大多数这些算法可以大致分为生成模型与判别模型，生成模型通常发现最相似的候选者或者在后续帧中找到与原始目标的相似度最高的候选者，但当对象匹配或者预测算法不够精确，这种追踪算法很容易遭到否决。判别模型通过查找决策边缘对目标的前景和背景进行分类，这种判别式追踪算法的性能优劣取决于训练的样本数量和更新的策略。
近来，基于相关滤波器的追踪器和基于深度学习的追踪器，分别由于它们的对深度特征的强大表征和快速追踪性能，受到了相当的关注。基于追踪器的稀疏表示法利用字典对目标外观进行建模，并通过比较目标与样本的重建误差来定位目标。
目标外观的表示模型是跟踪方法的一个重要问题。为了解决这个问题，Ross etal.使用增量特征空间来适应外观变化。Wang et al.通过部分最小二乘(PLS)分析学习一组特征空间来表示对象，该分析同时考虑所有目标和周围背景。虽然当发生目标变形、单一特征的目标外观缺乏考虑目标的颜色分布和梯度信息以及固定字典的整体外观忽略了目标前景的变化线索情况时，这些方法有很强的追踪鲁棒性。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于多特征和自适应字典学习的目标跟踪方法及系统，利用纹理特征和颜色特征相结合构造判别字典，能够补充目标外观的表征能力，以及减少背景噪声干扰提高跟踪精度。
为了解决上述技术问题，本发明实施例提供了一种基于多特征和自适应字典学习的目标跟踪方法，所述目标跟踪方法包括：
获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置。
可选的，所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板，包括：
在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；
在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
可选的，所述根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典，包括：
根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典，获取初始纹理特征字典；
根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典，获取初始颜色特征字典。
可选的，所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置，包括：
基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；
根据所述判别纹理特征字典和所述判别颜色特征字典，基于稀疏特征匹配算法，通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性，并根据所述最大相似性获取目标下一帧的跟踪位置。
可选的，所述目标跟踪方法还包括：
判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
若是，基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
可选的，所述更新判别纹理特征字典和判别颜色特征字典的条件，包括：
当前帧的最佳样本的噪声能量小于所有样本的平均噪声能量；
样本的平均噪声能量与表示场景变化的阈值曲线相交；
两次更新的间隔时间大于预设阈值。
可选的，所述基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新，包括：
对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；
基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
另外，本发明实施例还提供了一种基于多特征和自适应字典学习的目标跟踪系统，所述目标跟踪系统包括：
模板获取模块：用于获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
字典构建模块：用于根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
字典学习模块：用于基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
跟踪匹配模块：用于根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置。
可选的，所述目标跟踪系统还包括：
判断模块：用于判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
字典更新模块：用于基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
可选的，所述字典更新模块包括：
重新采样单元：用于对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；
更新学习单元：用于基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
在本发明实施例中，利用纹理特征和颜色特征相结合构造判别字典，能够补充目标外观的表征能力，以及减少背景噪声干扰提高跟踪精度；在跟踪过程中，使用样本相似性度量对候选样本的搜索范围进行过滤，以选择最佳候选样本，这样能有效减少异常的干扰；对判别字典进行相应的自适应更新，减少在目标跟踪过程中发生目标漂移的概率，维持稳定的跟踪效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于多特征和自适应字典学习的目标跟踪方法的流程示意图；
图2是本发明实施例中的基于多特征和自适应字典学习的目标跟踪系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1是本发明实施例中的基于多特征和自适应字典学习的目标跟踪方法的流程示意图。
如图1所示，一种基于多特征和自适应字典学习的目标跟踪方法，所述目标跟踪方法包括：
S11：获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
在本发明具体实施过程中，所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板，包括：在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
具体的，通过对目标初始位置的第一帧图像对目标外观进行建模，在建模完成之后，在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
进一步的，在对目标进行跟踪的过程中，目标可以采用稀疏表达式进行稀疏特征表示，具体如下：
其中，y表示目标的稀疏特征表示，D表示字典，T表示目标前景模板，B表示目标周围背景模板，I表示对角矩阵，其中字典由目标前景模板、目标周围背景模板和对角矩阵组合而成；c表示稀疏系数，z表示目标系数，v表示背景系数，e表示噪声系数，其中稀疏系数由目标系数、背景系数和噪声系数构成。
S12：根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
在本方具体实施过程中，所述根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典，包括：根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典，获取初始纹理特征字典；根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典，获取初始颜色特征字典。
具体的，由S11中可知，字典由目标前景模板、目标周围背景模板和对角矩阵组合而成，因此，初始纹理特征字典是由目标前景模板的第一纹理特征、目标周围背景模板的第二纹理特征构和对角矩阵一起构建而成；初始颜色特征字典由目标前景模板的第一颜色特征、目标周围背景模板的第二颜色特征构和对角矩阵一起构建而成。
S13：基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
在本发明具体实施过程中，所述基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理的计算公式如下：
进一步的，公式(2)通过以下表达式进行求解：
其中， 表示y*在第k个判别字典分解的稀疏系数，k＝1,2，y表示目标的系数特征，H表示目标初始位置的第一帧图像的初始样本的分类矩阵，A表示线性变换矩阵，α表示控制类别误差的权值参数，β表示稀疏系数的权值参数；当k＝1时，表示判别纹理特征字典；当k＝2时，表示判别颜色特征字典；Dk表示初始字典，当k＝1时，Dk表示初始纹理特征字典，k＝2时，Dk表示初始颜色特征字典，ck表示样本y在第k个初始字典分解的稀疏系数，ｙ表示目标的稀疏特征表示。
进一步的，通过上述计算公式，即可获取判别纹理特征字典和判别颜色特征字典。
S14：根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置；
在本发明具体实施过程中，所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置，包括：基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；根据所述判别纹理特征字典和所述判别颜色特征字典，基于稀疏特征匹配算法，通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性，并根据所述最大相似性获取目标下一帧的跟踪位置。
具体的，在跟踪过程中，需要对目标后续的每一帧图像中目标可能位置进行预测和匹配；因此，首先需要在基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；然后，采用一种稀疏特征匹配的方法，通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性，从而根据计算获得的最大相似性来获取目标下一帧的跟踪位置。
对于上述的通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性，是在判别纹理特征字典和判别颜色特征字典的基础上，分别计算候选样本相应的相似性；以其中一个判别字典为例，首先，将目标的第一帧图像初始目标所对应的基向量d1，并将第t-1帧跟踪目标对应的基向量dp；则在第t帧时，对于第j个候选样本yj，通过字典分解，得到该样本的稀疏系数cj和基向量dj；定义gk(j)为基向量d1到基向量dj的欧式距离，sk(j)为基向量dp到基向量dj的欧式距离，其中k的取值为1或者2，分别对应判别纹理特征字典和判别颜色特征字典；因此，在第k个判别字典下，当前帧第j个候选样本与目标的相似性函数定义为Lk(j)：
上述的公式(4)的第三项是该候选样本的最小重构误差影响，η是正则化参数；把第j个候选样本在两个字典下得到的相似性进行连乘，获得该最终相似性值，通过如下公式获取最大相似性值的那个候选样本公式如下：
S15：判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
在本发明具体实施过程中，所述更新判别纹理特征字典和判别颜色特征字典的条件，包括：当前帧的最佳样本的噪声能量小于所有样本的平均噪声能力；样本的平均噪声能力与表示场景变化的阈值曲线相交；两次更新的间隔时间大于预设阈值。
具体的，在目标跟踪的过程中，目标和背景随时间推移而发生变化，影响跟踪效果；大部分跟踪算法通过对目标外观模型进行在线更新以保持这些改变信息；然而，在更新过程中，如果更新的信息不准确，容易积累错误，这将导致目标跟踪发送漂移；为了维持良好的跟踪效果，需要减少积累的错误和过度拟合；若不满足更新判别纹理特征字典和判别颜色特征字典的条件，则返回S14。
对每一个候选样本，需要都在判别特征字典(k＝1或2，1表示判别纹理特征字典或2表示判别颜色特征字典)上进行稀疏分解，得到相应的稀疏系数和噪声系数非最大值的那些系数分量，在一定程度上反映了目标被遮挡和追踪漂移的偏离程度；因此，通过分析样本噪声系数的能力函数来确定判别特征字典的更新时间，并采用增量字典更新算法进行更新。
在第t帧中，所有目标的周围的候选样本的平均噪声能量表达式表示为：
其中，候选样本j的噪声能量，平均噪声能量Uk的表达式如下：
在本发明实施例中，定义阈值为的表达式如下：
其中，反映了跟踪过程中的噪声能量的总体水平，阈值大于平均噪声能量Uk的五分之一值时，如果跟踪过程中每一个候选样本的平均噪声能量越过阈值，则显示当前帧的背景信息开始发生明显的变化，同时，还设定最小更新间隔时间的阈值tm，两个样本之间的间隔时间必须大于tm，设置最小更新间隔时间可以使得更新更高效；当当前帧同时满足三个条件时，更新判别字典；即三个条件包括：当前帧的最佳样本的噪声能量小于所有样本的平均噪声能量；样本的平均噪声能量与表示场景变化的阈值曲线相交；两次更新的间隔时间大于预设阈值。
S16：若是，基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
在本发明具体实施过程中，所述基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新，包括：对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
具体的，对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典，其中包括对目标在当前帧图像框中进行随机采样和目标当前帧图像框的周围按高斯分布进行采样；然后基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新，获得更新后的判别纹理特征字典和更新后的判别颜色特征字典；在更新之后，返回S14进行目标位置继续跟踪。
在本发明实施例中，利用纹理特征和颜色特征相结合构造判别字典，能够补充目标外观的表征能力，以及减少背景噪声干扰提高跟踪精度；在跟踪过程中，使用样本相似性度量对候选样本的搜索范围进行过滤，以选择最佳候选样本，这样能有效减少异常的干扰；对判别字典进行相应的自适应更新，减少在目标跟踪过程中发生目标漂移的概率，维持稳定的跟踪效果。
图2是本发明实施例中的基于多特征和自适应字典学习的目标跟踪系统的结构组成示意图。
如图2所示，一种基于多特征和自适应字典学习的目标跟踪系统，所述目标跟踪系统包括：
模板获取模块11：用于获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
在本发明具体实施过程中，所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板，包括：在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
具体的，通过对目标初始位置的第一帧图像对目标外观进行建模，在建模完成之后，在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
进一步的，在对目标进行跟踪的过程中，目标可以采用稀疏表达式进行稀疏特征表示，具体如下：
其中，y表示目标的稀疏特征表示，D表示字典，T表示目标前景模板，B表示目标周围背景模板，I表示对角矩阵，其中字典由目标前景模板、目标周围背景模板和对角矩阵组合而成；c表示稀疏系数，z表示目标系数，v表示背景系数，e表示噪声系数，其中稀疏系数由目标系数、背景系数和噪声系数构成。
字典构建模块12：用于根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
在本方具体实施过程中，所述根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典，包括：根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典，获取初始纹理特征字典；根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典，获取初始颜色特征字典。
具体的，由S11中可知，字典由目标前景模板、目标周围背景模板和对角矩阵组合而成，因此，初始纹理特征字典是由目标前景模板的第一纹理特征、目标周围背景模板的第二纹理特征构和对角矩阵一起构建而成；初始颜色特征字典由目标前景模板的第一颜色特征、目标周围背景模板的第二颜色特征构和对角矩阵一起构建而成。
字典学习模块13：用于基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
在本发明具体实施过程中，所述基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理的计算公式如下：
进一步的，公式(2)通过以下表达式进行求解：
其中， 表示y*在第k个判别字典分解的稀疏系数，k＝1,2，y表示目标的系数特征，H表示目标初始位置的第一帧图像的初始样本的分类矩阵，A表示线性变换矩阵，α表示控制类别误差的权值参数，β表示稀疏系数的权值参数；当k＝1时，表示判别纹理特征字典；当k＝2时，表示判别颜色特征字典；Dk表示初始字典，当k＝1时，Dk表示初始纹理特征字典，k＝2时，Dk表示初始颜色特征字典，ck表示样本y在第k个初始字典分解的稀疏系数，y表示目标的稀疏特征表示。
进一步的，通过上述计算公式，即可获取判别纹理特征字典和判别颜色特征字典。
跟踪匹配模块14：用于根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置；
在本发明具体实施过程中，所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置，包括：基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；根据所述判别纹理特征字典和所述判别颜色特征字典，基于稀疏特征匹配算法，通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性，并根据所述最大相似性获取目标下一帧的跟踪位置。
具体的，在跟踪过程中，需要对目标后续的每一帧图像中目标可能位置进行预测和匹配；因此，首先需要在基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；然后，采用一种稀疏特征匹配的方法，通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性，从而根据计算获得的最大相似性来获取目标下一帧的跟踪位置。
对于上述的通过最小重构误差准则来计算多个候选样本与目标初始位置在稀疏特征方面的最大相似性，是在判别纹理特征字典和判别颜色特征字典的基础上，分别计算候选样本相应的相似性；以其中一个判别字典为例，首先，将目标的第一帧图像初始目标所对应的基向量d1，并将第t-1帧跟踪目标对应的基向量dp；则在第t帧时，对于第j个候选样本yj，通过字典分解，得到该样本的稀疏系数cj和基向量dj；定义gk(j)为基向量d1到基向量dj的欧式距离，sk(j)为基向量dp到基向量dj的欧式距离，其中k的取值为1或者2，分别对应判别纹理特征字典和判别颜色特征字典；因此，在第k个判别字典下，当前帧第j个候选样本与目标的相似性函数定义为Lk(j)：
上述的公式(4)的第三项是该候选样本的最小重构误差影响，η是正则化参数；把第j个候选样本在两个字典下得到的相似性进行连乘，获得该最终相似性值，通过如下公式获取最大相似性值的那个候选样本公式如下：
判断模块15：用于判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
在本发明具体实施过程中，所述更新判别纹理特征字典和判别颜色特征字典的条件，包括：当前帧的最佳样本的噪声能量小于所有样本的平均噪声能力；样本的平均噪声能力与表示场景变化的阈值曲线相交；两次更新的间隔时间大于预设阈值；若不满足更新判别纹理特征字典和判别颜色特征字典的条件，返回跟踪匹配模块14。
具体的，在目标跟踪的过程中，目标和背景随时间推移而发生变化，影响跟踪效果；大部分跟踪算法通过对目标外观模型进行在线更新以保持这些改变信息；然而，在更新过程中，如果更新的信息不准确，容易积累错误，这将导致目标跟踪发送漂移；为了维持良好的跟踪效果，需要减少积累的错误和过度拟合。
对每一个候选样本，需要都在判别特征字典(k＝1或2，1表示判别纹理特征字典或2表示判别颜色特征字典)上进行稀疏分解，得到相应的稀疏系数和噪声系数非最大值的那些系数分量，在一定程度上反映了目标被遮挡和追踪漂移的偏离程度；因此，通过分析样本噪声系数的能力函数来确定判别特征字典的更新时间，并采用增量字典更新算法进行更新。
在第t帧中，所有目标的周围的候选样本的平均噪声能量表达式表示为：
其中，候选样本j的噪声能量，平均噪声能量Uk的表达式如下：
在本发明实施例中，定义阈值为的表达式如下：
其中，反映了跟踪过程中的噪声能量的总体水平，阈值大于平均噪声能量Uk的五分之一值时，如果跟踪过程中每一个候选样本的平均噪声能量越过阈值，则显示当前帧的背景信息开始发生明显的变化，同时，还设定最小更新间隔时间的阈值tm，两个样本之间的间隔时间必须大于tm，设置最小更新间隔时间可以使得更新更高效；当当前帧同时满足三个条件时，更新判别字典；即三个条件包括：当前帧的最佳样本的噪声能量小于所有样本的平均噪声能量；样本的平均噪声能量与表示场景变化的阈值曲线相交；两次更新的间隔时间大于预设阈值。
字典更新模块16：用于基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
在本发明具体实施过程中，所述字典更新模块16包括：重新采样单元：用于对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；更新学习单元：用于基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
具体的，对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典，其中包括对目标在当前帧图像框中进行随机采样和目标当前帧图像框的周围按高斯分布进行采样；然后基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新，获得更新后的判别纹理特征字典和更新后的判别颜色特征字典；在更新之后，返回跟踪匹配模块14进行目标位置继续跟踪。
在本发明实施例中，利用纹理特征和颜色特征相结合构造判别字典，能够补充目标外观的表征能力，以及减少背景噪声干扰提高跟踪精度；在跟踪过程中，使用样本相似性度量对候选样本的搜索范围进行过滤，以选择最佳候选样本，这样能有效减少异常的干扰；对判别字典进行相应的自适应更新，减少在目标跟踪过程中发生目标漂移的概率，维持稳定的跟踪效果。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于多特征和自适应字典学习的目标跟踪方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于多特征和自适应字典学习的目标跟踪方法，其特征在于，所述目标跟踪方法包括：
获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置。
2.根据权利要求1所述的目标跟踪方法，其特征在于，所述获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板，包括：
在目标初始位置的第一帧图像框中进行随机采样，获取目标中每个样本的第一纹理特征和第一颜色特征作为目标前景模板；
在目标初始位置的第一帧图像框的周围按高斯分布进行采样，提取目标中每个样本的第二纹理特征和第二颜色特征作为目标周围背景模板。
3.根据权利要求2所述的目标跟踪方法，其特征在于，所述根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典，包括：
根据所述目标前景模板的第一纹理特征和所述目标周围背景模板的第二纹理特征构建初始字典，获取初始纹理特征字典；
根据所述目标前景模板的第一颜色特征和所述目标周围背景模板的第二颜色特征构建初始字典，获取初始颜色特征字典。
4.根据权利要求1所述的目标跟踪方法，其特征在于，所述根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置，包括：
基于目标的上一帧图像的位置在当前帧图像中进行采样，获取多个候选样本；
根据所述判别纹理特征字典和所述判别颜色特征字典，基于稀疏特征匹配算法，通过最小重构误差准则计算所述多个候选样本与目标初始位置在稀疏特征上的最大相似性，并根据所述最大相似性获取目标下一帧的跟踪位置。
5.根据权利要求1所述的目标跟踪方法，其特征在于，所述目标跟踪方法还包括：
判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
若是，基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
6.根据权利要求5所述的目标跟踪方法，其特征在于，所述更新判别纹理特征字典和判别颜色特征字典的条件，包括：
当前帧的最佳样本的噪声能量小于所有样本的平均噪声能量；
样本的平均噪声能量与表示场景变化的阈值曲线相交；
两次更新的间隔时间大于预设阈值。
7.根据权利要求5所述的目标跟踪方法，其特征在于，所述基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新，包括：
对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；
基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
8.一种基于多特征和自适应字典学习的目标跟踪系统，其特征在于，所述目标跟踪系统包括：
模板获取模块：用于获取目标初始位置的第一帧图像的前景模板和目标的周围背景模板；
字典构建模块：用于根据所述目标前景模板和目标周围背景模板构建初始字典，获取初始纹理特征字典和初始颜色特征字典；
字典学习模块：用于基于LC-KSVD算法分别对所述初始纹理特征字典和所述初始颜色特征字典进行学习处理，获取判别纹理特征字典和判别颜色特征字典；
跟踪匹配模块：用于根据所述判别纹理特征字典和所述判别颜色特征字典基于稀疏特征匹配算法进行目标位置跟踪匹配，获取目标下一帧的跟踪位置。
9.根据权利要求8所述的目标跟踪系统，其特征在于，所述目标跟踪系统还包括：
判断模块：用于判断当前帧是否满足更新判别纹理特征字典和判别颜色特征字典的条件；
字典更新模块：用于基于递增的字典更新算法对判别纹理特征字典和判别颜色特征字典进行更新。
10.根据权利要求9所述的目标跟踪系统，其特征在于，所述字典更新模块包括：
重新采样单元：对集中在当前帧的目标位置进行重新采样得到正负样本，并融合初始目标图像的正样本来获取新的纹理特征字典和新的颜色特征字典；
更新学习单元：用于基于LC-KSVD算法分别对新的纹理特征字典和新的颜色特征字典进行更新学习处理，完成更新。
CN201811385388.6A 2018-11-20 2018-11-20 基于多特征和自适应字典学习的目标跟踪方法及系统 Pending CN109523587A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811385388.6A CN109523587A (zh) 2018-11-20 2018-11-20 基于多特征和自适应字典学习的目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811385388.6A CN109523587A (zh) 2018-11-20 2018-11-20 基于多特征和自适应字典学习的目标跟踪方法及系统

Publications (1)

Publication Number Publication Date
CN109523587A true CN109523587A (zh) 2019-03-26

Family

ID=65778269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811385388.6A Pending CN109523587A (zh) 2018-11-20 2018-11-20 基于多特征和自适应字典学习的目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN109523587A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126147A (zh) * 2019-11-22 2020-05-08 北京迈格威科技有限公司 图像处理方法、装置和电子系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295242A (zh) * 2013-06-18 2013-09-11 南京信息工程大学 一种多特征联合稀疏表示的目标跟踪方法
CN106056627A (zh) * 2016-05-30 2016-10-26 河海大学 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
CN106204647A (zh) * 2016-07-01 2016-12-07 国家新闻出版广电总局广播科学研究院 基于多特征和组稀疏的视觉目标跟踪方法
CN106203495A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 一种基于稀疏判别学习的目标跟踪方法
CN107392938A (zh) * 2017-07-20 2017-11-24 华北电力大学（保定） 一种基于重要性加权的结构稀疏跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295242A (zh) * 2013-06-18 2013-09-11 南京信息工程大学 一种多特征联合稀疏表示的目标跟踪方法
CN106056627A (zh) * 2016-05-30 2016-10-26 河海大学 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
CN106204647A (zh) * 2016-07-01 2016-12-07 国家新闻出版广电总局广播科学研究院 基于多特征和组稀疏的视觉目标跟踪方法
CN106203495A (zh) * 2016-07-01 2016-12-07 广东技术师范学院 一种基于稀疏判别学习的目标跟踪方法
CN107392938A (zh) * 2017-07-20 2017-11-24 华北电力大学（保定） 一种基于重要性加权的结构稀疏跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIN ZHAN等: "Robust tracking via discriminative sparse feature selection", 《SPRINGERLINK》 *
PENGGEN ZHENG等: "Discriminative Visual Tracking Using Multi-feature and Adaptive Dictionary Learning", 《SPRINGERLINK》 *
PENGGEN ZHENG等: "Robust Visual Tracking via Sparse Feature Selection and Weight Dictionary Update", 《SPRINGERLINK》 *
杨金龙等: "标签一致K-SVD稀疏编码视频跟踪算法", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126147A (zh) * 2019-11-22 2020-05-08 北京迈格威科技有限公司 图像处理方法、装置和电子系统
CN111126147B (zh) * 2019-11-22 2023-10-24 天津极豪科技有限公司 图像处理方法、装置和电子系统

Similar Documents

Publication Publication Date Title
Xiong et al. Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset
CN110070074B (zh) 一种构建行人检测模型的方法
CN107689052B (zh) 基于多模型融合和结构化深度特征的视觉目标跟踪方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
Xu et al. Robust contour tracking in ultrasound tongue image sequences
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN109543615B (zh) 一种基于多级特征的双学习模型目标跟踪方法
CN103854027A (zh) 一种人群行为识别方法
CN106355604A (zh) 图像目标跟踪方法与系统
Wang et al. Visual object tracking with multi-scale superpixels and color-feature guided kernelized correlation filters
CN110245587B (zh) 一种基于贝叶斯迁移学习的光学遥感图像目标检测方法
CN108765374B (zh) 一种宫颈涂片图像中异常核区域筛查的方法
CN110889865A (zh) 一种基于局部加权稀疏特征选择的视频目标跟踪方法
CN114841257A (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN106056627B (zh) 一种基于局部鉴别性稀疏表示的鲁棒目标跟踪方法
CN108230313A (zh) 基于部件自适应选择与判别模型的sar图像目标检测方法
CN108595014A (zh) 一种基于视觉的实时动态手势识别系统及方法
Sun et al. Image target detection algorithm compression and pruning based on neural network
CN106127798A (zh) 基于自适应模型的稠密时空上下文目标跟踪方法
CN113744209A (zh) 基于多尺度残差U-net网络的心脏分割方法
CN109523587A (zh) 基于多特征和自适应字典学习的目标跟踪方法及系统
Zhang et al. Detection of coronal mass ejections using multiple features and space–time continuity
CN108549868A (zh) 一种行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326

RJ01 Rejection of invention patent application after publication