CN109685830B - 目标跟踪方法、装置和设备及计算机存储介质 - Google Patents

目标跟踪方法、装置和设备及计算机存储介质 Download PDF

Info

Publication number
CN109685830B
CN109685830B CN201811564055.XA CN201811564055A CN109685830B CN 109685830 B CN109685830 B CN 109685830B CN 201811564055 A CN201811564055 A CN 201811564055A CN 109685830 B CN109685830 B CN 109685830B
Authority
CN
China
Prior art keywords
matrix
target
feature vector
visual
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811564055.XA
Other languages
English (en)
Other versions
CN109685830A (zh
Inventor
马子昂
卢维
殷俊
张兴明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201811564055.XA priority Critical patent/CN109685830B/zh
Publication of CN109685830A publication Critical patent/CN109685830A/zh
Application granted granted Critical
Publication of CN109685830B publication Critical patent/CN109685830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

本发明公开了一种目标跟踪方法、装置和设备及计算机存储介质，属于计算机技术领域，用于提高跟踪结果的准确性。该方法包括：从当前帧中获取N个候选目标区域，并从N个候选目标区域中提取出M类视觉特征的特征向量，构成M类视觉特征的特征向量矩阵；基于N个候选目标区域之间的相关性以及M类视觉特征之间的相关性，滤除特征向量矩阵中和目标模板空间中的异常特征的特征向量矩阵；确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；将第一联合稀疏表示系数矩阵中与超完备字典之间的重构误差值最小的列所对应的候选目标区域确定为当前帧的跟踪结果。

Description

目标跟踪方法、装置和设备及计算机存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种目标跟踪方法、装置和设备及计算机存储介质。
背景技术
视觉目标跟踪技术是一种模拟人眼进行目标运动估计以及跟踪方面的能力的技术，广泛应用于智能监控、辅助驾驶、人机交互、智能交通系统以及机器人视觉导航等生活中的各个方面，同时，目标跟踪在军事领域也具有非常重要的应用前景，例如应用于无人机自主导航以及成像制导系统。
由于对图像损坏以及部分遮挡表现出较好的鲁棒性，基于稀疏表示的视觉跟踪算法近年来成为视觉目标跟踪领域的热门研究方向。具体而言，目前的基于稀疏表示的视觉跟踪算法一般有两种方式，第一种方式为通过提取局部对数欧式距离协方差矩阵(LocalLog-Euclidean Covariance Matrix，L2ECM)特征来对跟踪目标的外观进行描述，但是L2ECM特征较为容易受到环境变化的影响，在较为复杂的环境下的跟踪效果不理想，另一种方式为基于多特征多任务联合稀疏表达(Multi-Task Multi-View Tracker，MTMVT)的算法，该算法使用多种视觉特征对目标外观进行特征描述，并且后续的稀疏学习过程中都是基于所有视觉特征进行的，但是，在实际环境中并不是所有特征都是可靠的，例如当目标区域受到剧烈光照变化影响时，灰度特征对目标外观描述是不可靠的，不可靠特征将会影响联合稀疏系数矩阵的求解精度，进而导致跟踪器的漂移，使得跟踪效果不佳。
发明内容
本发明实施例提供一种目标跟踪方法、装置和设备及计算机存储介质，用于通过滤除不可靠特征提升联合稀疏系数矩阵的准确性，进而提高跟踪结果的准确性。
第一方面，提供一种目标跟踪方法，包括：
根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从所述N个候选目标区域中提取出M类视觉特征的特征向量，构成所述M类视觉特征的特征向量矩阵，其中，一个特征向量矩阵为由所述N个候选目标区域中提取的同一视觉特征的特征向量构成的；
基于所述N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征，并滤除当前帧的特征向量矩阵中和超完备字典包括的目标模板空间中的异常特征的特征向量矩阵，其中，所述超完备字典由所述目标模板空间与单位矩阵组成，所述目标模板空间为用于表征跟踪目标的特征向量矩阵集合；
确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；
将所述第一联合稀疏表示系数矩阵中，与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
在该方法中，在获取当前帧的特征向量矩阵集合之后，基于各个视觉特征之间的相关性，将M类视觉特征中的异常特征滤除，再基于剩余的视觉特征的特征向量矩阵再次进行稀疏学习，从而获得联合稀疏表示系数矩阵，从而基于联合稀疏表示系数矩阵从候选目标区域中确定出跟踪结果。其中，由于在该方法中已将异常特征，即不可靠特征进行了滤除，从而使得剩余的视觉特征对于跟踪目标的描述均是可靠的，进一步提升了后续的联合稀疏表示系数矩阵的求解精度，进而提高最终得到的跟踪结果的准确性。
可选的，所述根据提取出的M类视觉特征的特征向量生成当前帧的特征向量矩阵集合，包括：
将从所述N个候选目标区域提取出的每一个视觉特征的特征向量按列存放，生成该视觉特征的特征向量矩阵，以得到M类视觉特征的特征向量矩阵组成的特征向量矩阵集合。
可选的，所述N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征，包括：
确定在满足行稀疏约束和列稀疏约束条件下，使得当前帧的特征向量矩阵集合与所述超完备字典之间的重构误差值之和最小的第二联合稀疏表示系数矩阵集合，其中，所述第二联合稀疏表示系数矩阵集合由第一协同矩阵和第二协同矩阵构成，所述第一协同矩阵用于约束各个视觉特征的特征向量矩阵具有稀疏性，所述第二协同矩阵用于异常特征的检测；
确定所述每一个视觉特征的第二分解矩阵的L11范数或者F范数大于第一预设阈值；
若确定结果为是，则确定第二分解矩阵的L11范数或者F范数大于第一预设阈值的视觉特征为异常特征。
可选的，所述根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，包括：
根据上一帧的跟踪结果，通过高斯分布生成所述N个候选目标区域。
可选的，在所述根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域之前，所述方法还包括：
将跟踪序列的首帧图像中指定的跟踪目标，在所述首帧图像中向各个方向分别扰动多个像素，得到多个目标模板；
分别从所述多个目标模板中提取出所述M类视觉特征的特征向量，并将每一个视觉特征的特征向量按列存放，生成所述目标模板空间；
基于所述目标模板空间以及所述单位矩阵构建所述超完备字典。
可选的，在将所述第一联合稀疏表示系数矩阵中与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域确定为当前帧的跟踪结果之后，所述方法还包括：
确定所述跟踪结果与所述超完备字典中的目标模板之间的相似度是否小于第二预设阈值；
若确定结果为是，则根据所述跟踪结果更新所述超完备字典中权重值最小的目标模板。
第二方面，提供一种目标跟踪装置，包括：
矩阵构建单元，用于根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从所述N个候选目标区域中提取出M类视觉特征的特征向量，构成所述M类视觉特征的特征向量矩阵，其中，一个特征向量矩阵为由所述N个候选目标区域中提取的同一视觉特征的特征向量构成的；
视觉特征筛选单元，用于基于所述N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征，并滤除当前帧的特征向量矩阵中和超完备字典包括的目标模板空间中的异常特征的特征向量矩阵，其中，所述超完备字典由所述目标模板空间与单位矩阵组成，所述目标模板空间为用于表征跟踪目标的特征向量矩阵集合；
确定单元，用于确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；以及，将所述第一联合稀疏表示系数矩阵中，与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
可选的，所述矩阵构建单元具体用于：
将从所述M类候选目标区域提取出的每一个视觉特征的特征向量按列存放，生成该视觉特征的特征向量矩阵，以得到M类视觉特征的特征向量矩阵组成的特征向量矩阵集合。
可选的，所述视觉特征筛选单元具体用于：
确定在满足行稀疏约束和列稀疏约束条件下，使得当前帧的特征向量矩阵集合与所述超完备字典之间的重构误差值之和最小的第二联合稀疏表示系数矩阵集合，其中，所述第二联合稀疏表示系数矩阵集合由第一协同矩阵和第二协同矩阵构成，所述第一协同矩阵用于约束各个视觉特征的特征向量矩阵具有稀疏性，所述第二协同矩阵用于异常特征的检测；
确定所述每一个视觉特征的第二分解矩阵的L11范数或者F范数大于第一预设阈值；
若确定结果为是，则确定第二分解矩阵的L11范数或者F范数大于第一预设阈值的视觉特征为异常特征。
可选的，矩阵构建单元具体用于：
根据上一帧的跟踪结果，通过高斯分布生成所述N个候选目标区域。
可选的，所述矩阵构建单元还用于：
将跟踪序列的首帧图像中指定的跟踪目标，在所述首帧图像中向各个方向分别扰动多个像素，得到多个目标模板；
分别从所述多个目标模板中提取出所述M类视觉特征的特征向量，并将每一个视觉特征的特征向量按列存放，生成所述目标模板空间；
基于所述目标模板空间以及所述单位矩阵构建所述超完备字典。
可选的，所述装置还包括更新单元，用于：
确定所述跟踪结果与所述超完备字典中的目标模板之间的相似度是否小于第二预设阈值；
若确定结果为是，则根据所述跟踪结果更新所述超完备字典中权重值最小的目标模板。
第三方面，提供一种目标跟踪设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。
第四方面，提供一种计算机存储介质，
所述计算机存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面所述的方法。
附图说明
图1为本发明实施例提供的目标跟踪方法的流程示意图；
图2为本发明实施例提供的联合稀疏表示系数矩阵集合的分解示意图；
图3为本发明实施例提供的目标跟踪装置的一种结构示意图；
图4为本发明实施例提供的目标跟踪设备的一种结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
下面介绍本发明实施例的技术背景。
目前的基于稀疏表示的视觉跟踪算法一般有以下两种方式：
第一种方式：通过提取局部对数欧式距离协方差矩阵(Local Log-EuclideanCovariance Matrix，L2ECM)特征来对跟踪目标的外观进行描述，但是L2ECM特征较为容易受到环境变化的影响，在较为复杂的环境下的跟踪效果不理想。
第二种方式：基于多特征多任务联合稀疏表达(Multi-Task Multi-ViewTracker，MTMVT)的算法，该算法使用多种视觉特征对目标外观进行特征描述，并且后续的稀疏学习过程中都是基于所有视觉特征进行的。但是，在实际环境中并不是所有特征都是可靠的，例如当目标区域受到剧烈光照变化影响时，灰度特征对目标外观描述是不可靠的，由于MTMVT算法强制约束所有候选粒子及其对应的多种视觉特征被超完备字典联合稀疏表示，不可靠特征将会影响联合稀疏表示系数矩阵的求解精度，进而导致跟踪器的漂移，使得跟踪效果不佳。
鉴于此，本发明实施例提供一种目标跟踪方法，在该方法中，在获取当前帧的特征向量矩阵集合之后，基于各个视觉特征之间的相关性，将M类视觉特征中的异常特征滤除，再基于剩余的视觉特征的特征向量矩阵再次进行稀疏学习，从而获得联合稀疏表示系数矩阵，从而基于联合稀疏表示系数矩阵从候选目标区域中确定出跟踪结果。其中，由于在该方法中已将异常特征，即不可靠特征进行了滤除，从而使得剩余的视觉特征对于跟踪目标的描述均是可靠的，进一步提升了后续的联合稀疏表示系数矩阵的求解精度，进而提高最终得到的跟踪结果的准确性。
此外，在该方法中，其中后续的稀疏学习是建立在不可靠特征滤除的基础上，若不执行不可靠特征滤除，通过稀疏学习并不能获得更为准确的跟踪结果，同时，通过稀疏学习获得的跟踪结果，可以使得下一帧更为有效地进行不可靠特征的检测，不可靠特征的滤除和后续的再次进行稀疏学习相辅相成，使得整个跟踪序列的跟踪效果更佳。
下面结合附图介绍本发明实施例提供的技术方案。
请参见图1，本发明实施例提供一种目标跟踪方法，该方法的流程描述如下。
步骤101：初始化超完备字典。
本发明实施例中，在进行跟踪目标的跟踪之前，首先需要在跟踪序列的首帧图像中指定目标区域，也就是需要跟踪目标，并针对跟踪目标构建超完备字典，超完备字典为用于表征跟踪目标的特征向量矩阵集合，可以用于后续的稀疏学习，具体的应用将在后续内容进行描述，在此先不过多赘述。
具体的，将指定的目标区域向各个方向分别扰动若干个像素，可获得多个与指定区域存在重合区域的图像，将这些图像作为目标模板，并将获取的目标模板进行归一化处理，使得所有目标模板的尺寸相同。从归一化后的目标模板中进行多种视觉特征的提取，针对每一种视觉特征，将从目标模板中提取出的该视觉特征的特征向量按照一定的顺序按列存放，构成该视觉特征的目标模板空间，其中，目标模板空间可以表示为如下公式：
Figure BDA0001914069740000071
其中，
Figure BDA0001914069740000081
为第t帧中第m类视觉特征的特征向量矩阵，t表示在跟踪序列中的帧号，m为视觉特征的编号，m＝1,…,M，M为视觉特征的总数量，M为正整数，dm表示对第m类视觉特征进行特征提取的维度，nt表示目标模板空间中的目标模板的数量。
在实际应用中，特征向量也可以是按行存放，本发明实施例中对此不做限制，其中，本发明实施例中具体均已按列存放为例进行描述。
本发明实施例中，目标模板空间结合微模板空间，即单位矩阵
Figure BDA0001914069740000082
则可以构成超完备字典，超完备字典可以表示为如下公式：
Figure BDA0001914069740000083
本发明实施例中，视觉特征例如可以包括灰度、颜色直方图、边缘及纹理等特征，当然，还可以包括其他可能的视觉特征，本发明实施例对此不做限制。
步骤102：根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从N个候选目标区域中提取出M类视觉特征的特征向量，根据提取出的M类视觉特征的特征向量生成当前帧的特征向量矩阵集合。
本发明实施例中，由于相邻的两帧图像中跟踪目标移动的距离有限，因此可以上一帧的跟踪结果，在当前帧中获取N个候选目标区域，其中，N为正整数，候选目标区域为在当前帧图像中跟踪目标的潜在分布区域。例如，可以再上一帧的跟踪结果附近，通过高斯分布随机生成上述N个候选目标区域(或称为候选粒子)，当然，也可以通过其他的一些概率分布算法来获取N个候选目标区域，本发明实施例对此不做限制。
基于获取的N个候选目标区域，对其进行归一化处理，使得候选目标区域与目标模板的尺寸相同，再对归一化处理后的候选目标区域进行M类视觉特征的提取，针对每一种视觉特征，将从候选目标区域中提取出的该视觉特征的特征向量(或称为观察值)按照一定的顺序按列存放，构成在当前帧中该视觉特征的特征向量矩阵，或称为当前帧的粒子集合观察值矩阵，其中，粒子集合观察值矩阵可以表示为如下公式：
Figure BDA0001914069740000091
其中，N为候选粒子的数量，粒子集合即为上述N个候选目标区域。
本发明实施例中，当前帧的特征向量矩阵集合即使为由上述M个视觉特征的粒子集合观察值矩阵组成的矩阵集合。
一般而言，当前帧中的候选目标区域与跟踪目标之间都会存在一定的重叠区域，因此两者是具有存在一定的相关性的，而粒子集合观察值矩阵是用于对当前帧的候选目标区域进行外观描述，而超完备字典用于对跟踪目标进行外观描述，因此这两者之间也是存在一定的相关性的，换言之，即当前帧的粒子集合观察值矩阵可以由超完备字典
Figure BDA0001914069740000092
联合线性表示，那么就存在如下公式：
Figure BDA0001914069740000093
Figure BDA0001914069740000094
其中，其中，
Figure BDA0001914069740000095
表示第m类视觉特征的联合线性表示系数矩阵。
步骤103：基于M个视觉特征之间的相关性，确定M个视觉特征中的异常特征，并滤除当前帧的特征向量矩阵集合以及超完备字典中异常特征的特征向量矩阵。
对于一个理想的候选粒子而言，由于其对应于微模板空间的线性表示系数只应有有限个非零项，即非零项越少越好，因此该候选粒子可以由超完备字典稀疏表示，其中，稀疏表示是指通过超完备字典和系数矩阵能够得到候选粒子，且系数矩阵还能够尽可能的稀疏。此外，由于大部分的候选粒子都分布在上一帧的跟踪结果的附近，粒子之间存在一定的重合区域，因此粒子之间具有一定的相关性，粒子之间的相关性在稀疏表示中表现为所有候选粒子的观察值基于超完备字典的稀疏表示都是相似的。且由于多个视觉特征所表达的是同一个图像区域的不同统计特性，因此各个视觉特征之间也具有一定的相关性，视觉特征之间的相关性在稀疏表示中则表现为候选粒子的各个视觉特征的观察值基于超完备字典的稀疏表示都是相似的。
因此，基于上述的相关性，可以强制所有候选粒子的各个视觉特征的观察值都能够被超完备字典中尽可能少的、相同的模板表示，换句话说，期望找到在同时满足稀疏表示的约束条件下，能够使得候选粒子与目标模板之间的重构误差最小的Zt，目标函数具体如下：
Figure BDA0001914069740000101
Figure BDA0001914069740000102
其中，
Figure BDA0001914069740000103
表示M个视觉特征对应的联合稀疏表示系数矩阵，参数λ用于平衡重构误差与稀疏性之间的重要性，‖Z‖p,q表示矩阵Z的lpq范数，例如，‖Z‖2,1表示Z的l21范数，l21范数约束每一行所包括的非零项越多越好，‖Z‖1,2表示Z的l12范数，l12范数约束每一列所包括的非零项越少越好，Zij为矩阵Z中第i行第j列的值。
本发明实施例中，考虑到在目标外观特征描述中，并不是所有视觉特征都是可靠的，例如当跟踪目标所在区域受到剧烈光照变化影响时，灰度特征的变化较大，灰度特征对于该区域的外观描述则是不准确的。由于所有候选粒子及其对应的视觉特征被超完备字典联合稀疏表示，因此不可靠特征将会影响联合稀疏表示系数矩阵的求解精度，进而导致跟踪器的漂移。
因此，请参见图2所示，为了实现鲁棒的特征融合，分别根据行稀疏和列稀疏约束，将联合稀疏表示系数矩阵集合Zt分解为两个协同矩阵集合，即第一矩阵集合Pt和第二矩阵集合Qt。其中，图2中所示的联合稀疏表示系数矩阵集合以三个特征，即特征1、特征2和特征3为例，每一个特征的联合稀疏表示系数矩阵中的一列表示一个候选目标区域中该特征的联合稀疏表示系数，非空白格表示为非零的值。
本发明实施例中，第一矩阵集合Pt用于约束所有候选粒子的各个特征的观察值具有联合稀疏性，第一矩阵集合Qt用于异常特征(或称不可靠特征)的检测，因此上述求解Zt的公式则可以进一步的可以延伸为在同时满足行稀疏和列稀疏的约束条件下，能够使得候选粒子与目标模板之间的重构误差最小的第二联合稀疏表示系数矩阵Zt，目标函数具体表示为：
Figure BDA0001914069740000111
其中，
Figure BDA0001914069740000112
表示
Figure BDA0001914069740000113
的F(Frobenius)范数的平方，参数λ1和λ2用于平衡重构误差、行稀疏约束与列稀疏约束之间的重要性。
本发明实施例中，上述目标函数可以使用近端梯度加速算法进行求解，以找到满足条件的Zt，以及Zt的两个协同矩阵，即第一矩阵集合Pt和第二矩阵集合Qt。当然，也可以采用其他可能的求解算法进行求解，本发明实施例对此不做限制。
本发明实施例中，由于第二矩阵集合Qt用于检测异常特征，因此在获取第二矩阵集合Qt之后，则可以根据第二矩阵集合Qt从M类视觉特征中确定出异常特征。具体而言，对于第m类特征，确定其对应的特征向量矩阵
Figure BDA0001914069740000115
的l11范数或者F范数是否超过第一预设阈值，若确定其对应的特征向量矩阵
Figure BDA0001914069740000116
的l11范数或者F范数是否超过第一预设阈值，则确定该类特征为异常特征，否则就不是异常特征。具体以l11范数为例，l11范数为矩阵内的所有元素的绝对值相加得到的值，若是对于第m类特征而言下面的公式成立，则将该特征判定为不可靠特征。
Figure BDA0001914069740000114
本发明实施例中，由于不可靠特征会对联合稀疏表示系数矩阵的求解精度带来影响，因此将当前帧的目标模板空间与粒子集合观察值矩阵中对应于异常靠特征的部分移除。
本发明实施例中，将获取的候选粒子通过超完备字典的稀疏表示的过程定义为稀疏学习，即上述过程可以认为是第一阶段稀疏学习，通过第一阶段的稀疏学习，可以M个视觉特征中不可靠特征滤除，从而使得剩余的视觉特征对于跟踪目标的描述均是可靠的，进一步提升了后续的联合稀疏表示系数矩阵的求解精度，进而提高最终得到的跟踪结果的准确性。
步骤104：确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵。
本发明实施例中，通过第一阶段的稀疏学习过滤异常特征之后，剩余的视觉特征之间都是紧密相关的了，因此这些视觉特征所对应的联合稀疏表示系数矩阵Zt是低秩的，那么根据剩余的视觉特征所构成的特征向量矩阵来进行第二阶段的稀疏学习，也就是根据剩余的视觉特征所构成的特征向量矩阵来获取联合稀疏表示系数矩阵Zt。具体而言，需要找到在满足行稀疏约束和低秩约束的条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵，目标函数具体表示为：
Figure BDA0001914069740000121
其中，‖Zt‖*用于表示低秩约束条件，μ1和μ2为用于平衡重构误差、行稀疏约束与低秩约束之间的重要性的参数。
本发明实施例中，根据上述目标函数可知，该目标函数由由一个可微分的凸函数和两个非平滑的凸函数组成，因此可使用交替方向乘子算法进行求解，由于交替方向乘子算法属于现有技术的范畴，因此在此不过多赘述。当然，也可以采用其他可能的求解算法进行求解，本发明实施例对此不做限制。
步骤105：将第一联合稀疏表示系数矩阵中，与超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
本发明实施例中，通过二阶段的稀疏学习，可以得到第一联合稀疏表示系数矩阵，但是由于该矩阵是超完备字典对应于所有候选目标区域的联合线性表示，也就是说通过该矩阵和超完备字典可以对所有的候选目标区域进行稀疏表示。其中，第一联合稀疏表示系数矩阵中每一列与一个候选目标区域对应，那么就可以根据每一个候选目标区域对应的稀疏表示系数，来计算该候选目标区域与超完备字典的重构误差，从而将重构误差最小的列所对应的候选目标区域确定为当前帧的跟踪结果。具体的，通过如下公式计算第一联合稀疏表示系数矩阵中重构误差最小的列
Figure BDA0001914069740000122
Figure BDA0001914069740000131
其中，α为用于控制高斯核的形状的参数，Γ是正则因子，
Figure BDA0001914069740000132
和
Figure BDA0001914069740000133
分别表示第m类视觉特征的特征向量矩阵
Figure BDA0001914069740000134
和
Figure BDA0001914069740000135
中第i列的特征向量，
Figure BDA0001914069740000136
表示
Figure BDA0001914069740000137
的L2范数的平方。
本发明实施例中，在跟踪过程中，跟踪目标的外观可能被随着环境的改变而发生改变，或者跟踪目标自身可能也会发生一定的改变，因此不能将固定的超完备字典作为跟踪的依据，并且固定的超完备字典无法适应跟踪目标的外观变化，可能导致跟踪器的漂移，进而影响到跟踪结果的准确性。因此，在获取新的跟踪结果之后，可以通过比较该跟踪结果所对应的候选目标区域与超完备字典中的目标模板空间，并确定两者之间的相似度是否小于第二预设阈值，若是在，则说明跟踪目标的外观变化较大，则需要对超完备字典进行更新。
具体的，由于超完备字典中包括多个目标模板，可以为每个目标模板设置权重值，权重值的大小可以是根据目标模板所对应的稀疏表示系数来设置的，在确定最新获得的跟踪结果与所对应的候选目标区域，与超完备字典中的目标模板空间的相似度小于第二预设阈值，则可以通过最新获得的跟踪结果与所对应的候选目标区域，更新超完备字典中权重值最小的目标模板。
综上所述，本发明实施例中，通过使用多种视觉特征对目标外观进行特征描述，从而使得该方法能够适应跟踪过程中的多种影响因素，包括光照变化、局部遮挡、背景模糊等影响。此外，本发明实施例中，还并使用特征筛选策略找到多个视觉特征中的不可靠特征，并且在确定跟踪结果时将不可靠特征排除在外，从而使得剩余的视觉特征对于跟踪目标的描述均是可靠的，进一步提升了后续的联合稀疏表示系数矩阵的求解精度，进而提高最终得到的跟踪结果的准确性。同时，在第二阶段的联合稀疏学习中引入的低秩约束，低秩约束可以获取候选粒子对应于特征向量之间的结构信息，这将减小跟踪器的累积误差，进而避免跟踪器的漂移。
此外，在该方法中，其中后续的稀疏学习是建立在不可靠特征滤除的基础上，若不执行不可靠特征滤除，通过稀疏学习并不能获得更为准确的跟踪结果，同时，通过稀疏学习获得的跟踪结果，可以使得下一帧更为有效地进行不可靠特征的检测，不可靠特征的滤除和后续的再次进行稀疏学习相辅相成，使得整个跟踪序列的跟踪效果更佳。
请参见图3，基于同一发明构思，本发明实施例提供一种目标跟踪装置30，包括：
矩阵构建单元301，用于根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从N个候选目标区域中提取出M类视觉特征的特征向量，构成M类视觉特征的特征向量矩阵，其中，一个特征向量矩阵为由N个候选目标区域中提取的同一视觉特征的特征向量构成的；
视觉特征筛选单元302，用于基于N个候选目标区域之间的相关性，以及M类视觉特征之间的相关性，确定M类视觉特征中的异常特征，并滤除当前帧的特征向量矩阵中和超完备字典包括的目标模板空间中的异常特征的特征向量矩阵，其中，超完备字典由目标模板空间与单位矩阵组成，目标模板空间为用于表征跟踪目标的特征向量矩阵集合；
确定单元303，用于确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；以及，将第一联合稀疏表示系数矩阵中，与超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
可选的，矩阵构建单元301具体用于：
将从M类候选目标区域提取出的每一个视觉特征的特征向量按列存放，生成该视觉特征的特征向量矩阵，以得到M类视觉特征的特征向量矩阵组成的特征向量矩阵集合。
可选的，视觉特征筛选单元302元具体用于：
确定在满足行稀疏约束和列稀疏约束条件下，使得当前帧的特征向量矩阵集合与超完备字典之间的重构误差值之和最小的第二联合稀疏表示系数矩阵集合，其中，第二联合稀疏表示系数矩阵集合由第一协同矩阵和第二协同矩阵构成，第一协同矩阵用于约束各个视觉特征的特征向量矩阵具有稀疏性，第二协同矩阵用于异常特征的检测；
确定每一个视觉特征的第二分解矩阵的L11范数或者F范数大于第一预设阈值；
若确定结果为是，则确定第二分解矩阵的L11范数或者F范数大于第一预设阈值的视觉特征为异常特征。
可选的，矩阵构建单元301具体用于：
根据上一帧的跟踪结果，通过高斯分布生成N个候选目标区域。
可选的，矩阵构建单元301还用于：
将跟踪序列的首帧图像中指定的跟踪目标，在首帧图像中向各个方向分别扰动多个像素，得到多个目标模板；
分别从多个目标模板中提取出M类视觉特征的特征向量，并将每一个视觉特征的特征向量按列存放，生成目标模板空间；
基于目标模板空间以及单位矩阵构建超完备字典。
可选的，该装置还包括更新单元304，用于：
确定跟踪结果与超完备字典中的目标模板之间的相似度是否小于第二预设阈值；
若确定结果为是，则根据跟踪结果更新超完备字典中权重值最小的目标模板。
该设备可以用于执行图1和2所示的实施例所提供的方法，因此，对于该设备的各功能模块所能够实现的功能等可参考图1和2所示的实施例的描述，不多赘述。其中，更新单元304虽然在图3中一并示出，但是并非是必选的功能单元，因此以虚线示出。
请参见图4，基于同一发明构思，本发明实施例提供一种目标跟踪设备40，包括至少一个处理器401，至少一个处理器401用于执行存储器中存储的计算机程序时实现图1和2所示的实施例提供的目标跟踪方法的步骤。
可选的，至少一个处理器401具体可以包括中央处理器(CPU)、特定应用集成电路(application specific integrated circuit，ASIC)，可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列(field programmable gate array，FPGA)开发的硬件电路，可以是基带处理器。
可选的，至少一个处理器401可以包括至少一个处理核心。
可选的，该设备还包括存储器402，存储器402可以包括只读存储器(read onlymemory，ROM)、随机存取存储器(random access memory，RAM)和磁盘存储器。存储器402用于存储至少一个处理器401运行时所需的数据。存储器402的数量为一个或多个。其中，存储器402在图4中一并示出，但需要知道的是存储器402不是必选的功能模块，因此在图4中以虚线示出。
基于同一发明构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如图1和2所示的方法。
在具体的实施过程中，计算机可读存储介质包括：通用串行总线闪存盘(Universal Serial Bus flash drive，USB)、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的存储介质。
在本发明实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性或其它的形式。
在本发明实施例中的各功能单元可以集成在一个处理单元中，或者各个单元也可以均是独立的物理模块。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备，例如可以是个人计算机，服务器，或者网络设备等，或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：通用串行总线闪存盘(universal serial bus flash drive)、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法，不应理解为对本发明实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (9)

1.一种目标跟踪方法，其特征在于，包括：
根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从所述N个候选目标区域中提取出M类视觉特征的特征向量，构成所述M类视觉特征的特征向量矩阵集合，其中，一个特征向量矩阵为由所述N个候选目标区域中提取的同一视觉特征的特征向量构成的；
基于所述N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征；所述基于所述 N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征，包括：确定在满足行稀疏约束和列稀疏约束条件下，使得当前帧的特征向量矩阵集合与超完备字典之间的重构误差值之和最小的第二联合稀疏表示系数矩阵集合，其中，所述第二联合稀疏表示系数矩阵集合由第一矩阵集合和第二矩阵集合构成，所述第一矩阵集合用于约束各个视觉特征的特征向量矩阵具有稀疏性，所述第二矩阵集合用于异常特征的检测；确定每一个视觉特征的第二矩阵集合的L11范数或者F范数是否大于第一预设阈值；若确定结果为是，则确定第二矩阵集合的L11范数或者F范数大于第一预设阈值的视觉特征为异常特征；
滤除当前帧的特征向量矩阵中和超完备字典包括的目标模板空间中的异常特征的特征向量矩阵，其中，所述超完备字典由所述目标模板空间与单位矩阵组成，所述目标模板空间为用于表征跟踪目标的特征向量矩阵集合；
确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；
将所述第一联合稀疏表示系数矩阵中，与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
2.如权利要求1所述的方法，其特征在于，所述根据提取出的M类视觉特征的特征向量生成当前帧的特征向量矩阵集合，包括：
将从所述N个候选目标区域提取出的每一个视觉特征的特征向量按列存放，生成该视觉特征的特征向量矩阵，以得到M类视觉特征的特征向量矩阵组成的特征向量矩阵集合。
3.如权利要求1所述的方法，其特征在于，所述根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，包括：
根据上一帧的跟踪结果，通过高斯分布生成所述N个候选目标区域。
4.如权利要求1-3任一所述的方法，其特征在于，在所述根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域之前，所述方法还包括：
将跟踪序列的首帧图像中指定的跟踪目标，在所述首帧图像中向各个方向分别扰动多个像素，得到多个目标模板；
分别从所述多个目标模板中提取出所述M类视觉特征的特征向量，并将每一个视觉特征的特征向量按列存放，生成所述目标模板空间；
基于所述目标模板空间以及所述单位矩阵构建所述超完备字典。
5.如权利要求1-3任一所述的方法，其特征在于，在将所述第一联合稀疏表示系数矩阵中与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域确定为当前帧的跟踪结果之后，所述方法还包括：
确定所述跟踪结果与所述超完备字典中的目标模板之间的相似度是否小于第二预设阈值；
若确定结果为是，则根据所述跟踪结果更新所述超完备字典中权重值最小的目标模板。
6.一种目标跟踪装置，其特征在于，包括：
矩阵构建单元，用于根据上一帧的跟踪结果，从当前帧中获取N个候选目标区域，并从所述N个候选目标区域中提取出M类视觉特征的特征向量，构成所述M类视觉特征的特征向量矩阵，其中，一个特征向量矩阵为由所述N个候选目标区域中提取的同一视觉特征的特征向量构成的；
视觉特征筛选单元，用于基于所述N个候选目标区域之间的相关性，以及所述M类视觉特征之间的相关性，确定所述M类视觉特征中的异常特征；所述视觉特征筛选单元具体用于：确定在满足行稀疏约束和列稀疏约束条件下，使得当前帧的特征向量矩阵集合与超完备字典之间的重构误差值之和最小的第二联合稀疏表示系数矩阵集合，其中，所述第二联合稀疏表示系数矩阵集合由第一协同矩阵和第二协同矩阵构成，所述第一协同矩阵用于约束各个视觉特征的特征向量矩阵具有稀疏性，所述第二协同矩阵用于异常特征的检测；确定每一个视觉特征的第二分解矩阵的L11范数或者F范数大于第一预设阈值；若确定结果为是，则确定第二分解矩阵的L11范数或者F范数大于第一预设阈值的视觉特征为异常特征；并，
滤除当前帧的特征向量矩阵中和超完备字典包括的目标模板空间中的异常特征的特征向量矩阵，其中，所述超完备字典由所述目标模板空间与单位矩阵组成，所述目标模板空间为用于表征跟踪目标的特征向量矩阵集合；
确定单元，用于确定在满足行稀疏约束和低秩约束条件下，使得当前帧的特征向量矩阵与超完备字典之间的重构误差之和最小的第一联合稀疏表示系数矩阵；以及，将所述第一联合稀疏表示系数矩阵中，与所述超完备字典之间的重构误差值最小的列所对应的候选目标区域，确定为当前帧的跟踪结果。
7.如权利要求6所述的装置，其特征在于，所述装置还包括更新单元，用于：
确定所述跟踪结果与所述超完备字典中的目标模板之间的相似度是否小于第二预设阈值；
若确定结果为是，则根据所述跟踪结果更新所述超完备字典中权重值最小的目标模板。
8.一种目标跟踪设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～5任一权利要求所述的方法。
9.一种计算机存储介质，其特征在于：
所述计算机存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的方法。
CN201811564055.XA 2018-12-20 2018-12-20 目标跟踪方法、装置和设备及计算机存储介质 Active CN109685830B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811564055.XA CN109685830B (zh) 2018-12-20 2018-12-20 目标跟踪方法、装置和设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811564055.XA CN109685830B (zh) 2018-12-20 2018-12-20 目标跟踪方法、装置和设备及计算机存储介质

Publications (2)

Publication Number Publication Date
CN109685830A CN109685830A (zh) 2019-04-26
CN109685830B true CN109685830B (zh) 2021-06-15

Family

ID=66187994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811564055.XA Active CN109685830B (zh) 2018-12-20 2018-12-20 目标跟踪方法、装置和设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN109685830B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136173A (zh) * 2019-05-21 2019-08-16 浙江大华技术股份有限公司 一种目标定位处理方法及装置
CN112367292B (zh) * 2020-10-10 2021-09-03 浙江大学 一种基于深度字典学习的加密流量异常检测方法
CN113379804B (zh) * 2021-07-12 2023-05-09 闽南师范大学 一种无人机目标跟踪方法、终端设备及存储介质
CN115375929B (zh) * 2022-10-25 2023-02-07 杭州华橙软件技术有限公司 目标模板集合的更新方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262121A (zh) * 2010-12-20 2013-08-21 国际商业机器公司 移动物体的检测和跟踪
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置
CN104484890A (zh) * 2014-12-18 2015-04-01 上海交通大学 基于复合稀疏模型的视频目标跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024349B (zh) * 2012-11-13 2015-05-13 大连民族学院 一种基于稀疏限制的mle视频目标跟踪方法
CN106144861B (zh) * 2015-04-03 2020-07-24 奥的斯电梯公司 用于乘客运输控制的基于深度传感器的乘客感测
US9582895B2 (en) * 2015-05-22 2017-02-28 International Business Machines Corporation Real-time object analysis with occlusion handling
CN105513092B (zh) * 2015-11-26 2018-05-22 北京理工大学 一种用于目标跟踪的模板特征选择方法
CN106203495B (zh) * 2016-07-01 2020-03-17 广东技术师范学院 一种基于稀疏判别学习的目标跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103262121A (zh) * 2010-12-20 2013-08-21 国际商业机器公司 移动物体的检测和跟踪
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置
CN104484890A (zh) * 2014-12-18 2015-04-01 上海交通大学 基于复合稀疏模型的视频目标跟踪方法

Also Published As

Publication number Publication date
CN109685830A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
Postels et al. Sampling-free epistemic uncertainty estimation using approximated variance propagation
CN110033003B (zh) 图像分割方法和图像处理装置
Mukhoti et al. Evaluating bayesian deep learning methods for semantic segmentation
US10699151B2 (en) System and method for performing saliency detection using deep active contours
CN109685830B (zh) 目标跟踪方法、装置和设备及计算机存储介质
US8989442B2 (en) Robust feature fusion for multi-view object tracking
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
US11274922B2 (en) Method and apparatus for binocular ranging
CN108229347B (zh) 用于人识别的拟吉布斯结构采样的深层置换的方法和装置
CN108038435B (zh) 一种基于卷积神经网络的特征提取与目标跟踪方法
KR102140805B1 (ko) 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치
CN113657560B (zh) 基于节点分类的弱监督图像语义分割方法及系统
US10657625B2 (en) Image processing device, an image processing method, and computer-readable recording medium
US11138464B2 (en) Image processing device, image processing method, and image processing program
Wang et al. Fast and robust object tracking via probability continuous outlier model
US9619729B2 (en) Density measuring device, density measuring method, and computer program product
dos Santos Rosa et al. Sparse-to-continuous: Enhancing monocular depth estimation using occupancy maps
Dutta et al. Weighted low-rank approximation of matrices and background modeling
Xu et al. Extended non-local feature for visual saliency detection in low contrast images
CN114119970B (zh) 目标跟踪方法及装置
Li et al. Visual tracking with structured patch-based model
EP4145401A1 (en) Method for detecting anomalies in images using a plurality of machine learning programs
Shan et al. Visual tracking using IPCA and sparse representation
Takeda et al. Unsupervised deep learning for online foreground segmentation exploiting low-rank and sparse priors
Foo et al. A Fast-Compressive Tracking Integrated with Differential Evolution to Optimize Object Tracking Performance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant