CN106033613A - 目标跟踪方法及装置 - Google Patents

Abstract

本发明公开了一种目标跟踪方法及装置，其中方法包括：确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图；对于任一数值特征，将第一直方图与第二直方图中任一单元的值按照预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；根据区分度的数值选取至少一个数值特征；在此后任一帧图像中，通过提取任一图像区域的至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。本发明可以解决跟踪算法性能依赖图像块的数值特征的预先设置方式的技术问题。

Description

目标跟踪方法及装置

技术领域

本发明涉及计算机技术，具体涉及一种目标跟踪方法及装置。

背景技术

随着智能手机等移动终端快速流行与发展，使得增强现实等应用的需求逐渐增大。而作为增强现实等应用必不可少的部分，目标跟踪过程需要提供实时而准确的目标跟踪结果，以使增强现实将虚拟的增强信息准确而实时地叠加到真实场景中。包括增强现实的应用要求目标跟踪满足实时、准确的要求的同时，还要求目标跟踪可以有效地适应图像在光照、尺度、旋转等方面上的变化。

基于图像块的数值特征的目标跟踪算法以其不依赖局部细节特征、匹配速度快等优势，可以适用于对实时性要求高的设备及场景中。然而该方法常采用位置固定的图像块的数值特征，算法性能极其依赖于图像块的数值特征预先设置的方式，而对于目标跟踪帮助不大的图像块的数值特征，往往会进行大量重复性的无意义运算，可能会导致算法的速度大幅度降低。而且，由于算法所采用的图像块的数值特征数量通常固定，因而无法适应不同设备或不同应用对跟踪算法在速度上的不同要求。

发明内容

针对现有技术中的缺陷，本发明提供了一种目标跟踪方法及装置，可以解决跟踪算法依赖图像块的数值特征的预先设置方式，可能会导致算法速度低而适应性差的技术问题。

第一方面，本发明提供一种目标跟踪方法，包括：

确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述提取方式进行若干个数值特征的提取和统计而得到的；

对于任一个数值特征，将所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

根据所述区分度的数值选取至少一个数值特征；

在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。

可选地，所述根据所述区分度的数值选取至少一个数值特征，包括：

将对应于每一数值特征的标识、第一直方图、第二直方图以及区分度数值对应存储，以组成目标特征库；

将所述目标特征库中区分度数值最大的第一预设数量个的数值特征设定为固定特征、在剩余的数值特征中将区分度数值最大的第二预设数量个的数值特征设定为可替换特征；

所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，包括：

在此后任一帧图像中，从所述目标特征库中获取固定特征和可替换特征；

提取若干个图像区域中的所述固定特征和所述可替换特征；

通过对任一图像区域的所述固定特征与对应于所述固定特征的所有直方图的比较，以及对任一图像区域的所述可替换特征与对应于所述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度。

可选地，在通过对任一图像区域的所述固定特征与对应于所述固定特征的所有直方图的比较，以及对任一图像区域的所述可替换特征与对应于所述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度之后，还包括：

在确定本帧图像的目标区域后，将本帧图像作为所述已知目标区域的一帧图像，向所述目标特征库添加若干个数值特征，并计算所述目标特征库中所有数值特征的区分度的数值；

根据当前的算法速度需求重新确定所述第二预设数量的值；

采用除所述固定特征之外的区分度数值最大的第二预设数量个的数值特征替换原有的可替换特征。

可选地，所述在确定本帧图像的目标区域后，将本帧图像作为所述已知目标区域的一帧图像，重新确定若干个数值特征的提取方式，并以相同的方式计算出每一个数值特征的区分度的数值、添加至所述目标特征库中之后，还包括：

在所述目标特征库中的数值特征数量大于预设阈值时，按照所述区分度的数值从小到大的顺序逐个删除目标特征库中的数值特征，直至所述目标特征库中的数值特征数量小于等于所述预设阈值。

可选地，所述从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，包括：

按照所述预设大小及预设形状对已知目标区域的一帧图像进行采样，得到靠近目标区域的若干个第一样本区，以及远离目标区域的若干个第二样本区；

按照所述提取方式提取每一个所述第一样本区的若干个数值特征和每一个所述第二样本区的若干个数值特征；

分别在全部第一样本区和全部第二样本区的范围内对所述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图。

可选地，在所述分别在全部第一样本区和全部第二样本区的范围内对所述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图之后，还包括：

对于任一所述数值特征，计算所述第一直方图与所述第二直方图在同一单元内的值的比值的对数值，得到与该数值特征对应的对数表；

所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，包括：

在该帧图像中，提取任一图像区域的所述至少一个数值特征；

将每一个数值特征所在的直方图单元在所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹配程度的响应值。

可选地，所述对于任一个数值特征，将所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值，包括：

将对应于任一数值特征的所述第一直方图与所述第二直方图中每一个单元的值，按照下述任意一种运算方式进行运算：求差值、求比值、求比值的对数值；

计算出该运算结果在第一直方图表示的特征分布下的方差、在第二直方图表示的特征分布下的方差以及在第一直方图和第二直方图的均值表示的整体特征分布下的方差；

根据所述区分度与该运算结果在第一直方图和第二直方图的均值表示的整体特征分布下的方差呈正相关、与该运算结果在第一直方图表示的特征分布下的方差呈负相关、与该运算结果在第二直方图表示的特征分布下的方差的呈负相关的性质，设定并计算所述区分度的数值。

可选地，在具有预设大小及预设形状的图像区域中，任一所述数值特征可以涉及一个或多个具有预定大小和预定形状，并位于预定位置的图像块；所述数值特征的值由一个或多个所述图像块的数值以任意的数值运算方式计算得到；所述图像块的数值根据该图像块内的所有像素的任意一种属性值以任意的数值运算方式计算得到。

可选地，所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度之后，包括：

在此后任一帧图像中，根据目标区域所在位置的历史记录获取若干个具有所述预设大小及预设形状的候选目标区域；

获取每个所述候选目标区域与目标区域的匹配程度，并将匹配程度最高的所述候选目标区域确定为本帧图像中的目标区域。

第二方面，本发明提供一种目标跟踪装置，包括：

确定单元，用于确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

获取单元，用于从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述确定单元得到的提取方式进行若干个数值特征的提取和统计而得到的；

运算单元，对于任一个数值特征，将所述获取单元得到的所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

选取单元，用于根据所述运算单元得到的区分度的数值选取至少一个数值特征；

比较单元，用于在此后任一帧图像中，通过提取任一图像区域的所述选取单元得到的至少一个数值特征并与所述获取单元得到的对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。

由上述技术方案可知，本发明引入区分度的概念来衡量数值特征所体现出的目标区域与非目标区域差异程度，从而可以根据区分度来选取具体应用于目标跟踪的数值特征，避免了对区分度较小而目标跟踪帮助不大的数值特征的大量重复计算，也减小了算法对数值特征的预先设置方式的依赖性，因此可以解决跟踪算法依赖图像块的数值特征的预先设置方式，可能会导致算法速度低而适应性差的技术问题。

相比于现有技术，本发明由于通过区分度的引入去除了一部分对目标跟踪帮助不大的数值特征，从而避免了对这一部分数值特征的重复性计算，因而可以使速度大大增加；同时进行目标跟踪时所选用的数值特征可以根据区分度的顺序来任意地进行挑选，因而可以适应不同设备或不同应用对跟踪算法在速度上的不同要求。

附图说明

图1是本发明一实施例中一种目标跟踪方法的步骤流程示意图；

图2是本发明一实施例中一种选取数值特征的步骤流程示意图；

图3是本发明一实施例中一种获取匹配程度的步骤流程示意图；

图4是本发明一实施例中一种更新目标特征库的步骤流程示意图；

图5是本发明一实施例中一种获取直方图的步骤流程示意图；

图6是本发明一实施例中一种进行目标跟踪的步骤流程示意图；

图7是本发明一个较佳实施例中一种目标跟踪方法的步骤流程示意图；

图8是本发明一实施例中一种目标跟踪装置的结构框图。

具体实施方式

下面结合附图，对发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。本发明实施例中所使用的“第一”、“第二”仅为更清楚的说明本申请的内容，不具有特定含义，也不限定任何内容。

图1示出了本发明一实施例提供的一种目标跟踪方法的步骤流程示意图，如图1所示，该方法包括：

步骤101：确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

步骤102：从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述提取方式进行若干个数值特征的提取和统计而得到的；

步骤103：对于任一个数值特征，将所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

步骤104：根据所述区分度的数值选取至少一个数值特征；

步骤105：在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。

总体上来说，上述步骤101至步骤104的主要目的是在已知目标区域的一帧图像中提取出若干个数值特征并根据区分度选取在后续目标跟踪中需要用到的至少一个数值特征，上述步骤105则是在此后的任一帧图像中利用选取的至少一个数值特征来进行目标跟踪。可以看出，顺序上上述方法并不一定要按照步骤101至步骤105依次执行，只是在步骤105之前上述方法需要确定选取得到的至少一个数值特征。

根据上述步骤101的记载可以看出，每一个数值特征均是在具有预设大小及预设形状的图像区域中经过提取而得到的。具体地，在具有预设大小及预设形状的图像区域中，任一上述数值特征可以涉及一个或多个具有预定大小和预定形状，并位于预定位置的图像块；上述数值特征的值由一个或多个图像块的数值以任意的数值运算方式计算得到(一般至少涉及求差和求比值中的至少一个，以体现图像块之间的差异)；上述图像块的数值根据该图像块内的所有像素的任意一种属性值以任意的数值运算方式计算得到，本发明均不作限制。

上述步骤102中，靠近目标区域的若干个第一样本区与远离目标区域的若干个第二样本区均是相对于彼此而言的，比如使任一第一样本区相较于任一第二样本区都更加靠近初始目标区域。按照上述步骤101所确定的提取方式，可以提取出任意一个样本区的若干个数值特征。对于任一数值特征，每个第一样本区与每一个第二样本区中的该数值特征可以具有不同的数值，因此可以在全部第一样本区内对该数值特征进行统计，得到第一直方图；并可以在全部第二样本区内对该数值特征进行统计，得到第二直方图。

基于上述第一直方图与上述第二直方图按照包括求差或求比值的预设运算方式进行运算后的运算结果(即第一直方图与第二直方图均有相同的单元划分方式，作为运算结果的直方图中每一个单元的值均是该单元在第一直方图中的值与该单元在第二直方图中的值经过上述预设运算方式运算后得到的)，上述步骤103可以计算任意一个数值特征的区分度。这里的区分度的大小可以代表数值特征所体现出的目标区域与非目标区域差异程度的大小。

由于区分度越大，数值特征可以在目标跟踪中发挥的作用也就越大，因此在得到每一个数值特征的区分度之后，就得到了衡量数值特征的判断标准。因而在上述步骤104中，可以根据需要适当选取数值特征，比如只选取区分度最大的一个数值特征来用作此后帧图像中的目标跟踪。

从而在上述步骤105中，可以通过提取任一图像区域的数值特征(步骤104中选取得到的至少一个数值特征)并与对应的直方图(包括上述第一直方图和上述第二直方图)进行比较，来获取该图像区域与目标区域的匹配程度(因为第一直方图与第二直方图分别代表了目标区域图像的特征和背景区域图像的特征)。由此，可以得到与目标区域的匹配程度最高的若干个图像区域，即可确定目标区域的位置。

可以看出，本发明实施例主要通过引入区分度的概念来衡量数值特征所体现出的目标区域与非目标区域差异程度，从而可以根据区分度来选取具体应用于目标跟踪的数值特征，避免了对区分度较小而目标跟踪帮助不大的数值特征的大量重复计算，也减小了算法对数值特征的预先设置方式的依赖性，因此可以解决跟踪算法依赖图像块的数值特征的预先设置方式，可能会导致算法速度低而适应性差的技术问题。

相比于现有技术，本发明实施例由于通过区分度的引入去除了一部分对目标跟踪帮助不大的数值特征，从而避免了对这一部分数值特征的重复性计算，因而可以使速度大大增加；同时进行目标跟踪时所选用的数值特征可以根据区分度的顺序来任意地进行挑选，因而可以适应不同设备或不同应用对跟踪算法在速度上的不同要求。

进一步地，上述步骤104：根据上述区分度的数值选取至少一个数值特征，可以具体通过下述图2中示出的步骤实现：

步骤104a：将对应于每一数值特征的标识、第一直方图、第二直方图以及区分度数值对应存储，以组成目标特征库；

步骤104b：将上述目标特征库中区分度数值最大的第一预设数量个的数值特征设定为固定特征、在剩余的数值特征中将区分度数值最大的第二预设数量个的数值特征设定为可替换特征。

与之对应地，上述步骤105：在此后任一帧图像中，通过提取任一图像区域的上述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，可以具体通过下述图3中示出的步骤实现：

步骤105a：在此后任一帧图像中，从上述目标特征库中获取固定特征和可替换特征；

步骤105b：提取若干个图像区域中的上述固定特征和上述可替换特征；

步骤105c：通过对任一图像区域的上述固定特征与对应于上述固定特征的所有直方图的比较，以及对任一图像区域的上述可替换特征与对应于上述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度。

其中，目标特征库可以通过步骤101至步骤103建立并存储，并可以用于后续的目标跟踪过程。目标特征库中，数值特征标识用于区分数值特征，第一直方图与第二直方图主要用于匹配目标区域，而区分度则主要用于筛选数值特征。也就是说，上述步骤104中根据区分度选取用于目标跟踪的数值特征具体化为按照区分度从大到小的顺序选取上述固定特征和上述可替换特征。然后在上述步骤105a至步骤105b的目标跟踪流程中，可以结合固定特征与可替换特征来实现上述任一图像区域与目标区域的匹配。当然，具体的结合方式可以是以固定特征为主、可替换特征为辅的加权方式来实现，比如在计算代表匹配程度的数值时，可以将固定特征得到的结果乘以0.6，并将可替换特征得到的结果乘以0.4，并将两者之和作为代表匹配程度的数值。

更进步一地，在上述步骤105c：通过对任一图像区域的上述固定特征与对应于上述固定特征的所有直方图的比较，以及对任一图像区域的上述可替换特征与对应于上述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度之后，上述步骤105还可以包括图4中所示出的步骤：

步骤105d：在确定本帧图像的目标区域后，将本帧图像作为上述已知目标区域的一帧图像，向上述目标特征库添加若干个数值特征，并计算上述目标特征库中所有数值特征的区分度的数值；

步骤105e：根据当前的算法速度需求重新确定上述第二预设数量的值；步骤105f：采用除上述固定特征之外的区分度数值最大的第二预设数量个的数值特征替换原有的可替换特征。

上述步骤105d中，可以按照与步骤101相同的方式再另外确定若干个数值特征的提取方式添加到目标特征库中，并将本帧图像作为上述已知目标区域的一帧图像再次执行上述步骤102、步骤103，以得到目标特征库中每一数值特征的区分度数值。从而，目标特征库中原有的数值特征的区分度会被更新，而新提取的数值特征的区分度也会计算出来，因此可以对所有数值特征重新进行排序。

上述步骤105f中，将固定特征全部保留，并将除固定特征之外的可替换特征按照区分度最大的原则来进行替换，因此可以在每一帧确定目标区域位置后对目标特征库中的可替换特征按照上述方式进行更新。

基于此，固定特征可以在目标跟踪过程中被一直保留着，可以保持主要数值特征的稳定性，防止漂移；而可替换特征可以随着目标跟踪的过程进行动态更新，减少目标跟踪对最初所选用的所有数值特征的依赖性、提高算法的准确程度。而且，每一次可替换特征的替换可以伴随着新的可替换特征的加入和旧的可替换特征的删除，因而可以在适当的设置下实现数值特征使用数目上的动态调整，可以适应不同设备或不同应用在目标跟踪过程中对算法速度的不同要求。具体来说，上述固定特征中数值特征的数量可以由预先设定的第一预设数量来确定，并在目标跟踪过程中一直保持不变；而上述可替换特征中数值特征的数量的初始值可以由预先设定的第二预设数量来确定，但在后续目标跟中过程中第二预设数量的值可以随着算法速度需求的改变来随时进行调整，以适应在目标跟踪过程中对算法速度的不同要求。

基于目标特征库的设置，在上述步骤105d：在确定本帧图像的目标区域后，将本帧图像作为上述已知目标区域的一帧图像，重新确定若干个数值特征的提取方式，并以相同的方式计算出每一个数值特征的区分度的数值、添加至上述目标特征库中之后，上述步骤105还可以包括附图中未示出的下述步骤：

步骤105g：在上述目标特征库中的数值特征数量大于预设阈值时，按照上述区分度的数值从小到大的顺序逐个删除目标特征库中的数值特征，直至上述目标特征库中的数值特征数量小于等于上述预设阈值。

也就是说，预设阈值可以视为目标特征库预设的最大容量，在添加数值特征后超出时可以抛弃区分度数值最小的若干个特征以使目标特征库所占的存储空间有限，避免在目标跟踪过程中出现数据溢出的情况。

另一方面，作为获取上述第一直方图和上述第二直方图的一种示例，上述步骤102：上述从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，可以具体通过下述图5中示出的步骤实现：

步骤102a：按照上述预设大小及预设形状对已知目标区域的一帧图像进行采样，得到靠近目标区域的若干个第一样本区，以及远离目标区域的若干个第二样本区；

步骤102b：按照上述提取方式提取每一个上述第一样本区的若干个数值特征和每一个上述第二样本区的若干个数值特征；

步骤102c：分别在全部第一样本区和全部第二样本区的范围内对上述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图。

进一步地，在上述步骤102c：分别在全部第一样本区和全部第二样本区的范围内对上述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图之后，上述步骤102还可以包括未在附图中示出的下述步骤：

步骤102d：对于任一上述数值特征，计算上述第一直方图与上述第二直方图在同一单元内的值的比值的对数值，得到与该数值特征对应的对数表；

与之对应地，上述步骤105：在此后任一帧图像中，通过提取任一图像区域的上述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，可以具体通过下述图6中示出的步骤实现：

步骤1051：在该帧图像中，提取任一图像区域的上述至少一个数值特征；

步骤1052：将每一个数值特征所在的直方图单元在上述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹配程度的响应值。

另外，作为确定目标区域所在位置的一种示例，在上述步骤105：在此后任一帧图像中，通过提取任一图像区域的上述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度之后，上述方法还可以包括未在附图中示出的下述步骤：

步骤106：在此后任一帧图像中，根据目标区域所在位置的历史记录获取若干个具有上述预设大小及预设形状的候选目标区域；

步骤107：获取每个上述候选目标区域与目标区域的匹配程度，并将匹配程度最高的上述候选目标区域确定为本帧图像中的目标区域。

作为一种提取数值特征与进行目标跟踪的示例，下面以一种较佳实施例具体展示本发明的可选实施方式。

图7是本发明一个较佳实施例中一种目标跟踪方法的步骤流程示意图。参见图7，该方法包括：

701、将目标视为一个整体，根据目标初始区域选取目标正负样本(分别对应上述第一样本区和第二样本区)。

其中，正样本是距离目标最近的一组样本，例如目标通过一个300*300像素的矩形框标识，可以在距离该矩形框最近的范围内选取50个相同大小的矩形框作为正样本。负样本是距离目标较远的一组样本，例如，在距离目标矩形框较远的范围内选取50个相同大小的矩形框作为负样本。这里仅仅是举例，正样本和负样本的数量不做限制。

702、对所有样本以相同的方式分块，并以相同的方式选取N对图像块，经计算得到N维特征向量(N维特征向量中的每一维均对应一个上述数值特征)。

举例来说，目标通过一个300*300像素的矩形框标识，所以可以将目标区域均匀划分为10*10块，每一个图像块为30*30像素。每一个像素块的值为块中所有像素的灰度值之和。采样所用的分布可以是高斯分布、均匀分布或是其他分布，这里不做限制。

N对图像块的位置需要记录下来，后续跟踪过程需要用到。例如随机选取5对图像块，分别为(2，1；4，3)、(5，8；3，9)、(7，1；9，6)、(9，3；4，8)、(6，6；4，7)，这里的坐标为相对于正样本或者负样本的坐标。其中(2，1；4，3)表示第2行第1列的图像块与第4行第3列的图像块作为一对。记录每一对图像块差值，最终形成一个N维特征向量。每一个样本对应一个N维特征向量。

703、根据正负样本利用直方图对N维特征向量的每一维进行特征值的统计(特征分布的拟合)，并保存正负样本直方图的对应直方图单元的比值的对数，形成对数表。

N维特征向量的每一维都相对独立，因此可以对每一维单独做特征分布拟合，同时每一维特征的分布分为正样本特征分布和负样本特征分布。举例来说，对正样本特征的某一维进行特征拟合时，首先得到所有正样本在该维度的值，然后把所有值离散化到直方图中，该直方图可以近似为特征分布结果。直方图拟合方法如下，首先设定直方图的单元数h，例如这里可以设h为30。假定按照均匀分布划分的图像块的大小为r*c像素，那么直方图中每一个直方图单元所包含的范围大小L可以按照下式计算：

$L=\frac{r*c*c*256}{h}$

对于每一个特征值v，其对应的直方图单元可以按照以下公式计算：

$b=\frac{v}{L}+\frac{h}{2}$

对每一个特征的每一维度生成正样本和负样本的特征拟合直方图。最后对直方图进行归一化处理，使得每一个直方图所有单元之和为1。

最后，为N维特征向量中的每一维建立一个对数表，每个对数表保存的数值为正样本和负样本对应单元的比值取对数ratio，具体按照如下公式计算：

$\mathrm{ratio}\left(i\right)=\log \left(\frac{\mathrm{obj}\left(i\right)}{\mathrm{bkg}\left(i\right)}\right)$

其中，obj(i)表示正样本直方图第i个单元的值，bkg(i)表示负样本直方图第i个单元的值。为了避免除零错误，bkg(i)如果为0，则用一个很小的值代替，例如0.001或0.0001等等。

704、后续帧的跟踪过程确定目标的预测位置。

举例来说，一帧图像中目标的预测位置的坐标可以认为与前一帧相同，也可以将前几帧的位移向量做加权平均来获取目标的预测位置，这里可以不做限制。

705、在目标的预测位置周围选取若干候选目标样本区，并对每个候选目标样本区以相同的方式提取N维特征向量。

举例来说，可以以目标的预测位置为中心在一定的半径范围内选取候选目标样本区，所用的分布可以采用高斯分布、均匀分布或是其他分布。每一个候选目标样本区的N维特征向量选择方法与前述702相同。

706、利用分类器计算每一个候选目标样本区的响应值，并根据响应值最大的候选目标样本区确定目标位置。

举例来说，可以利用贝叶斯分类器计算每一个样本的响应值res，具体的计算公式如下：

$\mathrm{res}\left(v\right)={\mathrm{\Σ}}_{i=1}^N\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right)$

其中，y＝1表示正样本特征分布，y＝0表示负样本特征分布。根据v_i的值利用公式：

$b=\frac{v}{L}+\frac{h}{2}$

计算其对应的直方图单元b_i，从第i个对数表中读取b_i直方图单元的值，即为上面求和式中的第i项的值。计算求和式得到每一样本的响应值。并根据响应值最大的候选目标样本区确定目标位置。

可见，上例给出了一种提取数值特征并利用数值特征进行目标跟踪的具体方式，其可以与上述任意一种目标跟踪方法相结合。

另外，在上述任意一种目标跟踪方法的基础上，上述步骤103：对于任一个数值特征，将上述第一直方图与上述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值，可以具体通过下述未在附图中示出的下述步骤实现：

步骤103a：将对应于任一数值特征的上述第一直方图与上述第二直方图中每一个单元的值，按照下述任意一种运算方式进行运算：求差值、求比值、求比值的对数值；

步骤103b：计算出该运算结果在第一直方图表示的特征分布下的方差、在第二直方图表示的特征分布下的方差以及在第一直方图和第二直方图的均值表示的整体特征分布下的方差；

步骤103c：根据上述区分度与该运算结果在第一直方图和第二直方图的均值表示的整体特征分布下的方差呈正相关、与该运算结果在第一直方图表示的特征分布下的方差呈负相关、与该运算结果在第二直方图表示的特征分布下的方差的呈负相关的性质，设定并计算上述区分度的数值。

以求差值为例，上述步骤103a至步骤103c中的区分度的计算过程可以如下所述：

将块特征的正负样本直方图对应的单元做差，得到上述运算结果：

d(i)＝o(i)-b(i)

其中，o(i)表示第一直方图第i个单元的值，b(i)表示第二直方图第i个单元对应的值，d(i)表示上述求差值后的运算结果。利用运算结果d(i)，计算出该运算结果在第一直方图表示的特征分布下的方差：

var(o)＝∑_io(i)*d²(i)-[∑_io(i)*d(i)]²

该运算结果在第二直方图表示的特征分布下的方差：

var(b)＝∑_ib(i)*d²(i)-[∑_ib(i)*d(i)]²

该运算结果在第一直方图和第二直方图的均值表示的整体特征分布下的方差：

$\mathrm{var}\left(a\right)={\mathrm{\Σ}}_i\left(\frac{o\left(i\right)+b\left(i\right)}{2}\right)*d^2\left(i\right)-{[{\mathrm{\Σ}}_i\left(\frac{o\left(i\right)+b\left(i\right)}{2}\right)*d\left(i\right)]}^2$

由于区分度与上述var(a)呈正相关，与上述var(o)以及上述var(b)呈负相关，因而可以利用这一特性设置区分度的计算公式，并利用下式计算特征区分度dis：

$\mathrm{dis}=\frac{\mathrm{var}\left(a\right)}{\mathrm{var}\left(o\right)+\mathrm{var}\left(b\right)}$

从而，可以利用这一计算方法得到任意一个数值特征的区分度数值。

基于同样的发明构思，本发明还提供了一种目标跟踪装置。图8是该目标跟踪装置的结构框图，参见图8，该装置包括：

确定单元81，用于确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

获取单元82，用于从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述确定单元得到的提取方式进行若干个数值特征的提取和统计而得到的；

运算单元83，对于任一个数值特征，将所述获取单元得到的所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

选取单元84，用于根据所述运算单元得到的区分度的数值选取至少一个数值特征；

比较单元85，用于在此后任一帧图像中，通过提取任一图像区域的所述选取单元得到的至少一个数值特征并与所述获取单元得到的对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。

可见，上述结构可以用于执行上述目标跟踪方法中步骤101至步骤105的步骤流程，在此不再详述。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释呈反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在于该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是互相排斥之处，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种目标跟踪方法，其特征在于，包括：

确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述提取方式进行若干个数值特征的提取和统计而得到的；

对于任一个数值特征，将所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

根据所述区分度的数值选取至少一个数值特征；

在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述区分度的数值选取至少一个数值特征，包括：

将对应于每一数值特征的标识、第一直方图、第二直方图以及区分度数值对应存储，以组成目标特征库；

将所述目标特征库中区分度数值最大的第一预设数量个的数值特征设定为固定特征、在剩余的数值特征中将区分度数值最大的第二预设数量个的数值特征设定为可替换特征；

所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，包括：

在此后任一帧图像中，从所述目标特征库中获取固定特征和可替换特征；

提取若干个图像区域中的所述固定特征和所述可替换特征；

通过对任一图像区域的所述固定特征与对应于所述固定特征的所有直方图的比较，以及对任一图像区域的所述可替换特征与对应于所述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度。

3.根据权利要求2所述的方法，其特征在于，在通过对任一图像区域的所述固定特征与对应于所述固定特征的所有直方图的比较，以及对任一图像区域的所述可替换特征与对应于所述可替换特征的所有直方图的比较，得到该图像区域与目标区域的匹配程度之后，还包括：

在确定本帧图像的目标区域后，将本帧图像作为所述已知目标区域的一帧图像，向所述目标特征库添加若干个数值特征，并计算所述目标特征库中所有数值特征的区分度的数值；

根据当前的算法速度需求重新确定所述第二预设数量的值；

采用除所述固定特征之外的区分度数值最大的第二预设数量个的数值特征替换原有的可替换特征。

4.根据权利要求2所述的方法，其特征在于，所述在确定本帧图像的目标区域后，将本帧图像作为所述已知目标区域的一帧图像，重新确定若干个数值特征的提取方式，并以相同的方式计算出每一个数值特征的区分度的数值、添加至所述目标特征库中之后，还包括：

在所述目标特征库中的数值特征数量大于预设阈值时，按照所述区分度的数值从小到大的顺序逐个删除目标特征库中的数值特征，直至所述目标特征库中的数值特征数量小于等于所述预设阈值。

5.根据权利要求1所述的方法，其特征在于，所述从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，包括：

按照所述预设大小及预设形状对已知目标区域的一帧图像进行采样，得到靠近目标区域的若干个第一样本区，以及远离目标区域的若干个第二样本区；

按照所述提取方式提取每一个所述第一样本区的若干个数值特征和每一个所述第二样本区的若干个数值特征；

分别在全部第一样本区和全部第二样本区的范围内对所述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图。

6.根据权利要求5所述的方法，其特征在于，在所述分别在全部第一样本区和全部第二样本区的范围内对所述若干个数值特征进行统计，得到与每一数值特征对应的第一直方图和第二直方图之后，还包括：

对于任一所述数值特征，计算所述第一直方图与所述第二直方图在同一单元内的值的比值的对数值，得到与该数值特征对应的对数表；

所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度，包括：

在该帧图像中，提取任一图像区域的所述至少一个数值特征；

将每一个数值特征所在的直方图单元在所述对数表中的对数值进行求和，得到代表该候选目标样本区与待测目标区域的匹配程度的响应值。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述对于任一个数值特征，将所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值，包括：

将对应于任一数值特征的所述第一直方图与所述第二直方图中每一个单元的值，按照下述任意一种运算方式进行运算：求差值、求比值、求比值的对数值；

计算出该运算结果在第一直方图表示的特征分布下的方差、在第二直方图表示的特征分布下的方差以及在第一直方图和第二直方图的均值表示的整体特征分布下的方差；

根据所述区分度与该运算结果在第一直方图和第二直方图的均值表示的整体特征分布下的方差呈正相关、与该运算结果在第一直方图表示的特征分布下的方差呈负相关、与该运算结果在第二直方图表示的特征分布下的方差的呈负相关的性质，设定并计算所述区分度的数值。

8.根据权利要求1至6中任意一项所述的方法，其特征在于，在具有预设大小及预设形状的图像区域中，任一所述数值特征可以涉及一个或多个具有预定大小和预定形状，并位于预定位置的图像块；所述数值特征的值由一个或多个所述图像块的数值以任意的数值运算方式计算得到；所述图像块的数值根据该图像块内的所有像素的任意一种属性值以任意的数值运算方式计算得到。

9.根据权利要求1至6中任意一项所述的方法，其特征在于，所述在此后任一帧图像中，通过提取任一图像区域的所述至少一个数值特征并与对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度之后，包括：

在此后任一帧图像中，根据目标区域所在位置的历史记录获取若干个具有所述预设大小及预设形状的候选目标区域；

获取每个所述候选目标区域与目标区域的匹配程度，并将匹配程度最高的所述候选目标区域确定为本帧图像中的目标区域。

10.一种目标跟踪装置，其特征在于，包括：

确定单元，用于确定从具有预设大小及预设形状的图像区域中若干个数值特征的提取方式；

获取单元，用于从已知目标区域的一帧图像中获取与每一数值特征对应的第一直方图和第二直方图，所述第一直方图和第二直方图是分别通过对图像中靠近目标区域的若干个第一样本区和远离目标区域的若干个第二样本区按照所述确定单元得到的提取方式进行若干个数值特征的提取和统计而得到的；

运算单元，对于任一个数值特征，将所述获取单元得到的所述第一直方图与所述第二直方图中任一单元的值按照包括求差或求比值的预设运算方式进行运算，并根据运算结果计算出代表该数值特征所体现出的目标区域与非目标区域差异程度的区分度的数值；

选取单元，用于根据所述运算单元得到的区分度的数值选取至少一个数值特征；

比较单元，用于在此后任一帧图像中，通过提取任一图像区域的所述选取单元得到的至少一个数值特征并与所述获取单元得到的对应的直方图进行比较，来获取该图像区域与目标区域的匹配程度。