CN103679743B - 目标跟踪装置和方法，以及照相机 - Google Patents

Abstract

本发明提供了一种目标跟踪装置和方法以及照相机。所述目标跟踪装置用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定图像序列中的每个后续图像中的估计包含目标的目标区域。所述目标跟踪装置包括：第一跟踪部件，用于确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；第二跟踪部件，用于基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；以及加权部件，用于计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域。

Description

目标跟踪装置和方法，以及照相机

技术领域

本发明涉及计算机视觉领域，更具体而言，涉及一种目标跟踪装置和方法以及一种照相机。

背景技术

目标跟踪是计算机视觉领域的一个重要课题，具有广泛的应用场景。通过目标跟踪，可以在动态或静态图像序列例如视频图像中跟踪一个指定目标，并输出该目标在图像序列中的每帧或每个图像中的位置。通常用例如矩形或其它形状的目标区域来指示目标的位置。

在目前常见的目标跟踪技术中，输出的目标区域的大小是固定的，不随目标的形状或大小的改变而改变。在少数改进的目标跟踪技术中，输出的目标区域的大小可以改变但形状不变（即长宽比不变）。极少数改进的目标跟踪技术涉及形状或大小任意改变的目标区域。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述状况，本发明的一个目的是提出一种目标跟踪装置和方法以及一种照相机，其可以良好地跟踪形状或大小改变的目标。

根据本发明的一个方面，提供了一种目标跟踪装置，用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定所述图像序列中的每个后续图像中的估计包含所述目标的目标区域。所述目标跟踪装置包括：第一跟踪部件，用于确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；第二跟踪部件，用于基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；以及加权部件，用于计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域。

根据本发明的另一方面，提供了一种目标跟踪方法，用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定所述图像序列中的后续图像中的估计包含所述目标的目标区域。所述目标跟踪方法包括：确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；以及计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域。

根据本发明的又一方面，提供了一种照相机，包括：图像获取部件，用于获取图像序列，并在所述图像序列中的初始图像中确定包含目标的预定目标区域；以及目标跟踪部件，用于根据所述初始图像中的预定目标区域确定所述图像序列中的后续图像中的估计包含所述目标的目标区域。其中，所述目标跟踪部件包括：第一跟踪部件，用于确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；第二跟踪部件，用于基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；以及加权部件，用于计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域。

根据本发明的上述方面的目标跟踪装置、方法以及照相机，通过确定每个图像中的大小固定的第一候选目标区域和与图像中的目标的形状或大小相适应的第二候选目标区域，并计算二者的加权和，来得到每个图像中的目标区域。这样，可以使得跟踪得到的目标区域的大小适应目标的形状或大小的改变，并且可以避免在单独使用与图像中的目标的形状或大小相适应的第二候选目标区域的情况下可能造成的大的跟踪误差甚至目标丢失的风险。

附图说明

本发明可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本发明的优选实施例和解释本发明的原理和优点。在附图中：

图1示出根据本发明的一个实施例的目标跟踪装置的示意性框图；

图2示出图1所示的目标跟踪装置的示意性工作流程图；

图3示出根据本发明的另一个实施例的目标跟踪装置的示意性框图；

图4示出根据本发明的一个实施例的第一跟踪部件的示意性工作流程图；

图5示出根据本发明的一个实施例的第二跟踪部件的示意性框图；

图6示出图5所示的第二跟踪部件的示意性工作流程图；

图7示出根据本发明的一个实施例的加权部件的示意性框图；

图8示出图7所示的加权部件的示意性工作流程图；

图9示出根据本发明的另一个实施例的加权部件的示意性框图；

图10示出根据本发明的又一个实施例的加权部件的示意性框图；

图11示出根据本发明的一个实施例的照相机的示意性框图；以及

图12示出可以实现本发明的实施例/示例的计算机的结构的示例性框图。

具体实施方式

下面将参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1示出根据本发明的一个实施例的目标跟踪装置的示意性框图。其中的目标跟踪装置100用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定图像序列中的每个后续图像中的估计包含目标的目标区域。如图1所示，目标跟踪装置100包括第一跟踪部件110、第二跟踪部件120和加权部件130。以下结合图2来描述目标跟踪装置100的示例性工作流程。

图2示出图1所示的目标跟踪装置的示意性工作流程图，即根据本发明的一个实施例的目标跟踪方法。如图2所示，在步骤S210中，确定每个后续图像中的第一候选目标区域。也就是说，利用第一目标跟踪方法来在图像序列中跟踪目标，所输出的每个后续图像的目标区域作为该后续图像的第一候选目标区域。对于每个后续图像，第一候选目标区域的大小是固定的。在步骤S220中，基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域。也就是说，利用第二目标跟踪方法来在图像序列中跟踪目标，所输出的每个后续图像的目标区域作为该后续图像的第二候选目标区域。对于每个后续图像，第二候选目标区域与所述后续图像中目标的形状或大小相适应。在步骤S230中，计算每个后续图像中的第一候选目标区域和第二候选目标区域的加权和，作为所述后续图像中的目标区域。这里，步骤S210可以由第一跟踪部件110执行，步骤S220可以由第二跟踪部件120执行，步骤S230可以由加权部件130执行。

应当理解，第一跟踪部件110和第二跟踪部件120可以分别使用任何已知的或者将来开发出的合适的目标跟踪方法来确定每个后续图像中的第一候选目标区域和第二候选目标区域。例如，第一跟踪部件110可以利用均值平移（mean shift）算法来确定每个后续图像中的第一候选目标区域，和/或第二跟踪部件120可以利用拟合方法或连通域分析方法来确定每个后续图像中的第二候选目标区域。作为示例而不是限制，以下描述第一和第二跟踪部件分别根据图像的置信度图来确定第一和第二候选目标区域的实施例。

如图3所示，作为一种具体实施方式，目标跟踪装置100’包括第一跟踪部件110、第二跟踪部件120、加权部件130和置信度生成部件140。其中，置信度生成部件140用于根据图像序列中的每个后续图像的前一图像的目标区域生成每个后续图像的置信度图。每个后续图像的置信度图中的每个像素的值表示所述后续图像中的位置与该像素相同的像素属于目标的置信度。第一跟踪部件110在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域。第二跟踪部件120基于每个后续图像中的第一候选目标区域，在所述后续图像的置信度图中确定所述后续图像的第二候选目标区域。加权部件130的功能与图1中所示的相同。

应当理解，在本发明的实施例中可以使用后续图像的各种特征来生成后续图像的置信度图。例如，可以使用后续图像的颜色特征、纹理特征或二者的组合来生成置信度图，而没有限制。为了说明的目的，以下给出利用后续图像的颜色特征来生成置信度图的示例。

在一个示例中，每个后续图像的置信度图是所述后续图像的颜色置信度图，也就是说，使用颜色特征来生成置信度图。其中，每个像素的值是后续图像中的该像素位置的颜色在所述后续图像的目标区域中的分布概率与该颜色在所述后续图像中的分布概率之比。这可以由以下的公式1指示：

$p\left(\mathrm{obj}\right|c_i)=\frac{p(c_i,\mathrm{obj})}{p\left(c_i\right)}$ （公式1）

其中，c_i表示值为i的颜色，i的取值范围取决于后续图像的颜色空间的大小，例如在灰度图像中，i的取值范围为[0,255]，在RGB图像中，i的取值范围为[0,255×255×255]；p(c_i,obj)表示颜色c_i在目标区域中的分布概率，p(c_i)表示颜色c_i在整个后续图像中的分布概率，p(obj|c_i)是前述两个分布概率之比，并作为具有颜色c_i的像素在置信度图中的像素值。

上述分布概率之比越大，表明具有该颜色的像素属于目标的可能性越大。

由于此时还未确定后续图像的目标区域，可以以图像序列中的所述后续图像的前一图像的目标区域作为所述后续图像的目标区域。

在上述示例的一个变型中，每个像素的值是后续图像中的该像素位置的颜色在所述后续图像的目标区域中的分布概率与该颜色在所述后续图像中的包含所述目标区域的预定大小的区域中的分布概率之比。也就是说，在该变型中，上述公式1中的p(c_i)变为表示颜色c_i在后续图像的预定大小的区域中的分布概率。

在上述示例的一个变型中，使用颜色区间来生成置信度图，以节省计算资源。具体而言，后续图像的颜色置信度图中每个像素的值是所述后续图像中的该像素位置的颜色所在的颜色区间在所述后续图像的目标区域中的分布概率与该颜色所在的颜色区间在所述后续图像中的分布概率之比。在这种情况下，以上公式1中的c_i可以表示颜色区间i。每个颜色区间的宽度可以根据实际需要来设定。作为一种实现方式，可以生成每个后续图像的颜色直方图，以颜色直方图中的颜色区间（bin）用作以上分布概率计算中使用的颜色区间。

在上述示例的另一个变型中，置信度图生成部件140进一步提取每个后续图像中颜色的所述分布概率之比高于第一预定阈值的像素组成该后续图像的颜色置信度图。也就是说，在置信度图中，后续图像中颜色的所述分布概率之比等于或低于第一预定阈值的像素的位置上的值将被设置为零。上述分布概率之比高，则表明具有该颜色的像素属于目标的可能性高；反之，则表明具有该颜色的像素属于目标的可能性低，而属于背景的可能性高。以属于目标的可能性高的像素组成置信度图，而去除属于背景的可能性高的像素，可以在一定程度上减轻背景对后续处理的干扰。

在使用颜色特征来生成置信度图的另一个示例中，置信度图中每个像素的值可以是对应的后续图像中的该像素位置的颜色值与后续图像中的位于目标区域之外的每个像素的颜色值的差值的绝对值的总和。该总和越小，表明该像素的颜色与背景的颜色越接近，属于背景的可能性越大。该总和越大，表明该像素的颜色与背景的差异越大，属于目标的可能性越大。在该示例中，同样可以以图像序列中的所述后续图像的前一图像的目标区域作为所述后续图像的目标区域。

上述示例中以颜色特征来生成置信度图。由于后续图像中像素的值即表示颜色值，因此节省了根据像素值计算特征值的过程，提高了计算效率。

关于使用其他特征如纹理特征或颜色与纹理特征的组合来生成置信度图的示例，实现原理与颜色置信度图的生成原理基本相同。例如，后续图像的置信度图中的每个像素的值是该后续图像中的该像素位置的特征的值（简称特征值）在该后续图像的目标区域中的像素的特征值中分布概率与该特征值在该后续图像的所有像素的特征值中的分布概率之比。同样，可以以图像序列中的所述后续图像的前一图像的目标区域作为所述后续图像的目标区域。这里不再一一列举。

作为示例而不是限制，在根据本发明的一个实施例中，第一跟踪部件110可以使用均值平移（mean shift）算法在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域。图4示出根据所述实施例的第一跟踪部件110的示意性工作流程图。该工作流程也是图2中的步骤S210的一种具体实现。

在现有技术中，均值平移算法的每次迭代都在相同的置信度图上进行。为了提高目标跟踪的效率，在本发明的一个实施例中，在均值平移算法的每一次迭代中，利用前一次迭代的结果来更新后续图像的置信度图，并在更新后的置信度图上进行均值平移。具体而言，针对每个后续图像，在均值平移算法的第一次迭代中，置信度图生成部件120使用所述后续图像的前一图像的目标区域生成用于本次迭代的所述后续图像的置信度图，在均值平移算法的后续迭代中，置信度图生成部件120根据前一次迭代所确定的第一候选目标区域来重新生成用于本次迭代的所述后续图像的置信度图。

针对每个后续图像，在均值平移算法的每次迭代中，第一跟踪部件110计算用于本次迭代的置信度图上的位于前一次迭代所确定的第一候选目标区域中的像素值的重心，并更新第一候选目标区域的位置，以使得更新后的第一候选目标区域的中心与所述重心重合。当均值平移算法的迭代满足一定条件停止时，最后一次迭代所获得的第一候选目标区域用作所述后续图像的最终第一候选目标区域。

关于均值平移算法本身的更多细节，可以参考现有技术中的相关描述，这里不再赘述。

图5示出根据本发明的一个实施例的第二跟踪部件的示意性框图。如图5所示，第二跟踪部件120包括目标估计部件121和区域确定部件122。以下结合图6来描述第二跟踪部件120的示例性工作流程。该工作流程也是图2中的步骤S220的一种具体实现。

如图6所示，在步骤S221中，基于每个后续图像中的第一候选目标区域从所述后续图像的置信度图获得目标在该后续图像中的估计，即确定该后续图像中的哪些像素属于目标。在步骤S222中，从目标在每个后续图像中的估计确定该后续图像的第二候选目标区域。这里，步骤S221可以由目标估计部件121执行，并且步骤S222可以由区域确定部件122执行。

作为示例而不是限制，目标估计部件121所使用的每个后续图像的置信度图可以是第一跟踪部件110对所述后续图像的均值平移算法的最后一次迭代中生成的置信度图。这可以节省计算资源。或者，也可以由置信度图生成部件140根据每个后续图像的第一候选目标区域生成目标估计部件121所使用的该后续图像的置信度图。

目标估计部件121可以使用任何已知的或者将来开发出的合适的方法来获得目标的估计。作为示例而不是限制，目标估计部件121可以使用高斯拟合方法或连通域分析方法来从每个后续图像的置信度图中获得目标在该后续图像中的估计。

在一个示例中，目标估计部件121使用高斯拟合方法来获得目标在每个后续图像中的估计。具体而言，目标估计部件121可以利用后续图像中的每个像素在置信度图中的置信度作为权重，分别计算该后续图像中的所有像素的像素值在该后续图像的两个坐标轴方向（x轴和y轴）上的均值，这可以由以下的公式2和3表示；利用后续图像中的每个像素在置信度图中的置信度作为权重，根据所有像素的像素值在相应坐标轴方向上的均值，分别计算该后续图像中的所有像素的像素值在所述两个坐标轴方向上的方差，这可以由以下的公式4和5表示；利用后续图像中的每个像素在置信度图中的置信度作为权重，根据所有像素的像素值在相应坐标轴方向上的均值和方差，计算该后续图像中的所有像素的像素值的协方差，这可以由以下的公式6表示；以及根据所述均值、方差和协方差计算该后续图像的高斯拟合图中的每个像素的值，这可以由以下的公式7表示。在此示例中，例如，区域确定部件122可以对高斯拟合图中的像素值高于预定阈值的像素分布区域做外接矩形或外接其他预定形状，以所述矩形或所述其他预定形状来作为所述后续图像中的第二候选目标区域。

${\mathrm{\μ}}_x=\frac{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}(x\·B_{x,y})}{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}{B}_{x,y}},$ （公式2）

${\mathrm{\μ}}_y=\frac{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}(y\·B_{x,y})}{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}{B}_{x,y}},$ （公式3）

${\mathrm{\σ}}_x=\sqrt{\frac{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}[{(x-{\mathrm{\μ}}_x)}^2\·B_{x,y}]}{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}{B}_{x,y}}},$ （公式4）

${\mathrm{\σ}}_y=\sqrt{\frac{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}[{(y-{\mathrm{\μ}}_y)}^2\·B_{x,y}]}{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}{B}_{x,y}}},$ （公式5）

${\mathrm{\ρ}}_{\mathrm{xy}}^2=\frac{\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}\left[(x-{\mathrm{\μ}}_x)(y-{\mathrm{\μ}}_y)B_{x,y}\right]}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y\·\underset{\mathrm{all}\_\mathrm{pixels}}{\mathrm{\Σ}}{B}_{x,y}},$ （公式6）

$f(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}_x{\mathrm{\σ}}_y\sqrt{1-{\mathrm{\ρ}}_{\mathrm{xy}}^2}}\exp [-\frac{1}{2(1-{\mathrm{\ρ}}_{\mathrm{xy}}^2)}\{\frac{{(x-{\mathrm{\μ}}_x)}^2}{{\mathrm{\σ}}_x^2}+\frac{{(y-{\mathrm{\μ}}_y)}^2}{{\mathrm{\σ}}_y^2}-\frac{2{\mathrm{\ρ}}_{\mathrm{xy}}^2(x-{\mathrm{\μ}}_x)(y-{\mathrm{\μ}}_y)}{{\mathrm{\σ}}_x{\mathrm{\σ}}_y}\left\}\right]$

。（公式7）

在以上公式中，B_x，y表示后续图像中的像素（x,y）在该后续图像的置信度图中的置信度。

在另一个示例中，目标估计部件121使用连通域分析方法来获得目标在每个后续图像中的估计。具体而言，目标估计部件121可以根据预定的阈值将每个后续图像的置信度图二值化，以得到二值化的置信度图中的一个或多个白连通域；以所述一个或多个白连通域作为目标在该后续图像中的估计。优选地，目标估计部件121可以将二值化的置信度图中的一个或多个白连通域中的孤立的小的白连通域去除，以剩余的白连通域作为目标在该后续图像中的估计，以去除噪声的影响。在此示例中，例如，区域确定部件122可以对作为目标的估计的白连通域做外接矩形或外接其他预定形状，以所述矩形或其他预定形状来作为所述后续图像中的第二候选目标区域。

关于高斯拟合方法或连通域分析方法的更多细节，可以参考现有技术中的相关描述，这里不具体描述。

目标估计部件121还可以使用其他拟合方法如椭圆拟合方法等来从每个后续图像的置信度图中获得目标在该后续图像中的估计，这里不再一一赘述。

区域确定部件122可以以任何合适的方法来从目标的估计确定第二候选目标区域。例如，区域确定部件122可以对目标在每个后续图像中的估计做外接矩形或外接其他预定形状，以所述矩形或其他预定形状来作为所述后续图像中的第二候选目标区域。

图7示出根据本发明的一个实施例的加权部件的示意性框图。如图7所示，加权部件130包括颜色直方图生成部件131、权重计算部件132、加权和计算部件133。以下结合图8来描述加权部件130的示意性工作流程图。该工作流程也是图2中的步骤S230的一种具体实现。

如图8所示，在步骤S231中，分别生成初始图像中的预定目标区域以及每个后续图像的第一和第二候选目标区域的颜色直方图。在步骤S232中，将每个后续图像的第一和第二候选目标区域的颜色直方图分别与图像序列中的初始图像的预定目标区域的颜色直方图做比较，以确定该后续图像的第一和第二候选目标区域的权重。其中，与初始图像的预定目标区域的颜色直方图的差异越小，权重越大。在步骤S233中，根据每个后续图像的第一和第二候选目标区域的权重计算该后续图像的第一和第二候选目标区域的加权和。这里，步骤S231可以由颜色直方图生成部件131执行，步骤S232可以由权重计算部件132执行，步骤S233可以由加权和计算部件133执行。

权重计算部件132可以使用任何适合的方法来计算第一和第二候选目标区域的颜色直方图分别与图像序列中的初始图像的预定目标区域的颜色直方图的距离，以确定第一候选目标区域和第二候选目标区域的权重。例如，权重计算部件132可以计算第一和第二候选目标区域的颜色直方图分别与图像序列中的初始图像的预定目标区域的颜色直方图的欧式距离或曼哈顿距离等。在本发明的一个实施例中，权重计算部件132分别计算后续图像的第一和第二候选目标区域的颜色直方图与初始图像的预定目标区域的颜色直方图的巴氏距离，并以相应的巴氏距离作为第一和第二候选目标区域的权重。巴氏距离的优点是其范围在[0,1]之间，并且颜色直方图之间的差异越小（表明图像间的相似度越高），巴氏距离的值越大，因此可以直接用来作为权重。

加权和计算部件133可以使用任何适合的方法来计算后续图像中的第一候选目标区域和第二候选目标区域的加权和。例如，可以分别计算第一和第二候选目标区域的长度、宽度和中心的加权和，并用长度、宽度和中心的加权和作为新的长度、宽度和中心来确定后续图像的目标区域。

另外，在计算第一和第二候选目标区域的加权和之前，可以先对它们的权重进行归一化，以防止由于权重值过大或过小导致所生成的目标区域与实际目标大小差异过大。

尽管以上描述了加权部件130通过比较后续图像的第一和第二候选目标区域的颜色直方图与初始图像的预定目标区域的颜色直方图来确定第一和第二候选目标区域的权重，但这只是为了说明而不是为了限制。根据本发明实施例的加权部件130可以使用任何适合的方法来获得后续图像中的第一候选目标区域和第二候选目标区域的权重。例如，可以直接使用预先设定的权重。

图9示出根据本发明的另一个实施例的加权部件的示意性框图。在图9所示的加权部件130’中，除了颜色直方图生成部件131、权重计算部件132、加权和计算部件133之外，还包括图像背景去除部件134。图像背景去除部件134用于分别根据初始图像和每个后续图像的置信度图将初始图像和后续图像中的置信度低于第二预定阈值的像素的值设置为零，以分别去除初始图像和后续图像中的背景。相应地，颜色直方图生成部件131分别生成去除了背景的初始图像中的预定目标区域以及去除了背景的每个后续图像的第一和第二候选目标区域的颜色直方图。权重计算部件132与加权和计算部件133的功能可以与图7所示的实施例相同。初始图像和后续图像中的置信度低的像素属于背景的可能性大，通过在生成颜色直方图之前去除图像中的属于背景的可能性大的像素，可以在一定程度上减轻背景对后续权重计算处理的干扰。

图10示出根据本发明的又一个实施例的加权部件的示意性框图。在图10所示的加权部件130”中，除了颜色直方图生成部件131、权重计算部件132、加权和计算部件133、图像背景去除部件134之外，还包括直方图背景去除部件135。直方图背景去除部件135用于分别从每个后续图像的第一和第二候选目标区域的颜色直方图中去除初始图像的预定目标区域的颜色直方图中不存在的颜色区间，以相对于初始图像的预定目标区域的颜色直方图去除第一和第二候选目标区域的颜色直方图中的背景颜色。初始图像的预定目标区域的颜色直方图中不存在的颜色区间属于背景的可能性大，通过从第一和第二候选目标区域的颜色直方图中去除的初始图像的预定目标区域的颜色直方图中不存在的颜色区间，可以在一定程度上减轻背景对后续权重计算处理的干扰。

图10中的图像背景去除部件134以虚线示出，表示加权部件130”可以包括图像背景去除部件134，也可以不包括图像背景去除部件134。

本发明的目标跟踪技术可以应用于各种需要跟踪目标的场景。图11示出应用了本发明的目标跟踪技术的照相机的示意性框图。为了简明起见，图中仅仅示出了与本发明密切相关的部分。如图11所示，照相机1100包括图像获取部件1110和目标跟踪部件1120。图像获取部件1110用于获取图像序列，并确定所述图像序列中的初始图像中的包含目标的目标区域。目标跟踪部件1120用于根据初始图像中的目标区域确定图像序列中的后续图像中的估计包含目标的目标区域，并包括第一跟踪部件1121、第二跟踪部件1122和加权部件1123。目标跟踪部件1120可以由根据本发明的实施例的目标跟踪部件100来实施。

作为示例而不是限制，图像获取部件1110可以接收人工输入的图像信息（例如，通过人工地划定区域或指点目标）并根据所述人工输入的图像信息确定初始图像中的目标区域。或者，图像获取部件1110也可以通过现有的适当方法自动地识别到初始图像中的目标区域，例如自动地识别初始图像中的预定区域作为初始图像的目标区域。这里不对此进行详细描述，以免不必要地模糊本发明。

根据本发明的上述方面的目标跟踪装置、方法以及照相机，通过确定每个图像中的大小固定的第一候选目标区域和与图像中的目标的形状或大小相适应的第二候选目标区域，并计算二者的加权和，来得到每个图像中的目标区域。这样，可以使得跟踪得到的目标区域的大小适应目标的形状或大小的改变，并且可以避免在单独使用与图像中的目标的形状或大小相适应的第二候选目标区域的情况下可能造成的大的跟踪误差甚至目标丢失的风险。

应当理解，根据本发明实施例的各个装置中各个组成部件、单元可以通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

图12示出可以实现本发明的实施例/示例的计算机的结构的示例性框图。在图12中，中央处理单元（CPU）1201根据只读存储器（ROM）1202中存储的程序或从存储部分1208加载到随机存取存储器（RAM）1203的程序执行各种处理。在RAM 1203中，还根据需要存储当CPU 1201执行各种处理等等时所需的数据。CPU 1201、ROM 1202和RAM 1203经由总线1204彼此连接。输入/输出接口1205也连接到总线1204。

下述部件连接到输入/输出接口1205：输入部分1206（包括键盘、鼠标等等）、输出部分1207（包括显示器，比如阴极射线管（CRT）、液晶显示器（LCD）等，和扬声器等）、存储部分1208（包括硬盘等）、通信部分1209（包括网络接口卡比如LAN卡、调制解调器等）。通信部分1209经由网络比如因特网执行通信处理。根据需要，驱动器1210也可连接到输入/输出接口1205。可拆卸介质1211比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1210上，使得从中读出的计算机程序根据需要被安装到存储部分1208中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1211安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图12所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1211。可拆卸介质1211的例子包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（CD-ROM）和数字通用盘（DVD））、磁光盘（包含迷你盘（MD）（注册商标））和半导体存储器。或者，存储介质可以是ROM 1202、存储部分1208中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的目标跟踪方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本发明的实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式做出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。

Claims (21)

1.一种目标跟踪装置，用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定所述图像序列中的每个后续图像中的估计包含所述目标的目标区域，所述目标跟踪装置包括：

第一跟踪部件，用于确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；

第二跟踪部件，用于基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；

加权部件，用于计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域；以及

置信度图生成部件，用于根据所述图像序列中的每个后续图像的前一图像的目标区域生成每个后续图像的置信度图，所述置信度图中的每个像素的值表示所述后续图像中的位置与该像素相同的像素属于所述目标的置信度。

2.根据权利要求1的目标跟踪装置，其中，所述第一跟踪部件在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域，并且所述第二跟踪部件在每个后续图像的置信度图中确定所述后续图像的第二候选目标区域。

3.根据权利要求2的目标跟踪装置，其中，所述第一跟踪部件进一步用于使用均值平移算法在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域，

其中，针对每个后续图像，在均值平移算法的第一次迭代中，所述置信度图生成部件使用所述后续图像的前一图像的目标区域生成用于本次迭代的所述后续图像的置信度图，在均值平移算法的后续迭代中，所述置信度图生成部件根据前一次迭代所确定的第一候选目标区域来重新生成用于本次迭代的所述后续图像的置信度图。

4.根据权利要求3的目标跟踪装置，其中，针对每个后续图像，在均值平移算法的每次迭代中，所述第一跟踪部件计算用于本次迭代的置信度图上的位于前一次迭代所确定的第一候选目标区域中的像素值的重心，并更新所述第一候选目标区域的位置，以使得更新后的所述第一候选目标区域的中心与所述重心重合。

5.根据权利要求1的目标跟踪装置，其中，所述第二跟踪部件利用拟合方法或连通域分析方法来确定每个后续图像中的第二候选目标区域。

6.根据权利要求3的目标跟踪装置，其中，所述第二跟踪部件包括：

目标估计部件，用于基于每个后续图像中的第一候选目标区域从所述后续图像的置信度图获得所述目标在所述后续图像中的估计；以及

区域确定部件，用于从所述目标在每个后续图像中的估计确定所述后续图像的第二候选目标区域，

其中，所述目标估计部件所使用的每个后续图像的置信度图是所述后续图像的用于均值平移算法的最后一次迭代的置信度图。

7.根据权利要求2的目标跟踪装置，其中，所述第二跟踪部件包括：

目标估计部件，用于基于每个后续图像中的第一候选目标区域从所述后续图像的置信度图获得所述目标在所述后续图像中的估计；以及

区域确定部件，用于从所述目标在所述后续图像中的估计确定所述后续图像的第二候选目标区域，

其中，所述置信度图生成部件根据每个后续图像的第一候选目标区域生成所述目标估计部件所使用的所述后续图像的置信度图。

8.根据权利要求6或7的目标跟踪装置，其中，所述目标估计部件使用高斯拟合方法或连通域分析方法来从每个后续图像的置信度图中获得所述目标在所述后续图像中的估计。

9.根据权利要求2的目标跟踪装置，其中，每个后续图像的置信度图是所述后续图像的颜色置信度图，其中每个像素的值是所述后续图像中的该像素位置的颜色在所述后续图像的目标区域中的分布概率与该颜色在所述后续图像中的分布概率之比，其中以所述图像序列中的所述后续图像的前一图像的目标区域作为所述后续图像的目标区域。

10.根据权利要求9的目标跟踪装置，其中，所述后续图像的颜色置信度图中每个像素的值是所述后续图像中的该像素位置的颜色所在的颜色区间在所述后续图像的目标区域中的分布概率与该颜色所在的颜色区间在所述后续图像中的分布概率之比。

11.根据权利要求9的目标跟踪装置，其中，所述置信度图生成部件进一步提取所述后续图像中颜色的所述分布概率之比高于第一预定阈值的像素组成所述后续图像的颜色置信度图。

12.根据权利要求1的目标跟踪装置，其中，所述加权部件包括：

颜色直方图生成部件，用于分别生成所述初始图像中的预定目标区域以及每个后续图像的第一和第二候选目标区域的颜色直方图；

权重计算部件，用于将每个后续图像的第一和第二候选目标区域的颜色直方图分别与所述初始图像的预定目标区域的颜色直方图做比较，以确定所述后续图像的第一和第二候选目标区域的权重，其中与所述初始图像的预定目标区域的颜色直方图的差异越小，权重越大；以及

加权和计算部件，用于根据每个后续图像的第一和第二候选目标区域的权重计算所述后续图像的第一和第二候选目标区域的加权和。

13.根据权利要求2的目标跟踪装置，其中，所述加权部件包括：

图像背景去除部件，用于分别根据所述初始图像和每个后续图像的置信度图将所述初始图像和所述后续图像中的置信度低于第二预定阈值的像素的值设置为零，以分别去除所述初始图像和所述后续图像中的背景；

颜色直方图生成部件，用于分别生成去除了背景的所述初始图像中的预定目标区域以及去除了背景的每个后续图像的第一和第二候选目标区域的颜色直方图；

权重计算部件，用于将每个后续图像的第一和第二候选目标区域的颜色直方图分别与所述初始图像的预定目标区域的颜色直方图做比较，以确定所述后续图像的第一和第二候选目标区域的权重，其中与所述初始图像的预定目标区域的颜色直方图的差异越小，权重越大；以及

加权和计算部件，用于根据每个后续图像的第一和第二候选目标区域的权重计算所述后续图像的第一和第二候选目标区域的加权和，

其中，所述置信度图生成部件还用于生成所述初始图像的置信度图，所述置信度图中的每个像素的值表示所述初始图像中的位置与该像素相同的像素属于所述目标的置信度。

14.根据权利要求12或13的目标跟踪装置，其中，所述权重计算部件分别计算所述后续图像的第一和第二候选目标区域的颜色直方图与所述初始图像的预定目标区域的颜色直方图的巴氏距离，并以相应的巴氏距离作为所述后续图像的第一和第二候选目标区域的权重。

15.根据权利要求12或13的目标跟踪装置，其中，所述加权部件还包括：

直方图背景去除部件，用于分别从每个后续图像的第一和第二候选目标区域的颜色直方图中去除所述初始图像的预定目标区域的颜色直方图中不存在的颜色区间，以相对于所述初始图像的预定目标区域的颜色直方图去除所述第一和第二候选目标区域的颜色直方图中的背景颜色，

其中，所述权重计算部件将每个后续图像的第一和第二候选目标区域的去除了背景颜色的颜色直方图分别与所述初始图像的预定目标区域的颜色直方图做比较，以确定所述后续图像的第一和第二候选目标区域的权重。

16.一种目标跟踪方法，用于根据图像序列中的初始图像中的包含目标的预定目标区域，确定所述图像序列中的后续图像中的估计包含所述目标的目标区域，所述方法包括：

确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；

基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；

计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域；以及

根据所述图像序列中的每个后续图像的前一图像的目标区域生成每个后续图像的置信度图，所述置信度图中的每个像素的值表示所述后续图像中的位置与该像素相同的像素属于所述目标的置信度。

17.根据权利要求16的目标跟踪方法，其中，

所述确定每个后续图像中的第一候选目标区域包括：在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域；以及

所述确定所述后续图像中的第二候选目标区域包括：在每个后续图像的置信度图中确定所述后续图像的第二候选目标区域。

18.根据权利要求17的目标跟踪方法，其中，所述在每个后续图像的置信度图中确定每个后续图像中的第一候选目标区域包括：

使用均值平移算法在每个后续图像的置信度图中确定所述后续图像的第一候选目标区域，

其中，针对每个后续图像，在均值平移算法的第一次迭代中，使用所述后续图像的前一图像的目标区域生成用于本次迭代的所述后续图像的置信度图，在均值平移算法的后续迭代中，根据前一次迭代所确定的第一候选目标区域来重新生成用于本次迭代的所述后续图像的置信度图。

19.根据权利要求18的目标跟踪方法，其中，所述在每个后续图像的置信度图中确定所述后续图像的第二候选目标区域包括：

基于每个后续图像中的第一候选目标区域从所述后续图像的置信度图获得所述目标的估计；以及

从所述目标在每个后续图像中的估计确定所述后续图像的第二候选目标区域，

其中，获得所述目标的估计所使用的每个后续图像的置信度图是所述后续图像的用于均值平移算法的最后一次迭代的置信度图。

20.根据权利要求16的目标跟踪方法，其中，所述计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和包括：

分别生成所述初始图像中的预定目标区域以及每个后续图像的第一和第二候选目标区域的颜色直方图；

将每个后续图像的第一和第二候选目标区域的颜色直方图分别与所述初始图像的预定目标区域的颜色直方图做比较，以确定所述后续图像的第一和第二候选目标区域的权重，其中与所述初始图像的预定目标区域的颜色直方图的差异越小，权重越大；以及

根据每个后续图像的第一和第二候选目标区域的权重计算所述后续图像的第一和第二候选目标区域的加权和。

21.一种照相机，包括：

图像获取部件，用于获取图像序列，并确定所述图像序列中的初始图像中的包含目标的目标区域；以及

目标跟踪部件，用于根据所述初始图像中的目标区域确定所述图像序列中的后续图像中的估计包含所述目标的目标区域，

其中，所述目标跟踪部件包括：

第一跟踪部件，用于确定每个后续图像中的第一候选目标区域，对于每个后续图像所述第一候选目标区域的大小是固定的；

第二跟踪部件，用于基于每个后续图像中的第一候选目标区域确定所述后续图像中的第二候选目标区域，对于每个后续图像所述第二候选目标区域与所述后续图像中所述目标的形状或大小相适应；

加权部件，用于计算每个后续图像中的所述第一候选目标区域和所述第二候选目标区域的加权和，作为所述后续图像中的目标区域；以及

置信度图生成部件，用于根据所述图像序列中的每个后续图像的前一图像的目标区域生成每个后续图像的置信度图，所述置信度图中的每个像素的值表示所述后续图像中的位置与该像素相同的像素属于所述目标的置信度。