CN108022252A - 图像处理设备和方法 - Google Patents

Abstract

公开了图像处理设备和方法。一种图像处理设备可包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

Description

图像处理设备和方法

本申请是申请人于2012年1月19日向中国专利局提交的申请号为201210018287.1，发明名称为“图像处理设备和方法”的发明专利申请的分案申请。

技术领域

本公开涉及图像处理领域，具体而言，涉及一种图像处理设备和方法。

背景技术

目标跟踪或目标匹配是图像处理领域的一个重要分支。在目标跟踪的过程中，目标的特征很难保持稳定，比如光照的变化会影响图像的灰度和颜色特征，目标的变形会影响图像的纹理特征。针对这个问题，一种解决方法是采用多特征的融合。但是现有的多特征融合方法存在计算量大，很难用硬件实现等问题。

在另一方面，在目标跟踪过程中，当初始化目标框时，不可避免的会把一部分背景包含进来，因此，提取特征的时也相应会把背景的干扰引入进来。背景干扰越大，后续的特征匹配的精度就会越低。如何消除背景的影响也是目标跟踪技术的研究重点之一。一种解决方法是采用核函数的方法来减弱背景的影响。相关文献包括：Dorin Comaniciu等人的论文“Kernel-based object tracking“(发表于Pattern Analysis and MachineIntelligence，2003年5月)(简称为相关文献1)。然而，这样的方法仍然无法准确的消除背景的干扰。

发明内容

在下文中给出关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图确定本公开的关键或重要部分，也不是意图限定本公开的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

根据本公开的一个方面，提供了一种图像处理设备，该图像处理设备可包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

根据本公开的另一方面，提供了一种照相机设备，该照相机设备包括：摄像元件；光学系统，用于在所述摄像元件上形成被摄对象的图像；以及图像处理设备，用于对所述摄像元件摄取的图像帧中的目标进行跟踪处理。其中，所述图像处理设备包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行跟踪处理。

根据本公开的另一方面，提供了一种图像处理方法，该图像处理方法可包括：针对图像帧中的目标区域中的每一像素块，获取该每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，根据利用所述权重加权的特征对于目标进行图像匹配处理。

上述图像处理设备和方法实现了像素级的特征选择。对于目标区域中的不同像素，可以选取不同的特征。在对目标区域中的多个像素采用相同的多个特征的情况下，根据上述处理得到的各个权重值在不同像素之间也是不同的。另外，由于根据每个像素的每个特征区分背景和目标的能力对各个特征进行加权，即突出区分背景和目标的能力强的特征，削弱区分背景和目标的能力弱的特征，从而使得各个特征的权重值反映了该特征描述目标(区分背景与目标)的能力，因此，能够有效地消除图像背景对目标的干扰。

另外，本公开的实施例还提供了用于实现上述图像处理方法的计算机程序。

此外，本公开的实施例还提供了至少计算机可读介质形式的计算机程序产品，其上记录有用于实现上述图像处理方法的计算机程序代码。

附图说明

参照下面结合附图对本公开实施例的说明，会更加容易地理解本公开的以上和其它目的、特点和优点。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。在附图中：

图1是示出根据本公开的一个实施例的图像处理方法的示意性流程图；

图2是示出图1所示的估计像素特征的区分背景和目标的能力的方法的一个示例的示意性流程图；

图3是示出包含目标区域的图像的示意图；

图4是示出根据图1所示的估计像素特征的区分背景和目标的能力的方法的另一具体示例的示意性流程图；

图5是示出采用滑动窗在目标区域的领域上滑动的路线的示意图；

图6是示出对最优特征进行加权的方法的示意图；

图7是示出根据本公开的一个实施例的目标跟踪或匹配方法的示意性流程图；

图8是示出根据本公开的一个实施例的图像处理设备的结构的示意性框图；

图9是示出根据本公开的另一实施例的图像处理设备的结构的示意性框图；

图10是示出根据本公开的一个实施例的照相机的结构的示意性框图；以及

图11是示出用于实现本公开的实施例或示例的计算机的结构的示例性框图。

具体实施方式

下面参照附图来说明本公开的实施例。在本公开的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本公开无关的、本领域普通技术人员已知的部件和处理的表示和描述。

本公开的发明人发现，在已有的多特征融合方法中，进行特征融合时，通常将目标区域作为一个整体来看待，因而对目标区域内的所有像素都会选择相同的最征，而不会对目标的不同部分选择不同的特征。但是，例如，对于某个目标的一部分，颜色特征是能够将该部分与图像背景区分开的特征，而对于该目标的另外一部分，轮廓特征才是能够将该部分与图像背景区分开的特征。

另外，在采用核函数消除背景的已知方法中，由于一般情况下靠近区域中心是目标的可能性大，而远离区域中心是背景的可能性大，因此，通常对目标区域乘以一个高斯分布的权重模板(即核函数)。这样，靠近中心的像素的特征会获得较大的权重，而区域边缘的像素被赋予较小的权重。采用这种方法，区域边缘附近的背景像素带来的影响就会被抑制住。但是这种方法使用的权重只能是一个椭圆形的分布，无法根据目标的形状准确的消除背景的干扰，从而有可能导致目标的部分像素被赋予了较低权重。

本公开的一些实施例提供了图像处理方法和设备，其中可以实现像素级的特征选择，同时能够有效地消除图像背景对目标跟踪的干扰。图1是示出根据本公开的一个实施例的图像处理方法的流程图。

如图1所示，该图像处理方法可以包括步骤102、104和106。

在步骤102中，针对图像帧(如视频图像或其它图像序列中的初始图像帧)中的目标区域中的每一像素，获取该每一像素的多个特征的值。

这里所述的目标区域为图像帧中包含目标的图像区域。该目标区域可以是用户的手工标注的图像区域，也可以是通过适当的目标识别方法(可以根据实际应用而选择本领域的任何适当的目标识别方法，这里不一一列举)而自动识别的目标区域，这里不作详述。另外，所述目标区域可以是矩形的，也可以是其它适当的形状，如圆形、椭圆形、梯形或三角形等等，这里不作具体限定。

像素的所述多个特征可以为与该像素相关的任何特征，例如，可以采用像素的灰度值、颜色(如蓝色、红色等)分量值等作为像素的特征，还可以根据待检测的图像的具体情况而采用其他适当的特征，如轮廓特征、颜色或灰度的直方图特征、纹理特征，等等，这里不一一列举，而本公开不局限于这里所述的任何具体示例。

在得到像素的多个特征的值之后，在步骤104中，根据目标区域与图像帧中的背景来估计每一像素或包含多个像素的像素块的多个特征中的每一特征反映背景与目标的差异的能力。换言之，估计目标区域中的每一像素或像素块的每一特征将图像背景与目标区分开的能力。可以采用下文参考图2或图4描述的方法或其它适当的估计方法来估计所述能力。

在步骤106中，根据目标区域中的每一像素的每一特征的能力，为每一像素的多个特征赋予权重，以突出反映背景与目标的差异的能力强的特征。根据本发明的一个实施例，特征的能力越大，为其赋予的权重也越大，反之，如果特征的能力越小，则为其赋予的权重也越小。根据本发明的另一实施例，反映背景与目标差异能力大的特征，权重均设为1，反映背景与目标差异能力小的特征，权重均设为0。

利用上述方法，可以得到目标区域的每个像素的多个特征的权重值，在后续的目标匹配或跟踪处理中，可以计算这些特征的加权值，作为待检测区域中的每个像素表示目标的置信度。由于上述处理是针对目标区域中的每个像素进行的，因此，对于目标区域中的不同像素，可以突出或选取不同的特征。在对目标区域中的多个像素采用相同特征的情况下，根据上述处理得到的各个权重值在不同像素之间也是不同的。换言之，上述方法实现了像素级的特征选择。另外，由于根据每个特征区分背景和目标的能力对各个特征进行加权，即每个特征区分背景和目标的能力强，则通过其权重加以突出，区分背景和目标的能力弱，则通过其权重削弱其影响，从而使得各个特征的权重值反映了该特征描述目标(区分背景与目标)的能力，因此，采用特征加权方法能够有效地消除图像背景对目标的干扰。

上述处理还可以用包括N×M个像素(N≥1，M≥1)的像素块为单位来进行，在下文中，为了描述方便，有些实施例或示例的描述仍以像素为单位。但应理解，本文描述的各种处理均适用于以像素块为单位的情况。在以像素块为单位的情况下，某个像素块的所述多个特征可以为与该像素块相关的任何特征，例如，可以采用该像素块内的像素的灰度值、颜色(如蓝色、红色等)分量值的均值、中值或和等，作为该像素块的特征，还可以根据待检测的图像的具体情况而采用其他适当的特征，如轮廓特征、颜色或灰度的直方图特征、纹理特征，等等，这里不一一列举，而本公开不局限于这里所述的任何具体示例

图2示出了估计目标区域中的像素或像素块的某个特征反映背景与目标的差异的能力的方法的一个示例。对于图像中的背景像素和目标像素，如果针对同一特征，这两种像素的特征的值的差异越大，则说明该特征区分背景和目标的能力越强，否则，则越弱。图2所示的方法即利用了这个原理。

如图2所述，该估计方法可以包括步骤204-1、204-2。在步骤204-1中，计算像素(或像素块)的某个特征(上述多个特征之一，为了描述方便，称为第一特征)的值与目标区域的邻域内的多个像素(或像素块)中的每一个的该第一特征的值的差分值。这里所述的邻域内的多个像素可以是从该邻域内选取的部分背景像素，也可以是该邻域内的所有像素。然后，在步骤204-2中，将所得到的多个差分值累加起来，该累加差分值越大则说明该像素(或像素块)的第一特征的值与邻域中各个像素(或像素块)的第一特征的值差异越大，反之亦然，因此该累加差分值是体现该像素(或像素块)的第一特征的反映背景与目标的差异的能力的重要指标。

本发明中，两个像素(或像素块)之间的特征差分值可以指该两个像素(或像素块)的特征的值之差或差的绝对值等。以图3所示的图像为例，假设附图标记310所表示的示意性人形为检测目标，其中，该目标的圆形部分311表示其头部，三角形部分312表示其上身，而两个长条部分313表示其下肢。图框320以内的区域表示包含该目标的目标区域，而图框330以内的区域表示图像中的目标区域320的邻域(以下简称为邻域330)。假设对目标区域320中位于坐标(x,y)的像素选取其灰度分量值、蓝色分量值和红色分量值3个特征作为其多个特征。采用图2所示的方法得到的反映各个特征的区分背景和目标的能力的累加差分值可以用下式来表示：

上式中，Y_(x,y)F表示目标区域中位于(x,y)的像素的灰度分量值，Cb_(x,y)F表示目标区域中位于(x,y)的像素的蓝色分量值，Cr_(x,y)F表示目标区域中位于(x,y)的像素的红色分量值；Y_(i,j)B表示目标区域的邻域中位于(i,j)的像素的灰度分量值，Cb_(i,j)B表示目标区域的邻域中位于(i,j)的像素的蓝色分量值，Cr_(i,j)B表示目标区域的邻域中位于(i,j)的像素的红色分量值；Y_(x,y)D表示像素(x,y)的灰度分量特征与邻域的多个像素的该特征的累加差分值，反映该灰度分量特征区分背景和目标的能力；Cb_(x,y)D表示像素(x,y)的蓝色分量特征与邻域的多个像素的该特征的累加差分值，反映该蓝色分量特征区分背景和目标的能力；Cr_(x,y)D表示像素(x,y)的红色分量特征与邻域的多个像素的该特征的累加差分值，反映该红色分量特征区分背景和目标的能力。在式(1)-(3)中，邻域中的像素(i,j)可以是邻域330中的部分背景像素，或者可以是邻域330内的所有像素。

采用图2所示的方法得到的累加差分值可以有效地反映像素的特征反映背景和目标的差异的能力，根据该值为各个特征加权，可以有效地消除背景对目标的干扰影响。另外，图2所示的计算方法仅涉及数值的加减，运算量低，能够有效提高操作效率，可以由硬件来实现。

图4示出了估计目标区域中的像素或像素块的某个特征反映背景与目标的差异的能力的方法的另一具体示例。与图3所示的方法相同的是，图4的方法仍采用计算目标区域的像素的特征的值与目标区域邻域中的像素的该特征的值之间的累加差分值，作为反映该特征区分背景与目标的能力的值。与图3所示的方法不同的是，图4的方法采用滑动窗的方法来计算所述累加差分值。在处理开始时，可以将初始的累加差分值设为0。

如图4所示，该方法包括步骤404-1、404-2、404-3和404-4。

在步骤404-1中，利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，每滑动一次得到一个滑动图像块。以图5所示的图像为例，其中，附图标记520表示图像帧中的目标区域，附图标记530表示该目标区域520的邻域，附图标记540表示在该邻域中滑动的滑动窗。可以采用图5中的黑色箭头所示的方向沿着虚线的轨迹顺序在该邻域中滑动所示滑动窗540，滑动窗540每滑动一次可得到一个窗内的滑动图像块。当然，也可以采用其它方式(如相反方向)来滑动所示滑动窗，这里不作限定。滑动的步长可以是一个像素，也可以是多个像素，这里不作限定。在步骤404-2中，计算目标区域中的某个像素的某个特征(称为第一特征)的值与滑动图像块中的位置对应(即位于相同位置)的像素的第一特征的值之间的差分值。然后，在步骤404-3中，累加每次滑动得到的差分值。在步骤404-4中，判断是否已滑动通过整个邻域，若是，则结束处理，否则，返回步骤404-1以滑动到下一位置。

这样得到的累加差分值即可反映每一像素的第一特征的反映背景与目标的差异的能力。采用图4所示的方法得到的累加差分值可以有效地反映像素的特征区分背景和目标的能力，根据该值为各个特征加权，可以有效地消除背景对目标的干扰影响。另外，图4所示的计算方法也仅涉及数值的加减，运算量低，能够有效提高操作效率，易于硬件实现。

以上参考图2和图4描述了两种估计像素特征反映背景与目标的差异的能力的示例性方法。还可以采用其它适当的方法来估计所述能力，例如，计算目标区域的某个像素的特征的值与整个图像帧中的所有像素的该特征的值之间的差或差的绝对值的和，作为所述累加差分值。又如，还可以将所述累加差分值归一化。

作为一个实施例，在上述步骤106中，可以将像素的多个特征中能力较大的一个或更多个选择作为该像素的最优特征。

仍以图3所示的图像为例，假设选取目标区域320中像素(x,y)的灰度分量值、蓝色分量值和红色分量值作为其多个特征，且这些特征区分背景和目标的能力大小分别用Y_(x,y)D、Cb_(x,y)D和Cr_(x,y)D的数值来表示，则可采用下式来选择这些特征中的最优特征(即区分背景和目标的能力最强的特征)：

V_(x,y)最优＝Max(Y_(x,y)D,Cb_(x,y)D,Cr_(x,y)D) (4)

上式中，V_(x,y)最优表示Y_(x,y)D、Cb_(x,y)D和Cr_(x,y)D中的最大值，而与该最大值对应的特征即最优特征。

作为另一示例，可以将多个特征的能力排序，选择较大(即，按从大到小的顺序排名靠前)的一个或更多个，作为最优特征。

可以将这些最优特征的权重直接设置为1，而将非最优特征的权重设置为0。或者，选择得到的最优特征可以采用其差分值的累加值进一步进行加权，而忽略非最优特征(即将非最优特征的权重设置为0)。对于像素块的最优特征的选取，将像素块的各个像素的第一特征的值累加作为该像素块的第一特征的值(或者，可以将像素块的各个相似的第一特征的值的平均值或中值作为该像素块的第一特征的值)，进而与单个像素的方法类似，通过计算选取最优特征及其权重等。

作为另一示例，在步骤104之后，在步骤106之前，还可以包括判断像素的每一特征的累加差分值是否大于或等于预定阈值的步骤(图中未示出)。若像素的某个特征的累加差分值小于预定阈值，则在步骤106中将该特征的权重设置为0，即忽略该特征；否则，则在步骤106中根据该特征的累加差分值为该特征赋予权重，例如，在这种情况下，可以将该特征的累加差分值或者其归一化值设置为其权重，或者，还可以将该特征的权重设置为1。所述预定阈值可以根据实际应用来选择，这里不限定其具体数值。

以图6所示的图像为例，假设目标的头部611为灰色，上身部分612为蓝色，而下肢部分613为红色。选取灰度分量值(Y)、蓝色分量值(Cb)和红色分量值(Cr)作为目标区域620中的像素(x,y)的多个特征。假设根据式(4)的方法为像素(x,y)选择了这三个特征中的一个作为最优特征，则可以采用下式为这些特征赋予权重：

在上式中，Weight_{(x,y)_Y}表示灰度分量特征的权重，Weight_{(x,y)_Cb}表示蓝色分量特征的权重，Weight_{(x,y)_Cr}表示红色分量特征的权重。V_(x,y)最优表示Y_(x,y)D、Cb_(x,y)D和Cr_(x,y)D中的最大值。F_(x,y)最优表示与V_(x,y)最优对应的特征(即累加差分值为V_(x,y)最优的特征)。T表示预定的阈值。该阈值可以根据实际应用来选择，这里不限定其具体数值。

图6(B)示出了最优特征为灰色分量的像素的权重分布，如图6(B)所示，对于灰色分量特征，头部611的像素的该特征的权重被设置得较大，而其它部分的该特征的权重被设置为零。图6(C)示出了最优特征为蓝色分量的像素的权重分布，如图6(C)所示，对于蓝色分量特征，上身部分612的像素的该特征的权重被设置得较大，而其它部分的该特征的权重被设置为零。图6(D)示出了最优特征为红色分量的像素的权重分布，如图6(D)所示，对于蓝色分量特征，下肢部分613的像素的该特征的权重被设置得较大，而其它部分的该特征的权重被设置为零。可以看出，采用上述方法，可以有效地将图6中的目标与背景区分开，即完全消除了背景对目标的干扰。

在为目标区域中的每个像素选择了特征(及其权重)之后，可以利用相应的方法在后续的图像帧中进行目标匹配或跟踪。

图7示出了根据本公开的一个实施例的目标跟踪方法。图7所示的处理过程是在上文描述的处理过程而得到在前图像帧的目标区域中的每个像素的多个特征(或最优特征)及其权重之后，针对后续的图像帧进行的，其中使用了目标区域中的每个像素的多个特征(或最优特征)及其权重。

如图7所示，该方法包括步骤710、712和714。

在步骤710中，从当前图像帧(该当前图像帧为利用上文参考图1-6描述的方法来计算每个像素的特征的权重时使用的图像帧的后续图像帧)中提取候选目标区域。该候选目标区域的形状和大小与上文描述的目标区域一致。作为一个示例，可以在与上一图像帧中的目标区域位置对应的邻域中选取候选目标区域。例如，对于运动目标，由于其运动速度是有限的，因此，在两个相邻帧之间，其移动的距离也是有限的。可以根据其运动速度和方向，估计其在两帧之间的移动距离。然后在下一帧图像中与上一帧的目标区域对应的位置的相应邻域中搜索目标。可以在该邻域中选择一个或更多个后续目标区域，这里不作详述。

然后，在步骤712中，根据采用上文的方法计算得到的目标区域中的每一像素的多个特征及其权重值，获取候选目标区域中的每一像素的所述多个特征(与上文描述方法采用的特征一致，这里省略对其的描述)的值，并计算这些特征的值的加权和，作为该后续目标区域的每一像素的置信度值。当像素的某个特征的权重值为0时，可以不获取或计算像素的该特征的值。

然后，在步骤714中，根据候选目标区域中的所有像素块的置信度值来确定该候选目标区域的置信度。例如，可以计算候选目标区域中的所有像素块的置信度值的和、均值或中值等，作为该候选目标区域的置信度。

如果候选目标区域的置信度大于或等于某个预定阈值，则可判断该候选目标区域为包含目标的目标区域，否则，则确定该候选目标区域不是目标区域，而可以采用上述步骤710、712和714对下一候选目标区域进行处理。

利用图7所示的方法可以进行目标跟踪或匹配，由于不同像素可以采用不同的特征且这些特征的权重反映了其区分背景和目标的能力，因此能够有效地消除图像背景对目标的干扰，从而提高目标跟踪或匹配的准确度。另外，这种方法，计算简单，运算量小，可以有效提高图像处理的速度和效率，适于硬件实现。

作为一个具体实施例，利用图7的方法对图像帧进行处理从而得到该图像帧中的目标区域之后，还可以包括利用该新的目标区域对每个像素的特征的权重进行更新的步骤(图7的虚线框716所示)。具体地，可以计算得到的目标区域中的每一像素的每个特征的值与上一次计算权重时的图像帧中的目标区域的对应像素的该特征的值的差，来计算该特征的新权重，差值越小则说明该像素的该特征越稳定，应赋予越高的权重。作为一个示例，当像素的某个特征的权重为零时，可以不对其进行更新。在目标跟踪过程中，通过对每个特征权重的更新，可以保证目标跟踪的准确度。

仍以图6的图像为例，且仍假设灰度分量值(Y)、蓝色分量值(Cb)和红色分量值(Cr)被选择作为目标区域中的像素的特征，则可以采用下式来更新这些特征的权重：

上式中，Weight_{(x,y)_Y}表示像素(x,y)的灰度分量特征的加权值，Weight_{(x,y)_Cb}表示像素(x,y)的蓝色分量特征的加权值，Weight_{(x,y)_Cr}表示像素(x,y)的红色分量特征的加权值。Y_{1st_(x,y)}表示上一次计算所述特征的权重时(例如，对初始图像帧进行处理时)得到的该像素(x,y)的灰度分量特征的值，Cb_{1st_(x,y)}表示上一次计算所述特征的权重时得到的该像素(x,y)的蓝色分量特征的值，Cr_{1st_(x,y)}表示上一次计算所述特征的权重时得到的该像素(x,y)的红色分量特征的值。Y_{当前帧_(x,y)}表示当前帧的目标区域中的该像素(x,y)的灰度分量特征的值，Cb_{当前帧_(x,y)}表示当前帧的目标区域中的该像素(x,y)的蓝色分量特征的值，Cr_{当前帧_(x,y)}表示当前帧的目标区域中的该像素(x,y)的红色分量特征的值。Max表示一预设值，例如，在满足对于任意像素的任意特征F，Max-|(F_1st-F_当前帧)|>0(其中，F_1st表示表示上一次计算得到的该特征的值，F_当前帧表示从当前图像帧提取的对应像素的该特征的值)的条件下本领域技术人员可以自行设定，这里不限定其具体数值。

在一个示例中，可以在每隔一帧或多帧图像而周期性地更新目标区域中的每个像素的特征权重。在另一示例中，可以在预定时间点的图像帧处更新目标区域中的每个像素的特征权重。这里不一一列举。

根据本公开的一些实施例，还提供了图像处理设备。图8是示出根据一个实施例的图像处理设备的结构的示意性框图。图8所示的图像处理设备800可以采用上文参考图1-6描述的图像处理方法进行图像处理。

如图8所示，该图像处理设备800可以包括特征获取装置801、估计装置803和特征加权装置805。

特征获取装置801用于获取图像帧(如视频图像或其它图像序列中的初始图像帧)中的目标区域中的每一像素(或像素块)的多个特征的值，并输出到估计装置803。

与上文所述的实施例相似，这里所述的目标区域为图像帧中包含目标的图像区域，并且这里所述的多个特征可以为与该像素相关的任何特征，例如，特征获取装置801可以采用像素的灰度值、颜色(如蓝色、红色等)分量值等作为像素的特征，特征获取装置801还可以根据待检测的图像的具体情况而采用其他适当的特征，如轮廓特征、颜色或灰度的直方图特征、纹理特征，等等，这里不一一列举，而本公开不局限于这里所述的任何具体示例。

在特征获取装置获得像素的多个特征的值之后，估计装置803根据目标区域与图像帧中的背景来估计每一像素或像素块的多个特征中的每一特征反映背景与目标的差异的能力，并输出到特征加权装置805。换言之，估计目标区域中的每一像素或像素块的每一特征将图像背景与目标区分开的能力。

估计装置803可以采用上文参考图2或图4描述的方法或其它适当的估计方法来估计特征的所述能力。

例如，估计装置803可以计算目标区域中的每一像素或像素块的某个特征(称为第一特征)与目标区域的邻域内的多个像素块的该第一特征的差分值的累加值(即采用上文参考图2描述的方法)，累加的差分值大的，该像素的该第一特征的反映背景与目标的差异的能力则大，反之亦然。又如，估计装置803可以利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的每一像素的特征(称为第一特征)与每次滑动得到的图像块中的位置对应的像素块的该第一特征之间的差分值；并累加多次滑动得到的差分值(即采用上文参考图4描述的方)。估计装置803还可以采用其它适当的方法来计算所述累加差分值，例如，计算目标区域的某个像素的特征的值与整个图像帧中的所有像素的该特征的值之间的差或差的绝对值的和，作为所述累加差分值。又如，还可以将所述累加差分值归一化。

特征加权装置805用于根据估计装置803得到的目标区域中的每一像素的每一特征的能力，为该像素的多个特征赋予权重。根据本发明的一个例子，特征的能力越大，则为其赋予的权重也越大，反之，如果特征的能力越小，则为其赋予的权重也越小。根据本发明的另一实施例，反映背景与目标差异能力大的特征，权重均设为1，反映背景与目标差异能力小的特征，权重均设为0。

上述图像处理设备实现了像素级的特征选择。对于目标区域中的不同像素，图像处理设备可以选取不同的特征。在对目标区域中的多个像素采用相同的多个特征的情况下，根据上述处理得到的各个权重值在不同像素之间也是不同的。另外，由于采用每个特征区分背景和目标的能力对各个特征进行加权，即每个特征区分背景和目标的能力越强，则其权重越大，区分背景和目标的能力越弱，则其权重越小，从而使得各个特征的权重值反映了该特征描述目标(区分背景与目标)的能力，因此，能够有效地消除图像背景对目标的干扰。

作为一个具体实施例，特征加权装置805可以将像素的多个特征中能力较大的一个或更多个选择作为该像素的最优特征。例如，特征加权装置805可以采用上文中参考图3或式(3)描述的方法来选择所述最优特征，这里不再重复。

作为另一示例，特征加权装置805还可以判断像素的每一特征的累加差分值是否大于或等于预定阈值。若像素的某个特征的累加差分值是否小于预定阈值，则特征加权装置805将该特征的权重设置为0，即忽略该特征；否则，则根据该特征的累加差分值为该特征赋予权重，例如，在这种情况下，可以将该特征的累加差分值或者其归一化值设置为其权重，或者，还可以将该特征的权重设置为1。所述预定阈值可以根据实际应用来选择，这里不限定其具体数值。特征加权装置805可以采用上文参考图6、式(5)-(7)描述的方法来为特征进行加权，这里不再重复。

图9示出了根据本公开的另一实施例的图像处理设备。与上文描述的图像处理设备800相似，图9所示的图像处理设备900包括特征获取装置901、估计装置903和特征加权装置905。不同之处在于，图像处理设备900还包括置信度估计装置907。

特征获取装置901、估计装置903和特征加权装置905的功能与连接关系分别与特征获取装置801、估计装置803和特征加权装置805相似，这里不再重复描述。

置信度估计装置907用于根据上文参考图7描述的方法对候选图像帧进行处理，从而实现目标的匹配或跟踪。在特征获取装置901、估计装置903和特征加权装置905得到在前图像帧的目标区域中的每个像素的多个特征(或最优特征)及其权重之后，置信度估计装置907使用这些特征及其权重来跟踪后续图像帧中的目标。

具体地，特征获取装置901可被进一步被配置为从后续图像帧中提取候选目标区域，并获取所述候选目标区域中的每一像素(或像素块)的所述多个特征的值，并输出到置信度估计装置907。特征获取装置901可以采用上文参考步骤710描述的方法来提取候选目标区域，并获取该区域中每一相似的多个特征的值，这里不再重复。

置信度估计装置907用于计算候选目标区域中的每一像素的所述多个特征的加权和，作为每一像素块的置信度值；并根据所述候选目标区域中的所有像素块的置信度值来确定所述候选目标区域的置信度。作为示例，置信度估计装置907可以采用上文参考步骤712-714描述的方法来计算所述置信度，这里不再重复。

作为示例，置信度估计装置907可以判断候选目标区域的置信度是否大于或等于某个预定阈值，所示，则可判断该候选目标区域为包含目标的目标区域，否则，则确定该候选目标区域不是目标区域，而可以指示特征获取装置901对下一候选目标区域进行处理。

在图9所示的图像处理设备900中，由于不同像素可以采用不同的特征且这些特征的权重反映了其区分背景和目标的能力，因此能够有效地消除图像背景对目标的干扰，从而提高目标跟踪或匹配的准确度。另外，这种方法，计算简单，运算量小，可以有效提高图像处理的速度和效率。

作为一个具体实施例，置信度估计装置907在对后续图像帧进行处理从而得到该图像帧中的目标区域之后，还可以指示特征加权装置905还可以利用该新的目标区域对每个像素的特征的权重进行更新，特征加权装置可以计算候选目标区域中的每一像素的每个特征的值与上一次计算权重时的图像帧中的目标区域的对应像素的该特征的值的差，作为该特征的新权重。特征加权装置905可以采用上文中参考步骤716、式(8)描述的方法进行特征权重的更新，这里不再重复。在目标跟踪过程中，通过对每个特征权重的更新，可以保证目标跟踪的准确度。

根据本公开，上述图像处理设备(800或900)或方法可以应用于各种能够进行图像处理(如目标跟踪)的电子设备，如照相机、摄像机等。图10示出了根据本公开的一个实施例的照相机设备的结构。如图10所示，该照相机设备1010可以包括摄像元件1011、光学系统1012以及图像处理设备1000。光学系统1012用于在所述摄像元件1011上形成被摄对象的图像。光学系统1012与摄像元件1011可以采用任何适当的光学镜头等来实施，这里不作限定。图像处理设备1000用于对摄像元件1011所摄取的图像帧中的目标进行跟踪处理。图像处理设备1000可以具有上文参考图8和图9描述的图像处理设备800或900的结构和功能，这里不再重复。

应理解，在本说明书中，“第一”等表述仅仅是为了将所涉及的特征在文字上区分开，以清楚地描述本公开。因此，不应将其视为具有任何限定性的含义。

上述设备中各个组成模块、模块可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图11所示的通用计算机1100)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。

在图11中，中央处理单元(CPU)1101根据只读存储器(ROM)1102中存储的程序或从存储部分1108加载到随机存取存储器(RAM)1103的程序执行各种处理。在RAM 1103中，也根据需要存储当CPU 1101执行各种处理等等时所需的数据。CPU 1101、ROM 1102和RAM 1103经由总线1104彼此连接。输入/输出接口1105也连接到总线1104。

下述部件连接到输入/输出接口1105：输入部分1106(包括键盘、鼠标等等)、输出部分1107(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1108(包括硬盘等)、通信部分1109(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1109经由网络比如因特网执行通信处理。根据需要，驱动器1110也可连接到输入/输出接口1105。可拆卸介质1111比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1110上，使得从中读出的计算机程序根据需要被安装到存储部分1108中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1111安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1111。可拆卸介质1111的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1102、存储部分1108中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

本公开还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本公开实施例的方法。

相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本公开的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本公开的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

尽管上面已经通过对本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本公开并不局限于这些实施例及示例。本领域的技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开的保护范围内。

此外，本发明的方案还可被配置如下：

一种图像处理设备，包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取该像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征反映背景与目标的差异的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

其中，所述估计装置进一步被配置为通过以下来估计每一像素块的多个特征中的每一特征的反映背景与目标的差异的能力：针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，其中，该像素块的多个特征中所述差分值的累加值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中所述差分值的累加值较小的特征反映背景与目标的差异的能力较弱。

其中，所述估计装置进一步被配置为通过以下来针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值：利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；以及累加多次滑动得到的差分值。

其中，所述特征加权装置进一步被配置为：选择所述多个特征中所述差分值的累加值较大的一个或更多个，作为所述目标区域的所述每一像素块的最优特征，将所述多个特征中的其他特征权重设置为0。

其中，所述特征加权装置进一步被配置为：判断每一像素块的每一特征的所述差分值的累加值是否大于或等于预定阈值，若否，则将该特征的权重设置为0。

其中，所述特征获取装置进一步被配置为从后续图像帧中提取多个候选目标区域，并获取每一所述候选目标区域中的每一像素块的所述多个特征的值，并且其中，所述图像处理设备还包括：置信度估计装置，用于针对每一所述候选目标区域，计算该候选目标区域中的每一像素块的所述多个特征的加权和，作为每一像素块的置信度值；根据该候选目标区域中的所有像素块的置信度值来确定该候选目标区域的置信度；并判断所述多个候选目标区域中置信度最大的一个包含匹配目标。

其中，在所述置信度估计装置判断所述候选目标区域包含目标的情况下，所述特征加权装置还被配置用于：计算所述候选目标区域中的每一像素块的每个特征的值与上一次计算权重时的图像帧中的目标区域的对应像素块的该特征的值的差，以计算该特征的新权重。

一种照相机设备，包括：摄像元件，光学系统，用于在所述摄像元件上形成被摄对象的图像；以及图像处理设备，用于对所述摄像元件摄取的图像帧中的目标进行跟踪处理，其中，所述图像处理设备包括：特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行跟踪处理。

其中，所述估计装置进一步被配置为通过以下来估计每一像素块的多个特征中的每一特征的反映背景与目标的差异的能力：针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，其中，该像素块的多个特征中差分值的累加值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中差分值的累加值较小的特征反映背景与目标的差异的能力较弱。

其中，所述估计装置进一步被配置为通过以下来针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值：利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；以及累加多次滑动得到的差分值。

其中，所述特征加权装置进一步被配置为：选择所述多个特征中所述差分值的累加值较大的一个或更多个，作为所述目标区域的所述每一像素块的最优特征，将所述多个特征中的其他特征权重设置为0。

其中，所述特征加权装置进一步被配置为：判断每一像素块的每一特征的所述差分值的累加值是否大于或等于预定阈值，若否，则将该特征的权重设置为0。

其中，所述特征获取装置进一步被配置为从后续图像帧中提取多个候选目标区域，并获取每一所述候选目标区域中的每一像素块的所述多个特征的值，并且其中，所述图像处理设备还包括：置信度估计装置，用于针对每一所述候选目标区域，计算该候选目标区域中的每一像素块的所述多个特征的加权和，作为每一像素块的置信度值；根据该候选目标区域中的所有像素块的置信度值来确定该候选目标区域的置信度；并判断所述多个候选目标区域中置信度最大的一个包含匹配目标。

其中，在所述置信度估计装置判断所述候选目标区域包含目标的情况下，所述特征加权装置还被配置用于：计算所述候选目标区域中的每一像素块的每个特征的值与上一次计算权重时的图像帧中的目标区域的对应像素块的该特征的值的差，以计算该特征的新权重。

一种图像处理方法，包括：针对图像帧中的目标区域中的每一像素块，获取该每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，其中，根据利用所述权重加权的特征对于目标进行图像匹配处理。

其中，估计每一像素块的多个特征中的每一特征反映背景与目标的差异的能力包括：针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，其中，该像素块的多个特征中差分值的累积值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中差分值的累积值较小的特征反映背景与目标的差异的能力较弱。

其中，针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值包括：利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；累加多次滑动得到的差分值。

其中，根据每一特征的能力为所述多个特征赋予权重包括：选择所述多个特征中所述差分值的累加值较大的一个或更多个，作为所述每一像素块的最优特征，将所述多个特征中的其它特征的权重设置为0。

所述图像处理方法还包括：判断每一像素块的每一特征的所述差分值的累加值是否大于或等于预定阈值，若否，则将该特征的权重设置为0。

所述图像处理方法还包括：从后续图像帧中提取多个候选目标区域；针对每一候选目标区域，计算该候选目标区域中的每一像素块的所述多个特征的加权和，作为每一像素块的置信度值；根据该候选目标区域中的所有像素块的置信度值来确定该候选目标区域的置信度；并判断所述多个后续目标区域中的置信度最大的一个包含匹配目标。

Claims (10)

1.一种图像处理设备，包括：

特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取该像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；

估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及

特征加权装置，被配置用于根据每一特征反映背景与目标的差异的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，

其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行图像匹配处理。

2.根据权利要求1所述的图像处理设备，其中，所述估计装置进一步被配置为通过以下来估计每一像素块的多个特征中的每一特征的反映背景与目标的差异的能力：

针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，

其中，该像素块的多个特征中所述差分值的累加值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中所述差分值的累加值较小的特征反映背景与目标的差异的能力较弱。

3.根据权利要求2所述的图像处理设备，其中，所述估计装置进一步被配置为通过以下来针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值：

利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；以及累加多次滑动得到的差分值。

4.根据权利要求2所述的图像处理设备，其中，所述特征加权装置进一步被配置为：

选择所述多个特征中所述差分值的累加值较大的一个或更多个，作为所述目标区域的所述每一像素块的最优特征，将所述多个特征中的其他特征权重设置为0。

5.根据权利要求2-4中任一项所述的图像处理设备，其中，所述特征加权装置进一步被配置为：

判断每一像素块的每一特征的所述差分值的累加值是否大于或等于预定阈值，若否，则将该特征的权重设置为0。

6.根据权利要求1-4中任一项所述的图像处理设备，其中：

所述特征获取装置进一步被配置为从后续图像帧中提取多个候选目标区域，并获取每一所述候选目标区域中的每一像素块的所述多个特征的值，并且

其中，所述图像处理设备还包括：

置信度估计装置，用于针对每一所述候选目标区域，计算该候选目标区域中的每一像素块的所述多个特征的加权和，作为每一像素块的置信度值；根据该候选目标区域中的所有像素块的置信度值来确定该候选目标区域的置信度；并判断所述多个候选目标区域中置信度最大的一个包含匹配目标。

7.根据权利要求6所述的图像处理设备，其中，在所述置信度估计装置判断所述候选目标区域包含目标的情况下，所述特征加权装置还被配置用于：

计算所述候选目标区域中的每一像素块的每个特征的值与上一次计算权重时的图像帧中的目标区域的对应像素块的该特征的值的差，以计算该特征的新权重。

8.一种照相机设备，包括：

摄像元件，

光学系统，用于在所述摄像元件上形成被摄对象的图像；以及

图像处理设备，用于对所述摄像元件摄取的图像帧中的目标进行跟踪处理，

其中，所述图像处理设备包括：

特征获取装置，被配置用于针对图像帧中的目标区域中的每一像素块，获取每一像素块的多个特征的值，每一像素块包括N×M个像素，N≥1，M≥1；

估计装置，被配置用于根据所述目标区域与所述图像帧中的背景来估计所述每一像素块的多个特征中的每一特征反映背景与目标的差异的能力；以及

特征加权装置，被配置用于根据每一特征的能力，为所述每一像素块的所述多个特征赋予权重，以突出反映背景与目标差异的能力更强的特征，

其中，所述图像处理设备根据经所述特征加权装置加权的特征对目标进行跟踪处理。

9.根据权利要求8所述的照相机设备，其中，所述估计装置进一步被配置为通过以下来估计每一像素块的多个特征中的每一特征的反映背景与目标的差异的能力：

针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值，其中，该像素块的多个特征中差分值的累加值较大的特征反映背景与目标的差异的能力较强，该像素块的多个特征中差分值的累加值较小的特征反映背景与目标的差异的能力较弱。

10.根据权利要求9所述的照相机设备，其中，所述估计装置进一步被配置为通过以下来针对目标区域中的每一像素块的每一特征，计算该像素块的该特征与目标区域的邻域内的多个像素块的该特征的差分值的累加值：

利用与目标区域大小相同的滑动窗在目标区域的邻域内滑动，计算目标区域中的该像素块的该特征与每次滑动得到的图像块中的位置对应的像素块的该特征之间的差分值；以及累加多次滑动得到的差分值。