CN101147159A - 利用统计模板匹配进行对象检测的快速方法 - Google Patents

Abstract

本发明涉及利用统计模板匹配的进行快速物体对象检测的快速方法。提供了一种在图像中检测对象的方法，该方法包括将模板与图像的区域进行比较并确定相似性度量，其中使用统计度量来确定所述相似性度量。所述模板包括与所述对象各部分及其空间关系相对应的多个区域。将整个模板中的像素的方差与所有个体区域中的像素的方差相关地设置，以提供相似性度量。

Description

利用统计模板匹配进行对象检测的快速方法

技术领域

本发明涉及一种使用模板匹配在图像中检测或定位对象的方法和设备。

背景技术

在计算机视觉领域中，对象检测具有多种多样的应用，例如视频监视、基于视觉的控制、人机接口、医学成像、增强现实和机器人技术。此外，对象检测向更高级的视觉任务提供输入，例如3D重构和3D表示。对于例如基于内容的索引和检索的视频数据库应用而言，对象检测也扮演着重要的角色。

今天，健壮、准确和高性能的方法仍然是一大挑战。这个问题的困难程度高度依赖于关注对象是如何定义的。如果可得到描述特定对象的模板，那么对象检测就变成了在模板和待分析图像之间匹配特征的处理。具有确切匹配的对象检测通常计算开销大，并且匹配的质量和速度取决于对象模板提供的细节和精确度。

已使用了几种主要的技术进行模板匹配。

1)图像相减。在这种技术中，通过使模板与图像中的不同位置之间的距离函数最小化，来确定模板位置[Nicu Sebe，Michael S.Lew，andDionysius P.Hujismans，H.，2000：Toward Improved Ranking Metrics.IEEETransactions on Pattern Analysis and Machine Intelligence，pp.1132-1142，22(10)，2000]。尽管图像相减技术与如下所述的基于相关的技术相比需要的计算时间更少，但它们在受限环境中表现良好，在该受限环境中，成像条件(例如模板与包含该模板的图像之间的视角和图像强度)是相同的。虽然图像相减技术比基于关联的技术需要更少的计算时间，如下所述，但是它们在约束环境中执行得非常好，其中，成像条件(例如，图像强度和模板与包含该模板的图像之间的视角)是相同的。

2)相关。利用相关进行的匹配利用模板和图像之间的归一化互相关峰值的位置来定位最佳匹配[Chung，KL.，2002：Fast Stereo Matching UsingRectangular Subregioning and 3D Maximum-Surface Techniques，International Journal of Computer Vision，vol.47，no.1/2/3，pp.99-117，May2002]。这种技术通常不受图像中的噪声和照明效果的影响，但是会遭受由于在整个模板上进行求和而导致的高计算复杂度。点相关可以将计算复杂度降低到只对一小组仔细挑选的点进行求和。

3)可变形模板匹配。可变形模板匹配方法更适合对象由于刚性变形和非刚性变形而发生变化的情况[A.K.Jain，Y.Zhong，S.Lakshmanan，Object Matching Using Deformable Templates，IEEE Transactions on PatternAnalysis and Machine Intelligence，Vol.18，Issue 3(March 1996)，267-278]。这些变化可能是由对象本身的变形引起的，或者仅是由对象相对于相机的姿势不同而引起的。由于在大多数视频中对象有可变形性质，所以可变形模型在跟踪任务中更有吸引力。在这种方法中，将模板表示为描述对象形状的特征轮廓/边缘的位图。对原型轮廓应用概率变换以使模板变形，从而符合输入图像中的显著边缘。具有变换参数的目标函数(其改变模板的形状)被形成为反映这种变换的成本的公式。通过反复地更新变换参数以使其与对象最佳匹配，从而使目标函数最小化。

4)傅立叶方法。如果需要加快计算速度，或者如果图像是在变动的条件下获得的或者它们被依赖于频率的噪声破坏，那么傅立叶方法[Y.Keller，A.Averbuch，Unified Approach To FFT-Based Image Registration，IEEE International Conference on Acoustics，Speech，and Signal Processing(ICASSP)2002，Orlando，USA，May 2002]相对于相关类方法是优选的。傅立叶方法利用图像在频域中的傅立叶表示。相位相关方法基于傅立叶移位定理(Fourier Shift Theorem)，并且原本提出来是用于对平移图像的配准。它计算模板和图像的互功率谱(cross-power spectrum)，并将其反转过来寻找峰值的位置。

发明内容

本发明所解决的一个问题是在诸如低质量图像和杂乱背景的复杂环境下的健壮对象检测。

本发明所解决的另一个问题是用于对象检测的模板匹配方法的实时实现。众所周知的模板匹配方法具有以下多个缺点：

(a)互相关方法是健壮的，但是计算开销大。对于大小为M×N的模板，每个图像像素需要O(MN)次运算(通常是乘法)，这可能不适合于实时执行。

(b)基于快速傅立叶变换的相位相关是快速的，但其只有在模板大小与图像大小可比时才稳定工作。在典型的应用中，关注对象可能占据少于图像大小的1％，这导致相位相关方法的限定差的输出。如果先验地已知对象的大致位置，例如在图像序列中追踪对象，那么可以减小关注区域的大小。在这种情况下，可应用相位相关，但会出现两个新问题：(1)为了初始化区域跟踪，需要另一种方法来检测第一帧中的对象；(2)该应用对静止图像不起作用，在静止图像中没有关于对象位置的先验信息。

为了克服现有方法的这些问题，提出了一种新的模板匹配方法。该方法基于统计假设检验，而且其性能不取决于模板大小，而只取决于模板复杂度。

实时实现要求经常与健壮性要求相冲突。本方法的实现对于以下方面是健壮的：

1)标度改变；当图像按(0.5，2)的范围内的标度因数缩放时，本方法给出相似的结果；

2)局部图像扭曲；本方法对于小的几何扰动不敏感；

3)非线性强度改变；本方法可以应用于高度压缩的图像。对压缩质量低到百分之1或2的JPEG图像进行了成功的检验。

在本说明书中，我们假定图像是N个坐标变量I(x₁，x₂，...，x_N)的函数。这样定义的图像的不同例子是：

N＝1；这是1D图像或1D信号，其例如可以是任何真实信号、从2D图像中提取的像素轮廓(pixel profile)或者从图像得出的任何积分函数(直方图、侧投影)。

N＝2；这是为原始形式或预处理形式的通常的2D图像I(x，y)。所述预处理可以包括任何图像处理操作，例如滤波、分割、边缘或特征提取。

N＝3；这是为原始形式或预处理形式的体积图像(体素(voxel)图像、图像序列或者组织成图像栈的视频)。

任意N；应用可以使用更高维度进行数据展示，例如N＝4可以用于随时间变化的体积图像的情况。

本发明的各方面在所附权利要求书中进行了阐述。下面阐述提出的对象检测方法的一些方面。

关注对象或其一部分由一组区域T₀＝T₁...T_M描述。这种描述在本申请中称为拓朴模板或简称为模板。该模板仅描述对象的拓朴(其各部分的空间关系)而不描述其辐射度(与辐射相关，例如颜色、强度等)特性。每个区域T_i可以包含若干个不相连的区域。

所提出的模板匹配方法称为统计模板匹配，因为在分析中仅使用像素组的统计特性(平均值和离散度)。在该匹配处理中，在模板与图像区域之间的相似性测量是基于统计假设检验。对于各个像素x及其邻居R(x)，考虑了两个假设：

H₀：R(x)是随机的

H₁：R(x)与模板相似

接受H₀还是H₁的判定规则基于这样的检验：(由模板区域限定的)像素组的特性在统计上是否彼此不同，以及得出的相似性度量是否与信噪比相似。其计算如下：

$S\left(x\right)=\frac{\left|T_0\right|{\mathrm{\σ}}^2\left(T_0\right)}{\left|T_1\right|{\mathrm{\σ}}^2\left(T_1\right)+...+\left|T_M\right|{\mathrm{\σ}}^2\left(T_M\right)},---\left(1\right)$

其中σ²(Q)是区域Q中图像值的离散度，而|Q|指定区域Q内的像素数量。

通过使用称为积分图像(integral images)的众所周知的技术，可容易地使统计模板匹配适于实现实时执行。在该变型中，每个模板区域Ti都包括矩形的集合。在此情况下，对于2D图像，(1)中的各离散度值可以通过8k个存储器参考来计算，其中k是矩形的数量。计算σ²(Q)的常规方法需要|Q|个存储器参考。

以下对统计模板匹配输出的解释可以用来检测对象。对于各个像素，匹配产生相似性度量S和一组统计特性σ²(T₀)，...，σ²(T_N)， m(T₀)，...，m(T_N)，其中m(T_i)是用来计算σ²(T_i)的区域平均值。相似性值形成相似性映射，其中高值对应于对象的可能位置。这样，相似性度量与一阀值的比较被用作对象/非对象位置分类器。为了完成对象检测算法，可以应用以下过程：

1)非最大值抑制给出相似性映射的局部最大值以及对象中心的整数坐标；

2)将多项式曲面拟合到相似性映射的局部最大值附近，给出对象的子像素位置；

3)依赖于应用的统计分析σ²(T₀)，...，σ²(T_N)，m(T₀)，...，m(T_N)有助于减少假警报的数量。当预先知道对象的辐射度特性时(例如，知道某些区域比其他区域暗)，另外的条件(例如m(T_i)<m(T_j))拒绝不期望的配置。

下面阐述所提出的方法的一些扩展。

1)多分辨率方法。该方法可以应用于粗糙到精细框架，其中，生成了图像的多个分辨率(所谓的图像金字塔)并且处理从最粗糙的级别开始且检测结果在更精细的分辨率上改进。在此情况下，生成了多分辨率版本的模板(模板金字塔)。所述处理从在最粗糙的图像分辨率下匹配最粗糙的模板开始。在从粗糙的相似性映射中提取了所有可能的对象位置之后，仅在关注区域(ROI)内部以更精细的分辨率进行处理。

2)对象跟踪。在这种应用中，该方法对序列的第一个图像中的ROI进行初始化，并试图预测ROI在下一图像中的位置，从而减少了统计模板匹配的搜索区域。对从几个连续帧获得的结果进行的统计滤波可以用来对对象的存在进行判定。

3)模板修改。在多分辨率或对象跟踪框架中，可以根据对当前检测结果的分析来调整模板，以改进在下一步骤中的对象检测。例如，可以合并或排除某些模板区域，如果这种行为能够改进相似性值的话。此外，可以根据相似性映射中峰值的宽度来调整模板的全局大小。

4)多模板。该情况在几个模板可以表示一个对象时是可能的。统计模板匹配的应用得出多个相似性映射，可以在提取对象位置之前将所述多个相似性映射组合成一个相似性映射。进行组合的最简单方法是逐像素相乘。

附图说明

将参照附图对本发明的实施方式进行描述，在附图中：

图1是本发明实施方式的方法的流程图；

图2a是模板的示例；

图2b示出了用于本发明实施方式的方法的位于图像中的图2a的模板；

图3a是作为关注对象的图像区域；

图3b到图3d是对应于图3a的关注对象的模板的示例；

图4包括面部图像以及示出了统计模板匹配的对应图表的示例；

图5示出了面部图像，其包括检测结果、用于面部特征检测的模板和相似性映射；

图6a示出了具有基准标记的卫星图像；

图6b示出了对应于图6a的相似性映射；以及

图6c示出用于图6a的模板。

图7a示出了道路图像；

图7b示出了正交变换后的图7a的图像；

图7c示出了用于检测路标的模板；

图8a示出了水印图像；

图8b示出了图8a的图像的最低有效位；

图8c和图8d是示出了统计模板匹配结果的图表；以及

图8e示出了用于图8a的图像的模板。

具体实施方式

下面阐述所提出的方法在2D情况下的实现。

图1示出了该方法的方框图解。首先使用潜在包含关注对象的输入图像来计算积分图像(方框1.1)，下面将更详细地描述。然后逐像素地对图像进行扫描(1.2)，并且使模板以当前像素为中心(1.3)。针对模板所覆盖的图像区域，计算一组统计值和相似性度量(1.4)。然后使用计算出的统计值来检查先验信息。如果某些条件不满足，那么当前像素不能作为对象的中心，因此相似性度量被赋予最低值(1.5)。当通过移动模板使其依次以图像中的每个像素为中心对所有相似性值进行计算从而得到一相似性映射时，对该映射进行后处理以提取对象的可能位置(1.6)。最后，将检测到的对象的相似性值与统计有效性水平或应用限定阀值进行比较(1.7)。

在该提出的方法中，关注对象或其一部分通过由一组区域T₀＝T₁...T_M构成的模板来描述。该模板只描述对象的拓朴(其各部分的空间关系)，而不描述其辐射度特性。图2a中示出了具有六个区域的拓朴模板的示例。该模板确定怎样解释被定位于某像素的模板所覆盖的局部图像区域。当该模板如图2b所示地以像素(x₀，y₀)为中心时，在M+1个图像区域(图2中的T₀...T₆区域)中计算局部统计。这些统计用来计算所述图像与所述模板之间的相似性度量。

如下是生成对象的模板的一般性指导：

a)区域的数量M应当对应于明显不同的对象部分的数量；

b)如果某些对象部分的辐射度特性相似，那么应该将它们包括在模板的一个区域中；

c)如果对象包含高度可变的区域(高频纹理、边缘)，则为了使该方法的性能更好，可以将它们从模板中排除；

d)对区域的大小和形状没有假定。各区域T_i可以包含若干个不相连的区域。每个区域可以包括孔(未使用区域)；

e)可以通过简化区域的形状而使所述方法的性能更好。这样，如果将各区域T_i表示为矩形的集合，那么处理时间将是最少的；

f)在以下情况下可以获得最佳性能(适合实时应用)：模板形状(区域T₀)是矩形，所有其他区域Ti由矩形的集合构成，并且模板中没有孔(未使用区域)。

图3示出了用于面部检测任务的模板的示例。这些模板是基于这样的观察而生成的：眼睛区域通常比周围的皮肤区域暗(图3a)。各模板由用黑区和白区限定的两个区域构成。要注意，一个模板区域(用黑色示出)由两个不相连的区域构成。图3c中的模板也包括孔(用灰色示出)，以排除强度从暗值到亮值转变的区域。图3d中的模板是图3b的简化版本，其适合实时实现。

如果将模板表示为不同大小的矩形的集合，则可以应用特殊的图像预处理，来快速计算这些矩形内的统计特征(平均值和离散度)(图1，方框1.1)。如下面所讨论的，将图像变换为积分表示，仅利用四个像素参考(矩形四个角的坐标)提供了对这种特征的快速计算。

我们如下定义积分图像Sum(x，y)和SumQ(x，y)：

$\mathrm{Sum}(x,y)=\underset{a\&le;x}{\mathrm{\&Sigma;}}\underset{b\&le;y}{\mathrm{\&Sigma;}}I(a,b)=I(x,y)+S(x-1,y)+S(x,y-1)-S(x-1,y-1)---\left(2\right)$

$\mathrm{SumQ}(x,y)=\underset{a\&le;x}{\mathrm{\&Sigma;}}\underset{b\&le;y}{\mathrm{\&Sigma;}}{I}^2(a,b)=I^2(x,y)+\mathrm{SQ}(x-1,y)+\mathrm{SQ}(x,y-1)-\mathrm{SQ}(x-1,y-1)---\left(3\right)$

其中，I(x，y)是原始图像，并且对于x，y<0，I(x，y)＝0。

模板和图像区域之间的相似性度量是基于统计假设检验。对于每个像素(x₀，y₀)及其邻居R(x₀，y₀)，我们考虑两个假设：

H₀：R(x₀，y₀)是随机的

H₁：R(x₀，y₀)与模板相似

接受H₀还是H₁的判定规则基于这样的检验：M个像素组的平均值在统计上是否彼此不同。这M个组由模板来限定，该模板的中心位于像素(x0，y0)。

首先考虑两个区域的情况：T₀＝T₁ ∪T₂。将众所周知的统计t检验应用于两个像素组，导致下述相似性度量(略过了一些等效变换)：

$=\frac{\left|T_0\right|{\mathrm{\&sigma;}}^2\left(T_0\right)}{\left|T_1\right|{\mathrm{\&sigma;}}^2\left(T_1\right)+\left|T_2\right|{\mathrm{\&sigma;}}^2\left(T_2\right)}-1$

从该表达式中除去常量，我们得到(1)的形式的相似性度量。

当模板由三个或更多个区域构成时，使用另一种统计技术来获得相似性度量。该技术被称为方差分析(ANOVA)，该技术在数学上与t检验等价，但是仅在组数多于两个的情况下才使用。

将组间变化和组内变化表示为Q₁(T₁，...，T_M)和Q₂(T₁，...，T_M)。这些变化如下计算：

$Q_1\left(T_{1,...,}{T}_M\right)=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\left|T_1\right|m}^2\left(T_i\right)-{\left|T_0\right|m}^2\left(T_0\right)---\left(5\right)$

$Q_2\left(T_{1,...,}{T}_M\right)=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\left|T_i\right|\mathrm{\&sigma;}}^2\left(T_i\right)---\left(6\right)$

将这些变化如下联系起来：

|T₀|σ²(T₀)＝Q_I(T₁，...，T_M)+Q₂(T₁，...，T_M)    (7)

我们使用Fisher标准作为相似性度量(略过在(5)、(6)、(7)之后的等效变换)：

$F=\frac{Q_1/(M-1)}{Q_2/\left(\right|T_0|-M)}=...=\frac{\left|T_0\right|-M}{M-1}(\frac{{\left|T_0\right|\mathrm{\&sigma;}}^2\left(T_0\right)}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{\left|T_i\right|\mathrm{\&sigma;}}^2\left(T_i\right)}-1)---\left(8\right)$

从该表达式中除去常量，我们得到(1)的形式的相似性度量。

因此，在点(x₀，y₀)处的统计模板匹配的结果可以表示为：

$S(x_0,y_0)=\frac{\left|T_0\right|{\mathrm{\&sigma;}}^2\left(T_0\right)}{\left|T_1\right|{\mathrm{\&sigma;}}^2\left(T_1\right)+...+\left|T_M\right|{\mathrm{\&sigma;}}^2\left(T_M\right)}---\left(9\right)$

一旦计算出相似性值，就可以利用统计阈值分割检验该相似性值是否足够大，以致可以说该图像区域与关注对象相似。有效性统计表可以用于进行这种检验。为了检验有效性，应该设置风险水平。通常使用0.05的风险水平。给定了风险水平和自由度数值，可以将t值(来自(4))或F值(来自(8))与从标准有效性表中取出的阈值进行比较，以确定相似性值是否足够大以至于有效。

如上所述，使用积分图像可以增加配置速度。使用积分图像，对于任何矩形区域R计算|R|σ²(R)，需要2×4个像素参考，而不是2×|R|个：

$\left|R\right|{\mathrm{\&sigma;}}^2\left(R\right)=(\mathrm{SumQ}(x_2,y_2)-\mathrm{SumQ}(x_1-1,y_2)-\mathrm{SumQ}(x_2,y_1-1)+\mathrm{SumQ}(x_1-1,y_1-1))-$

$-\frac{1}{\left|R\right|}{(\mathrm{Sum}(x_2,y_2)-\mathrm{Sum}(x_1-1,y_2)-\mathrm{Sum}(x_2,y_1-1)+\mathrm{Sum}(x_1-1,y_1-1))}^2\&equiv;$

$\mathrm{SumQ}\left(R\right)-\frac{1}{\left|R\right|}{\mathrm{Sum}}^2\left(R\right)---\left(10\right)$

其中，最后一个等式是一定义，(x₁，y₁)、(x₂，y₂)是矩形R的左上点和右下点的坐标。

对于由矩形的集合构成的区域：T_i＝R₁ ∪R₂∪...R_Ki，对|T_i|σ²(T_i)的计算类似于：

${\left|T_i\right|\mathrm{\&sigma;}}^2\left(T_i\right)=\underset{j}{\mathrm{\&Sigma;}}\mathrm{SumQ}\left(R_j\right)-\frac{1}{\left|R_j\right|}{\mathrm{Sum}}^2\left(R_j\right)---\left(11\right)$

使用上述等式，模板和图像之间的相似性计算不取决于模板的大小，而是取决于模板的复杂度(其内部的矩形的数量)。

使用(5)至(7)执行另外的优化，由此显而易见的是，不必计算m(T_M)，σ²(T_M)，因为这些值可以从m(T₀)，...，m(T_M-1)，σ²(T₀)，...，σ²(T_M-1)中导出。如果：(a)仅使用了少量的区域(M＝2，3)或者(b)区域T_M由非常大量的矩形构成，则该优化可以明显提高性能。

图4示出了利用所提出的方法进行面部检测的实施例。使用图4d所示的模板来进行统计模板匹配。图4的顶行示出了面部图像以及相似性度量的最大值的位置。底行示出了使用(9)计算的相似性映射的对应片段。对于此图，使用的是来自AT&T面部数据库的图像。这些图像可从位于Cambridge的AT&T Laboratories网站http://www.uk.research.att.com/facedatabase.html得到。

本申请的模板匹配方法不是专门用于面部检测任务的，面部检测任务用来说明该方法。该方法可以用于处理其中可以预先定义和简化对象模型的对象检测的任何应用。尤其在双模情况(bimodal case)下(亮背景中的暗对象或暗背景中的亮对象)或者在可将对象模型简化成使其由一组矩形构成时，该方法工作良好。如果模型可由矩形构成，则可以实现该方法的实时执行；而对于基于相关的技术而言却不总是这样的。

图5示出了将该方法应用于面部特征检测。顶行示出了水平特征(眼睛、鼻孔、嘴)的检测。底行示出了垂直特征(鼻)的检测。左列示出了检测结果。中间列示出了模板，右列示出了相似性映射。

基准标记检测的典型示例是在应该检测到由照相机作出的基准标记(图6)来校正图像失真时卫星图像的自动内部定向。图6示出了：(a)卫图像中的基准标记(十字)；(b)使用模板(c)至(g)进行统计模板匹配而得到的组合相似性映射。

所提出的模板匹配方法的另一应用可以是路标检测。在将道路图像变换为正交视图之后，这些标记变为良好限定的对象，并且可以通过模板匹配被检测到。图7示出了：(a)道路图像，即车上的视野；(b)正交变换之后的道路的“鸟瞰”图；(c)用于检测标记段的开始、末尾和主体的模板的实施例。

图8示出了将所提出的方法应用于图像水印问题。这里，我们使用由均匀区域构成的水印。该实施例中的水印被嵌入在图像的最低有效位中(图8a)，但是可以使用其他嵌入方法。在水印图像提取(图8b)之后，需要一种方法来读取在水印中编码的信息。所提出的统计模板匹配方法可以用于进行这种读取。对所有可能的水印(图8e示出了它们中的一些)和可能的位置进行匹配，从而检测相似性值(图8c、图8d示出了两个示例)。得出最高相似性值的模板被视为水印。图8示出了：(a)带水印图像；(b)带水印图像的最低有效位；(c)使用与水印相对应的模板(图8(e)中的左侧模板)进行统计模板匹配(相似性映射)的结果；(d)使用某任意模板进行统计模板匹配(相似性映射)的结果；(e)用来读取水印的模板的实施例。

在上面的描述中，相似性度量使较高的值表示更近的相似性，从而要检测局部最大值。但是，根据所使用的相似性度量，其他值(例如，较低的值)也可以表示更近的相似性，从而要检测局部最小值。因此，谈到较高值、局部最大值等时应该据此进行解释。

在本说明书中，术语“统计”是指与一些量(例如，颜色、强度等)的分布有关。

在本说明书中，术语“图像”用来描述图像单元，包括处理(例如，改变分辨率、上采样或下采样)之后或者与积分图像有关的图像单元，并且该术语也适用于其他相似的术语命名法，例如，帧、场、图片、或者图像、帧等的子单元或区域。在适当的地方，术语“像素”和“像素块或像素组”可以互换地使用。在本说明书中，除了从上下文显而易见的之外，术语“图像”是指整个图像或图像的区域。类似地，图像的区域可以指整个图像。图像包括帧或场，并且涉及静止图像或者图像序列(例如电影或视频)中的图像或相关图像组中的图像。

图像可以是灰度图像或彩色图像或者是另一类型的多谱图像，例如，IR、UV或者其他电磁图像或者声学图像等。

本发明例如可以在具有合适的软件和/或硬件变动的计算机系统中实现。例如，可以使用计算机等来实现本发明，所述计算机等具有：控制装置或处理装置，例如处理器或控制装置；数据存储装置，其包括图像存储装置，例如存储器、磁存储装置，CD、DVD等；数据输出装置，例如显示器或监视器或打印机；数据输入装置，例如键盘；以及图像输入装置，例如扫描仪；或者这些部件与另外的部件的任意组合。本发明的各方面可以以软件和/或者硬件的形式提供，或者可以在专用设备或专用模块(例如，微芯片)中提供。根据本发明实施方式的设备中的系统的部件可以距其他部件上远程地(例如，通过互联网)设置。

Claims (42)

1.一种在图像中检测对象的方法，该方法包括将模板与图像的区域进行比较并确定相似性度量，其中使用统计度量来确定所述相似性度量。

2.根据权利要求1所述的方法，其中，使用所述图像的与所述模板相对应的所述区域的统计值来确定所述统计度量。

3.根据权利要求2所述的方法，其中，所述区域的所述统计值包括所述图像的与所述模板相对应的所述区域内的像素值的平均值和方差。

4.根据权利要求1至3中任一项所述的方法，其中，所述统计度量包括统计假设检验。

5.根据权利要求1至4中任一项所述的方法，其中，该方法使用包括M个区域的模板，其中M为二或更大，所述模板的所述M个区域对应于所述对象的多个部分及其空间关系。

6.根据权利要求5所述的方法，其中，所述模板是M个区域的集合。

7.根据权利要求5或6所述的方法，其中，对象的具有相似的诸如颜色、强度等的辐射度特性的区域被结合在所述模板的一个区域中。

8.根据权利要求5至7中任一项所述的方法，其中，一个或更多个区域包含在模板匹配时不使用的一个或更多个区。

9.根据权利要求5至8中任一项所述的方法，其中，至少一个区域包括不相连的子区域。

10.根据权利要求5至9中任一项所述的方法，其中，所述区域对应于简单形状。

11.根据权利要求5至10中任一项所述的方法，其中，所述形状具有直线边。

12.根据权利要求11所述的方法，其中，所述形状为矩形。

13.根据权利要求5至12中任一项所述的方法，其中，所述相似性度量涉及所述模板的所述M个区域中的每一个区域。

14.根据权利要求13所述的方法，其中，所述相似性度量涉及所述模板的所述M个区域中的每一个区域以及对应于整个模板的区域。

15.根据权利要求5至14中任一项所述的方法，其中，统计值用于所述图像的与所述模板的所述M或M+1个区域相对应的各个区域。

16.根据权利要求15所述的方法，其中，所述统计值包括平均值和方差。

17.根据权利要求16所述的方法，其中，所述统计度量的使用包括将统计t测试应用于像素组。

18.根据权利要求17所述的方法，其中，所述相似性度量为式(1)或(4)的形式或与其相似。

19.根据权利要求16所述的方法，其中，所述统计度量的使用包括应用方差分析检验，即ANOVA检验。

20.根据权利要求19所述的方法，其中，所述相似性度量为式(8)或(9)的形式或与其相似。

21.根据权利要求1至20中任一项所述的方法，该方法包括将所述相似性度量与阈值进行比较。

22.根据权利要求21所述的方法，该方法包括使用统计阈值分割或者统计有效性水平。

23.根据权利要求22所述的方法，该方法包括：设置风险水平，并且使用所述风险水平、自由度和有效性表。

24.根据权利要求1至23中任一项所述的方法，该方法包括：从所述图像中导出积分图像，并在计算所述相似性度量时使用所述积分图像。

25.根据权利要求24所述的方法，该方法包括在计算所述相似性度量时使用所述积分图像和关系(10)或(11)。

26.根据权利要求1至25中任一项所述的方法，该方法包括：针对所述图像中的多个区域中的每一个图像导出相似性度量，以得到相似性映射，并且根据所述相似性度量来识别局部最大值或最小值。

27.根据权利要求26所述的方法，该方法包括将局部最大值或最小值与阈值进行比较。

28.根据权利要求1至27中任一项所述的方法，该方法包括使用与对象检测中的关注对象有关的另外的条件。

29.根据权利要求28所述的方法，其中，所述另外的条件包括了在所述统计假设检验中得到的统计值。

30.根据权利要求1至29中任一项所述的方法，该方法包括：使用各自表示一对象的多个模板，并导出使用所述多个面板中的每一个的相似性度量，并且例如通过组合的方式使用所述多个相似性度量来定位所述对象。

31.根据权利要求1至30中任一项所述的方法，该方法包括：产生具有不同分辨率的多个版本的所述图像以及具有不同分辨率的多个版本的所述模板，在第一分辨率下进行模板匹配然后在更高的第二分辨率下进行模板匹配。

32.根据权利要求31所述的方法，其中，第一分辨率下的所述匹配是要检测包含所述对象的关注区域，并且在所述关注区域内执行第二分辨率下的所述匹配。

33.根据权利要求31或32所述的方法，该方法包括：例如通过合并或排除模板区域来针对一分辨率调节所述模板，或者根据在不同分辨率下的检测结果来改变所述模板或模板区域的大小或形状。

34.一种在图像序列中跟踪对象的方法，该方法包括：使用如权利要求1至33中任一项所述的方法来检测对象，预测所述对象在下一图像中的近似位置并利用该预测来确定所述下一图像中的关注区域，以及在所述关注区域中使用如权利要求1至33中任一项所述的方法来检测所述对象。

35.根据权利要求34所述的方法，该方法包括：例如通过合并或排除模板区域来针对所述图像序列中的一图像调节所述模板，或者根据所述图像序列中的不同图像的检测结果来改变所述模板或模板区域的大小或形状。

36.根据任一前述权利要求所述的方法，该方法用于检测面部特征和/或脸。

37.根据任一前述权利要求所述的方法，该方法用于检测卫星图像、地理图像等中的特征。

38.根据任一前述权利要求所述的方法，该方法用于检测基准标记、路标、水印等。

39.一种用于执行权利要求1至38中任一项所述的方法的设备。

40.一种被编程为执行权利要求1至38中任一项所述的方法的控制装置。

41.一种设备，该设备包括权利要求40所述的控制装置和用于存储图像的存储装置。

42.一种用于执行权利要求1至38中任一项所述的方法的计算机程序、系统或计算机可读存储介质。

Images