CN106447701A - 用于图像相似性确定、对象检测和跟踪的方法和装置 - Google Patents

Abstract

本发明涉及用于图形相似性确定、对象检测和跟踪的方法和装置。一种用于确定模板图像和测试图像之间的相似性的相似性确定装置包括：匹配像素确定单元，被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及确定单元，被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

Description

用于图像相似性确定、对象检测 和跟踪的方法和装置

技术领域

本文件涉及用于图像相似性确定、对象检测和跟踪的方法和装置。特别地，本发明涉及基于模板图像的像素和检测图像的对应局部区域之间的相似性来进行图像相似性确定、对象检测和跟踪的方法和装置。

背景技术

近年来，静态图像或一系列运动图像中的对象检测/识别/跟踪被普遍地和重要地应用于图像处理、计算机视觉和图案识别领域，并且在其中起到重要作用。对象可以是人脸、手部、身体等中的任一个。

特别地，图像匹配是对象检测/跟踪算法中的重要模块。图1示意性地示出了图像匹配在人体跟踪系统中的应用，其中图1(a)示出了模板图像，其可被从先前帧裁剪或者被预先设定或者预先存储在数据库中，而图1(b)示出了在对象跟踪期间的当前图像帧，该当前图像帧可包括要被检测的对象并且在该当前图像帧上要执行跟踪，还被称为测试图像。

如图1所示，跟踪算法使用图像匹配模块(对应于与从图1(a)到图1(b)的箭头所附的“图像匹配”)来测量模板图像和测试图像的候选位置处的图像块(被实线示出的图像块)之间的相似性。

应指出，在这里仅示出一个具有实线的图像块以便清楚阐述图像匹配，并且在具体实现中，局部搜索区域中的许多位置点应被扫描以获得多个潜在的候选位置(图像块)，并且图像匹配可对于图像块逐一执行以便找到真正的对象位置。例如，最好的图像位置是根据候选位置上的匹配得分被确定的(常常通过应用均值移位算法，或者简单地选择具有最大匹配得分的位置)。

局部搜索区域是测试图像中的在其中将如上所述地确定是否存在对象的匹配图像块的局部区域。如图1所示的测试图像中的局部搜索区域可被以多种方式确定。

例如，帧图像中的局部搜索区域可直接为预期包括对象的区域，并且对应于已经在前一帧中被检测到并且在动态跟踪期间被看作包括对象图像的区域。

此外，如果不存在作为参考的前一图像帧，则整个帧图像作为搜索区域。

应指出，上述局部搜索区域的确定方法主要针对一个对象，而当存在多个对象时，可存在与该多个对象一一对应的多个局部搜索区域，并且每个对象的每个局部搜索区域可被如上所述地确定。

在现有技术中，简单的图像匹配方法(还被称为直接像素匹配或者“点对点”匹配)是逐个像素地直接计算模板图像中的像素与测试图像中的对应像素之间的点对点颜色差值(在RGB或HSV颜色空间中)，并且将所计算的各像素的像素差值求平方和作为相似性测度，如图2所示。

此测度被称为欧几里得测度或者方差和(SSD)。两个图像之间的SSD通过下式计算：

其中，f()和g()可分别指地是在对应像素点处的模板图像的像素值和测试图像的像素值，并且(i，j)指的是像素点的坐标。越低的SSD得分意味着两个图像之间具有越高的相似性。

当两个图像的图像尺寸不同时，缩放操作是必需的(通过缩放测试图像或模板图像)。

尽管这样的方法可能是用于图像相似性确定的最简单的方法，但是这样的方法具有许多缺陷。一个缺陷是这样的方法由于其点对点匹配特性而对于图像变形非常敏感。另一个缺陷是这样的方法还对于光照变化和图像噪声敏感。例如，如果某个像素点的值由于噪声而从(0,0,0)改变为(255,255,255)，则即使所有其它像素保持不改变，SSD值也将显著改变。

颜色直方图匹配是用于对象跟踪的另一常用方法，并且在NikhilNaik,Sanmay Patil,Madhuri Joshi,"A Scale Adaptive Tracker UsingHybrid Color Histogram Matching Scheme,"ICETET,pp.279-284,2009Second International Conference on Emerging Trends in Engineering&Technology,2009中被公开。

在该方法中，颜色直方图将首先对于模板图像和测试图像中的每一个被计算。颜色直方图的示例性计算是将颜色空间简单地分割成离散区间(bin)。例如，通过将每个R/G/B通道等分成4个范围：[0,63],[64,127],[128,191],[192,256]，可以将RGB颜色空间分割成64个区间。

然后，各个图像中的像素将被归类到分割的64个区间中的一个中，并且分配给每个区间的像素的数量被累积。

然后，应用Bhattacharyya测度和Chi-squared测度以通过区段到区段对准来测量直方图的相似度，如图3所示，其中图3中(a)示出了模板图像和要被跟踪的当前帧中的候选图像块，并且(b)分别示出了归一化后的模板图像块和候选图像块的颜色直方图Hq和Ht。

尽管颜色直方图匹配对于对象变形和旋转是鲁棒的，但是这样的颜色直方图方法由于以下事实而对于光照变化是敏感的：直方图区间和它们的边界被离线选择并且在跟踪期间被保持固定，并且小的光照变化可显著改变颜色直方图。例如，值为63的像素将被分配给区间[0,63]。当光照改变很小，像素值被改变为64时，其将被分配给不同的区间[64,127]。

此外，由于颜色直方图没有关于对象形状的信息，这样的颜色直方图方法在跟踪期间容易漂移。例如，关于如图4所示的两个不同形状，尽管这两个形状大不相同，但是它们的颜色直方图是相同的。

因此，仍需要一种计算高效的颜色相似性确定方法，使得应用这样的颜色相似性确定的人体跟踪可高效地进行，尤其在实时性要求较高的场景下和场景包含许多人时。

此外，仍需要可对于对象变形和照明光照变化鲁棒的图像相似性确定。即使在诸如当前帧中的人相对于模板图像具有大的变形之类的情况中，图像相似性确定方法仍可在此类情状况中良好地工作。

发明内容

本发明是针对图像匹配而开发的，旨在解决上述问题。

本发明的目的是提供一种计算高效且对于对象变形和光照变化鲁棒的图像匹配方法。

本发明的另一个目的是提供一种计算高效且对于对象变形和光照变化鲁棒的对象检测和/或跟踪方法。

在一个方面，提供了一种用于确定模板图像和测试图像之间的相似性的相似性确定装置，可包含匹配像素确定单元以及确定单元，该匹配像素确定单元被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；该确定单元被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

在另一个方面，提供了一种对象检测装置，可包括被配置为获得关于该对象的至少一个候选图像的获得单元；被配置为确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性的相似性确定装置；以及检测单元，被配置为基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。

在还另一个方面，提供了一种对象跟踪装置，可包括被配置为从序列中的帧图像获得关于该对象的至少一个候选图像的获得单元；关联得分计算单元，被配置为基于利用相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及关联单元，被配置为基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的已有轨迹相关联。

在还另一个方面，提供了一种用于确定模板图像和测试图像之间的相似性的相似性确定方法，可包含匹配像素确定步骤以及确定步骤，该匹配像素确定步骤被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；该确定步骤被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

优选地，匹配像素确定步骤可包括差值计算步骤，该差值计算步骤依次计算模板图像中的像素与测试图像中的局部区域中的多于一个的像素中的每一个像素之间的差值，直至差值小于阈值为止，从而对应于小于该阈值的差值的模板图像中的像素被确定为匹配像素，其中该差值计算步骤是对于模板图像中的多个像素中的每一个像素执行的。

优选地，相似性确定方法可包括分割步骤，用于将模板图像和测试图像相应地分割成若干个子图像以便获得若干对模板子图像和测试子图像，其中匹配像素确定步骤和确定步骤对于每一对中的模板子图像和测试子图像执行以确定它们之间的相似性。

在另一方面，提供了一种对象检测方法，可包括用于获得关于该对象的至少一个候选图像的获得步骤；用于利用相似性确定装置确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性的步骤；以及检测步骤，用于基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。

在还另一个方面，提供了一种对象跟踪方法，可包括用于从序列中的帧图像获得关于该对象的至少一个候选图像的获得步骤；关联得分计算步骤，用于基于利用相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及关联步骤，用于基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的已有轨迹相关联。

[技术效果]

本发明提供了改进的图像相似性确定方法，其基于模板图像与要被测试的候选图像之间的所谓的“点对区域”匹配来确定它们之间的相似性。

通过计算模板图像中的像素与候选图像中的包含多于一个的像素的对应局部区域之间的差值，本发明的方法可对于对象变形和光照变化是鲁棒的。此外，本发明的方法的计算负担可比上述颜色直方图的计算负担小，并且可比得上现有技术的“点对点”匹配方法的计算负担。

此外，该方法可应用于多人跟踪算法，并且实现鲁棒的实时跟踪效果。

从参照附图的示例性实施例的以下描述，本发明的其它特征将变得清晰。

附图说明

并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在附图中，相似的附图标记指示相似的项目。

图1示意性示出了现有技术中的人体跟踪系统中的对象匹配的应用。

图2示意性示出了基于逐像素计算的直接像素匹配。

图3示意性示出了现有技术中的颜色直方图匹配。

图4示意性示出了颜色直方图匹配中的两个不同形状。

图5是示出可实现本发明的实施例的计算机系统的示例性硬件配置的框图。

图6示出了根据本发明的第一实施例的图像相似性确定方法。

图7示出了表征根据本发明的第一实施例的方法的“点对区域”匹配示意图。

图8示出了本发明的匹配像素确定步骤中的处理的流程图。

图9示出了根据本发明的第一实施例的用于选择模板图像中的像素的间隔的示意性设定。

图10示出了模板图像中的像素的示意性前景提取。

图11示出了模板图像和测试图像的对应分割和确定。

图12示出了模板图像和测试图像之间的示意性匹配计算。

图13示出了根据本发明的第一实施例的图像相似性确定装置。

图14示出了根据本发明的第二实施例的对象检测方法。

图15示出了分类器的对象检测结果。

图16示出了根据本发明的第二实施例的对象检测装置。

图17示出了根据本发明的第三实施例的对象跟踪方法。

图18示出了根据本发明的第三实施例的对象跟踪装置。

图19示出了根据本发明的方法所实现的对象跟踪结果。

具体实施方式

下文将参照附图详细描述本发明的实施例。

应注意，在附图中相似的附图标记和字母指示相似的项目，并且因此一旦一个项目在一个附图中被定义，则对于随后的附图无需再对其进行论述。

为了有助于理解本发明，下文将首先解释本公开的上下文中所使用的术语的含义。

在本公开的上下文中，图像可指的是多种图像中的任一种，诸如彩色图像、灰度图像等。应指出，在本说明书的上下文中，图像的类型未被具体限制，只要这样的图像可用作图像相似性确定、对象检测和跟踪的基础即可。

此外，图像可以是原始图像或图像的经处理的版本，诸如在执行本申请的操作之前已经经受了初步过滤或预处理(诸如DCT(离散余弦变换))的图像。

在包含权利要求的此公开的上下文中，模板图像是被预先确定为含有要被检测的对象并且将用作模板的图像，而测试图像是需要被确定是否含有要被检测的对象的图像，并且可与表述“候选图像”互换地使用。

模板图像和测试图像可具有或不具有相同大小，并且如果它们不具有相同大小，它们可在图像处理期间被缩放以具有相同大小。此外，在图像处理期间，模板图像和测试图像将在同一坐标系中被对准。

此外，除了相应图像的整体之外，依赖于处理阶段，模板图像和测试图像还指的是相应图像的一部分。

在包括权利要求的此公开的上下文中，匹配的两个图像可指的是这两个图像之间是相似的。因此，本发明的图像相似性确定方法还指的是用于确定两个图像是否相似的方法，其等同于确定这两个图像是否相互匹配。

在本公开中，术语“第一”、“第二”等仅仅用于区分元素或者步骤，而不是要指示时间顺序、优先选择或者重要性。

图5是示出可实施本发明的实施例的计算机系统1000的示例性硬件配置的框图。

如图5所示，计算机系统包括计算机1110。计算机1110包括处理单元1120、系统存储器1130、不可移除非易失性存储器接口1140、可移除非易失性存储器接口1150、用户输入接口1160、网络接口1170、视频接口1190、和输出外围接口1195，它们通过系统总线1121连接。

系统存储器1130包括ROM(只读存储器)1131和RAM(随机存取存储器)1132。BIOS(基本输入输出系统)1133驻留在ROM 1131中。操作系统1134、应用程序1135、其它程序模块1136和一些程序数据1137驻留在RAM 1132中。

不可移除非易失性存储器1141(诸如硬盘)连接到不可移除非易失性存储器接口1140。不可移除非易失性存储器1141例如可存储操作系统1144、应用程序1145、其它程序模块1146以及一些程序数据1147。

可移除非易失性存储器(例如软盘驱动器1151和CD-ROM驱动器1155)连接到可移除非易失性存储器接口1150。例如，软盘1152可插入软盘驱动器1151，并且CD(紧致盘)1156可插入CD-ROM驱动器1155。

诸如鼠标1161和键盘1162的输入设备连接到用户输入接口1160。

计算机1110可通过网络接口1170连接到远程计算机1180。例如，网络接口1170可经局域网1171连接到远程计算机1180。可替换地，网络接口1170可连接到调制解调器(调制器－解调器)1172，并且调制解调器1172经广域网1173连接到远程计算机1180。

远程计算机1180可包括诸如硬盘的存储器1181，其存储远程应用程序1185。

视频接口1190连接到监视器1191。

输出外围接口1195连接到打印机1196和扬声器1197。

图5所示的计算机系统仅是说明性的，并且决不打算限制本发明、其应用或者使用。

图5所示的计算机系统可对于任一实施例被实现为孤立计算机，或者设备中的处理系统，其中可去除一个或多个不必要的组件或者可添加一个或多个附加的组件。

[第一实施例]

下文将参照图6-12描述根据本发明的第一实施例的图像相似性确定方法和装置。在此实施例中，提出了新颖的用于图像相似性确定的方法和装置，其基于所谓的“点对区域”匹配，从而图像匹配可更鲁棒。

特别地，模板图像和测试图像之间的相似性可基于模板图像中的像素和测试图像中的局部区域之间的匹配来确定，该局部区域对应于模板图像中的该像素并且包括多于一个的像素。如上所述，模板图像和测试图像可具有多种形式，诸如如图1所示的大的图像中包含的图像块，并且当两个图像的图像大小不同时，缩放操作是必需的(通过缩放测试图像或其坐标)。此外，模板图像中的像素和测试图像中的对应的局部区域可按下文要描述的方式被选择。

以下将参照图6描述根据本发明的第一实施例的方法，该方法是用于确定模板图像和测试图像之间的相似性的方法，并且图6示出了这样的方法的流程图。

在步骤S601(还被称为匹配像素确定步骤)中，通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素。

在步骤S602(还被称为确定步骤)中，基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。特别地，在一种实现中，可计算模板图像中的匹配像素的数量与模板图像中的多个像素的总数的比率，从而基于该比率来确定模板图像和测试图像之间的相似性。

在包含权利要求的本公开的上下文中，匹配像素可指的是模板图像中的与测试图像中的至少一个像素相匹配的像素，并且当存在匹配像素时，这还等同于测试图像匹配模板图像中的像素的情况。

下文，将参照图7详细描述匹配像素确定步骤中的处理，图7示出了这样的匹配像素确定处理。

在这样的“点对区域”匹配模式中，对于模板图像中的每个像素点，测试图像中的对应的局部区域将被确定，然后模板图像中的像素可与其对应的在测试图像中的包括多于一个的像素的局部区域相比较，以确定其是否是匹配像素，而不是如现有技术中那样仅与测试图像中的单个对应像素相比较。

如在包含权利要求书的此公开的上下文中清楚可见，这样的匹配像素确定处理可对于模板图像的多个像素中的每个像素执行，以便确定模板图像中的匹配像素的数量，即确定模板图像中有多少像素与测试图像匹配。

模板图像的像素是否与测试图像中的与该像素对应的局部区域匹配可被以多种方式实现，并且在一种实现中，可通过计算模板图像的像素与测试图像中的局部区域中的像素之间的差值来实现。特别地，只要模板图像中的像素与测试图像的局部区域中的任一像素之间的差值小于阈值，则模板图像中的像素可被确定为匹配像素。否则，模板图像中的像素不是匹配像素。

对于模板图像中的每个像素，首先，计算模板图像中的像素与测试图像的局部区域中的从局部区域中的所有像素中的第一像素开始的像素之间的差值(S701)。

局部区域中的所有像素的顺序未被特别限制，只要局部区域中的所有像素可形成像素序列即可。

差值可以是与表征模板图像和测试图像的图像特征有关的差值。在一种实现中，差值是亮度差值和/或颜色差值和/或纹理差值。

这里，作为示例，两个像素之间的差值被描述为如下的颜色差值：

Diff＝(R₁-R₂)²+(G₁-G₂)²+(B₁-B₂)²

这里，(R1,G1,B1)和(R2,G2,B2)是像素值。

应指出，这样的差值计算是现有技术中最常用的手段，并且仅是示例性的，两个像素之间的其他类型的差值也可被使用。

然后，将这样计算的差值与阈值T进行比较(S702)。

如果所计算的差值小于该阈值，则确定模板图像中的这样的像素是匹配像素，则匹配像素确定处理对于这样的像素结束，然后对于模板图像中的下一像素开始。

另一方面，如果所计算的差值大于该阈值，这意味着测试图像的局部区域中的该像素不匹配模板图像中的像素，然后上述计算和比较处理将对于局部区域中的下一像素执行。

最后，当模板图像中的多个像素全部被处理时，这样的匹配像素确定处理将结束，并且将得到匹配像素的数量。

图8示出了示意性的“点对区域”匹配模式，其中模板图像中的像素在测试图像中具有对应的局部区域。这里，局部区域的大小是D＝3*3像素。如在图8中所示，模板图像中的每个像素P(i,j)要与测试图像的局部区域中的像素I(i,j)相比较。如果P(i,j)与局部区域中的任一像素匹配，则P(i,j)被看作是匹配的。

测试图像中的局部区域可根据如下这样的假设被选择：

·直接相邻像素值在所选择的颜色空间中具有相似的概率分布；

·强度可由于照相机自动增益控制设定或照度改变而改变；

·由于具有高帧率的帧之间的人体移动而发生微小偏移。

如本领域中公知的，这样的假设是合理的，并且对于当前的对象检测/跟踪是常见的。

在一个实现中，与模板图像中的像素对应的测试图像中的局部区域可被设定为该局部区域以测试图像中的其坐标与模板图像的该像素的坐标相同的像素为中心。即，局部区域可由围绕测试图像的这样的像素的数个像素构成。

尽管图7中的对应局部区域是方形区域，但是与模板图像中的一个像素对应的测试图像的局部区域可以是其它形状，只要它是中心对称区域以确保准确的图像匹配即可。例如，局部区域可以是圆形、六边形等。

当局部区域是方形区域时，局部区域可以是N*N方形区域，并且N>1。局部区域的大小越大，则匹配确定对于对象变形更具耐受性。当然，计算速度将越慢。因此，局部区域的大小可在用户考虑了耐受性和计算速度之间的折中的情况下被适当确定。

依赖于局部区域的大小的设定，测试图像中的各局部区域可相互重叠，或者可彼此直接相邻而不相互重叠。从这一点看，各个局部区域的设定不局限于此，只要各个局部区域可覆盖整个测试图像即可。

如上所述，用于匹配像素确定的模板图像的像素是从模板图像中的多个像素选择的，并且在一种实现中，模板图像中的多个像素可以是模板图像中包含的所有像素。此外，像素可从该多个像素被以多种顺序扫描，例如从模板图像的一个拐角点到相对的拐角点、诸如从左上部到右上部且自上到下、从左上到右下且自左到右、从右上到左下且从上到下、从右上到左下且自右到左等。像素还可从图像的中心到图像的侧面被扫描，反之亦然。像素的选择顺序未局限于此，只要图像的多个像素可全部被扫描即可。

在一种实现中，多个像素可从模板图像中包含的所有像素中分别在水平方向和垂直方向上以一定间隔被选择。依赖于局部区域的大小，间隔可被确定为使得各个对应的局部区域可覆盖整个测试图像。

图9示出了根据本发明的第一实施例的用于选择模板图像中的像素的间隔的示意性设定。

如图9所示，由黑像素指示的所选择的像素将被以间隔d选择。

如果局部区域的大小为3*3和d＝2，然后各个对应的局部区域将彼此直接相邻，而不彼此重叠。

当然，间隔d可以是任何其它值，而不局限于局部区域的大小，只要所确定的对应的局部区域可覆盖整个测试图像即可。

在一个优选实现中，多个像素可以是模板图像中的表征模板图像中含有的对象的像素。例如，当模板图像与人有关时，这样的像素可对应于表征人体的像素，诸如人体的掩模等。

考虑到图像中的对象主要通过这样的表征像素被确定，则仅使用这样的表征像素将减少非表征像素的干扰，并且考虑到表征像素的数量显著小于测试图像中的所有像素的数量，计算效率将显著提高。

在一种实现中，多个像素可以是通过去除模板图像上的背景像素的影响而获得的前景像素。使用这样的前景像素还将消除背景像素对于像素匹配的负面影响，并且进一步提高鲁棒性和计算效率。

如图10中所示，对于要被检测的人物，其前景像素可以是反映人肩部形状的像素。

在一种优选实现中，模板图像和测试图像可以被对应地分割，从而模板图像和测试图像中的每一个包含若干对应(诸如，位置对应)的子图像以形成若干对模板子图像和测试子图像。然后，对于每一对模板子图像和测试子图像，此对中的模板子图像和测试子图像可用作要经受上述图像匹配处理的模板图像和测试图像。

因此，可对于每对模板子图像和测试子图像确定相似性。

这样的分割过程对于一个对象可能被另一对象部分遮挡的情况尤其有利。特别地，这样的分割有效地在至少一个子图像中将一个对象与另一个对象分开，即在至少一个子图像中，一个对象可能不被另一个对象遮挡或者仅仅轻微遮挡，从而该个对象被更有效地确定，而另一个对象也可被更有效地确定。

因此，测试图像中的对象的状态可被有效地确定。

图11示出了模板图像和测试图像的对应的分割和确定。

如图11所示，两个图像将被对应地分割成四个子图像1到4，并且图像匹配可在对应的子图像中执行以应对人被部分遮挡的状况。

如图11(a)所示，模板图像示出了目标人物是可见的。如图11(b)所示，目标人物在测试图像中被部分阻挡。

通过这样的分割和匹配，在图11(b)的情况中，区域3中的匹配得分低，但是其它区域中的匹配得分高。因此，可认识到相对于前一帧而言，人体被部分阻挡，并且将采用与完全可见的正常人不同的跟踪策略。

图像的分割方式并不局限于此，并且可以是任何其它方式，只要模板图像和测试图像被对应地分割即可。

下文，将描述相似性确定步骤中的处理。特别地，所确定的模板图像中的匹配像素的数量将被用于确定模板图像与测试图像之间的相似性。

在一种实现中，模板图像和测试图像之间的图像匹配得分(或者图像相似性得分)被计算为：

其中，N_matched是匹配像素的数量，N_total是模板图像上的多个像素的数量。此匹配得分从0到1改变。

实际上，在对象检测/跟踪中，这样的匹配得分测量了当前测试图像的对象概率，即当前测试图像中是否可能具有对象，并且测试图像的匹配得分可与其它测试图像的得分相比较。

特别地，考虑到存在至少一个匹配图像，这样的至少一个匹配图像可按匹配得分的升序或降序来排序，以便选择最匹配的图像。得分越大，匹配图像越相似。

在另一种实现中，两个图像的匹配条件可被以二值模式呈现。即

其中，N_matched和N_total的含义如上，并且s是二值化前一匹配得分的阈值。通常，设定s＝0.5。

实际上，在对象检测/跟踪中，这样的匹配得分直接决定其是否是对象。

图12示出了模板图像和测试图像之间的示例性匹配计算。

如图12所示，与模板图像相比，测试图像中的对象(即，示意性的相似面部)稍微变形，并且在测试图像的被画圆圈的拐角处进一步存在噪声点。

对于这两个图像，当使用现有的点对点方法时，这两个图像之间的差值将被计算为55²×15+200²+20²+35²+80²+25²，这样的计算结果将是巨大的。

考虑到差值越大，图像将被看做越不相似，在现有的点对点方法中，图12中所示的这两个图像(尽管对应于同一对象)可能被看做不相似。

对于这两个图像，当现有技术的颜色直方图方法被使用时，噪声点200将在新的区间中，并且将对图像匹配的精度造成不利影响。

通过本实施例的方法，这两个图像的相似性得分将是35/36，这意味着两个图像之间具有高相似性。

因此，很明显，本发明的方法仍可准确确定两个图像的相似性，即使测试图像稍微变形以及在其中可能存在噪声点。

图13示出了根据本发明的第一实施例的图像相似性确定装置。

相似性确定装置1300可被用于确定模板图像和测试图像之间的相似性，并且可包含匹配像素确定单元1301以及确定1302，该匹配像素确定单元1301被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配来确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；该确定单元1302被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

优选地，匹配像素确定单元1301还可包括差值计算单元13011，该差值计算单元被配置为依次计算模板图像中的像素与测试图像中的局部区域中的多于一个的像素中的每一个像素之间的差值，直至差值小于阈值为止，从而对应于小于该阈值的差值的模板图像中的像素被确定为匹配像素，其中该差值计算步骤是对于模板图像中的多个像素中的每一个像素执行的。

优选地，相似性确定装置1300还可包括分割单元1303，其被配置为将模板图像和测试图像相应地分割成若干个子图像以便获得若干对模板子图像和测试子图像。在操作中，匹配像素确定单元1301和确定单元1302可对于每一对中的模板子图像和测试子图像进行操作以确定它们之间的相似性。

在优选实施例中，模板图像的大小可以是固定的。在此情况下，无需计算模板图像中的匹配像素的数量与模板图像中的多个像素的总数的比率。模板图像与测试图像之间的相似性可基于模板图像的匹配像素的数量被确定。

[技术效果]

在本实施例这样的“点对区域”匹配中，模板图像中的像素点将与测试图像中的具有多于一个的像素的局部区域相比较，以确定其是否是匹配像素，然后将使用匹配像素的数量来确定模板图像与测试图像之间的相似性。

与现有技术1中的点对点比较相比，这样的“点对区域”匹配模式将对于任何图像变形和光照变化是鲁棒的。另一方面，模板图像的像素的匹配范围将多于一个像素，而不是仅仅一个像素，因此即使存在任何图像变形和光照变化，仍有很大可能在局部区域中存在与测试图像的像素匹配的像素。另一方面，不是使用像素之间的差值，而是使用模板图像中的匹配像素的数量来确定相似性，并且与差值相比，匹配像素的数量将基本不受这样的图像变形和光照变化影响。

相反，现有的点对点比较仅仅考虑了两个像素的差值，而该差值将在存在图像变形和光照变化时显著改变，从而对于确定结果造成不利影响。

此外，在本发明的方法中，只要模板图像的像素与候选图像中的对应局部区域的像素之间的差值满足预定条件就停止差值计算，从而可以合理地减小计算量。本发明的方法可通过设定所希望的模板图像的像素之间的间隔和局部区域的大小来进一步减小计算量。

因此，计算负担可比得上现有的点对点方法。

现有的颜色直方图方法不能有效地区分不同形状，并且由于颜色直方图转换而具有严重的计算负载。

与此相比，本实施例的方法可具有显著减小的计算量，同时对于变形和变化是鲁棒的。

[第二实施例]

下文，将参照图14描述根据本发明的第二实施例的对象检测方法和装置。这样的对象检测方法和装置是基于根据本发明的第一实施例的相似性确定方法和装置的。具体而言，在其中检测对象的图像将是通过根据本发明的第一实施例的相似性确定方法和装置确定的一定数量的相似测试图像之一。

为了清楚起见，与第一实施例中的元件和步骤相同的第二实施例中的元件和步骤被用相同的附图标记指示，并且它们的描述将被省略。

首先，将获得至少一个在其中可能存在对象的候选图像(S1401)，。

输入图像可以是整个静态图像或者当前帧的整个图像。在一种实现中，输入图像可被对象检测器以滑动窗口模式被处理，以便获得至少一个在其中可能存在对象的图像，并且在其中可能存在对象的图像可被称为候选图像或者候选区域图像。此外，视频中的最近帧中的检测结果所指示的区域图像可被直接获得作为在其中可能存在对象的候选图像。将人的头肩部取作如前所示的检测对象。

所获得的至少一个候选图像将对应于模板图像。即使它们不具有相同的大小，它们可被缩放以具有相同大小。

在本领域中，对象检测器还可被称为分类器，该分类器分类并继而检测图像中的对象。通常，分类器(还被称为对象检测器，因此在包括权利要求的此公开的上下文中可互换地使用)通常涉及一种对象，诸如人物、动物、植物等，并且被用于检测要存在的图像中是否存在这样类型的对象。

分类器通常可包括多个弱分类器。在此实施例中，使用HOG(梯度方向直方图)特征和增强算法(诸如，Boosting算法)来构建分类器。HOG特征图像是通过将每个像素的梯度幅值根据其梯度方向投影到8个朝向上而获得的。为了训练头肩部分类器，训练样本将包括成百上千的正/负样本，这些样本都被规格化到相同大小。

在滑动窗口模式中，窗口将在输入图像上依次滑动以获得图像中的在该窗口下面的与该窗口对应的图像区域，并且窗口区域将与图像中的在窗口下面的图像区域可互换地使用。

窗口可以多种方式在要检测的图像上滑动，诸如从左上到右下且从上到下、从左上到右下且从左到右等等，因此所获得的多个窗口可被相应地排序。所获得的窗口的序列并不因此受限，只要整个图像可被窗口遍历即可。

窗口的形式可以是多种方式。通常，窗口可以是矩形、方形、圆形等中的任一种形状。窗口的形状未被特别限制，只要由此获得的所有图像区域可完全覆盖图像即可。

通常，窗口的大小可在从输入图像获得图像区域期间是固定的。例如，从图像的左上部开始，将从图像依次选择固定大小的图像区域。作为替代，依赖于图像的不同部分中包含的特征，窗口的大小也可在输入图像上滑动期间改变，以便进一步提高效率。例如，窗口的大小可根据序列中的先前窗口的检测结果被自适应地增加或者减小。

图像中所选择的相邻窗口区域通常相互重叠，而重叠比率未被特别限制，只要相邻窗口区域没有完全重叠即可。通常，为了更准确地检测图像中的对象，滑动窗口以较大的程度相互重叠。

图15示出了作为通过粗糙分类器处理的结果的候选图像，其中为了检测人，将检测人肩部。

应指出，这样的候选图像获得步骤不必需被包含在根据第二实施例的方法中，因此可被从根据第二实施例的方法被省略。例如，这样的候选图像可通过其它手段被先前获得，并且被输入根据本实施例的对象检测方法。

其次，至少一个候选图像中的每一个可经受根据本发明的第一实施例的用于确定相似性的处理。特别地，模板图像与每个候选图像之间的相似性将被确定(S1402)。

然后，在其中包含对象的最终图像可基于所述至少一个候选图像中的每一个的所确定的相似性来被确定(S1403)。

在一种实现中，被确定为相似图像的图像的相似性得分将被排序，然后具有最高相似性得分的图像将用作包括要被检测的对象的图像。

作为替代，具有相似位置和大小的一些相似图像将被合并为单个图像，作为包括要被检测的对象的图像。

通过这样的对象检测处理，可利用第一实施例的鲁棒的和高效的图像相似性确定方法来鲁棒和高效地检测图像中的对象。

这样的对象检测处理可被合并到分类器中以进一步提高其功能。

应指出，上述对象检测操作主要关于一个对象被描述并且针对一个对象操作，并且当存在多个对象时，上述对象检测操作将对于每个对象逐个地执行。

图16示出了根据本发明的第二实施例的对象检测装置。

对象检测装置1600可包括被配置为获得关于该对象的至少一个候选图像的获得单元1601；被配置为确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性的相似性确定装置1602；以及检测单元1603，被配置为基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。

应指出，这样的获得单元1601不必需被包含在对象检测装置中，并且对象检测装置可基于来自其它源的候选图像操作。此外，相似性确定单元1602可通过根据第一实施例的相似性确定装置来实现。

[第三实施例]

下文，将参照图17描述根据本发明的第三实施例的对象跟踪方法和装置。这样的对象跟踪方法和装置是基于根据本发明的第一实施例的相似性确定方法和装置的。为了清楚起见，与第一实施例和第二实施例中的元件和步骤相同的第三实施例中的元件和步骤被用相同的附图标记指示，并且它们的描述将被省略。

这样的用于对象跟踪的方法将对于视频的图像帧序列来执行，并且在操作中，将检测该序列中的每个帧序列的对象以获得对象移动轨迹。

对于序列中的每个帧序列，获得与帧图像的对象有关的至少一个候选图像(S1701)。

这样的获得操作可被以上文所述的步骤1401中的方式类似的方式执行，诸如利用分类器从当前帧图像获得候选图像，或者直接获得与先前帧图像的检测结果对应的候选图像，因此其详细描述将被省略。

应指出，类似于第二实施例，这样的获得步骤也可从根据第三实施例的方法被省略。例如，这样的候选图像可先前通过其它手段被获得，并且被输入根据本实施例的对象跟踪方法。

其次，基于所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性来计算所述至少一个候选图像中的每一个的关联性得分(S1702)。这样的关联性得分将用于确定这样的候选图像是否与已有的轨迹相关联。

在一种实现中，候选图像与前一帧中的跟踪结果之间的关联性得分被如下地计算：

关联性得分＝s₁-s₂-s₃

其中，相似性度量s1是通过根据第一实施例的方法获得的候选图像与前一帧中的跟踪结果之间的相似性得分，因此其细节在此将被省略；s2、s3是关于不一致性和轨迹不连续性的惩罚。这样的s2、s3可被操作者预先限定，并且通常是可变的。

由此，元组向量“关联性得分-轨迹位置-候选图像位置”将被获得并且被存储在存储设备中。

然后，基于关联性得分计算结果，当前帧中的至少一个候选图像要尝试与来自先前帧的已有轨迹相关联(S1703)。

这里，当关联性得分大于预定阈值时，这意味着候选图像与对象的先前帧中的轨迹相关联(对应于如下情况，例如在视频中对象移动)，当前帧中的轨迹位置可根据相关联的候选图像被更新，例如基于相关联的候选图像被延伸，这样的延伸过程可被本领域中的任何方法实现，因此为了清楚起见，其描述被省略。

当关联性得分小于预定阈值时，这意味着候选图像并不可靠，不能与对象的先前帧中的轨迹相关联。

关联性可通过贪婪方式获得。例如，元组向量可首先按照关联性得分的值被从高到低排序。得分最高的元组向量的项被认为相关联，并且与相关联的跟踪结果或头肩部有关的元组立即被从向量去除。此处理中的关联操作被一直进行，直到所有关联得分低于可通过实验获得的预定阈值。

因此，所去除的结果与前一轨迹相关联，并且将使得轨迹基于当前帧中的相关联的候选图像的检测结果被延伸。在一种实现中，轨迹将根据具有最高关联性得分的候选图像被延伸。

另外，对于其关联都失败的轨迹，由于有大的可能性是在最近跟踪结果的周围区域中存在新的人物位置，因此对象轨迹将通过已有跟踪结果的运动估计来被延伸。

应指出，上述对象跟踪操作主要参照一个对象被描述，并且当可能存在多个对象时，上述对象跟踪方法将对于每个对象逐个执行。

利用本发明的对象跟踪方法，对象的跟踪轨迹可被准确和迅速地确定并且绘制在运动图像中。

应指出，上述对象跟踪操作主要对于运动图像的序列中的已经具有至少一个已有的对象轨迹的非第一图像的图像被描述，而对于某些图像以及可能与跟踪轨迹的开头有关的该序列中的第一图像，跟踪轨迹的起点可通过本领域已知的各种方法被创建。例如，通过分类器在整个帧图像中进行对象检测以发现新的对象。对于关联失败的连续图像，轨迹可能终止。

当然，上述对象跟踪操作可用于序列的第一图像，并且在此情况中，考虑到此时没有计算关联性得分，跟踪轨迹的开始可基于上述的相似性得分被确定。

图18示出了根据本发明的方法所实现的对象跟踪结果，其中每个人后面的轨迹指的是已经被准确跟踪和更新的这样的人在运动视频中的移动轨迹。

图19示出了根据本发明的第三实施例的对象跟踪装置。

对象跟踪装置1900包括被配置为从序列中的帧图像获得关于该对象的至少一个候选图像的获得单元1901；关联得分计算单元1902，被配置为基于利用相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及关联单元1903，被配置为基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的已有轨迹相关联。

应指出，这样的获得单元1901不必需被包含在对象跟踪装置中，并且对象跟踪装置可基于来自其它源的候选图像操作。此外，作为关联性得分计算的接触的相似性可通过根据第一实施例的相似性确定装置来确定。

[工业适用性]

本发明可用于多种应用。例如，本发明可用于检测和跟踪静态图像或照相机捕获的运动视频中的对象，并且对于配备照相机的手持设备、移动电话中是尤其有利的。

应指出，本说明书中描述的方法和装置可被实现为软件、固件、硬件或它们的任何组合。某些组件可例如被实现为在数字信号处理器或微处理器上运行的软件。其它组件例如可被实现为硬件和/或专用集成电路。

另外，可采用多种方式来实行本发明的方法和装置。例如，可通过软件、硬件、固件或它们的任何组合来实行本发明的方法和装置。上文所述的该方法的步骤的顺序仅是说明性的，并且除非另外具体说明，否则本发明的方法的步骤不限于上文具体描述的顺序。此外，在一些实施例中，本发明还可具体化为记录介质中记录的程序，包括用于实施根据本发明的方法的机器可读指令。因此，本发明还涵盖了存储用于实施根据本发明的方法的程序的记录介质。

虽然已经参考示例实施例描述了本发明，应当理解，本发明不限于公开的示例实施例。下面的权利要求的范围将被给予最宽泛的解释，以便包含所有这些修改以及等同结构和功能。

Claims (19)

1.一种用于确定模板图像和测试图像之间的相似性的相似性确定装置，其特征在于，所述相似性确定装置包括：

匹配像素确定单元，被配置为通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配，确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及

相似性确定单元，被配置为基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

2.根据权利要求1所述的装置，进一步包括：

比率计算单元，被配置为计算模板图像中的匹配像素的数量与模板图像中的所述多个像素的总数的比率，

其中，所述相似性确定单元基于所述比率来确定模板图像和测试图像之间的相似性。

3.根据权利要求1所述的装置，其中，所述匹配像素确定单元进一步包括：

差值计算单元，被配置为依次计算模板图像中的像素与测试图像中的局部区域中的多于一个的像素中的每一个像素之间的差值，直至差值小于阈值为止，从而对应于小于该阈值的差值的模板图像中的像素被确定为匹配像素，

其中，所述差值是与表征模板图像和测试图像的图像特征有关的差值，

其中，所述差值计算单元对于模板图像中的所述多个像素中的每个像素进行操作。

4.根据权利要求1所述的装置，其中，所述差值是亮度差值和/或颜色差值和/或纹理差值。

5.根据权利要求1所述的装置，其中，模板图像中的所述多个像素表征模板图像中含有的对象。

6.根据权利要求1所述的装置，其中，所述多个像素是模板图像上的前景像素。

7.根据权利要求1所述的装置，其中，测试图像中的局部区域是中心对称的区域，该区域的中心像素对应于模板图像中的该进行匹配的像素。

8.根据权利要求1所述的装置，其中，测试图像中的局部区域是N*N方形区域，其中N>1。

9.根据权利要求1所述的装置，进一步包括：

分割单元，被配置为将模板图像和测试图像相应地分割成若干个子图像以获得若干对模板子图像和测试子图像，

其中匹配像素确定单元和相似性确定单元对于每一对中的模板子图像和测试子图像进行操作以确定它们之间的相似性。

10.根据权利要求1所述的装置，其中，所述多个像素被从模板图像中包含的所有像素分别在水平方向和垂直方向上按一定间隔选择。

11.根据权利要求1所述的装置，其中，与模板图像中的多个像素中的每一个对应的测试图像中的相应局部区域彼此相邻而不重叠。

12.根据权利要求1所述的装置，其中，模板图像和测试图像具有相同的形状和对应的尺寸。

13.一种对象检测装置，包括：

获得单元，被配置为获得关于对象的至少一个候选图像；

根据权利要求1到12中任一项所述的相似性确定装置，被配置为确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性；以及

检测单元，被配置为基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。

14.根据权利要求13所述的检测装置，其中，具有最大相似性得分的候选图像被检测作为包含对象的最终图像。

15.根据权利要求13所述的检测装置，其中，具有大于预定阈值的相似性得分的候选图像被检测作为包含对象的最终图像。

16.一种用于图像帧序列中的对象跟踪的对象跟踪装置，包括：

获得单元，被配置为从序列中的帧图像获得关于该对象的至少一个候选图像；

关联得分计算单元，被配置为基于利用根据权利要求1-12中任一项所述的相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及

关联单元，被配置为基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的跟踪轨迹相关联。

17.一种用于确定模板图像和测试图像之间的相似性的相似性确定方法，其特征在于，所述相似性确定方法包括：

匹配像素确定步骤，用于通过将模板图像中包含的多个像素中的每一个与测试图像中的对应于该像素的局部区域进行匹配，确定模板图像中包含的多个像素中的每一个是否是匹配像素，其中局部区域包括多于一个的像素；以及

相似性确定步骤，用于基于模板图像中的匹配像素的数量来确定模板图像和测试图像之间的相似性。

18.一种对象检测方法，包括：

获得步骤，用于获得关于该对象的至少一个候选图像；

利用根据权利要求1到12中任一项所述的相似性确定装置确定所述至少一个候选图像中的每一个与和该对象相关联的模板图像的相似性的步骤；以及

检测步骤，用于基于所确定的所述至少一个候选图像中的每一个的相似性来检测对象被包含于其中的最终图像。

19.一种用于图像帧序列中的对象跟踪的对象跟踪方法，包括：

获得步骤，用于从序列中的帧图像获得关于该对象的至少一个候选图像；

关联得分计算步骤，基于利用根据权利要求1-12中任一项所述的相似性确定装置确定的所述至少一个候选图像中的每一个与和对象相关联的模板图像的相似性，计算所述至少一个候选图像中的每一个的关联得分；以及

关联步骤，用于基于候选图像的关联得分使候选图像与来自序列中的前一帧图像的跟踪轨迹相关联。