CN106295466A - 图像处理方法和装置 - Google Patents

Abstract

本发明提供图像处理方法和装置。特别地，提供了用于对象跟踪和对象识别的方法和装置。该装置包括：输入单元，其被构造为输入模板窗口图像和候选窗口图像；特征图像获得单元，其被构造为获得所述模板窗口图像和所述候选窗口图像的特征图像，并基于所述特征图像提取标量图像间特征；以及相似度计算单元，其被构造为基于所述特征图像计算所述模板窗口图像与所述候选窗口图像之间的相似度。

Description

图像处理方法和装置

技术领域

本发明通常涉及但不限于视频监控，更具体地，涉及用于多个图像中的对象跟踪和识别的方法和装置。

背景技术

对象跟踪广泛应用于智能监控，因此是计算机视觉中非常重要的任务。自动安全监控系统一般利用摄像机或其他图像捕获设备或传感器来收集图像数据。在简单的系统中，由图像数据表示的图像被显示用于安保人员的同时筛查，和/或被记录用于安全漏洞后的后续参照。在这些系统中，由观察员执行检测关注对象的任务。当系统本身能够部分或全部执行对象检测和跟踪时，发生显著进步。

对象跟踪的关键之一是能够描述所跟踪的对象或将所跟踪的对象与背景区分的鲁棒的对象观察模型。在一般的监控系统中，例如，可能对在整个环境中移动的检测到的对象(例如，人、车辆、动物、行李等)进行跟踪感兴趣。能够跟踪检测到的对象的现有系统，试图使用运动预测并使用滑动窗口方法跟踪在连续的视频帧中选择的特征，来跟踪对象。

美国专利US2012/0274777A1号公报公开了“照相机系统拍摄的对象的跟踪方法”，该方法提出了用于根据图1所例示的跟踪对象的流程图来学习对象观察模型的对象匹配器的方法。该跟踪方法包括两个阶段，第一阶段是离线学习阶段，第二阶段是在线跟踪阶段。因此，在离线学习阶段，该方法使用足够的正、负训练样本学习对象匹配器。这里，各离线正样本是由两个图像构成的匹配图像对，各离线负样本是不匹配图像对(步骤100)。从两个输入图像中提取边缘方向特征(步骤101)，并经由判别训练学习多个这种特征，以构成对象匹配器(步骤102和步骤103)。对象匹配器能够通过所学习的边缘方向特征测量两个对象之间的相似度。在在线跟踪阶段，对象检测模型检测多个关注对象(步骤104)，并且对象匹配器将所检测到的对象与先前的跟踪对象进行匹配(步骤105)，因此能够成功地更新所跟踪的对象的位置(步骤106)。

此外，在上述美国专利中也公开了边缘方向特征的提取处理。图2是更详细地示出图1所例示的“提取方向特征”的步骤的流程图。首先，输入两个图像(步骤110)。然后，针对各图像的预定区域提取两个边缘方向直方图(步骤111)。最后，通过使用组合功能来组合两个边缘方向直方图(步骤112)，并比较边缘方向的直方图相似度(步骤113)。

也就是说，基于边缘方向直方图获得上述边缘方向相似度特征。在各输入图像的预定区域分别提取两个边缘方向直方图，然后对其组合，例如直方图相交或特征级联。

然而，由于直方图是多维的，边缘方向直方图计算负荷和直方图组合两者都很繁重，而且基于特征的直方图增加了学习和匹配的复杂性，因此，滑动窗口匹配方法变得难以担负。

本发明旨在解决上述问题。本发明的一个目的是提供解决任意上述问题的新方法和装置。

发明内容

根据本发明的一个方面，提供了一种装置，该装置包括：输入单元，其被构造为输入模板窗口图像和候选窗口图像；特征图像获得单元，其被构造为获得所述模板窗口图像和所述候选窗口图像的特征图像，并基于所述特征图像提取标量图像间特征；以及相似度计算单元，其被构造为基于所述特征图像计算所述模板窗口图像与所述候选窗口图像之间的相似度。通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是例示用于对象跟踪的现有技术方法的流程图。

图2是例示用于图1中的边缘方向特征提取的现有技术方法的流程图。

图3是示例性例示能够实现本发明的实施例的计算机系统的硬件结构的框图。

图4是例示本发明的实施例的框图。

图5是例示根据本发明的实施例的对象相似度确定方法的流程图。

图6是例示标量图像间特征的提取方法的流程图。

图7A是输入图像对的示例。

图7B是一种类型的特征图像的示例。

图7C是另一类型的特征图像的示例。

图7D是在特征图像中选择的特征区域的示例。

图8是例示根据本发明的实施例的对象跟踪方法的流程图。

图9是例示在特定示例中学习匹配器的方法的流程图。

图10是例示根据本发明的实施例的对象识别的方法的流程图。

具体实施方式

参照以上列出的附图，本部分描述了特定实施例及其具体的结构和操作。请注意，通过仅例示而不限制的方式阐述下文要描述的实施例，因此这些实施例不限制本发明的范围并能够在本发明的范围内被改变为各种形式。鉴于本文的教导，本领域的技术人员将认识到存在等同于本文描述的示例实施例的范围。

图3是示例性例示能够实现实施例(例如，用于对象跟踪和/或识别的方法和装置)的计算机系统的硬件结构的框图。

如图3所示，计算机系统至少包括计算机1100。例如，计算机1100可以是安全设备、监控设备或其他图像识别设备。请注意，计算机1100可以包括一个或多个计算机，多个计算机能够单独实现计算机1100的各个功能。

计算机1100包括能够根据RAM 1130或ROM 1140中存储的程序处理数据和指令的CPU 1120。RAM 1130被用作CPU 1120执行各种处理(例如，本发明的实施例)时的暂时存储区域。

输入设备1170包括允许用户向计算机1100发出各种指令的图像捕获设备或用户输入接口或网络接口。输出设备1160包括输出外围接口。显示设备1180包括监视器或CRT或液晶显示器和图形控制器，并显示本发明的结果。

系统总线1150连接CPU 1120、RAM 1130、ROM 1140、输入设备1170、输出设备1160以及显示设备1180。在系统总线1150上传送数据。如本文所使用的，术语“连接”是指逻辑上或物理上直接连接或通过一个或多个中介的间接连接。

通常，本发明的用于对象跟踪或识别的输入是各种类型的对象。例如，对象可以是图像捕获设备(例如，数字照相机、数字摄像机，传感器或扫描设备(例如，扫描器或多功能设备))获得的图像。

图3所示的计算机系统仅是说明性的，并且不旨在限制本发明，包括其应用或使用。例如，输入设备1170(例如，图像捕获设备)获得一些图像作为输入图像，并通过系统总线1150将其发送并存储在RAM 1130中。CPU 1120执行RAM 1130中存储的本发明的方法的程序，然后CPU1120获得、计算、测量并执行本发明公开的所有步骤(例如，图5至图6以及图8至图10例示的步骤)。之后，CPU 1120能够通过系统总线1150和输出设备1160将结果发送到显示设备1180。结果也可以被存储在RAM1130中。经由网络接口，结果也可以被发送到远程计算机以用于其他应用。

此外，可以通过软件、硬件、固件或其任何组合，来执行被构造为执行对象跟踪和识别的本发明的装置(例如，图4所例示的装置)的各单元、设备、部件和/或组件。

下文中，将参照附图描述根据本发明的实施例的对象跟踪和识别的方法和装置。

[第一实施例]

图4是例示本发明的实施例的框图。

如图4所示，首先，作为输入设备1170之一的图像捕获设备获得一些图像作为输入图像。例如，图像捕获设备获得初始图像作为在输入单元510中输入的候选图像。然后，根据滑动窗口方式生成大量候选窗口图像。输入单元510还接收当在跟踪或识别中使用时要跟踪的对象的模板窗口图像。在图7A中，作为示例，左边可以是模板窗口图像，右边可以是候选窗口图像之一。模板窗口图像和候选图像是图像对。

特征图像获得单元520被构造为获得特征图像，在图5的步骤131对其进行描述。

处理单元(CPU)1120使用RAM 1130或ROM 1140中存储的程序和数据来执行被构造为操作本发明的图像处理装置的方法。处理单元(CPU)1120基于候选窗口图像和模板窗口图像转换并获得特征图像。这里，可以使用所有种类的特征图像，包括但不限于强度特征图像、颜色特征图像、梯度幅值特征图像、梯度方向特征图像以及滤波器响应特征图像。在该实施例中，本发明使用两种类型的特征图像：一种类型是图7B所示的YCrCb特征图像，另一种类型是图7C所示的HOG(方向梯度的直方图)特征图像。通过将输入图像从RGB颜色空间转换为YCrCb颜色空间来获得YCrCb特征图像，并且获得3通道Y、Cr和Cb。通过将各像素的梯度幅值根据其梯度方向投影为8个方向来获得HOG特征图像，因此获得8个特征图像。因此，YCrCb特征图像和HOG特征图像的总和为总共11个特征图像。

相似度计算单元530被构造为计算模板窗口图像和各候选图像之间的相似度，在图5的步骤132中对其进行描述。

处理单元(CPU)1120使用RAM 1130或ROM 1140中存储的程序和数据来执行被构造为操作本发明的图像处理装置的方法。在步骤132中，处理单元1120提取标量图像间特征以计算特征图像的相似度，在图6的描述中对其进行例示。

图6是例示标量图像间特征的提取方法的流程图。在步骤1321中，处理单元(CPU)1120从稍后描述的对象匹配器学习处理中获得特征参数。在步骤1322中，处理单元(CPU)1120计算特征图像的图像区域值。通过特征图像n中的区域(“R”)内的值的总和来表示图像区域(例如，如图7D所示)。因此，该总和可以采取下面的公式：

$\mathrm{sum}(n,R)=\underset{x,y\∈R}{\mathrm{\Σ}}{C}_n(x,y)$

其中，C_n为特征图像n。区域(“R”)被定义为易于使用积分图像技术(如Otsu运算符)快速计算矩形内的总和值的矩形。

并非必须使用区域内的值的总和，而可以使用其他形式(例如，将一个区域的总和值减去另一个区域的总和值的Haar模式)。唯一的要求是结果值是标量。因此，本领域的技术人员将认识到本发明不限定于这种情况。

在步骤1323中，处理单元(CPU)1120计算特征图像的标量图像间特征的值。这里，标量图像间特征被定义为以下公式。

$f(n,R)=\frac{{\mathrm{sum}}_1(n,R)}{{\mathrm{sum}}_2(n,R)}$

其中，sum₁是模板窗口图像的区域的总和值，sum₂是候选图像之一的区域的总和值。例如，sum₁是区域1的总和值，sum₂是区域2的总和值(例如，如图7D所示)。因此，通过将两个值相除来计算标量图像间特征，作为两个特征图像的相似度表示。

用于除法的总和值是特征图像的区域内的所有像素幅值的总和。即，该幅值总和为特征图像的一个区域中的所有像素幅值的总和。分别计算两个特征图像的两个区域的两个幅值总和。通过将一个幅值总和除以另一个幅值总和来得到标量图像间特征值。

相似度确定单元540被构造为确定模板窗口图像与各候选窗口图像之间的相似度，在图5的步骤133对其进行描述。

CPU使用RAM 1130或ROM 1140中存储的程序和数据来执行被构造为操作本发明的图像处理装置的方法。在步骤133中，处理单元1120确定候选窗口图像与模板窗口图像的相似度。这里，如果存在标量图像间特征，则标量图像间特征能够测量候选窗口图像之一与模板窗口图像的区域图像的两个区域的相似度。明显地，标量图像间特征值越接近于1，两个区域越相似。即，当除法结果越接近1时，相似度越高，否则相似度越低。因此，标量图像间特征给出了两个图像的相似度测量。由于它是标量，所以还能够非常快地计算。

也可以进行其他种类的标量图像间特征的定义，只要该定义能够测量两个特征图像的相似度即可。例如，如下定义两个其他标量图像间特征值。因此，本领域的技术人员将认识到本发明不限于这种情况。

$f(n,R)=\frac{{\mathrm{sum}}_1(n,R)}{{\mathrm{sum}}_1(n,R)+{\mathrm{sum}}_2(n,R)}$ 或 $f(n,R)=\frac{|{\mathrm{sum}}_1(n,R)-{\mathrm{sum}}_2(n,R)|}{{\mathrm{sum}}_1(n,R)+{\mathrm{sum}}_2(n,R)}$

输出单元550被构造为向输出设备1160或显示设备1180输出模板窗口图像与候选图像的相似度，或将相似度存储在RAM 1130或ROM1140中。

[第二实施例]

图8是例示根据本发明的实施例的对象跟踪方法的流程图。

如图8所示，在本实施例中，在跟踪情况下，输入图像可以是新图像帧。对象图像可以保持作为要跟踪的对象的模板图像并用于匹配。新图像和模板图像是图像对。

在步骤12中，处理单元1120生成滑动窗口。在本实施例中，处理单元1120以滑动窗口方式生成包含所跟踪的对象的大量候选窗口图像。即，通过滑动窗口方式，首先得到用于跟踪的对象应位于的新的图像或帧，然后找到预测对象模板窗口附近内的所跟踪的对象的新位置。

在步骤13中，处理单元1120在得到对象模板图像和候选窗口图像之后提取标量图像间特征。将基于上述方法提取标量图像间特征。

在步骤15中，处理单元1120基于下面详细描述的学习匹配器14以及计算出的标量图像间特征值，来测量图像相似度。匹配器给出表示候选窗口图像与模板图像的相似度的值。该值越高，候选窗口图像与模板图像越相似。在步骤12中所有生成的候选窗口图像的相似度值可以用于通过定点置信度值的峰值，来定位最终对象的位置。

此外，当在步骤15中测量图像相似度时，如图9所示，学习匹配器14能够被用于测量相似度，图9是例示特定示例中的学习匹配器的方法的流程图。

这是用于通过提取多个标量图像间特征来测量两个图像的相似度的预先学习对象匹配器。对象匹配器由c_k(1≤k≤K)代表弱回归量的若干弱回归量构成。因此，该匹配器的输出相似度被表示为：

$s=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{c}_k$

即，匹配器的输出相似度是所有弱回归量的总和。

弱回归量c具有如下形式：

其中，f是在步骤13获得的标量图像间特征的特征值，θ₁和θ₂是最低值和步长，步骤是具有L个区间的查找表。因此，弱回归量接收特征值，计算所位于的双区域，并给出查找值作为输出。

对象匹配器学习处理

图9是例示在特定示例中图8中的学习匹配器步骤的方法的流程图。

在步骤141中，图像捕获设备获得一些图像作为输入成对图像训练样本；例如，输入离线成对图像样本。正成对图像样本由匹配的跟踪对象的两个图像构成。负成对图像样本由跟踪的对象的图像和不包括对象的图像构成。

通过拍摄包括要跟踪的对象的类型(例如，头部和肩部)的序列图像来收集样本。针对具有图像模板的一个特定对象，发现其在后面的图像中的跟踪窗口位置，并且这两个图像构成一对窗口作为正样本。实际上，正样本被认为是成功匹配且跟踪的对象窗口图像对。针对负样本，提取后面的图像中不包含跟踪对象的邻近窗口图像，并将其与特定对象窗口图像组合。

在步骤142中，处理单元1120提取标量图像间特征。生成标量图像间特征池用于提供大量候选特征，然后机器学习算子从这些候选特征中选择。

标量图像间特征f(n,R)由特征图像索引n和特征区域(“R”)确定，通过在所有8个HOG图像通道和3个YcrCb通道排空n，并排空“R”的x、y、w、h参数，生成特征池。针对所生成的特征池中的所有特征，针对每个样本(包括正样本和负样本)计算其特征值。

在步骤143中，处理单元1120学习对象匹配器。判别机器学习算子用于学习能够表示对象窗口图像和候选窗口图像之间的相似度的对象匹配器。

例如，AdaBoost被用作学习算子。AdaBoost能够自动选择具有最大判别性的标量图像间特征。具有较小判别性或无判别性的标量图像间特征被丢弃，因此，最终分类器仅包含表示更快匹配处理速度的少量标量图像间特征。学习具有以下步骤：

1.使用相同权重初始化所有正样本和负样本。

2.在当前的样本权重下，针对各特征以如下方式构造弱回归量：

a)得到所有样本的所有标量图像间特征值。

b)求正样本的最小和最大特征值Max和Min，并设置θ₁＝min以及其中，L＝8是查找表的区间数。

c)将所有样本根据其特征值划分到查找表的区间，然后计算位于区间l的样本的正总和权重w_pl以及负总和权重w_nl，最后，查找表值被设置为 $\mathrm{lut}\left(l\right)=\frac{w_{\mathrm{pl}}}{w_{\mathrm{nl}}}.$

d)计算弱回归量的误差率。

3.找到具有最低误差率的弱回归量。

4.根据AdaBoost的权重更新规则来更新样本权重。如果学习K个弱回归量，则完成。否则进入步骤2。

因此，使用该方法，学习具有K个弱回归量的对象匹配器。

[第三实施例]

图10是例示根据本发明的实施例的对象识别方法的流程图。

如图10所示，本发明还应用于对象识别，对象识别旨在通过将未识别的输入图像的相似度与数据库中的一组图像进行比较，来识别该未识别的输入图像。

图像捕获设备在步骤21中输入未识别的图像和数据库中的一组图像，然后通过使用上述学习匹配器来提取标量图像间特征并测量相似度。最后，未识别的输入图像被识别为数据库中的所有图像当中给出最高相似度值的数据库中的图像。

应用

上述本发明能够自动识别行人离开停放的汽车，并且稍后能够将其与进入车的人进行比较。如果进入车的人不是来自乘车的原始组人员，则安保人员能够收到警报。通过警报自动发送视频短片，使得易于检查和快速确定是否存在问题。然后安保人员能够选择通知车主或报警。

通过跟踪对象的功能，通过跟随零售商店的个体购物者的路径能够检测出欺诈。通过该功能，公开的本发明能够被教导验证，带着商品离开商店的顾客是否在离开商店之前到收银台购买了商品。

当与对象匹配组合时，能够改善面部识别系统的性能。

请注意，上述实施例仅是说明性的，本发明不限于上述实施例。上述方法的步骤的顺序仅是说明性的，并且本发明的方法的步骤不限于以上具体说明的步骤。说明书中的各方面的各种组合应包含在本发明的保护范围中。

此外，本发明还可以被实施为记录在记录介质中的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明还包含存储用于实现根据本发明的方法的程序的记录介质。

虽然通过示例详细说明了本发明的一些特定实施例，但是本领域的技术人员应当理解，以上示例仅是说明性的而不限制本发明的范围。本领域的技术人员应当理解，可以修改以上实施例，只要不背离本发明的范围和精神即可。所附权利要求限定了本发明的范围。

Claims (14)

1.一种图像处理装置，该图像处理装置包括：

输入单元(510)，其被构造为输入模板窗口图像和候选窗口图像；

特征图像获得单元(520)，其被构造为获得所述模板窗口图像和所述候选窗口图像的特征图像，并基于所述特征图像提取标量图像间特征；

相似度计算单元(530)，其被构造为基于所述特征图像计算所述模板窗口图像与所述候选窗口图像之间的相似度；以及

确定单元(540)，其被构造为基于所计算出的相似度确定所述模板窗口图像与所述候选窗口图像是否相似。

2.根据权利要求1所述的图像处理装置，其中，所述特征图像是以下特征图像中的至少一者：强度特征图像、颜色特征图像、梯度幅值特征图像、梯度方向特征图像以及滤波器响应特征图像。

3.根据权利要求2所述的图像处理装置，其中，计算所述相似度包括以下步骤：

从对象匹配器学习处理中获得特征参数；

计算特征图像的区域值；

计算标量图像间特征的值以测量图像对的相似度。

4.根据权利要求3所述的图像处理装置，其中，所述区域值是预定特征图像中的预定区域的幅值总和。

5.根据权利要求1所述的图像处理装置，其中，所述标量图像间特征是第一区域值与第二区域值的比率、所述第一区域值与所述第一区域值和所述第二区域值的总和的比率、或所述第一区域值和所述第二区域值的差的绝对值与所述第一区域值和所述第二区域值的总和的比率。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

跟踪单元，其被构造为基于所述确定单元的结果跟踪图像中的对象。

7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括：

识别单元，其被构造为基于所述确定单元的结果识别图像中的对象。

8.一种图像处理方法，所述图像处理方法包括以下步骤：

输入模板窗口图像和候选窗口图像；

获得所述模板窗口图像和所述候选窗口图像的特征图像，并基于所述特征图像提取标量图像间特征；

基于所述特征图像计算所述模板窗口图像与所述候选窗口图像之间的相似度；以及

基于所计算出的相似度确定所述模板窗口图像与所述候选窗口图像是否相似。

9.根据权利要求8所述的图像处理方法，其中，所述特征图像是以下特征图像中的至少一者：强度特征图像、颜色特征图像、梯度幅值特征图像、梯度方向特征图像以及滤波器响应特征图像。

10.根据权利要求9所述的图像处理方法，其中，计算所述相似度包括以下步骤：

从对象匹配器学习处理中获得特征参数；

计算特征图像的区域值；

计算标量图像间特征的值以测量图像对的相似度。

11.根据权利要求10所述的图像处理方法，其中，所述区域值是预定特征图像中的预定区域的幅值总和。

12.根据权利要求8所述的图像处理方法，其中，所述标量图像间特征是第一区域值与第二区域值的比率、所述第一区域值与所述第一区域值和所述第二区域值的总和的比率、或所述第一区域值和所述第二区域值的差的绝对值与所述第一区域值和所述第二区域值的总和的比率。

13.根据权利要求8所述的图像处理方法，所述图像处理方法还包括以下步骤：

基于所述确定的结果跟踪图像中的对象。

14.根据权利要求8所述的图像处理方法，所述图像处理方法还包括以下步骤：

基于所述确定的结果识别图像中的对象。