CN108431824B - 图像处理系统 - Google Patents

Abstract

本发明公开了一种包括模板匹配引擎(TME)的图像处理系统。所述TME从存储器读取图像；并且当正在读取所述图像的每个像素时，作为所述像素值的函数来计算多个特征图的相应特征值。预滤器响应于当前像素位置包括要应用于所述图像内的窗口的有限检测器级联内的节点以便：将来自多个特征图中的选定特征图的对应于所述像素位置的特征值与阈值进行比较；并且响应于要应用于所述窗口的有限检测器级联内的所有节点的像素已经被读取，确定所述窗口的分数。分类器响应于所述预滤器指示窗口的分数低于窗口阈值，在指示所述窗口不包括待检测对象之前，不向所述窗口应用较长的检测器级联。

Description

图像处理系统

技术领域

本发明涉及图像处理系统。

背景技术

图像和图像流内的特征检测正在成为图像采集和处理装置中越来越重要的功能。

例如，如在欧洲专利No.EP2052347(参考号：FN-143)中所述的面部检测和跟踪是图像处理中的特征检测的公知示例。这些技术使得正被成像的场景内的一个或多个面部区域能够被轻易描绘并且允许基于该信息进行后续图像处理。此类后续图像处理可以包括：尝试识别正被成像的个体的面部鉴别，例如，用于标记或认证目的；通过将所检测和/或选择的面部区域对好焦距的自动聚焦；或对面部区域的缺陷检测和/或校正。

现在参考图1，示出了用于识别图像或图像部分内的特征的常规类型的模板匹配引擎(TME)10的框图。TME的处理步骤是：

1.将检测器级联从系统存储器(未示出)跨系统总线加载到检测器缓冲器12中。检测器级联包括应用于图像内的窗口以确定该窗口是否包含待检测对象的一系列级的信息。检测器级联(以下更详细地说明其使用)可以被布置成由分类器22应用于从图像提取的一个或多个不同形式的特征。除了图像强度(Y)值本身外，检测器级联还可以采用的特征的示例包括：通常由HAAR分类器采用的积分图像或II²图像、梯度直方图(HoG)、统计图或线性二进制模式(LBP)。在PCT申请No.PCT/EP2015/073058(参考号：FN-398)和2015年9月30日提交的美国申请No.62/235,065(参考号：FN-0471)中公开了用于产生HoG图的方法的细节，并且在2015年8月26日提交的美国专利申请No.62/210,243(参考号：FN-469)中公开了用于提供图像内的感兴趣区域的多个特征图的技术。

2.将输入图像或图像部分的强度平面信息(例如，亮度通道)从系统存储器跨系统总线加载到Y高速缓存14中。(如果需要，也可以使用其他图像平面。)；

3.利用滑动窗口以不同比例对Y高速缓存中的图像进行扫描，每一次采用一个比例，如下所述：

a.重采样器模块16将输入图像重采样为期望的比例(通常处理开始于图像的最下采样版本以检测最大特征)。

b.在重采样器16后采用的窗口大小通常是固定的，并且取决于应用和具体实施，可以是22×22、32×32或32×64像素。(因此，在给定图像内检测的对象的大小取决于在应用检测器级联之前的图像下采样的程度。)

c.相邻窗口之间的滑动窗口步长通常为1个或2个像素。

4.对于滑动窗口的每个像素位置，由特征计算器18计算特征图(通道)的对应位置的值，诸如以上提到的那些。需注意，特征计算器可以考虑到连续窗口重叠的事实，因此它不会重新计算已经针对一个图像计算的特征图值。

5.可以使来自特征计算器18的特征图值在特征缓冲器20中缓冲。

6.分类器22将来自检测器缓冲器12的检测器级联应用于特征缓冲器20中的当前窗口的特征图以确定窗口特征是否匹配感兴趣对象(例如，面部)。在分类器22内，通常逐级地应用检测器级联，从而为窗口建立分数。完整的检测器级联可以具有任何数量的级，例如，多达4096级是常见的最大长度。(需注意，大多数窗口在几个检测器级后会失败。例如，在使用良好训练的分类器的情况下，在12级后，95％的窗口测试失败。)

7.然后，可以针对图像中的下一个窗口从头开始重复上述过程的步骤2至6。

如在PCT申请No.PCT/EP2015/073058(参考号：FN-398)中公开的，特征计算模块18可以在每个时钟周期为新窗口提供所需的特征缓冲器20。分类器22通常在每个时钟周期处理一个检测器级联级，并且通常只有在每个新窗口开始时处理流水线被填充后才会发生这种情况—这可能再次涉及多个时钟周期。

因此，将会看到，在处理一个窗口时，分类器22需要在其(使用由向上箭头连接元件22至14指示的背压机构)之前停止整个流水线。因此，分类器22是该过程的瓶颈，因为检测器级联级必须按顺序应用。

发明内容

根据本发明，提供了一种用于处理图像的系统。

在实施方案中，预滤器模块被添加到模板匹配引擎(TME)以便通过加速处理来改善性能。预滤器具有以下作用和功能：

1.预滤器在读取图像时应用有限数量的检测器级，以利用尽可能少的级来拒绝大部分窗口。在一个实施方案中，预滤器包括足够的级以拒绝95％的窗口，使其随后无需在全检测器级联内被分析。

2.预滤器可以在每个时钟周期处理一个窗口，这意味着它可以处理窗口，而不会在图像处理流水线中造成背压。

3.只有预滤器的第一有限数量的级指示不应拒绝某个窗口，预滤器才将会向分类器指示其应当应用全检测器级联。

例如，如果使用12级的预滤器，TME可以被加速到高达20倍的数量级，因为预滤器可以在每个时钟周期处理一个窗口，而示例性分类器将需要20个时钟周期来应用检测器的相同前12级(8个周期流水线延迟+12级的12个周期)。

在第二方面，提供了图像处理系统。

根据该方面，分类器被训练成使每个决策基于单独的特征图，这样可以在单个时钟周期内读取特征，并且可以在单个时钟周期内执行每一级。

在第三方面，提供了图像处理系统。

在该方面，可编程控制器允许多个减小的级检测器在窗口上运行，之后决定它们的进展，然后确定哪些(如果有的话)较长的级检测器应当被应用于窗口。

附图说明

现在将参考附图以举例的方式来描述本发明的各种实施方案，在附图中：

图1示出了常规的TME模块；

图2示出了根据本发明第一实施方案的包括预滤器的TME模块；

图3示出了在本发明的实施方案内采用的特征图、窗口、检测器节点和级；

图4示出了在图2的示例性预滤器内采用的RTC检测器级联的第一级的处理；

图5示出了在图2的示例性预滤器内采用的RTC检测器级联级内采用的数据；

图6更详细地示出了图2的预滤器的架构；

图7示出了在根据本发明的实施方案的预滤器内的FIFO存储器内收集的检测器级数据；

图8示出了来自正被处理的帧的连续窗口的像素；并且

图9示出了根据本发明的第二实施方案的包括可编程分类器的模板匹配引擎。

具体实施方式

现在参考图2，示出了根据本发明第一实施方案的包括预滤器24的TME 10’。图2的其余元件的功能基本上如针对图1的TME所说明的，除非另有说明。一般来说，处理流程如下所述：

1)检测器缓冲器12接收用于预滤器24和分类器22两者的检测器级联配置。

2)特征计算模块18如先前那样逐像素地接收图像。

3)预滤器24立刻接收其要应用于图像的每个窗口的分类器级的配置信息(节点位置、通道信息、阈值)。典型地，由预滤器应用的检测器级的数量为约10至20个，并且在所示示例中是12级。

4)预滤器24以光栅顺序接收来自特征缓冲器20的所有特征图。

5)分类器模块22还接收来自特征缓冲器20的特征图以及来自预滤器24的初始决策，该初始决策发信号通知分类器22应对哪些候选窗口进行完全分类。

6)分类器22仅将其检测器应用于来自预滤器24的未拒绝窗口，并且通过系统总线将其关于图像的哪些窗口包含已检测对象的最终决策提供给其他模块。

因此，在TME 10’中，预滤器24的任务是在窗口由分类器22分析之前拒绝尽可能多的窗口。在从系统总线读取窗口信息时，预滤器24即时执行其任务，而运行分类器22可能需要更多的时钟周期—例如，由分类器22应用的全检测器级联可能具有多达4000个级或更多。

在本发明的一个实施方案中，预滤器24的每级包括随机树分类器(RTC)的决策树。可以在http://www.r2d3.us“图解机器学习”中找到说明RTC的有用教程。

现在参考图3，在这种情况下，每个决策树包括3个节点，即根节点0和子分支节点1和节点2。决策树的每个节点对应于待检查窗口内的像素位置，即窗口内的相对x,y位移。在该示例中，在每个决策节点处测试的值可以来自选定特征图的对应位置。

现在参考图4，在包括检测器级联级的三节点决策树(D3)中，将根节点的值Node0与该节点的阈值Threshold0进行比较，以确定应当采取树的哪个子分支。在子分支层级，根据在Node0处作出的决策，针对相应阈值对Node1或Node2的值进行测试，并且根据该结果，检测器级联的分数递增或递减给定量。通过针对测试数据集的训练来确定每个决策树的阈值、特征图和分数。

参考图5，一级的3个节点中的每一个与窗口内的相对x,y位置和特定特征图(通道)以及阈值相关联；并且对于每一级，都将有级阈值和所得的级分数。

同样，可以通过针对测试数据集的训练来确定所有这些值，所述测试数据集包括被分类为将被接受或将被拒绝的图像窗口，即它们是否包括分类器22将检测的种类的特征。

对于由预滤器24应用的12级的D3检测器级联，36个节点将是感兴趣的，其各自针对阈值测试对应窗口位置处的特征图值，以确定决策树的哪个其他节点将被测试或者检测器级联的一级的最终分数。

参考图6，预滤器24插置在特征计算/缓冲模块18/20与分类器22之间，使得在扫描图像时逐周期地生成特征图，从而知道感兴趣节点的x,y位置，预滤器24可以从相关特征图(通道0…15)中读取所需值以便针对预滤器24的每个级应用决策树。然后，根据预滤器24应用的级的累积分数，预滤器24可以将其决策提供给分类器22，以指示一旦到达窗口中的最后相关节点位置，分类器22是否应将全检测器级联应用于该窗口。这意味着，即使在从系统总线读取完整窗口之前，事实上也可以决定是否处理该窗口，即只要窗口的最后读取像素(通常是右下角)不需要作为检测器级内的节点，预滤器将在从存储器读取完整窗口之前做出其决策。因此，在读取完整窗口时或者甚至在此之前，如果需要，则分类器22可以发信号通知某窗口不包含待检测的对象，或者立即知道是否可能需要将任何其他检测器级联应用于该窗口。

现在参考图7，其示出了预滤器24的示例性配置。由检测器缓冲器12在图像处理之前提供的配置信息70被馈送到多个选择器72、74和比较器76中的每一个—每个节点0…35有一个。将节点0…35中的每一个的通道信息写入选择器72，并将节点0…35的位置信息写入选择器74。最后，将节点0…35中的每一个的阈值信息写入该组比较器76。选择器72将每个图像像素位置的在其生成时的通道信息引导至对应的选择器74。当每个选择器74检测到已经到达其在窗口内的已编程的x,y位置时，它将选定通道值提供给来自该组比较器76中的对应阈值比较器。当比较器检测到在输入处提供的来自选择器74的通道值时，该比较器执行其比较并且将其决策写入对应的FIFO 78。为预滤器检测器级联的任何检测器级中使用的每个节点提供FIFO。为了能够计算窗口分数，预滤器需要在FIFO存储器中的所有节点决策可用于该窗口。当所有节点的所有FIFO至少有1个位置被写入时，预滤器从所有FIFO存储器中弹出数据并且根据阈值算法80计算1个窗口分数。

因此，例如，节点0的值将确定要采用来自节点1或2的哪个值来促成应用于该窗口的决策级的最终值。可以针对已配置的窗口阈值对来自检测器级的累积分数进行比较以提供窗口的最终分数值，并且这可以指示预滤器24的关于给定窗口是包含还是不包含感兴趣对象的置信度水平。

参考图8，应当理解，由于窗口的节点在每个窗口内处于相同的相对x,y位置，因此当TME 10’扫描图像时，FIFO将填充连续的窗口，使得可能以每时钟周期1个的速率提供决策。

这种特性还可以使得能够以突发的像素(例如，4个或8个像素)读取数据。因此，通过扩增和多路复用图7的架构，可以在每个时钟周期内对多于1个窗口执行计算，并且因此以甚至更快的速率消除窗口或将窗口识别为全分类的候选者。

应当理解，使用RTC分类器级联允许预滤器24不只提供关于任何给定窗口的是/否决策，而且还提供指示来自检测器的有关窗口包括或不包括待检测对象的置信度的分数。这对于其他应用可以是有用的，从而对给定图像执行后续图像处理，但是该信息也可以与TME 10’一起使用，尤其是如果正在并行处理多个窗口，或者如果分类器22正在应用多个检测器级联，如下面更详细说明的。

在任何情况下，对于预滤器24未拒绝的任何窗口，分类器22可以应用一个或多个检测器级联。如在上述实施方案中说明的，预滤器24基于RTC级的数量。在从系统总线读取像素时生成的每个通道值可用于每个选择器72，并且因此这些选择器中的每一个都可以基于训练数据集来进行自由编程，以便选择使得预滤器24能够最好地区分应当全分类前拒绝的窗口和应经历全分类的窗口的任何一个通道。

在一些实施方案中，分类器22也可以基于这样的RTC级。然而，在分类器22内，依次应用每个级，从而为窗口创建分数。在检测器的每个级，取决于级评估结果，将级分数添加到窗口分数或从窗口分数中减去级分数。将每级后的窗口分数与级的阈值进行比较。当窗口分数高于级阈值时，应用下一个检测器级，然而如果窗口分数低于级阈值，则放弃该检测器。如果到达检测器级联的最后一级，则将窗口分数与检测器级联的全局阈值进行比较，并且如果窗口分数高于全局阈值，则发信号通知匹配。

分类器的每个级都基于与窗口内的三个节点相对应的通道值。如果没有就某级的决策树的每个节点将与哪个通道相关联做出假设，则在对级进行决策之前，可能需要从相同通道进行至少2次连续读取(假设需要对节点1或2进行1次子分支决策)。然而，为了加快分类器22内的决策制定，在基于RTC决策树的分类器22的实施方案中，每一级被限于基于不同通道的节点。因此，例如，级的Node0可能基于像素位置的HOG值；级的Node1可能基于像素的强度值；并且级的Node2可能基于像素的II值。这意味着每个节点的独立特征存储器(通道)可以在相同的时钟周期内被读取并且对照其阈值(根据需要)进行比较，并且级的最终分数在最少的时钟周期内生成，从而可能使分类器22的性能增速两倍。

还可以看出，存在可能需要TME将多个不同的检测器应用于任何给定窗口的应用程序。举例来说，与TME 10’在相同的装置上运行的生物特征识别应用程序可能需要所述应用程序来尝试识别处于多种不同姿势中的一种的用户(例如，前轮廓、倾斜轮廓、左侧轮廓或右侧轮廓)。

在这种情况下，检测器缓冲器12可以被设置有多个检测器级联，每个检测器级联用于不同的检测器。

即使预滤器24被训练成拒绝对其采用的此类检测器级联都不会成功的窗口，即公共拒绝器，分类器22可能仍然需要对预滤器24传递的每个窗口运行多个全长检测器级联。

现在参考图9，在TME 10”的另一个变体中，提供了可编程预滤器(PPF)26来控制由改进的分类器22’应用的检测器。同样，图9中具有与图1和图2中的参考数字相同的参考数字的元件执行基本上相同的功能。

PPF 26设置有规则引擎(未示出)，该规则引擎使得PPF能够确定来自检测器缓冲器12的哪些检测器级联将被应用或者哪些检测器将被完全应用于任何给定窗口。该规则引擎根据应用需求被预编程(即硬编码)，或者该规则引擎可以由应用程序(例如，上面提到的生物特征识别应用程序)通过跨系统总线提供所需的配置信息来进行配置。

在第一示例中，检测器缓冲器存储4个全检测器级联。PPF可以将来自每个级联的第一有限数量的级(例如，12个)应用于当前窗口。它通过以一定方式经由总线27将检测器配置提供给分类器22’来这样做，其方式类似于向图1和图2的分类器22提供来自检测器缓冲器12的检测器级联的方式。

然而，PPF也能够经由窗口控制接口(Win_Ctrl)30与分类器22’进行通信。一旦每个检测器级联完成，该接口30就向PPF 26提供分数。使用来自每个有限级检测器级联的分数，PPF现在可以决定另外哪个检测器级联可应用于当前窗口。这可能意味着，分级器可能只需要在多个有限级级联后应用1个全检测器级联，而不是向未被预滤器24(如果提供)拒绝的每个窗口应用4个全检测器级联。还应当看出，规则引擎还可以控制是否所有的有限级检测器级联确实应用于给定的窗口。因此，例如，如果第一有限级检测器级联返回了非常高的窗口分数，则PPF 26可以决定直接前进到对该窗口应用对应的全长度检测器级联。

当与基于RTC级的分类器22’结合使用时，PPF方法变得更加有用。同样，使用每个RTC级的节点在窗口内具有相同的相对位移这一事实意味着：可能以例如突发的4个或8个像素来读取图像像素信息—类似于以上针对预滤器24描述的方式。实际上，如果预滤器24与PPF 26和分类器22’一起被采用，则它们各自都采用相同的突发读取大小将是有益的。

使用突发读取意味着用于分类器22’的检测器级可以并行地应用于多个连续的窗口。在这种情况下，Win_Ctrl接口30使得PPF能够在单个时钟周期内从多个窗口获得分数。

现在，通过在多个窗口中并行地运行第一有限级检测器，然后在相同窗口中运行第二和后续的有限级检测器，PPF可以使用结果来确定并行窗口中是否有应当对其应用全检测器级联的任何窗口。

因此，例如，如果在被并行处理的一组窗口0…7中，窗口1和5返回第一有限级检测器的正分数，而窗口3返回第二有限级检测器的非常正分数，则PPF 26可以决定经由Win_Ctrl接口向分类器22’指示它应仅将对应于第二有限级检测器的全级检测器应用于这些窗口。

需注意，在这种情况下，全级检测器是应用于所有窗口0…7还是仅应用于窗口0…7中的一个几乎没有区别，因为分类器22’将不能够前进到窗口0…7之后的窗口序列，直到全级检测器已经完成处理窗口0…7中的任何一个。因此，将全级检测器应用于所有这些窗口所获得的信息可以由PPF用于确定要应用于后续窗口的处理。

无论如何，应用多个有限级检测器并且之后使用其结果来确定多个全级检测器中的哪一个将被应用于窗口的方法显著减少了检查图像中是否存在多种不同类型的对象或者具有许多潜在不同外观的对象(诸如面部)所需的时间。

需注意，尽管已经在处理图像方面描述了上述实施方案，但应当理解，这些实施方案中的TME可能只涉及处理图像的一部分。例如，在该系统内运行的应用程序可以确定只有来自完整图像的感兴趣区域(ROI)才可能需要被扫描以确定是否存在对象，并且因此只有这个部分可以被提供给TME 10’、10”，或者可以发信号通知TME以便仅将分类器22、22’应用于所接收的图像数据的子集。例如，对于基于虹膜图案的生物特征识别，只有被皮肤部分包围的图像区域可能由分类器22、22’检查。

另选地，可能以条带形式向TME提供图像以限制TME 10’、10”所需的存储器的数量。

Claims (14)

1.一种图像处理系统，包括可操作地连接到存储图像信息的存储器的模板匹配引擎TME(10’)，所述TME被配置成：

使用光栅扫描从所述存储器读取图像的至少一部分；以及

当正在读取所述图像部分的每个像素时，作为所述像素值的函数来计算多个特征图的相应特征值；

所述TME还包括：

预滤器(24)，所述预滤器响应于当前像素位置包括要应用于图像的所述部分内的窗口的有限多节点检测器级联内的节点，所述有限多节点检测器级联的节点对应于所述窗口内的相应像素位置，以便：

将来自所述多个特征图中的选定特征图的对应于所述像素位置的特征值与阈值进行比较；以及

响应于要应用于所述窗口的所述有限多节点检测器级联内的所有节点的像素已经被读取，基于所述特征值与所述节点的所述阈值的所述比较来确定所述窗口的分数；和

分类器(22；22’)，所述分类器响应于所述预滤器指示窗口的分数低于窗口阈值，在指示所述窗口不包括待检测对象之前，不向所述窗口应用较长的检测器级联。

2.根据权利要求1所述的图像处理系统，其中所述TME被布置成在计算所述特征值之前对所述图像进行亚采样(16)。

3.根据权利要求1所述的图像处理系统，其中所述TME被布置成从所述存储器同时读取多个像素，每个像素对应于窗口序列内的给定相对像素位置，所述预滤器响应于所述给定相对像素位置对应于要应用于所述窗口序列的所述有限多节点检测器级联内的节点，同时将来自所述多个特征图中的选定特征图的对应于所述给定相对像素位置的相应特征值与阈值进行比较；并且响应于要应用于所述窗口序列的所述有限多节点检测器级联内的所有节点的像素已经被读取，基于所述特征值与所述节点的所述阈值的所述比较来确定所述窗口序列的相应分数。

4.根据权利要求3所述的图像处理系统，其中所述TME被布置成同时读取4个或8个像素。

5.根据权利要求1所述的图像处理系统，其中所述预滤器被配置成拒绝95％的窗口，从而使其无需随后由所述分类器利用所述较长检测器级联来进行分析。

6.根据权利要求1所述的图像处理系统，其中所述分类器被配置成将多个检测器级联应用于未被所述预滤器拒绝的任何窗口。

7.根据权利要求6所述的图像处理系统，其中所述分类器被配置成一次将所述多个检测器级联连续地应用于一个窗口。

8.根据权利要求1所述的图像处理系统，其中所述分类器被布置成同时将给定检测器级联应用于窗口序列。

9.根据权利要求1所述的图像处理系统，其中所述节点包括多级随机树分类器RTC的连续级内的节点。

10.根据权利要求9所述的图像处理系统，其中所述RTC包括12级，每级包括3节点决策树。

11.根据权利要求1所述的图像处理系统，其中所述TME进一步被布置成基于像素值来提供多个以下特征图(18，20)的值：

强度图像；

积分图像II；

II²图；

统计图；

LBP(线性二进制模式)图；和

HOG(梯度直方图)图。

12.根据权利要求1所述的图像处理系统，其中所述分类器被布置成将至少一个检测器级联应用于图像的一部分内的窗口以便指示所述窗口是否包括待检测对象，所述至少一个检测器级联中的一个检测器级联包括多级随机树分类器RTC，每级包括具有对应于所述窗口内的相应像素位置的至少三个节点的决策树，所述分类器被布置成将来自所述多个特征图中的选定特征图的对应于像素位置的特征值与所述检测器级联的每个所述节点的阈值进行比较，其中所述检测器级联的训练受到限制，使得一级的每个节点的选定特征图各不相同，所述分类器被布置成从所述特征图中同时读取一级的每个节点的特征值，并且同时将每个所述特征图值与相应的阈值进行比较以确定一级的分数，并且所述分类器被布置成将窗口在每级后的累积分数与级阈值进行比较以确定是否继续所述检测器级联的下一级。

13.根据权利要求1所述的图像处理系统，其中所述分类器被布置成将至少一个多级检测器级联应用于图像的一部分内的窗口以便指示所述窗口是否包括待检测对象，所述分类器被布置成将窗口在每级后的累积分数与级阈值进行比较以确定是否继续所述检测器级联的下一级；以及

还包括：

可编程控制器(26)，所述控制器被布置成向所述分类器提供要连续应用于窗口的多个有限级检测器级联，所述可编程控制器被布置成从所述分类器接收每个有限级检测器级联的相应累积分数，并且应用来自规则引擎的规则来确定对应于所述有限级检测器级联的多个较长检测器级联中的哪些将被应用于所述窗口，以使得所述分类器能够指示所述窗口是否包括待检测对象。

14.根据权利要求1所述的图像处理系统，其中所述分类器被配置为应用多个检测器级联，所述多个检测器级联被配置成识别处于多个不同姿势中的相应姿势的面部。

Images