CN106650672A - 实时人脸识别中级联检测及特征提取和匹配的方法 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种实时人脸识别中的人脸级联检测方法及特征提取和匹配方法，所述方法包括以下步骤：A、对检测器进行级联并结合图片进行尺度变换，空间变换，像素变换的处理；B、在级联检测后进行多个检测结果对应的特征提取；C、对提取的级联特征值进行自适应的匹配计算；D、在实时人脸识别中对同一目标进行多图匹配；E、在实时人脸识别中进行短时滤波。算法的级联及滤波处理，在工程实现上简单易行；人脸检测器的准确率得到提高；提高了人脸匹配的准确率。

Description

实时人脸识别中级联检测及特征提取和匹配的方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种实时人脸识别的人脸级联检测及特征提取和匹配方法。

背景技术

在现有的技术方案中，更多的是在一个算法框架内，如何提升某一种算法框架内的算法性能。

实时人脸识别在实际的应用中指这样一类型的应用：先指定一批待关注的人员作为关注人员名单，为后续描述方面，我们把这个名单定义为目标人员名单，在这个名单确定后，系统把实时采集中的人脸图片与这个名单中的每个人进行匹配，如果匹配，则进行相关的消息通知或其它后续业务操作。

将以上基本操作模式应用到不同的场景，可以实现不同的业务应用。如应用于的商业场景，如果将商场/会所的VIP客户做为目标人员名单，那么在人脸实时识别的基础上可以实现一个VIP系统，在VIP客户到来的时候可以提供更定制化的迎宾及后续消费引导服务，实现智慧商业的的概念；如果应用于安防领域，把嫌疑人作为目标人员，则可以建立起对嫌疑人的实时布控体系，在嫌疑人在任何时候出现的时候，系统都能实时发现，从且给相关的政府部门提供实时准确的信息，从而做出正确的响应，实现智慧城市的概念；推而广之的，在物业管理，商业防损，无人系统等其它诸多领域，人脸的实时识别都将极大的丰富和改善这些场景的产品体验。

在这个过程中，一个核心的处理是对视频或图片中的人脸进行检测和特征提取，并特征的匹配操作，这个核心成功率和准确性是系统体验的一个关键因素。

目前，虽然人脸的检测成功率，人脸识别的准确率已经达到一个比较高的水准，但是在非配合无感知的动态场景中，且在数据规模的比较在的情况下，错误率的在时间和空间上的累积有时候仍会达到一个让用户感知到的程度，从而影响客户体验。具体的影响体现在：人脸检测的失败导致目标人员没有及时发现，或被遗漏。人脸匹配的错误导致误报。随着目标人员的库规模的增加及实时识别人流量的增大而增大。

在实际的算法模型中，当大量的数据训练带来的性能提升曲线上升到一定的程度后，继续增加数据的训练量将很难从再获取进一步的性能提升，不管是在人脸检测还是在所提取的人脸特征区分度方面，同时不同的算法模型往往有各自擅长的场景，具体比如：人脸检测算法，在不同的场景下，如低光照，强光/逆光，低能见度（雨天雾天尘天）在算法的遗漏率，误检率方面可能各有优劣；人脸特征值的区分度（对应人脸比对时的准确性），两样在人脸角度 ，年龄，人脸模糊度，光照条件多种不因素的情况，不同场景/条件下的准确率可能也各有优劣。

由于不同的算法的模型采用的描述方案/结构完全不同，进行算法上的融合往往是困难的，或者是根本不可行的，那么怎么要综合集成，融合和应用不同的算法模型的结果则是一个非常值得考虑的一个问题。

基于以上考虑，本发明专利提出了一种在实时人脸识别中的人脸级联检测和特征提取和匹配的方法，从以下各个角度对算法进行综合的级联和融合，从而提高在动态场景中，人脸的检测的准确性和人脸匹配的准确性。主要的角度如下：图片尺度和空间及像像素级的变换（如resize, flip, smoth等操作）；级联多级检测器；级联多级特征提取；级联的特征匹配；多图特征匹配（同一个人的多个特征如不同的角度，表情，年龄）；短时间跨度的聚合匹配。

仅从单个算法角度出发考虑，很难在算法已经接近到瓶颈的情况下获得性能的绝对提升。

发明内容

本发明的目的在于提供一种实时人脸识别中级联检测及特征提取和匹配的方法，旨在解决上述的技术问题。

本发明是这样实现的，一种实时人脸识别中级联检测及特征提取和匹配的方法，所述方法包括以下步骤：

A、对检测器进行级联并结合图片进行尺度变换，空间变换，像素变换的处理；

B、在级联检测后进行多个检测结果对应的特征提取；

C、对提取的级联特征值进行自适应的匹配计算；

D、在实时人脸识别中对同一目标进行多图匹配；

E、在实时人脸识别中进行短时滤波。

本发明的进一步技术方案是：所述步骤A中还包括以下步骤：

A1、对级联检测的图像进行变换；

A2、对级联检测到的结构进行存储。

本发明的进一步技术方案是：所述步骤A1中包括以下步骤：

A11、对处理的图像不做任何变换利用多个检测器对Image(z)进行依次检测并记录下检测结果；

A12、对图像进行flip变换并再次利用多个检测器对对Image(z)_flip进行检测并记录flip变换后的检测结果；

A13、对图像进行resize变换并记录resize变换后的检测结果；

A14、对图像进行smoth变换并对Image(z)_smoth进行检测且记录下resize变换后的检测结果；

A15、对最后所得到的所述Face结果和结合Duplicate(N)进行去重。

本发明的进一步技术方案是：所述步骤B中包括以下步骤：

B1、依次读取人脸检测结果并取出其中的一个人脸位置及对应的变换信息；

B2、在进行特征提取前，先对图像Image(z)进行跟踪检测同样的变换；

B3、对人脸图像进行实际的特征值提取操作；

B4、重复步骤B1-B3直到所有人脸框均处理完为止。

本发明的进一步技术方案是：所述步骤C中包括以下步骤：

C1、利用遍历待比较两个级联特征的检测结果，统计自Feature的个数和变换的类型；

C2、取两个级联Feature的变换类型的并集并开始以下Feature扩展操作；

C3、如果当前Feature的类型个数小于步骤C2得到的并集，则进行扩展操作；

C4、对扩展后的特征值进行相似计算，作为最后的两两特征值的匹配度。

本发明的进一步技术方案是：所述步骤C3中还包括以下步骤：

C31、计算当前级联特征中已经存在的变换类型的特征值的均值；

C32、对于当前级联特征中，不存在的变换的特征值，用C31得到的均值特征值进行填充；

C33、重复进行C31- C32直到两个级联特征都已经扩展完毕。

本发明的进一步技术方案是：所述步骤D中包括以下步骤：

D1、在进行目标人中录入时进行多图的录入；

D2、在多图匹配前利用步骤C过程先进行级联的两两匹配；

D3、计算所输入的图片两两匹配结果的最大值、最小值及均值；

D4、根据所配置的策略不同，使最大值、最小值及均值为最后匹配的结果；

D5、输出最后匹配的多图匹配结果。

本发明的进一步技术方案是：所述步骤E中包括以下步骤：

E1、在短时滤波匹配前利用步骤C\D先进行级联的两两匹配和多图匹配结果；

E2、根据输入的Face中所带的Face从属信息缓存收到的两两匹配或多图匹配结果；

E3、每一个Person的缓存结果都维护一个超时定时器，并进行逻辑维护；

E4、如查按E3的过程中，维护的超进计数超过超时门限Threshold(TimeOut),则开始短时滤波的输出处理。

本发明的进一步技术方案是：所述步骤E3中还包括以下步骤：

E31、在收到一个新的匹配接口，超时计数清0；

E32、在每一个计时周期对超时计数加1。

本发明的进一步技术方案是：所述步骤E4中包括以下步骤：

E41、计算所缓存的所有匹配结果的最大值、最小值及均值；

E42、根据所配置的策略不同，使大值、最小值、均值为滤波匹配的结果。

本发明的有益效果是：算法的级联及滤波处理，在工程实现上简单易行；人脸检测器的准确率得到提高；提高了人脸匹配的准确率；该算法在提升性能的同时，并不显著的提升系统的结构复杂度和计算复杂度，同时相比于特定算法方面专用的性能提升方法，本发明提出的方法普适性高，可以应用在任何的基础性的检测和提取方法中，得到普适性的性能提升。

附图说明

图1是本发明实施例提供的实时人脸识别中级联检测及特征提取和匹配的方法的流程图 。

图2是本发明实施例提供的级联+变换的人脸检测结果结构示意图。

图3是本发明实施例提供的级联+变换的特征值提取结果示意图。

图4是本发明实施例提供的多图的匹配情况的两两匹配的中间结果存储示意图。

图5是本发明实施例提供的短时滤波缓存结构示意图。

具体实施方式

图1示出了本发明提供的实时人脸识别中级联检测及特征提取和匹配的方法的流程图，其详述如下：

步骤S1，对检测器进行级联并结合图片进行尺度变换，空间变换，像素变换的处理；检测器的级联并结合图片的尺度变换，空间变换，像素变换的处理方法，包含两核心的组成部分，A1级联检测的图像变换的过程；A2级联检测结构的存储；其中A1的过程具体如下：假设待级联的检测器Dectector(x), Dectector(y), 并定义如下参数Duplicate(N),其含义为在同一张图片中的同一张人脸，接受重次检测的次数。即在整个级联检测的最后，同一张脸只会选取Duplicate(N)张进行保存。同时定义如下描述，Face(m,n),其中m表示第几次检测，n表示第m次检测时，得到的所有Face中的第n张脸。在以上定义上，对于一张图版本Image(z)我们描述级联检测的过程如下：A11 先不做任何变换，利用多个检测器，对Image(z)进行依次检测，记录下每次检测的结果。A12 进行图像的flip变换，再次利用多个检测器，对Image(z)_flip进行检测。记录下flip变换后的检测结果。A13 先进行图像的resize变换。在做resize变换时，存在上变换和下变换的选择问题。我们定义一个门限Threshold(resize),当大于此门限时，时行下变换，当小于此门限时，进行上变换。利用多个检测器，对Image(z)_resize进行检测。记录下resize变换后的检测结果。A14 先对图像进行smoth变换，对Image(z)_smoth进行检测。记录下resize变换后的检测结果。A15 当A11~A14步骤完成之后，对所得到的所有Face结果，结合Duplicate(N)进行去重。其准则如下：A151初始时，Face的结果集合Set(face)为0。A152对于每一个待处理的Face,先跟Set(face)中的每一张脸进行中心点距离计算。如果中心点相距小于两两任意其中一个人脸宽度的1/2，则认为是同一张脸，并选择最附合这个条件，即两两距离最近都小于彼此宽度的1/2,则判断为同一个face,否则为一张新的face。A153对于新的face,则直接加入到Set(face)中，对于已经在Set(face)集合中存在的Face，如果这张Face已经记录的数目没有超过参数Duplicate(N)，且同一变换中没有记录过这张Face,则记录这张Face,i不满足以上任意一个，则丢弃当前结果。A154重复进行A152和A153两个步骤直接所有候选Face都处理完毕止。最终形成如图1所示的级联Face检测结果如图2所示。其中包含多个人脸Face, 每个Face中，可能存在一个到Duplicate(N)不同（相近但有微小的差别）的人脸检测结果。通过表示为一个图片的中的某一个矩形区域范围。

步骤S2，在级联检测后进行多个检测结果对应的特征提取；在级联检测的基础上，进行多个检测结果对应的特征提取方法，其过程如下：B1依次读取由图2所示的人脸检测结果。取出其中的一个人脸位置及对应的变换信息。B2在进行特征提取前，先对图像Image(z)进行跟检测进同样的变换如(flip/resize/smoth等)B3进行实际的特征值提取操作。B4重复进行步骤B1~B3，直接所有人脸框都处理完为止。其中得到的与Image(z)相关的人脸特征值如图3所示。

步骤S3，对提取的级联特征值进行自适应的匹配计算；适合的级联特征的特征值两两匹配方法，其关键的步骤如下：C1遍历待比较的两个级联特征的检测结果，统计自的Feature的个数和变换的类型。C2取两个级联Feature的变换类型的并集，开始以下的Feature扩展操作；C3如果当前Feature的类型个数小于步骤C2得到的并集，则需要进行扩展操作。步骤如下：C31计算当前级联特征中，已经存在的变换类型的特征值的均值；C32对于当前级联特征中，不存在的变换的特征值，用C3.1得到的均值特征值进行填充；C33重复进行C31和C32直到两个级联特征都已经扩展完毕。C4对扩展后的特征值进行相似计算，作为最后的两两特征值的匹配度。

步骤S4，在实时人脸识别中对同一目标进行多图匹配；实时人脸识别的多图识别方法，其关键步骤如下：D1为了提升识别的准确率，在进行目标人中录入的时候，进行多图的录入。但录入的多图需要明显区分度，如：同一个人不同年龄的图片；同一个人不同角度的图片；同一个不同表情的图片；同一个不同光照条件下的图片。D2在多图匹配前，先按本发明专利中C部分所述的方法，先先进级联的两两匹配，得到以下的图4所示的相似度存储结果；D3计算所输入的图片两两匹配结果的最大值、最小值、均值；D4根据所配置的策略的不同，使用是大值、最小值、均值为最后匹配的结果；D5输出最后匹配的结果为多图匹配结果。

步骤S5，在实时人脸识别中进行短时滤波,；实时人脸识别中的短时滤波方法。其关键步骤如下：E1在短时滤波匹配前，先按本发明专利中C,/D两部分所述的方法，先先进级联的两两匹配和多图匹配结果。E2根据输入的Face中所带的Face从属信息（如在Tracking过程中，对每一个输入的Face标记有TrackingID, 相同的TrackingID的输入表示人脸的图片来自于同一个人，如一个人在镜头前徘徊，则可能在短时间内采集到其多次，或通过配置Tracking算法的参数，可以在同一个人的一次跟踪过程中选择多张人脸做为输入），缓存收到的两两匹配或多图匹配结果，缓存结构如图5所示；E3每一个Person的缓存结果都维护一个超时定时器，并按如下逻辑进行维护；E31如果收到一个新的匹配接口，超时计数清0；E32每一个计时周期，超时计数加1；E4如查按E3的过程中，维护的超进计数超过超时门限Threshold(TimeOut),则开始短时滤波的输出处理。过程如下：E41计算所缓存的所有匹配结果的最大值、最小值、均值；E42根据所配置的策略的不同，使用是大值、最小值、均值为滤波匹配的结果。

可以不依赖于检测器与特征值匹配算法本身的性能提升和改善，实现以下效果：算法的级联及滤波处理，在工程实现上简单易行；人脸检测器的准确率提升；人脸匹配的准确率提升。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.实时人脸识别中级联检测及特征提取和匹配的方法，其特征在于，所述方法包括以下步骤：

A、对检测器进行级联并结合图片进行尺度变换，空间变换，像素变换的处理；

B、在级联检测后进行多个检测结果对应的特征提取；

C、对提取的级联特征值进行自适应的匹配计算；

D、在实时人脸识别中对同一目标进行多图匹配；

E、在实时人脸识别中进行短时滤波。

2.根据权利要求1所述的方法，其特征在于，所述步骤A中还包括以下步骤：

A1、对级联检测的图像进行变换；

A2、对级联检测到的结构进行存储。

3.根据权利要求2所述的方法，其特征在于，所述步骤A1中包括以下步骤：

A11、对处理的图像不做任何变换利用多个检测器对Image(z)进行依次检测并记录下检测结果；

A12、对图像进行flip变换并再次利用多个检测器对对Image(z)_flip进行检测并记录flip变换后的检测结果；

A13、对图像进行resize变换并记录resize变换后的检测结果；

A14、对图像进行smoth变换并对Image(z)_smoth进行检测且记录下resize变换后的检测结果；

A15、对最后所得到的所述Face结果和结合Duplicate(N)进行去重。

4.根据权利要求3所述的方法，其特征在于，所述步骤B中包括以下步骤：

B1、依次读取人脸检测结果并取出其中的一个人脸位置及对应的变换信息；

B2、在进行特征提取前，先对图像Image(z)进行跟踪检测同样的变换；

B3、对人脸图像进行实际的特征值提取操作；

B4、重复步骤B1-B3直到所有人脸框均处理完为止。

5.根据权利要求4所述的方法，其特征在于，所述步骤C中包括以下步骤：

C1、利用遍历待比较两个级联特征的检测结果，统计自Feature的个数和变换的类型；

C2、取两个级联Feature的变换类型的并集并开始以下Feature扩展操作；

C3、如果当前Feature的类型个数小于步骤C2得到的并集，则进行扩展操作；

C4、对扩展后的特征值进行相似计算，作为最后的两两特征值的匹配度。

6.根据权利要求5所述的方法，其特征在于，所述步骤C3中还包括以下步骤：

C31、计算当前级联特征中已经存在的变换类型的特征值的均值；

C32、对于当前级联特征中，不存在的变换的特征值，用C31得到的均值特征值进行填充；

C33、重复进行C31- C32直到两个级联特征都已经扩展完毕。

7.根据权利要求6所述的方法，其特征在于，所述步骤D中包括以下步骤：

D1、在进行目标人中录入时进行多图的录入；

D2、在多图匹配前利用步骤C过程先进行级联的两两匹配；

D3、计算所输入的图片两两匹配结果的最大值、最小值及均值；

D4、根据所配置的策略不同，使最大值、最小值及均值为最后匹配的结果；

D5、输出最后匹配的多图匹配结果。

8.根据权利要求7所述的方法，其特征在于，所述步骤E中包括以下步骤：

E1、在短时滤波匹配前利用步骤C\D先进行级联的两两匹配和多图匹配结果；

E2、根据输入的Face中所带的Face从属信息缓存收到的两两匹配或多图匹配结果；

E3、每一个Person的缓存结果都维护一个超时定时器，并进行逻辑维护；

E4、如查按E3的过程中，维护的超进计数超过超时门限Threshold(TimeOut),则开始短时滤波的输出处理。

9.根据权利要求8所述的方法，其特征在于，所述步骤E3中还包括以下步骤：

E31、在收到一个新的匹配接口，超时计数清0；

E32、在每一个计时周期对超时计数加1。

10.根据权利要求9所述的方法，其特征在于，所述步骤E4中包括以下步骤：

E41、计算所缓存的所有匹配结果的最大值、最小值及均值；

E42、根据所配置的策略不同，使大值、最小值、均值为滤波匹配的结果。