CN111931677A

CN111931677A - 一种人脸检测方法及装置、人脸表情检测方法及装置

Info

Publication number: CN111931677A
Application number: CN202010839734.4A
Authority: CN
Inventors: 樊硕
Original assignee: Beijing Moviebook Technology Corp ltd
Current assignee: Beijing Moviebook Technology Corp ltd
Priority date: 2020-08-19
Filing date: 2020-08-19
Publication date: 2020-11-13

Abstract

本申请公开了一种人脸检测方法及装置、人脸表情检测方法及装置。人脸检测方法包括：对视频第一帧图像进行人脸检测，对于后续图像，若前一帧未检测到人脸，在当前帧全图像中搜索人脸，否则，在当前帧特定区域搜索人脸，特定区域大于前一帧人脸区域，最小人脸尺度小于前一帧人脸尺度。人脸表情检测方法包括：对视频序列图像进行人脸检测；将人脸图像分为训练样本和待检测图像；利用训练样本进行分类器训练；采用级联分类器对待检测图像进行人脸表情检测。人脸检测装置包括第一检测模块、第二检测模块和第三检测模块。人脸表情检测装置包括人脸表情检测装置、分类模块、特征提取模块、训练模块、组合模块和人脸表情检测模块。

Description

一种人脸检测方法及装置、人脸表情检测方法及装置

技术领域

本申请涉及视频序列图像的人脸检测及人脸表情检测技术，尤其涉及一种人脸检测方法及装置、人脸表情检测方法及装置。

背景技术

对于视频序列图像的人脸表情检测，常用的方法有二分类法，但传统的二分类人脸检测存在过拟合问题，导致识别率低，实时性和准确性低，检测结果不理想。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种人脸检测方法，所述方法包括：

对视频序列图像的第一帧图像进行人脸检测，检测完毕后移至下一帧图像；

在前一帧图像未检测到人脸的情况下，在当前帧的全图像中搜索人脸，并且最小人脸搜索尺度设置为P1×P2像素，检测完毕后移至下一帧图像；

在前一帧图像检测到人脸的情况下，在当前帧图像的特定区域内搜索人脸，所述特定区域为前一帧图像中人脸区域的N倍区域，并且最小人脸尺度设置为前一帧图像中人脸尺度的M倍，N>1，0<M<1，检测完毕后移至下一帧图像。

可选地，P1＝P2＝20。

可选地，N＝1.2，M＝0.8。

根据本申请的一个方面，提供了一种基于上述人脸检测方法的人脸表情检测方法，所述方法包括：

对视频序列图像进行人脸检测；

将检测到的人脸图像分为训练样本和待检测图像两部分；

提取所述训练样本的Haar特征；

利用所述Haar特征，并基于Ada Boost分类算法进行分类器训练；

组合若干个所述的分类器得到级联分类器；

采用所述级联分类器对所述待检测图像进行人脸表情检测。

可选地，所述分类器的尺寸为可变。

根据本申请的第三个方面，提供了一种人脸检测装置，所述装置包括：

第一检测模块，其配置成对视频序列图像的第一帧图像进行人脸检测，检测完毕后移至下一帧图像；

第二检测模块，其配置成在前一帧图像未检测到人脸的情况下，在当前帧的全图像中搜索人脸，并且最小人脸搜索尺度设置为P1×P2像素，检测完毕后移至下一帧图像；和

第三检测模块，其配置成在前一帧图像检测到人脸的情况下，在当前帧图像的特定区域内搜索人脸，所述特定区域为前一帧图像中人脸区域的N倍区域，并且最小人脸尺度设置为前一帧图像中人脸尺度的M倍，N>1，0<M<1，检测完毕后移至下一帧图像。

可选地，P1＝P2＝20。

可选地，N＝1.2，M＝0.8。

根据本申请的第四个方面，提供了一种基于上述人脸检测装置的人脸表情检测装置，所述装置包括：

人脸检测装置，其配置成对视频序列图像进行人脸检测；

分类模块，其配置成将检测到的人脸图像分为训练样本和待检测图像两部分；

特征提取模块，其配置成提取所述训练样本的Haar特征；

训练模块，其配置成利用所述Haar特征，并基于Ada Boost分类算法进行分类器训练；

组合模块，其配置成组合若干个所述的分类器得到级联分类器；和

人脸表情检测模块，其配置成采用所述级联分类器对所述待检测图像进行人脸表情检测。

可选地，所述分类器的尺寸为可变。

本申请的方法及装置，由于利用了视频时序序列图像的相关性，减小待检测区域、增大最小人脸尺度区域，因此能够显著减少Haar特征的提取耗时，大大缩短了检测时间，提升了检测的实时性。并且，由于减小了最小人脸尺度区域，使得检测更加精准，提高了视频流识别率。

根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请一个实施例的一种人脸检测方法的示意性流程图；

图2是根据本申请一个实施例的一种人脸表情检测方法的示意性流程图；

图3是根据本申请一个实施例的采用级联分类器进行人脸表情识别的原理示意图；

图4是根据本申请一个实施例的一种人脸检测装置的结构示意图；

图5是根据本申请一个实施例的一种人脸表情检测装置的结构示意图；

图6是根据本申请一个实施例的一种计算设备的结构示意图；

图7是根据本申请一个实施例的一种计算机可读存储介质的结构示意图。

具体实施方式

图1是根据本申请一个实施例的一种人脸检测方法的示意性流程图，所述人脸检测方法一般性地可包括：

S11、对视频序列图像的第一帧图像进行人脸检测，此处对人脸检测的具体方法不做限定，检测完毕后移至下一帧图像。

从视频序列图像的第二帧图像开始，每帧图像要根据前一帧图像的检测结果来决定当前帧的具体检测方法，在前一帧图像中未检测到人脸的情况下采用步骤S12的方法对当前帧进行人脸检测，在前一帧图像中检测到人脸的情况下采用步骤S13的方法对当前帧进行人脸检测。

S12、若前一帧图像未检测到人脸，则在当前帧的全图像中搜索人脸，并且最小人脸搜索尺度设置为P1×P2像素，检测完毕后移至下一帧图像；

作为本发明的优选实施方式，可设置P1＝P2＝20。

S13、若前一帧图像检测到人脸，则在当前帧图像的特定区域内搜索人脸，所述特定区域为前一帧图像中人脸区域的N倍区域，并且最小人脸尺度设置为前一帧图像中人脸尺度的M倍，N>1，0<M<1，检测完毕后移至下一帧图像；

作为本发明的优选实施方式，可设置N＝1.2，M＝0.8。

作为本发明的优选实施方式，可将所述特定区域的中心位置设置在所述前一帧图像中人脸区域的中心处，并且所述特定区域是对所述前一帧图像中人脸区域的各个方向的等比例扩大。例如，所述前一帧图像中人脸区域为矩形A，其长和宽分别为Xa和Ya，当前帧图像的特定区域为矩形B，其长和宽分别为Xb和Yb，可将矩形B的中心设置在矩形A的中心处，即两个矩形的中心重合，矩形B的长边和短边分别与矩形A的长边和短边平行，并且

上述人脸检测方法适用于视频序列图像的人脸检测，由于视频序列中相邻两帧图像之间有非常强的相关性，因此，可以利用时序序列图像的相关性减小待检测区域、增大最小人脸尺度区域，大大缩短了检测时间。

本实施例还提出了一种基于上述人脸检测方法的人脸表情检测方法，所述方法一般性地可包括：

S1、对视频序列图像进行人脸检测，所述人脸检测的方法包括前述步骤S11至步骤S13；

S2、将检测到的人脸图像分为训练样本和待检测图像两部分；

S3、提取所述训练样本的Haar特征；

S4、利用所述Haar特征，并基于Ada Boost分类算法进行分类器训练；

S5、组合若干个所述的分类器得到级联分类器；

S6、采用所述级联分类器对所述待检测图像进行人脸表情检测。

所述的人脸表情检测方法采用基于Haar特征与级联的Boosted机器学习相结合的对象探测方法进行人脸检测，利用样本图像的Haar特征并基于Ada Boost分类算法进行分类器训练，并组合若干简单的分类器得到最终的级联分类器。为了搜索不同大小的目标物体，分类器尺寸被设计为可改变的，这样比改变待检图像的尺寸更为有效。分类器训练完成之后，可将其应用在输入图像中的感兴趣区域，检测与训练样本具有相同尺寸的范围，检测时可以在输入图像中移动搜索窗口，检测输入图像的每一个位置来确定可能的目标。为了在图像中检测未知大小的目标物体(例如人脸特征)，扫描程序通常需要用不同比例大小的搜索窗口对图像进行若干次扫描。图3是根据本申请一个实施例的采用级联分类器进行人脸表情识别的原理示意图，其中，T表示通过上一级分类器，F表示被分类器拒绝，被检测图像依次通过每一级分类器，每通过一级分类器，就会排除掉一部分候选区域，通过所有分类器的区域即为目标区域。

基于Haar特征的人脸表情检测用到的主要算法为Ada Boost，Ada Boost算法的关键是：将分类效果差的分类函数赋予较小的权值，将分类效果好的分类函数赋予较大的权值。Ada Boost算法的学习过程可以理解为“贪婪的特征选择过程”，对于一个问题，通过加权投票机制，用大量的分类函数的加权组合来判断。Ada Boost是一个寻找能够很好地对目标进行分类的少数特征的有效方法。

使用Ada Boost的方法选择特征，就是将“弱学习器”加上一个限定，一个“弱学习器”对应一个矩形特征，在进行放大(Boost)的过程中，每一次选择关于人脸检测与表情图像预处理的特征，产生一个高效分类器。这个分类器对正例和反例的区分度达到最优。

所述分类器为弱分类器，指的是用Haar特征直接构成的分类器，对每个特征，“弱学习器”使得每个函数(例如分类函数)的阈值达到最优。

本实施例的人脸表情检测方法，由于在人脸检测过程中，增大了待检测区域，减小了最小人脸尺度区域，因此能够显著减少Haar特征的提取耗时，提升了检测的实时性。并且，由于减小了最小人脸尺度区域，使得检测更加精准，提高了视频流识别率。

图4是根据本申请一个实施例的一种人脸检测装置的结构示意图，所述人脸检测装置1包括：

第一检测模块11，其配置成对视频序列图像的第一帧图像进行人脸检测，检测完毕后移至下一帧图像；

第二检测模块12，其配置成在前一帧图像未检测到人脸的情况下，在当前帧的全图像中搜索人脸，并且最小人脸搜索尺度设置为P1×P2像素，检测完毕后移至下一帧图像；

第三检测模块13，其配置成在前一帧图像检测到人脸的情况下，在当前帧图像的特定区域内搜索人脸，所述特定区域为前一帧图像中人脸区域的N倍区域，并且最小人脸尺度设置为前一帧图像中人脸尺度的M倍，N>1，0<M<1，检测完毕后移至下一帧图像。

所述第一检测模块11对人脸检测的具体方法不做限定，从视频序列图像的第二帧图像开始，每帧图像要根据前一帧图像的检测结果来决定当前帧的具体检测方式，在前一帧图像中未检测到人脸的情况下采用第二检测模块12对当前帧进行人脸检测，在前一帧图像中检测到人脸的情况下采用第三检测模块13对当前帧进行人脸检测。

作为本发明的优选实施方式，所述第二检测模块12中可设置P1＝P2＝20。

作为本发明的优选实施方式，可设置N＝1.2，M＝0.8。

作为本发明的优选实施方式，可将所述第三检测模块13的特定区域的中心位置设置在所述前一帧图像中人脸区域的中心处，并且所述特定区域是对所述前一帧图像中人脸区域的各个方向的等比例扩大。例如，所述前一帧图像中人脸区域为矩形A，其长和宽分别为Xa和Ya，当前帧图像的特定区域为矩形B，其长和宽分别为Xb和Yb，可将矩形B的中心设置在矩形A的中心处，即两个矩形的中心重合，矩形B的长边和短边分别与矩形A的长边和短边平行，并且

上述人脸检测装置适用于视频序列图像的人脸检测，由于视频序列中相邻两帧图像之间有非常强的相关性，因此，可以利用时序序列图像的相关性减小待检测区域、增大最小人脸尺度区域，大大缩短了检测时间。

图5是根据本申请一个实施例的一种人脸表情检测装置的结构示意图，所述人脸表情检测装置包括：

人脸检测装置1，其配置成对视频序列图像进行人脸检测，所述人脸表情检测装置1采用如图4所示的结构实现，即，所述所述人脸检测装置1包括第一检测模块11、第二检测模块12和第三检测模块13；

分类模块2，其配置成将检测到的人脸图像分为训练样本和待检测图像两部分；

特征提取模块3，其配置成提取所述训练样本的Haar特征；

训练模块4，其配置成利用所述Haar特征，并基于Ada Boost分类算法进行分类器训练；

组合模块5，其配置成组合若干个所述的分类器得到级联分类器；和

人脸表情检测模块6，其配置成采用所述级联分类器对所述待检测图像进行人脸表情检测。

所述的人脸表情检测装置采用基于Haar特征与级联的Boosted机器学习相结合的对象探测方法进行人脸检测，利用样本图像的Haar特征并基于Ada Boost分类算法进行分类器训练，并组合若干简单的分类器得到最终的级联分类器。为了搜索不同大小的目标物体，分类器尺寸被设计为可改变的，这样比改变待检图像的尺寸更为有效。分类器训练完成之后，可将其应用在输入图像中的感兴趣区域，检测与训练样本具有相同尺寸的范围，检测时可以在输入图像中移动搜索窗口，检测输入图像的每一个位置来确定可能的目标。为了在图像中检测未知大小的目标物体(例如人脸特征)，扫描程序通常需要用不同比例大小的搜索窗口对图像进行若干次扫描。图3是根据本申请一个实施例的采用级联分类器进行人脸表情识别的原理示意图，其中，T表示通过上一级分类器，F表示被分类器拒绝，被检测图像依次通过每一级分类器，每通过一级分类器，就会排除掉一部分候选区域，通过所有分类器的区域即为目标区域。

本实施例的人脸表情检测装置，由于在人脸检测过程中，增大了待检测区域，减小了最小人脸尺度区域，因此能够显著减少Haar特征的提取耗时，提升了检测的实时性。并且，由于减小了最小人脸尺度区域，使得检测更加精准，提高了视频流识别率。

本申请实施例还提供了一种计算设备，参照图6，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的人脸检测方法步骤1131。

本申请实施例还提供了一种计算机可读存储介质。参照图7，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。

本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的人脸检测方法步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种人脸检测方法，包括：

2.根据权利要求1所述的方法，其特征在于，P1＝P2＝20。

3.根据权利要求1所述的方法，其特征在于，N＝1.2，M＝0.8。

4.基于权利要求1-3中任一项所述方法的人脸表情检测方法，包括：

对视频序列图像进行人脸检测；

将检测到的人脸图像分为训练样本和待检测图像两部分；

提取所述训练样本的Haar特征；

利用所述Haar特征，并基于Ada Boost分类算法进行分类器训练；

组合若干个所述的分类器得到级联分类器；

采用所述级联分类器对所述待检测图像进行人脸表情检测。

5.根据权利要求4所述的方法，其特征在于，所述分类器的尺寸为可变。

6.一种人脸检测装置，包括：

7.根据权利要求6所述的装置，其特征在于，P1＝P2＝20。

8.根据权利要求6所述的装置，其特征在于，N＝1.2，M＝0.8。

9.基于权利要求6-8中任一项所述装置的人脸表情检测装置，包括：

人脸检测装置，其配置成对视频序列图像进行人脸检测；

特征提取模块，其配置成提取所述训练样本的Haar特征；

10.根据权利要求9所述的装置，其特征在于，所述分类器的尺寸为可变。