CN109460729A - 一种嵌入式多人脸检测方法及系统 - Google Patents

Abstract

本发明公开了一种嵌入式多人脸检测方法及系统，所述方法包括如下步骤：步骤S1，构建人脸数据库，利用MTCNN算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型；步骤S2，输入待检测的人脸图像；步骤S3，利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，当检测到人脸数量大于1时，发出报警信号，本发明通过将MTCNN算法移植到嵌入式平台上，并使用ncnn框架，使人脸检测速度达到实时效果。

Description

一种嵌入式多人脸检测方法及系统

技术领域

本发明涉及人脸检测技术领域，特别是涉及一种基于MTCNN算法和ncnn框架的嵌入式多人脸检测方法及系统。

背景技术

生物特征识别技术是指利用人类本身所拥有的、能够标识其身份的生理特征或行为特征进行身份验证的技术。与传统的身份验证技术相比，生物特征识别技术从根本上杜绝了伪造和窃取，具有更高的可靠性、安全性，已经越来越广泛的应用于一些安全系统的身份认证。

人脸识别作为人脸生物特征与模式识别的交叉技术，是通过计算机(包括嵌入式设备)采集人脸图像，并提取特征，进行识别比对，最后识别其身份的技术。人脸识别具有非接触式、操作便捷、用户友好度好、设备要求低等特点，而其他生物特征识别，例如虹膜、指纹虽然识别性能好，但是对设备要求高，接触性强。因此人脸识别成为近年来生物特征识别领域一个非常热门的研究方向。

现有的人脸检测方法多数运行于x86平台，在嵌入式平台上无法达到实时的效果。

然而，当今的时代是信息时代，微电子技术、计算机技术和数字网络技术高速发展，嵌入式系统建立在这些技术基础之上，发展速度迅猛，已经应用到生活和专业领域的方方面面。

嵌入式系统是指专用的计算机系统，由于在很多情况下，嵌入式系统只需要提供一种功能，所以在实际应用中需要根据实际的需求对嵌入式系统进行专门的软硬件剪裁，以满足系统对于功能、成本、体积等因素的要求。

目前实用的人脸识别系统中，基于PC平台的人脸识别系统占了大多数。但是随着电子技术的发展及社会的需求变化，硬件处理平台朝着微型化、低功耗、便携式的方向发展，并且PC平台具有体积大、功耗高、便携性差等缺点，限制了人脸识别的广泛应用与普及。

随着技术的发展，嵌入式平台的运算速度越来越快，体积越来越小，功耗和成本越来越低，使得在开发便携式的人脸识别系统有了充分的硬件支持。因此，开发具有更广阔应用领域的嵌入式人脸识别系统成为可能。

因此，实有必要提出一种技术手段，以实现基于嵌入式平台使人脸检测速度达到实时效果。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种嵌入式多人脸检测方法及系统，以通过将MTCNN人脸检测算法移植到嵌入式平台上，并使用ncnn框架，使人脸检测速度达到实时效果。

为达上述及其它目的，本发明提出一种嵌入式多人脸检测方法，包括如下步骤：

步骤S1，构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型；

步骤S2，输入待检测的人脸图像；

步骤S3，利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，当检测到人脸数量大于1时，发出报警信号。

优选地，步骤S1进一步包括：

步骤S100，构建人脸数据库，对人脸数据库中人脸标注人脸矩形框；

步骤S101，将人脸数据库中的人脸数据使用人脸检测算法进行训练，得到人脸检测模型。

优选地，所述人脸数据库中的人脸数据为ATM环境下的人脸数据。

优选地，所述人脸数据库中的图像包括但不仅限于正常光照人脸，左侧光人脸，右侧光人脸，背光人脸，戴墨镜人脸，戴口罩人脸。

优选地，所述MTCNN人脸检测算法使用采集各类光照的样本进行训练，能检测正常光照，侧光，背光，暗光的人脸。

优选地，所述MTCNN人脸检测算法，使用采集戴口罩，戴墨镜样本进行训练，能检测戴口罩，戴墨镜的人脸。

优选地，所述检测方法采用ncnn框架，运行于嵌入式平台。

为达到上述目的，本发明还提供一种嵌入式多人脸检测系统，包括：

人脸检测模型训练生成单元，用于构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型；

待检测图像获取单元，用于获取待检测的人脸图像。

人脸检测单元，用于利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，并于检测到人脸数量大于1时，发出报警信号。

优选地，所述人脸检测模型训练生成单元进一步包括：

人脸数据库构建单元，用于构建人脸数据库，对人脸数据库中人脸标注人脸矩形框；

训练单元，用于将人脸数据库中的人脸数据使用MTCNN人脸检测算法进行训练，得到人脸检测模型。

优选地，所述人脸检测系统采用ncnn框架，运行于嵌入式平台。

与现有技术相比，本发明一种嵌入式多人脸检测方法及系统通过将MTCNN人脸检测算法移植到嵌入式平台上，并使用ncnn框架，使嵌入式平台上的人脸检测速度达到了实时效果。

附图说明

图1为本发明一种嵌入式多人脸检测方法的步骤流程图；

图2为本发明具体实施例中步骤S1的细部流程图；

图3为本发明一种嵌入式多人脸检测系统的系统架构图；

图4为本发明具体实施例中人脸检测模型训练生成单元的细部结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种嵌入式多人脸检测方法的步骤流程图。如图1所示，本发明一种嵌入式多人脸检测方法，使用ncnn框架，运行于嵌入式平台，其包括如下步骤：

步骤S1，构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型。

具体地，如图2所示，步骤S1进一步包括：

步骤S100，构建人脸数据库，对人脸数据库中人脸标注人脸矩形框，在本发明具体实施例中，可通过人工标注人脸矩形框。

在本发明具体实施例中，人脸数据库中包括超过10万张人脸图像，并由人工标注人脸矩形框，在本发明具体实施例中，该人脸数据库全部为ATM环境下的人脸数据，有效保证在ATM场景下的准确率，该人脸数据库中的图像包括正常光照人脸，左侧光人脸，右侧光人脸，背光人脸，戴墨镜人脸，戴口罩人脸等。该数据库的人脸包含不同姿态，角度，相对于公开的人脸库，本发明所构建的人脸库更能反应实际应用中所获取的人脸图像，保证最终算法的泛化能力和鲁棒性。

步骤S101，将人脸数据库中的人脸数据使用MTCNN(Multi-task ConvolutionalNeural Networks，多任务卷积神经网络)人脸检测算法进行训练，得到人脸检测模型。

在本发明具体实施例中MTCNN由P-Net(Proposal Network，建议网络)、R-Net(Refine Network，增强网络)、O-Net(Output Network，输出网络)三个卷积神经网络级联而成，其具体流程过程如下：

S1.1，P-Net为建议网络，是级联网络的第一层，先利用建议网络P-Net筛选出候选人脸区域及对应的候选人脸区域边框回归信息，再利用极大值抑制算法对高度重叠的候选人脸区域进行合并；

S1.2，R-Net为增强网络，是级联网络的第二层，对第一层的人脸区域进行详细分析，进一步删除错误的候选人脸区域，再利用边界框回归算法和非极大值抑制算法对高度重叠的候选人脸区域进行合并；

S1.3，O-Net为输出网络，是级联网络的第三层，对候选人脸框添加了更多监督，对候选框的筛选更加严格，利用O-Net过滤余下的候选人脸区域，再利用边界框回归算法和非极大值抑制算法对高度重叠的候选人脸区域进行合并，得到最终的人脸区域信息。

S1.4，对人脸数据库中的人脸图像依次进行上述人脸检测步骤训练，得到人脸检测模型。

优选地，所述MTCNN人脸检测算法，使用采集各类光照的样本进行训练，以便能检测正常光照，侧光，背光，暗光的人脸。

优选地，所述MTCNN人脸检测算法，使用采集戴口罩，戴墨镜样本进行训练，以便能检测戴口罩，戴墨镜的人脸。

步骤S2，输入待检测的人脸图像。

步骤S3，利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，当检测到人脸数量大于1时，发出报警信号。

图3为本发明一种嵌入式多人脸检测系统的系统架构图。如图3所示，本发明一种嵌入式多人脸检测系统，使用ncnn框架，运行于嵌入式平台，其包括：

人脸检测模型训练生成单元301，用于构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型。

具体地，如图4所示，人脸检测模型训练生成单元301进一步包括：

人脸数据库构建单元3011，用于构建人脸数据库，对人脸数据库中人脸标注人脸矩形框，在本发明具体实施例中，可通过人工标注人脸矩形框。

在本发明具体实施例中，人脸数据库中包括超过10万张人脸图像，并由人工标注人脸矩形框，在本发明具体实施例中，该人脸数据库全部为ATM环境下的人脸数据，有效保证在ATM场景下的准确率，该人脸数据库中的图像包括正常光照人脸，左侧光人脸，右侧光人脸，背光人脸，戴墨镜人脸，戴口罩人脸等。该数据库的人脸包含不同姿态，角度，相对于公开的人脸库，本发明所构建的人脸库更能反应实际应用中所获取的人脸图像，保证最终算法的泛化能力和鲁棒性。

训练单元3012，用于将人脸数据库中的人脸数据使用MTCNN(Multi-taskConvolutional Neural Networks，多任务卷积神经网络)人脸检测算法进行训练，得到人脸检测模型。

在本发明具体实施例中MTCNN由P-Net(Proposal Network，建议网络)、R-Net(Refine Network，完善网络)、O-Net(Output Network，输出网络)三个卷积神经网络级联而成，其具体训练过程如下：

P-Net为建议网络，是级联网络的第一层，先利用建议网络P-Net筛选出候选人脸区域及对应的候选人脸区域边框回归信息，再利用极大值抑制算法对高度重叠的候选人脸区域进行合并；

R-Net为增强网络，是级联网络的第二层，对第一层的人脸区域进行详细分析，进一步删除错误的候选人脸区域，再利用边界框回归算法和非极大值抑制算法对高度重叠的候选人脸区域进行合并；

O-Net为输出网络，是级联网络的第三层，对候选人脸框添加了更多监督，对候选框的筛选更加严格，利用O-Net过滤余下的候选人脸区域，再利用边界框回归算法和非极大值抑制算法对高度重叠的候选人脸区域进行合并，得到最终的人脸区域信息；

对人脸数据库中的人脸图像以次进行上述人脸检测步骤训练，得到人脸检测模型。

优选地，所述MTCNN人脸检测算法，使用采集各类光照的样本进行训练，以便能检测正常光照，侧光，背光，暗光的人脸。

优选地，所述MTCNN人脸检测算法，使用采集戴口罩，戴墨镜样本进行训练，以便能检测戴口罩，戴墨镜的人脸。

待检测图像获取单元302，用于获取待检测的人脸图像。

人脸检测单元303，用于利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，并于检测到人脸数量大于1时，发出报警信号。

可见，本发明一种嵌入式多人脸检测方法及系统通过将MTCNN算法移植到嵌入式平台上，并使用ncnn框架，使嵌入式平台上的人脸检测速度达到了实时效果。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种嵌入式多人脸检测方法，包括如下步骤：

步骤S1，构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型；

步骤S2，输入待检测的人脸图像；

步骤S3，利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，当检测到人脸数量大于1时，发出报警信号。

2.如权利要求1所述的一种嵌入式多人脸检测方法，其特征在于：步骤S1进一步包括：

步骤S100，构建人脸数据库，对人脸数据库中人脸标注人脸矩形框；

步骤S101，将人脸数据库中的人脸数据使用人脸检测算法进行训练，得到人脸检测模型。

3.如权利要求2所述的一种嵌入式多人脸检测方法，其特征在于：所述人脸数据库中的人脸数据为ATM环境下的人脸数据。

4.如权利要求3所述的一种嵌入式多人脸检测方法，其特征在于：所述人脸数据库中的图像包括但不仅限于正常光照人脸，左侧光人脸，右侧光人脸，背光人脸，戴墨镜人脸，戴口罩人脸。

5.如权利要求4所述的一种嵌入式多人脸检测方法，其特征在于：所述MTCNN人脸检测算法使用采集各类光照的样本进行训练，能检测正常光照，侧光，背光，暗光的人脸。

6.如权利要求4所述的一种嵌入式多人脸检测方法，其特征在于：所述MTCNN人脸检测算法，使用采集戴口罩，戴墨镜样本进行训练，能检测戴口罩，戴墨镜的人脸。

7.如权利要求1所述的一种嵌入式多人脸检测方法，其特征在于：所述检测方法采用ncnn框架，运行于嵌入式平台。

8.一种嵌入式多人脸检测系统，包括：

人脸检测模型训练生成单元，用于构建人脸数据库，利用MTCNN人脸检测算法对人脸数据库中的人脸数据进行训练，生成人脸检测模型；

待检测图像获取单元，用于获取待检测的人脸图像。

人脸检测单元，用于利用训练好的人脸检测模型对待检测的人脸图像进行人脸检测，并于检测到人脸数量大于1时，发出报警信号。

9.如权利要求8所述的一种嵌入式多人脸检测系统，其特征在于，所述人脸检测模型训练生成单元进一步包括：

人脸数据库构建单元，用于构建人脸数据库，对人脸数据库中人脸标注人脸矩形框；

训练单元，用于将人脸数据库中的人脸数据使用MTCNN人脸检测算法进行训练，得到人脸检测模型。

10.如权利要求8所述的一种嵌入式多人脸检测系统，其特征在于：所述人脸检测系统采用ncnn框架，运行于嵌入式平台。