CN112329665B - 一种人脸抓拍系统 - Google Patents

Abstract

本发明涉及一种人脸抓拍系统。所述系统包括：图像传感器、数据处理器、显示器以及存储器；所述图像传感器用于采集待识别处理的场景图像；所述数据处理器与所述图像传感器连接；所述数据处理器用于对所述场景图像中的人脸图像进行识别处理，得到识别结果；所述显示器与所述数据处理器连接；所述显示器用于显示所述人脸图像、所述识别结果以及每帧图像的处理时间；所述存储器与所述数据处理器连接；所述存储器用于将所述人脸图像以及所述识别结果进行存储。本发明实现了大量未知人脸的实时高质量的抓拍。

Description

一种人脸抓拍系统

技术领域

本发明涉及智能安防监控领域，特别是涉及一种人脸抓拍系统。

背景技术

人脸抓拍设备在新零售场景和监控安防等领域具有广泛的应用价值。目前市面上的人脸抓拍机大多是基于人脸识别的需求，此类抓拍机适用于已建立人脸库的场景如学校、企业、小区等。在外来人口流量大的场景如火车站、游乐场、商业街里，带有属性识别功能的人脸抓拍系统可以对行人进行人脸记录和面部信息的分类，多机位模式下可以迅速查询某人出现过的区域和轨迹，同时也能对客流进行流量统计、流量控制和报表分析。

目前基于深度学习的人脸图像处理算法在准确率上取得优异成绩，缺点是计算量较大，对硬件设备要求高。传统的人脸抓拍机通常采用远端服务器的专用图像处理器(Graphics Processing Unit，GPU)作为主处理单元，上述处理器的服务和带宽价格昂贵。现在有部分厂家使用搭载AI芯片的嵌入式人脸抓拍机，进行离线的人脸抓拍。但问题是嵌入式设备的计算能力较差，难以针对1080P及以上分辨率的高清图像进行实时性抓拍。

发明内容

本发明的目的是提供一种人脸抓拍系统，实现大量未知人脸的实时高质量的抓拍。

为实现上述目的，本发明提供了如下方案：

一种人脸抓拍系统，包括：图像传感器、数据处理器、显示器以及存储器；

所述图像传感器用于采集待识别处理的场景图像；

所述数据处理器与所述图像传感器连接；所述数据处理器用于对所述场景图像中的人脸图像进行识别处理，得到识别结果；所述识别处理包括：人脸检测、人脸对齐、人脸跟踪、人脸质量评价以及人脸属性识别；所述人脸属性包括性别、年龄和是否佩戴眼镜；

所述显示器与所述数据处理器连接；所述显示器用于显示所述人脸图像、所述识别结果以及每帧图像的处理时间；

所述存储器与所述数据处理器连接；所述存储器用于将所述人脸图像以及所述识别结果进行存储。

可选的，所述图像传感器的型号为索尼IMX291图像传感器；所述IMX291图像传感器通过MIPI-CSI接口与所述数据处理器连接。

可选的，所述数据处理器的型号为ArtosynAR9201 SoC。

可选的，所述数据处理器包括：

人脸检测模块，用于将所述人脸图像进行特征提取和人脸预测。

人脸对齐模块，用于利用MTCNN检测网络中的O-Net特征点提取网络提取人脸的5个关键点，并根据所述关键点进行仿射变换实现人脸对齐；所述5个关键点为两只眼睛、鼻尖和两边嘴角；

人脸跟踪模块，用于将当前帧的人脸图像与上一帧的人脸图像进行串联，使用基于卡尔曼滤波的运动信息模型和基于哈希算法的外观信息模型，实现多目标人脸跟踪；

人脸质量评价模块，用于利用判别标准进行人脸质量评价，得到质量最优的人脸图像，并更新最优人脸数据库；所述判别标准包括人脸侧转角、尺寸和清晰度；

人脸属性识别模块，用于对所述待识别处理的场景图像中每位行人的最优的人脸图像进行人脸属性的识别，采用基于CaffeNet的年龄识别网络和基于SqueezeNet的性别识别网络及是否佩戴眼镜的识别网络。

可选的，所述CaffeNet的年龄识别网络采用3层标准卷积层、池化层和ReLU层和1层全连接层进行特征提取，使用Softmax与HingeLosss双损失函数中计算损失值，Softmax进行深度反向传播，传播至之前的每一层，HingeLoss进行浅层反向传播，传播到最后的全连接层。

可选的，所述基于SqueezeNet的性别识别网络及所述是否佩戴眼镜的识别网络均采用可分离卷积替换标准卷积以压缩计算量，使用8个可分离卷积层、1个标准卷积层和1个全局池化层提取特征，最后使用Softmax进行分类。

可选的，所述数据处理器还包括：

输出控制模块，用于将所述识别结果通过高清多媒体接口HDMI传输到所述显示器。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明所提供的一种人脸抓拍系统，通过图像传感器、数据处理器、显示器以及存储器实现人脸抓拍，并且通过数据处理器对人脸图像进行人脸检测与对齐、人脸跟踪、人脸质量评价和人脸属性识别，进而使本发明为一种具有人脸检测与对齐、人脸跟踪、人脸质量评价和人脸属性识别功能的离线嵌入式人脸抓拍系统，能够对抓拍到的最佳质量人脸进行其年龄、性别、佩戴眼镜等面部信息的识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所提供的一种人脸抓拍系统的结构示意图；

图2为本发明所提供的一种人脸抓拍系统的流程示意图；

图3为本发明所提供的一种人脸抓拍系统的算法流程图；

图4为本发明所提供的一种人脸抓拍系统的人脸检测原理示意图；

图5为本发明所提供的一种人脸抓拍系统的人脸跟踪算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种人脸抓拍系统，实现大量未知人脸的实时高质量的抓拍。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明所提供的一种人脸抓拍系统的结构示意图，如图1所示，本发明所提供的一种人脸抓拍系统，包括：图像传感器1、数据处理器2、显示器4以及存储器3。所述存储器3为USB存储器3，USB存储器3为128G USB闪存盘。

所述图像传感器1用于采集待识别处理的场景图像。

所述图像传感器1是一款摄像头。具体的工作过程为：.摄像头采集待识别处理的场景图像；ISP模块对待识别处理的场景图像进行一系列图像处理，此过程需要系统提供ISP配置参数，初始化状态值指的是初始化ISP的参数值；ISP处理过后的图像送入数据处理器，进行人脸检测等一系列操作。

其中ISP功能有曝光，设置亮度、对比度、饱和度、锐度，开启夜间模式和红外模式等。

所述数据处理器2与所述图像传感器1连接；所述数据处理器2用于对所述人脸图像进行识别处理，得到识别结果；所述识别处理包括：人脸检测、人脸对齐、人脸跟踪、人脸质量评价以及人脸属性识别；所述人脸属性包括性别、年龄和是否佩戴眼镜。所述数据处理器2完全离线处理，不需要将数据发送到远端服务器处理，便携性、实用性和性价比高；系统能识别性别、年龄和是否佩戴眼镜三种人脸属性，可设定筛选条件，快速查找符合条件的行人的活动轨迹。

所述显示器4分别与所述图像传感器1以及所述数据处理器2连接；所述显示器4用于进行所述人脸图像、所述识别结果以及每帧图像的处理时间。

所述存储器3分别与所述图像传感器1以及所述数据处理器2连接；所述存储器3用于将所述人脸图像以及所述识别结果进行存储。

如图2所示，通过IMX291图像传感器1捕捉图像，保存在存储器3中，首先经过人脸检测算法检测人脸，对齐之后进行人脸跟踪，而后提取当前每个行人的最佳人脸，并对该最佳人脸进行属性识别，同时将结果输出到显示器4，当行人离开视野后，将其属性识别结果和对应的最佳人脸图像保存至USB存储器3。人脸检测是在对输入图像预处理后，进行场景图像特征提取和人脸预测框回归的过程。人脸对齐是人脸检测的后处理，首先检测面部关键点，再对关键点做仿射变换实现对齐。人脸跟踪在检测到人脸后进行特征提取、运动估计，通过求解关联矩阵实现跟踪，然后通过人脸质量评价函数提取最佳人脸。

本发明的数据处理器不当行人离开视野后才进行属性识别，而是对每位行人的最佳人脸进行属性识别，并进行实时地显示。

作为一个具体的实施例，行人刚开始进入视野的第1帧，该帧的人脸即为最佳人脸，因为目前只有1帧，然后进行属性识别和显示器输出。如果该行人第2帧的人脸比第1帧清晰，那么最佳人脸替换为第二帧，再进行属性识别，用这次的识别结果替换第一次的属性识别结果，同时更新显示器的人脸属性信息；如果第2帧的人脸没有第1帧清晰，那么就不进行属性识别，显示器上显示的属性信息也不更新。

此次操作的目的是：因为行人的角度、行为一直在变化，如果对每一帧的人脸都进行属性识别，再去显示器显示属性识别信息。那么属性识别信息会一直跳变，而且当人距离比较远，人脸很小的时候，属性识别结果是很不准确的。所以逐帧去比较人脸质量，然后只对最佳人脸进行属性识别。会保证识别的结果更准确。

当行人离开视野后，该行人在这一段时间内的最佳人脸图像已经不会再改变，这时候再把该行人的人脸信息保存进USB存储器。

所以显示器是实时显示的，存储器只在有行人离开视野后才进行存储信息。

如图3所示，本发明所提供的一种人脸抓拍系统的算法的主要特征在于：

(1)最清晰帧自匹配。保留每帧每个人脸的坐标、帧数、64位哈希结果、清晰度。在所有帧读取完毕后输出每个人脸的最清晰帧。然后对所有最清晰帧的人脸进行高阈值哈希匹配，哈希相似度高于阈值的表明为同一人脸，将人脸信息合并。

(2)先进行连续帧人脸数量对比。在每次匹配开始前，先判断当前帧与上一帧检测出人脸数量是否不同。如果当前帧人脸数量少，以当前帧人脸为基准匹配前一帧人脸。反之，则以上一帧人脸为基准来匹配当前帧人脸，未匹配上的判定为新人脸。

(3)参考历史帧中的人脸坐标。考虑每个行人在连续帧里的坐标位移有限，横跨大半屏幕视野的连续行人出现概率极小。设定坐标阈值，连续帧位移大于阈值的人脸不进行匹配，减少算法的时间冗余。

(4)引入相似度排序的匹配策略。考虑相同行人在连续两帧中可能会不满足哈希匹配的阈值。采用哈希相似度排序的匹配策略对当前帧所有不满足匹配阈值的人脸进行哈希相似度值得排序，优先匹配相似度高的人脸对。

作为一个具体的实施例，所述图像传感器1的型号为IMX291图像传感器1；所述IMX291图像传感器1通过MIPI-CSI接口与所述数据处理器2连接。

IMX291图像传感器1为红外广角摄像头，具有170度红外鱼眼广角镜头，无论是在正常光照还是光线不足的情况下都能采集到满足系统检测要求的图像，且具有更大视野范围。

作为一个具体的实施例，所述数据处理器2的型号为AR9201。

数据处理器2内部的DSP用于对轻量化人脸检测网络、人脸对齐网络和人脸属性识别网络进行推理，并将推理结果返回给数据处理器2的ARM。

作为一个具体的实施例，所述数据处理器2包括：

人脸检测模块，用于将所述人脸图像进行特征提取和人脸预测。特征提取部分使用深度可分解卷积核替换标准卷积核来压缩计算量。并在每一个卷积层之后都加上BN层、Scale层与ReLu层，一共包含13层可分离卷积层。人脸预测框的回归使用SSD分类器实现，将第13层可分离卷积层的输出作为SSD分类器的输入，得到图像中的每个人脸位置。

如图4所示，对SSD检测网络进行剪枝优化，设计了SSPD网络，只抽取前级特征提取网络中的19×19的第11层卷积层和10×10的第13层卷积层的特征，直接回归出预测框的位置以及分类的置信度。其中抽取特征用来回归最小检测框的尺寸为第11层卷积层的60像素，设定回归框IOU舍弃阈值为0.5，则SSPD网络可以过滤掉尺寸小于42像素的人脸图像。

人脸对齐模块，用于利用MTCNN检测网络中的O-Net特征点提取网络提取人脸的5个关键点，并根据所述关键点进行仿射变换实现人脸对齐；所述5个关键点为两只眼睛、鼻尖和两边嘴角。O-Net是MTCNN中的第三阶段网络，在MTCNN中它对第二阶段的预测框进一步回归和校正，并为每个预测框生成5个人脸关键点。利用5个关键点坐标进行仿射变换，实现人脸对齐。

人脸跟踪模块，用于将当前帧的人脸图像与上一帧的人脸图像进行串联，使用基于卡尔曼滤波的运动信息模型和基于哈希算法的外观信息模型，实现多目标人脸跟踪。并根据跟踪的结果进行行人流量统计。

如图5所示，使用融合均值哈希和感知哈希算法来快速提取人脸特征，构成外观信息模型，再将特征映射到汉明空间求得特征相似度。同时利用卡尔曼滤波预测下一帧目标位置及大小获取运动信息，通过计算跟踪子集的预测坐标与检测子集的当前坐标的IOU和两个子集运动向量的余弦相似度实现运动信息模型的估计。基于以上多特征模型及使用择优匹配求解相似度关联矩阵，进行多目标人脸跟踪。

人脸质量评价模块，用于利用判别标准进行人脸质量评价，得到质量最优的人脸图像，并更新最优人脸数据库；所述判别标准包括人脸侧转角、尺寸和清晰度。

质量最优的人脸图像的过程为：

基于O-Net关键点，使用左侧两点到鼻尖关键点的距离与右侧两点到鼻尖关键点的距离的比值描述侧转角。人脸尺寸设当前检测目标人脸框面积为s₁，当前最清晰人脸图像面积为s₂。则更大面积的人脸尺寸得分为1，小面积人脸尺寸得分为s₁/s₂或s₂/s₁(舍弃大于1的值)。使用四方向sobel算子计算图像梯度，同时使用强边缘像素的强度均值表示清晰度评价值。最后将三种指标加权，筛选最高质量人脸。

更新最优人脸数据库的过程为：

检测出行人A的人脸图像，判断A是新出现的人脸，并把A的第一帧人脸图像作为其最佳人脸，对该人脸图像进行质量评分和属性识别；

检测出第二帧人脸图像，并匹配到该人脸是行人A，对该人脸进行质量评分。若评分低于行人A的之前帧的最佳人脸评分，则舍弃，不对其进行属性识别；若质量评分高于A之前的最佳人脸评分，则把最佳人脸替换成当前人脸，并进行属性识别和显示器的属性更新。

直到A离开视野，保存A的最佳人脸图像入库，并保存其属性信息。

人脸属性识别模块，用于对所述待识别处理的场景图像中每位行人的最优的人脸图像进行人脸属性的识别，采用基于CaffeNet的年龄识别网络和基于SqueezeNet的性别识别网络及是否佩戴眼镜的识别网络。

所述CaffeNet的年龄识别网络采用3层标准卷积层、池化层和ReLU层和1层全连接层进行特征提取，使用Softmax与HingeLosss双损失函数中计算损失值，softmax进行深度反向传播，传播至之前的每一层，HingeLoss进行浅层反向传播，传播到最后的全连接层。

所述基于SqueezeNet的性别识别网络及所述是否佩戴眼镜的识别网络均采用可分离卷积替换标准卷积以压缩计算量，使用8个可分离卷积层、1个标准卷积层和1个全局池化层提取特征，最后使用Softmax进行分类。

进一步的，所述数据处理器2还包括：

输出控制模块，用于将所述识别结果通过高清多媒体接口HDMI传输到所述显示器4。

本发明所提供的一种人脸抓拍系统与现有技术相比，具有以下优点：

1、集成度高，体积小。由于本发明属于基于soc的嵌入式系统，除了电源、摄像头和显示器4外的器件均集成在主板上，方便安装在各种场合。

2、实时性好。本发明在抓拍以及输出完成的情况下，平均帧率达到了60帧/秒。

3、可靠性高。本发明在人脸检测、人脸对齐和人脸属性识别中，均采用基于深度学习的方法，具有较高的正确率。而人脸跟踪中使用的哈希特征提取和卡尔曼滤波算法也非常的科学有效。

4、便于维修，自主性高。本发明嵌入linux系统并且可在USB存储器3中导出数据，方便工作人员维修操作，工作人员同样能够通过UART接口对系统内部文件访问查询。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种人脸抓拍系统，其特征在于，包括：图像传感器、数据处理器、显示器以及存储器；

所述图像传感器用于采集待识别处理的场景图像；

所述数据处理器与所述图像传感器连接；所述数据处理器用于对所述人脸图像进行识别处理，得到识别结果；所述识别处理包括：人脸检测、人脸对齐、人脸跟踪、人脸质量评价以及人脸属性识别；所述人脸属性包括性别、年龄和是否佩戴眼镜；

所述显示器与所述数据处理器连接；所述显示器用于显示所述人脸图像、所述识别结果以及每帧图像的处理时间；

所述存储器与所述数据处理器连接；所述存储器用于将所述人脸图像以及所述识别结果进行存储；

所述数据处理器包括：

人脸检测模块，用于将所述人脸图像进行特征提取和人脸预测；

人脸对齐模块，用于利用MTCNN检测网络中的O-Net特征点提取网络提取人脸的5个关键点，并根据所述关键点进行仿射变换实现人脸对齐；所述5个关键点为两只眼睛、鼻尖和两边嘴角；

人脸跟踪模块，用于将当前帧的人脸图像与上一帧的人脸图像进行串联，使用基于卡尔曼滤波的运动信息模型和基于哈希算法的外观信息模型，实现多目标人脸跟踪；

人脸质量评价模块，用于利用判别标准进行人脸质量评价，得到质量最优的人脸图像，并更新最优人脸数据库；所述判别标准包括人脸侧转角、尺寸和清晰度；

人脸属性识别模块，用于对所述待识别处理的场景图像中每位行人的最优的人脸图像进行人脸属性的识别，采用基于CaffeNet的年龄识别网络和基于SqueezeNet的性别识别网络及是否佩戴眼镜的识别网络。

2.根据权利要求1所述的一种人脸抓拍系统，其特征在于，所述图像传感器的型号为索尼IMX291图像传感器；所述IMX291图像传感器通过MIPI-CSI接口与所述数据处理器连接。

3.根据权利要求1所述的一种人脸抓拍系统，其特征在于，所述数据处理器的型号为ArtosynAR9201 SoC。

4.根据权利要求1所述的一种人脸抓拍系统，其特征在于，所述CaffeNet的年龄识别网络采用3层标准卷积层、池化层和ReLU层和1层全连接层进行特征提取，使用Softmax与HingeLosss双损失函数中计算损失值，softmax进行深度反向传播，传播至之前的每一层，HingeLoss进行浅层反向传播，传播到最后的全连接层。

5.根据权利要求1所述的一种人脸抓拍系统，其特征在于，所述基于SqueezeNet的性别识别网络及所述是否佩戴眼镜的识别网络均采用可分离卷积替换标准卷积以压缩计算量，使用8个可分离卷积层、1个标准卷积层和1个全局池化层提取特征，最后使用Softmax进行分类。

6.根据权利要求1所述的一种人脸抓拍系统，其特征在于，所述数据处理器还包括：

输出控制模块，用于将所述识别结果通过高清多媒体接口HDMI传输到所述显示器。

Images