CN110059634A - 一种大场景人脸抓拍方法 - Google Patents

Abstract

本发明公开了一种大场景人脸抓拍方法。本发明提供的人脸定位跟踪方法，能解决大场景远距离下的人脸抓拍，同时最大限度地减少视频中的各种冗余数据，减少重复抓拍。通过falconn LSH算法对人脸特征进行二次提取，并用于人脸检索，而不再使用传统深度学习当中神经网络生成的特征与损失函数，减少了计算的冗余程度。利用人脸图像增强技术技术，可以解决逆光、低照度以及模糊情况下的人脸识别。采用基于鲁棒特征提取的去遮挡技术可以有效减少眼镜、口罩、帽子等遮挡物对人脸识别算法有较大影响。

Description

一种大场景人脸抓拍方法

技术领域：

本发明涉及图像识别技术领域，尤其涉及一种大场景人脸抓拍方法。

背景技术：

随着深度学习方法的应用，人脸抓拍识别技术的识别率已经得到质的提升。人脸抓拍识别技术与其他生物特征识别技术相比，在实际应用中具有天然独到的优势：通过摄像头直接获取，可以非接触的方式完成识别过程，方便快捷，已应用在金融、教育、景区、旅运、社保等领域。

但是，现有的人脸抓拍技术，只能抓拍近场景(10～30米)下的人脸，对于远场景(100～150米)下的人脸抓拍，存在漏抓率高的问题。其次，对人脸遮挡的适应性不强。如在人戴大边框眼镜、口罩、帽子等遮挡物场景下，抓拍效果不佳。最后，自然场景的人脸抓拍，大部分属于非配合场景，光线、姿态、角度变化较大，也影响抓拍效果。

发明内容：

本发明的目的在于提供一种大场景人脸抓拍方法，以解决现有技术的不足。

本发明由如下技术方案实施：一种大场景人脸抓拍方法，包括以下步骤：

步骤1、从摄像头中获取人的抓拍图像之后，采用基于深度学习的MT-CNN神经网络对图像中的人脸进行检测定位；

步骤2、对步骤1初步定位后的人脸图像，将其像素值作为矩阵输入ligtencnn模型，通过卷积层、池化层、MFM激活函数运算之后，人脸图像被计算为数个数组，作为人脸的特征输出到下一层；

步骤3、将步骤2每一组传入的人脸特征均通过falconn LSH算法进行二次特征提取，形成一个浮点数组，运算并存入数据库当中，根据运算结果，在数据库中进行排序，同时建立对应的人员信息档案；

步骤4、当人脸图片被传入数据库时，计算其基于falconn LSH算法的二次特征数组，并和数据库中已有人脸图片进行对比，若对比相似度大于阈值，则说明此人之前已经入库，此时调用相机抓拍并显示出相应的人员信息；若对比相似度小于阈值，则说明此人之前并未入库，此时调用相机抓拍并建立新的人员档案。

优选的，所述步骤1摄像头拍摄的人的抓拍图像为人离相机镜头100-150米距离的图像。

优选的，所述步骤1从摄像头中获取人的抓拍图像之后，还进行去逆光、低照度增强、去模糊处理。

优选的，所述步骤1从摄像头中获取人的抓拍图像之后，还通过鲁棒特征提取处理降低脸部遮挡影响，具体为：人脸候选区域提取；对被遮挡的人脸特征进行恢复，抑制人脸特征中的噪声信息；利用被修复的人脸特征进行人脸区域验证，对人脸位置和尺度进行微调。

优选的，所述步骤1用基于深度学习的MT-CNN神经网络对图像中的人脸的眼部、嘴角、鼻子进行检测定位。

优选的，所述去模糊处理通过以拉东变换为基础的算法，得到模糊的点扩散函数，这一函数反映了运动图像与非运动图像的模糊角度、模糊方向信息，然后分别将原始模糊图像与点扩散函数进行傅里叶变换，得到其频率域响应，接着利用维纳滤波器从模糊图像中过滤掉点扩散图像，得到非扩散性的去模糊图像。

优选的，所述低照度增强处理首先对得到的低照度图像进行取反处理，取反后进行双边滤波，然后使用暗原色先验增强模型对图像进行增强操作，再次对像素值取反可以得到低照度增强图像。

优选的，所述去逆光处理在接受到图像的时候，首先对图像像素值进行统计，并计算统计直方图，若直方图对低像素值方向的偏离超过阈值，则判断为逆光图像；此时根据像素值大小，将图像分为暗区与亮区，对暗区的部分，通过对数估计模型进行放大，同时对亮区进行双边滤波防止噪点出现，之后进行图像融合。

本发明的优点：

1)本发明提供的人脸定位跟踪方法，能解决大场景远距离下的人脸抓拍，同时最大限度地减少视频中的各种冗余数据，减少重复抓拍。

2)通过falconn LSH算法对人脸特征进行二次提取，并用于人脸检索，而不再使用传统深度学习当中神经网络生成的特征与损失函数，减少了计算的冗余程度。

3)利用人脸图像增强技术技术，可以解决逆光、低照度以及模糊情况下的人脸识别。

4)去遮挡技术可以有效减少眼镜、口罩、帽子等遮挡物对人脸识别算法有较大影响。

附图说明：

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的方法流程图。

具体实施方式：

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明公开了一种大场景人脸抓拍方法，用以解决大场景远距离(100～150米)下的人脸抓拍漏抓率高的问题，包括如下步骤：

1)从摄像头(800万像素)中获取图像之后，采用基于深度学习的MT-CNN神经网络对图像中的人脸进行检测，该神经网络可以在人脸边缘的位置输出高置信度，根据置信度的大小可以框出人脸的具体范围。这一范围定位之后通过GMM运动检测与卡尔曼跟踪算法可以跟踪到人体运动区域。

2)对初步定位后的人脸图像，将其像素值作为矩阵输入ligtencnn模型，通过卷积层、池化层、MFM激活函数等运算之后，人脸图像被计算为数个数组，作为人脸的特征输出到下一层。

3)每一组传入的人脸特征均通过falconn LSH算法进行二次特征提取，形成一个浮点数组，运算并存入数据库当中，根据运算结果，在数据库中进行排序，同时建立对应的人员信息档案。排序的目的是为了加快之后的输入运算。

4)当人脸图片被传入数据库时，计算其基于falconn LSH算法的二次特征数组，并和库中已有人脸图片进行对比，若对比相似度大于阈值，则说明此人之前已经入库，此时调用相机抓拍并显示出相应的人员信息；若对比相似度小于阈值，则说明此人之前并未入库，此时调用相机抓拍并建立新的人员档案。这里的阈值，是划分是否往数据库中添加抓拍的人脸图片的界限。阈值的设定是综合考虑数据库中的人脸图片以及经验值获得。

本发明提供的人脸定位跟踪方法，能解决大场景远距离下的人脸抓拍，同时最大限度地减少视频中的各种冗余数据，减少重复抓拍。

从摄像头中获取人的抓拍图像后采取以下的“去逆光、低照度增强、去模糊处理”技术，优化图片质量。

1)人脸图像增强技术

去逆光：逆光是拍摄时经常会出现的问题，去逆光技术可以有效增强逆光状态下拍摄的图像质量，显著提高逆光状态下的人脸识别准确率。在接受到图像的时候，首先对图像像素值进行统计，并计算统计直方图，若直方图对低像素值方向的偏离超过阈值，则判断为逆光图像；此时根据像素值大小，将图像分为暗区与亮区，对暗区的部分，通过对数估计模型进行放大，同时对亮区进行双边滤波防止噪点出现，之后进行图像融合。对数估计模型可以通过在目标区域进行相机的全天观测统计来得到。

低照度增强：在夜间，光照不足会导致图像的成像质量非常糟糕，我们的低照度增强技术可以有效增强图像的亮度，恢复图像的细节，对于夜间的视频监控、车牌识别具有很大帮助。首先对得到的低照度图像进行取反处理，取反后进行双边滤波，然后使用暗原色先验增强模型对图像进行增强操作，再次对像素值取反可以得到低照度增强图像。

去模糊：运动物体在成像时经常会出现模糊的现象，特别是处于高速运动的物体。我们的去模糊技术可以有效增强模糊图像的清晰度，对于运动中的人脸识别都能起到很好的辅助作用。通过以拉东变换为基础的算法，我们可以得到模糊的点扩散函数(PSF)，这一函数反映了运动图像与非运动图像的模糊角度、模糊方向等信息，然后分别将原始模糊图像与点扩散函数进行傅里叶变换，得到其频率域响应，接着利用维纳滤波器从模糊图像中过滤掉点扩散图像，得到非扩散性的去模糊图像。

2)降低遮挡的影响

(1)人脸候选区域提取。为了能够召回更多的遮挡人脸，选择了比较低的阈值生成了大量人脸候选区域。

(2)特征提取。鲁棒特征提取能降低遮挡对识别的影响，随后将提取的特征进行归一化。

一幅人脸图像所包含的特征通常极为丰富，既包括颜色、亮度、纹理、方向等低阶特征，也包括姿态、表情、年龄、人种等高阶特征，鲁棒的特征提取方法就是需要对这些特征进行分解。比如Gabor特征是在多个尺度和多个方向上分解，属性特征是分解为多个可描述的属性。分解后，可以降低特征之间的相互干扰，从而为机器学习提供足够精细的特征。

传统的鲁棒特征有代表性的比如梯度脸，以及将子空间学习引入深度学习的PCANet框架和将卷积神经网络的卷积层引入经典的“特征图－模式图－柱状图”的特征提取框架FPH框架。尽管并没有对光照变化和遮挡做任何先验性假设和显式处理，甚至没有用到大规模的训练数据，PCANet的神经元响应却对光照变化和遮挡等表现出了很强的鲁棒性。

(3)特征匹配。抑制特征中的噪声信息，它将人脸候选区域提取中提取出来的描述子，转化为相似度描述子。随后，在一个利用了大量无遮挡人脸和遮挡人脸得到的特征池中利用knn寻找匹配。

(4)特征验证。可以利用被修复的人脸特征进行人脸区域验证，对人脸位置和尺度进行微调。

3)选取最优人脸图片

由于算法在进行人脸比对的时候需要提供正面人脸图像，因此需要通过判断人脸姿态、角度，选择最优人脸图片。在相机安装的时候，进行相机校正，使用正面人脸图片来进行MTCNN当中的关键点提取(一般为眼部、嘴角、鼻子五个点)，并根据这五个点的位置，计算当前相机的校正系数；对于之后检测到的人脸，同样可以计算出每一个人脸的五个点，根据其相对位置计算与校正系数的相近程度，当相近程度大于阈值时，视作正面人脸，进行抓拍录入。

目前主流的人脸检测算法，人脸抓拍辨识精度在100*100像素以上，本发明基于深度学习理论和MT-CNN人脸抓拍模型，提出实现了改进的pcnn人脸抓拍模型和人脸抓拍加入人脸识别的观点，使人脸抓拍辨识精度达到了20*20像素，可以实现在150米的距离场景下，人脸抓拍率高达98％以上。

本发明的优势在于：

1)本发明提供的人脸定位跟踪方法，能解决大场景远距离下的人脸抓拍，同时最大限度地减少视频中的各种冗余数据，减少重复抓拍。

2)通过falconn LSH算法对人脸特征进行二次提取，并用于人脸检索，而不再使用传统深度学习当中神经网络生成的特征与损失函数，减少了计算的冗余程度。

3)利用人脸图像增强技术技术，可以解决逆光、低照度以及模糊情况下的人脸识别。

4)去遮挡技术可以有效减少眼镜、口罩、帽子等遮挡物对人脸识别算法有较大影响。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种大场景人脸抓拍方法，其特征在于，包括以下步骤：

步骤1、从摄像头中获取人的抓拍图像之后，采用基于深度学习的MT-CNN神经网络对图像中的人脸进行检测定位；

步骤2、对步骤1初步定位后的人脸图像，将其像素值作为矩阵输入ligtencnn模型，通过卷积层、池化层、MFM激活函数运算之后，人脸图像被计算为数个数组，作为人脸的特征输出到下一层；

步骤3、将步骤2每一组传入的人脸特征均通过falconn LSH算法进行二次特征提取，形成一个浮点数组，运算并存入数据库当中，根据运算结果，在数据库中进行排序，同时建立对应的人员信息档案；

步骤4、当人脸图片被传入数据库时，计算其基于falconn LSH算法的二次特征数组，并和数据库中已有人脸图片进行对比，若对比相似度大于阈值，则说明此人之前已经入库，此时调用相机抓拍并显示出相应的人员信息；若对比相似度小于阈值，则说明此人之前并未入库，此时调用相机抓拍并建立新的人员档案。

2.根据权利要求1所述的一种大场景人脸抓拍方法，其特征在于，所述步骤1摄像头拍摄的人的抓拍图像为人离相机镜头100-150米距离的图像。

3.根据权利要求1所述的一种大场景人脸抓拍方法，其特征在于，所述步骤1从摄像头中获取人的抓拍图像之后，还进行去逆光、低照度增强、去模糊处理。

4.根据权利要求1所述的一种大场景人脸抓拍方法，其特征在于，所述步骤1从摄像头中获取人的抓拍图像之后，还通过鲁棒特征提取处理降低脸部遮挡影响，具体为：人脸候选区域提取；对被遮挡的人脸特征进行恢复，抑制人脸特征中的噪声信息；利用被修复的人脸特征进行人脸区域验证，对人脸位置和尺度进行微调。

5.根据权利要求1所述的一种大场景人脸抓拍方法，其特征在于，所述步骤1用基于深度学习的MT-CNN神经网络对图像中的人脸的眼部、嘴角、鼻子进行检测定位。

6.根据权利要求3所述的一种大场景人脸抓拍方法，其特征在于，所述去模糊处理通过以拉东变换为基础的算法，得到模糊的点扩散函数，这一函数反映了运动图像与非运动图像的模糊角度、模糊方向信息，然后分别将原始模糊图像与点扩散函数进行傅里叶变换，得到其频率域响应，接着利用维纳滤波器从模糊图像中过滤掉点扩散图像，得到非扩散性的去模糊图像。

7.根据权利要求3所述的一种大场景人脸抓拍方法，其特征在于，所述低照度增强处理首先对得到的低照度图像进行取反处理，取反后进行双边滤波，然后使用暗原色先验增强模型对图像进行增强操作，再次对像素值取反可以得到低照度增强图像。

8.根据权利要求3所述的一种大场景人脸抓拍方法，其特征在于，所述去逆光处理在接受到图像的时候，首先对图像像素值进行统计，并计算统计直方图，若直方图对低像素值方向的偏离超过阈值，则判断为逆光图像；此时根据像素值大小，将图像分为暗区与亮区，对暗区的部分，通过对数估计模型进行放大，同时对亮区进行双边滤波防止噪点出现，之后进行图像融合。