CN106845395A - 一种基于人脸识别进行活体检测的方法 - Google Patents

Abstract

本发明涉及一种基于人脸识别进行活体检测的方法，包括以下步骤：输入一段包含人脸的视频，按照帧频率将视频截成图片序列；采用人脸识别技术检测出每一帧图像中的人脸；提取一帧图像中人脸框中的绿色通道的像素值作为该帧图像的像素值，将所有图片的像素值按顺序排列，组成像素值序列；对像素值序列进行降噪处理，然后进行傅里叶变换得到像素值序列的频域信息；根据频域信息计算得到心率值；根据心率值判断视频中的人脸是否为真实人脸。本发明利用人脸所反映的心跳信息，以更好的交互方式和更快的速度进行人脸活体检测，无需测试者按照语音指令进行操作，检测速度快；无需红外摄像头或3D摄像头等硬件设备，成本低，能够广泛应用。

Description

一种基于人脸识别进行活体检测的方法

技术领域

本发明属于人脸识别技术领域，具体涉及一种基于人脸识别进行活体检测的方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。活体检测，是人脸识别系统中区分照片与真人、视频与真人的一种方法。

现如今的人脸活体检测大多采用指令式的交互方式，通过语音提示动作指令，诸如眨眼、摇头、张嘴等，来判断参与检测活动的是否为真人，存在速度慢、参与者不配合等问题。基于多光谱人脸的检测，缺点在于易受外界光照影响。采用红外摄像头或使用三维图像技术，缺点在于成本高，对设备硬件条件要求苛刻，不具有广泛应用意义。

同时，目前利用人脸识别进行心跳检测的算法存在对含有人脸照片或者视频也能检测出心跳这一问题。如何能够在减少这些语音式指令的情况下同时又能准确快速地进行人脸活体检测是本发明所要解决的问题。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种交互方式更好、速度更快的基于人脸识别进行活体检测的方法。

为实现以上目的，本发明采用如下技术方案：

一种基于人脸识别进行活体检测的方法，包括以下步骤：

S1：输入一段包含人脸的视频，按照帧频率将视频截成图片序列；

S2：采用人脸识别技术检测出每一帧图像中的人脸；

S3：提取一帧图像中人脸框中的绿色通道的像素值作为该帧图像的像素值，将所有图片的像素值按顺序排列，组成像素值序列；

S4：对像素值序列进行降噪处理，再对降噪后的像素值序列进行傅里叶变换得到像素值序列的频域信息；

S5：根据频域信息计算得到心率值；

S6：根据心率值判断视频中的人脸是否为真实人脸。

所述步骤S3中提取一帧图像中人脸框中的绿色通道的像素值，具体包括以下步骤：

S31：根据检测出的人脸框，使用特征点检测技术定位并提取出人脸的轮廓，去除图片中不含人脸的额外的背景信息；

S32：选取感兴趣的人脸区域，并提取出该区域的绿色通道的像素值。

所述步骤S31中使用特征点检测技术定位并提取出人脸的轮廓，具体包括以下步骤：

对人脸图片中的特征点进行定位，在人脸框中标注多个特征点；

所有的特征点均位于人脸的关键区域的轮廓上，把人脸的关键区域标示出来；所述的关键区域包括左眼、右眼、鼻子、嘴巴和脸庞。

所述特征点检测技术的实现方法是：

构建深度学习训练级联卷积神经网络，该网络的结构包括两层卷积神经网络，需要的训练样本是人脸图片、人脸框的位置坐标和已标注的人脸特征点的位置坐标；

第一层的卷积神经网络对输入的训练样本进行学习训练；经过训练，第一层的卷积神经网络可以对一个人脸图片的特征点进行定位，第一层网络定位不准确；

第二层的卷积神经网络从第一层网络定位后的图片中分割出若干个矩形区域，每个矩形区域分别包含一个关键区域的轮廓上的所有特征点；第二层网络主要对每个矩形区域进行学习和训练，得到的特征点位置结果再返回到第一层网络中；

经过多次迭代训练后得到的模型，即可准确地对人脸图片进行特征点定位。

所述步骤S32中选取感兴趣的人脸区域，具体包括以下步骤：

以两眼之间的宽度为基准，选取一定高度的矩形区域为感兴趣的人脸区域。

所述步骤S32中提取出该区域的绿色通道的像素值，具体包括以下步骤：

提取该区域内所有像素点的绿色通道的像素值；

将上述所有像素值累加后求平均值；

该平均值即为表征该区域的绿色通道的像素值。

所述步骤S4中对像素值序列进行降噪处理，具体包括以下步骤：

对像素值序列使用汉明窗进行滤波减均值操作，得到降噪后的像素值序列。

所述步骤S4中的傅里叶变换为快速傅里叶变换。

所述步骤S5中，计算心率值的具体步骤为：

输入视频的长度为t秒；

频域信息中，幅值最高点对应的帧数为n；

则心率值为：

所述步骤S7具体包括：

若心率值大于45且小于120，即在正常范围之内，则判断视频中的人脸为真实人脸；

若心率值不在正常范围之内，则判断视频中的人脸不是真实人脸。

本发明采用以上技术方案，利用人脸所反映的心跳信息，以更好的交互方式和更快的速度进行人脸活体检测，提高其准确率，抵御照片及视频对人脸识别系统的攻击。本发明的有益效果是：无需测试者按照语音指令进行操作，检测速度快；无需红外摄像头或3D摄像头等硬件设备，成本低，能够广泛地应用，不受硬件设备的限制；与多光谱方法相比，准确率更高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一种基于人脸识别进行活体检测的方法流程图；

图2是本发明的具体实施例中按照步骤S31对人脸图像进行处理的示意图；

图3是本发明的具体实施例中按照步骤S32对人脸图像进行处理的示意图；

图4是本发明的具体实施例中级联卷积神经网络对人脸图像进行处理的示意图；

图5是本发明的具体实施例的像素值序列进行傅里叶变换后的频域图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

如图1所示，本发明提供一种基于人脸识别进行活体检测的方法，本方法具体包括以下步骤：

S1：输入一段包含人脸的视频，按照帧频率将视频截成图片序列；

S2：采用人脸识别技术检测出每一帧图像中的人脸；

S3：提取一帧图像中人脸框中的绿色通道的像素值作为该帧图像的像素值，将所有图片的像素值按顺序排列，组成像素值序列；

S4：对像素值序列进行降噪处理，再对降噪后的像素值序列进行傅里叶变换得到像素值序列的频域信息；

S5：根据频域信息计算得到心率值；

S6：根据心率值判断视频中的人脸是否为真实人脸。

本发明的原理在于，倘若输入的视频里面不是真人，是照片或者视频，那么人脸面部区域血液的容积随心脏搏动的变化就体现不出来，所以测不出心跳值。以此，作为判断活体的依据。

具体地，步骤S3中，提取一帧图像中人脸框中的绿色通道的像素值，包括以下步骤：

S31：根据检测出的人脸框，使用特征点检测技术定位并提取出人脸的轮廓，去除图片中不含人脸的额外的背景信息；

S32：选取感兴趣的人脸区域，并提取出该区域的绿色通道的像素值。

进一步地，在步骤S31中，使用特征点检测技术定位并提取出人脸的轮廓，具体包括以下步骤：

对人脸图片中的特征点进行定位，在人脸框中标注多个特征点；

所有的特征点均位于人脸的关键区域的轮廓上，把人脸的关键区域标示出来；所述的关键区域包括左眼、右眼、鼻子、嘴巴和脸庞。

进一步地，在步骤S32中，选取感兴趣的人脸区域，具体包括以下步骤：

以两眼之间的宽度为基准，选取一定高度的矩形区域为感兴趣的人脸区域。

进一步地，在步骤S32中，提取出该区域的绿色通道的像素值，具体包括以下步骤：

提取该区域内所有像素点的绿色通道的像素值；

将上述所有像素值累加后求平均值；

该平均值即为表征该区域的绿色通道的像素值。

步骤S4中，对像素值序列进行降噪处理，具体包括以下步骤：

对像素值序列使用汉明窗进行滤波减均值操作，得到降噪后的像素值序列。

步骤S4中的傅里叶变换为快速傅里叶变换。

步骤S5中，计算心率值的具体步骤为：

输入视频的长度为t秒；

频域信息中，幅值最高点对应的帧数为n；

则心率值为：

步骤S7具体包括：

若心率值大于45且小于120，即在正常范围之内，则判断视频中的人脸为真实人脸；

若心率值不在正常范围之内，则判断视频中的人脸不是真实人脸。

本发明是基于人脸识别技术，通过使用特征点检测技术准确检测到人脸面部区域的基础上，根据光电容积脉搏描记法测出人的心跳次数，同实际人的心跳值进行比较，进而区分真人、照片或视频中的人，达到活体检测的目的。

其中，特征点检测技术是在输入的图像或视频被人脸检测之后，在得到的人脸框中，利用计算机进一步提取脸部特征的位置，并给出形状等信息的一种技术。该技术可以更加准确的定位出人脸的轮廓，去除人脸框中不含人脸的额外的背景信息。特征点检测技术的实现方法是：

构建深度学习训练级联卷积神经网络，该网络的结构包括两层卷积神经网络，需要的训练样本是人脸图片、人脸框的位置坐标和已标注的人脸特征点的位置坐标；

第一层的卷积神经网络对输入的训练样本进行学习训练；经过训练，第一层的卷积神经网络可以对一个人脸图片的特征点进行定位，第一层网络定位不准确；

第二层的卷积神经网络从第一层网络定位后的图片中分割出若干个矩形区域，每个矩形区域分别包含一个关键区域的轮廓上的所有特征点；第二层网络主要对每个矩形区域进行学习和训练，得到的特征点位置结果再返回到第一层网络中；

经过多次迭代训练后得到的模型，即可准确地对人脸图片进行特征点定位。

光电容积脉搏描记法的原理是，心脏的搏动会造成皮肤组织的血管中的血液容积变化，由于心脏是周期性的搏动，所以皮肤组织中的血管内血液容积也会发生周期性的变化。这样一来，光照射在皮肤表面，其反射或透射光束也会发生周期性的变化，因此反射光强的变化可以表征心脏的搏动。通过光电传感器，可以将光信号转换成电信号，通过观察接收光源接收到的反射光强进行的周期性变化可以得到相应的血液容积变化，也就是心脏搏动随时间的变化，进而得到人的心跳次数。

在本专利中，具体做法是对人脸面部区域的三通道的像素值进行提取，取绿色通道即G通道，通过比较多帧人脸面部区域绿色通道像素值的变化得到血液容积的变化，这一步就相当于光电容积描记法里面的光电转换计算光强大小。因为一张彩色图片含有三个通道，R、G、B分别代表红色、绿色和蓝色。本专利使用的是绿色通道的像素值，之所以使用绿色通道像素，是因为绿光相比红光和蓝光波长更短，更容易被皮肤中的黑色素吸收，同时，绿光的信噪比更大，这样光照射到人脸面部区域，红色通道、蓝色通道和绿色通道相比，人脸面部区域照片的绿色通道的像素值随人脸皮肤组织下面的血管容积变化更大，也就是绿色通道像素值更能体现出血管容积细微的变化，使用绿色通道效果要更好。在人脸视频图像的心率检测中，彩色图像的G通道包含的脉搏信号最强，通过分析图像上人脸面部区域的G通道像素值的平均值随时间形成的信号序列可以得出心跳值。

为了进一步详述本专利，下面结合一个具体的操作实例进行说明。

将视频截成图片后，对每一帧图片按照步骤S31进行处理，如图2所示：

先使用特征点检测技术定位并提取出人脸的轮廓，使用一个矩形框将人脸整个轮廓包括在内，图中的矩形框即为人脸框；然后去除图片中不含人脸的额外的背景信息，即去除人脸框以外的部分。

按照步骤S32，对人脸框做进一步处理，过程如图3所示：

选取感兴趣的人脸区域；以两眼之间的宽度为基准，选取一定高度的矩形区域为感兴趣的人脸区域。

步骤S31中，特征点检测技术中用到了级联卷积神经网络，该网络的结构包括两层卷积神经网络，其训练过程如图4所示：

第一层的卷积神经网络对输入的训练样本进行学习训练，训练样本包括人脸图片、人脸框的位置坐标和已标注的人脸特征点的位置坐标；经过训练，第一层的卷积神经网络可以对一个人脸图片的特征点进行定位；所有的特征点均位于人脸的关键区域的轮廓上，把人脸的关键区域标示出来；所述的关键区域包括左眼、右眼、鼻子、嘴巴和脸庞；

第二层的卷积神经网络从第一层网络定位后的图片中分割出若干个矩形区域，每个矩形区域分别包含一个关键区域的轮廓上的所有特征点；

第二层网络主要对每个矩形区域进行学习和训练，得到的特征点位置结果再返回到第一层网络中；经过多次迭代训练后得到的模型，即可准确地对人脸图片进行特征点定位。

图片经过上面的步骤处理后，就可以将感兴趣区域的绿色通道像素值提取出来，组成像素值序列，再对像素值序列进行运算即可得到心率值。下面对心率值的计算原理进行说明。

例如一段20s的人脸视频(视频长度用t表示，单位是秒)，每秒截30帧(用a表示)，则一共可以截600帧(a×t)，也就是得到600张人脸图像。针对这600张人脸面部区域，每一张都提取绿色通道的像素值，这样就会有600个值，对这600个值使用汉明窗进行滤波减均值操作，然后做傅里叶变换，将时域信息转为为频域信息。之所以样做，是为了通过频率来计算心跳值。600帧图片对应频率是30Hz，这样就得到帧数(用n表示)和频率(用f表示)的对应关系：

比如第300帧(n＝300)，就对应的15Hz。从频率转换为心跳次数(心率)，只要乘以60即可，因为赫兹的含义就是每秒振动的次数。因此心率值(用x表示)为：

而心跳的频率，即为傅里叶变换后得到的频域图中，幅值最高点对应的频率。

使用傅立叶变换的原因在于，将原来难以处理的时域信号转换成了易于分析的频域信号；如果只看每帧图片的像素值很难分析出里面含有的心跳信息，进行傅里叶变换后，就很容易对数据进行分析。横轴代表的是图片的帧数，也可以理解为频率，因为300对应的是15Hz，横轴同时除以20，就可以得到以Hz为单位的横轴。纵轴的幅值最高点处，对应的是人的心跳的频率。

如图5所示，本实施例中，视频长度t＝20，每秒帧数a＝15，共300帧图像；像素值序列进行傅里叶变换后，频域图像中幅值最高点对应的帧数为31。因此频率是31÷20＝1.55Hz，心率值为1.55×60＝93，也就是心跳次数为93左右。我们可以认为心率值在45到120内都是属于正常范围的，所以本专利采用的方法计算心跳值是可行而且准确的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于人脸识别进行活体检测的方法，其特征在于，包括以下步骤：

S1：输入一段包含人脸的视频，按照帧频率将视频截成图片序列；

S2：采用人脸识别技术检测出每一帧图像中的人脸；

S3：提取一帧图像中人脸框中的绿色通道的像素值作为该帧图像的像素值，将所有图片的像素值按顺序排列，组成像素值序列；

S4：对像素值序列进行降噪处理，再对降噪后的像素值序列进行傅里叶变换得到像素值序列的频域信息；

S5：根据频域信息计算得到心率值；

S6：根据心率值判断视频中的人脸是否为真实人脸。

2.根据权利要求1所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S3中提取一帧图像中人脸框中的绿色通道的像素值，具体包括以下步骤：

S31：根据检测出的人脸框，使用特征点检测技术定位并提取出人脸的轮廓，去除图片中不含人脸的额外的背景信息；

S32：选取感兴趣的人脸区域，并提取出该区域的绿色通道的像素值。

3.根据权利要求2所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S31中使用特征点检测技术定位并提取出人脸的轮廓，具体包括以下步骤：

对人脸图片中的特征点进行定位，在人脸框中标注多个特征点；

所有的特征点均位于人脸的关键区域的轮廓上，把人脸的关键区域标示出来；所述的关键区域包括左眼、右眼、鼻子、嘴巴和脸庞。

4.根据权利要求3所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述特征点检测技术的实现方法是：

构建深度学习训练级联卷积神经网络，该网络的结构包括两层卷积神经网络，需要的训练样本是人脸图片、人脸框的位置坐标和已标注的人脸特征点的位置坐标；

第一层的卷积神经网络对输入的训练样本进行学习训练；经过训练，第一层的卷积神经网络可以对一个人脸图片的特征点进行定位，第一层网络定位不准确；

第二层的卷积神经网络从第一层网络定位后的图片中分割出若干个矩形区域，每个矩形区域分别包含一个关键区域的轮廓上的所有特征点；第二层网络主要对每个矩形区域进行学习和训练，得到的特征点位置结果再返回到第一层网络中；

经过多次迭代训练后得到的模型，即可准确地对人脸图片进行特征点定位。

5.根据权利要求2所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S32中选取感兴趣的人脸区域，具体包括以下步骤：

以两眼之间的宽度为基准，选取一定高度的矩形区域为感兴趣的人脸区域。

6.根据权利要求5所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S32中提取出该区域的绿色通道的像素值，具体包括以下步骤：

提取该区域内所有像素点的绿色通道的像素值；

将上述所有像素值累加后求平均值；

该平均值即为表征该区域的绿色通道的像素值。

7.根据权利要求1所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S4中对像素值序列进行降噪处理，具体包括以下步骤：

对像素值序列使用汉明窗进行滤波减均值操作，得到降噪后的像素值序列。

8.根据权利要求7所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S4中的傅里叶变换为快速傅里叶变换。

9.根据权利要求1所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S5中，计算心率值的具体步骤为：

输入视频的长度为t秒；

频域信息中，幅值最高点对应的帧数为n；

则心率值为：

10.根据权利要求1所述的一种基于人脸识别进行活体检测的方法，其特征在于，所述步骤S7具体包括：

若心率值大于45且小于120，即在正常范围之内，则判断视频中的人脸为真实人脸；

若心率值不在正常范围之内，则判断视频中的人脸不是真实人脸。