CN111696080B

CN111696080B - 一种基于静态纹理的人脸欺诈检测方法、系统及存储介质

Info

Publication number: CN111696080B
Application number: CN202010418452.7A
Authority: CN
Inventors: 束鑫; 唐慧; 夏坤; 叶华; 邵长斌; 杨习贝
Original assignee: Jiangsu University of Science and Technology
Current assignee: Jiangsu University of Science and Technology
Priority date: 2020-05-18
Filing date: 2020-05-18
Publication date: 2022-12-30
Anticipated expiration: 2040-05-18
Also published as: CN111696080A

Abstract

本发明公开了一种基于静态纹理的人脸欺诈检测方法及系统，该方法包括：读取训练集视频，对输入的视频进行逐帧人脸图片检测，得到具有人脸位置信息的图片，并对对应图片进行人脸剪裁；在选定的颜色空间的各个颜色通道中采用DQ_LBP特征提取方法进行纹理特征提取；采用空间金字塔算法对纹理特征图片进行直方信息，并将其级联形成表示图片彩色纹理特征的一维向量；将各个互补的彩色空间内的彩色纹理特征向量级联形成表示当前图片特征的最终表示；将经过上述步骤得到的训练集数据进行归一化处理，并放入线性核的支持向量机中进行分类；该方法具有可移植性高、无需用户配合、匹配速度快且简单高效的特点。

Description

一种基于静态纹理的人脸欺诈检测方法、系统及存储介质

技术领域

本发明涉及图像处理和模式识别技术领域，具体涉及基于静态纹理的人脸欺诈检测方法。

背景技术

如今，人脸识别技术已经被广泛应用到人类日常生活中，大到机场车站的安检系统，小到随处可见的移动终端上的身份验证功能。人脸识别技术不仅大大提高了身份信息验证的效率，还给用户带来快捷方便的生活体验。但是，当有人伪造客户人脸并试图通过人脸识别系统的验证时，就会出现欺诈攻击。

目前，身份验证软件中大部分基于脸部识别的反欺诈操作都需要人机交互，比如，客户需要根据系统提示进行组合动作操作完成银行系统的实名验证过程，用户需要眨眼完成支付宝的身份信息验证等，这些交互过程不但耗费较多的时间，而且极大降低了客户体验的满意程度。因此，在进行人脸识别前增加非人机交互的人脸欺诈检测以解决人脸识别系统中存在的风险与漏洞是一项非常有意义的工作。

人脸欺诈攻击方式一般可分为照片攻击、视频攻击和3D掩模攻击。随着在线社交应用的普及，客户的人脸图片或人脸视频很容易被欺诈者获取，而用于欺诈的3D模型制作过程复杂，所用材料特殊且昂贵，因此与之相比前两种欺诈方法在人脸识别系统中的风险系数较高。近几十年来，针对打印攻击和视频攻击的人脸欺诈检测算法层出不穷，大致可分为静态纹理分析和动态纹理分析两个主要方向。

动态纹理需要提取多个视频帧的纹理特征来判别局部差异和提取运动线索，如Pan G等人分别在提取参考场景图片和输入图片上提取一系列基准点的LBP(Local BinaryPattern)特征，然后通过计算特征图片的相似度获取运动线索；Pinto A等人利用傅立叶谱从每个视频中提取50帧图像的噪声信号，然后使用灰度共生矩阵描述每一个视频的视觉节奏特征。动态纹理是视频中多帧图像特征的融合，因此在该领域具有较高的检测性能，但纹理提取方式相对复杂，因此其计算过程也相对较长。静态纹理的提取比较简单，仅需要提取视频中的一帧图像进行特征提取就可以判别当前验证是否存在欺诈行为，其中，LBP算法及其变体由于简单高效而得到了广泛应用。例如，Ivana等人首次将LBP应用到欺诈检测领域，并通过实验证明LBP对于不同数据库中不同的攻击类型的检测都有一定的适用性；Boulkenafet Z和等人使用统一模式局部二值模式(Uniform Local Binary Pattern，ULBP)提取脸部彩色纹理特征。但LBP仅考虑中心点与临近点像素值的大小关系而忽略了差值信息。

虽然目前已有提取差值的LBP改进算法，比如完全LBP模式(Completed LocalBinary Pattern，CLBP)和局部二值模式方差(Local Binary Pattern Variance，LBPV)。但CLBP增加了原始特征的维度，而LBPV计算的方差值并没有考虑中心点的像素值，检测的准确度并不高。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于静态纹理的人脸欺诈检测方法，该方法可以解决现有技术中人脸欺诈检测准确率低的问题，本发明还提供一种基于静态纹理的人脸欺诈检测系统。

技术方案：本发明所述的基于静态纹理的人脸欺诈检测方法，包括：

(1)读取训练集视频，对输入的视频进行逐帧人脸图片检测，得到具有人脸位置信息的图片，并对对应图片进行剪裁；

(2)根据人脸图片的差值分布构造DQ_LBP特征提取方法，并对剪裁后的图片在选定颜色空间内的各个颜色通道中采用所述DQ_LBP特征提取方法进行纹理特征提取；

(3)采用空间金字塔算法统计每层DQ_LBP纹理图片的的直方信息，并级联形成表示图片在当前颜色通道内的一维特征向量；

(4)将互补的颜色空间内的所有颜色通道中的特征向量级联形成当前图片特征向量；

(5)将根据步骤(1)-(4)得到的训练集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行训练；

(6)将根据步骤(1)-(4)得到的测试集对应的特征向量进行归一化处理，并放入步骤(5)得到的模型中进行分类，得到预测结果。

进一步地，包括：

所述步骤(1)中，在对图片进行剪裁之前，首先对所述具有人脸位置信息图片预处理，该预处理为将具有人脸位置信息的图片中的待研究人脸区域对应的宽和高分别向图片的非研究区域扩充，扩充为原来待研究人脸区域的1.2～1.8倍。

进一步地，包括：

所述步骤(2)中，DQ_LBP特征提取方法对应的公式表示为：

其中，r_c，r_n分别表示中心像素点及其临近点的像素值，

A是归一化函数表达式，C为函数A的约束函数，P为与中心像素点临近的临近点个数，R为考虑像素范围邻域的半径大小，n为中心像素点的临近点，(i,j)为中心像素点的坐标。

进一步地，包括：

所述归一化函数表达式A表示为：

其中，K表示DQ_LBP_P,R(i,j)的最大值，表示为K＝2^P-1。

进一步地，包括：

所述函数A的约束函数C表示为：

进一步地，包括：

所述选择的颜色空间为HSV颜色模型和YCbCr颜色模型。

进一步地，包括：

所述步骤(3)中，采用空间金字塔算法提取带有纹理特征图片中纹理图片块的直方信息，包括：

图像分割：采用三层空间金字塔的第一层和第三层对带有纹理特征图片进行分割，形成多个纹理图片块，层数l，l∈{0,1,2}和划分的纹理图像块的总数T满足以下公式：

T＝2^l×2^l

直方图表示：设当前纹理图片块的大小N×M，所述图像块的特征直方图表示为：

其中，k∈[0,K]，K表示DQ_LBP特征表示的最大值，

round(a)表示对a值进行四舍五入计算，

另一方面，本发明还提供一种基于静态纹理的人脸欺诈检测系统，包括：

人脸检测模块，用于读取训练集视频，对输入的视频进行逐帧人脸图片检测，得到具有人脸位置信息的图片，并对对应图片进行剪裁；

特征提取模块，用于根据人脸图片的差值分布构造DQ_LBP特征提取方法，并对剪裁后的图片在选择的颜色空间的各个颜色通道中采用所述DQ_LBP特征提取方法进行纹理特征提取；

训练模块，用于将训练集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行训练，得到适于数据集分类的训练模型；

测试模块，用于将测试集对应的特征向量进行归一化处理，并放入预训练好的模型中进行分类，得到预测结果。

在上面的基础上，本发明还提供一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现上述所述的方法。

有益效果：(1)本发明将检测后人脸图片的待研究区域的面积进行扩展，得到更大区域的待研究面积，使得保留部分背景信息，能够有效提高欺诈识别精度；(2)本发明在LBP算法的基础上设计出DQ_LBP特征提取方法，在计算LBP特征值的过程中量化像素之间的差值，并将其融合到二值权重上，该方法提取的纹理特征更加精准，从而提高后续的分类识别率；(3)在DQ_LBP特征提取方法的基础上，确定互补的颜色空间模型，在彩色空间的各个通道内提取DQ_LBP特征，互补的彩色纹理能够更加具体地反映出真脸和假脸之间的差异，因此彩色纹理相比灰度纹理能够在人脸欺诈检测中表现出更加高效的检测性能；(4)本发明将DQ_LBP特征提取方法和两层空间金字塔算法结合，不仅能够有效解决图片尺寸不统一问题，而且能够提取纹理图片的空间结构信息，提高后续分类检测的速度和效率。与原始空间金字塔相比降低了图片的特征维度，，且精准度更高。

附图说明

图1为本发明的流程示意图；

图2为本发明脸部剪裁流程图；

图3为数据库中人脸局部像素差值的分布图；

图4为本发明中的A值变化对LBP影响示意图；

图5a为本发明使用LBP预测真脸和假脸的数值分布图，图5b为使用DQ_LBP预测真脸和假脸的数值分布图；

图6为空间金字塔分割示意图；

图7为本发明所述的电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1所示，本发明提供一种基于静态纹理的人脸欺诈检测方法，包括以下步骤:

训练部分：

S1读取训练集视频，对输入的视频进行逐帧人脸图片检测，得到具有人脸位置信息的图片，并对对应图片进行剪裁；

如图2所示，读取输入视频前半部分中的任意一帧后使用目标级联检测算法对人脸进行检测，如果未检测到人脸则对当前帧的下一帧图片继续进行检测直到获取到人脸的位置信息为止。

在本实施例中，在对图片进行剪裁之前，首先对所述具有人脸位置信息图片预处理，该预处理为将具有人脸位置信息的图片中的待研究人脸区域对应的宽和高分别向图片的非研究区域扩充，扩充为原来待研究人脸区域的1.2～1.8倍，本申请的扩充并不是指将待研究人脸区域进行放大若干倍，而是将待研究区域的范围向一般情况下不作为研究区域的图片处扩展，从而可以显示人脸区域的背景信息。

特别的，本实施例中扩充为原来的1.5倍效果最佳。因为显示设备边框、欺诈者手部和图片弯曲产生的折射等极易出现在人脸背景区域，保留部分背景信息能够有效提高欺诈识别精度，但如果使用整张图片进行特征提取，本发明在计算过程中将耗费太多的时间，因此根据返回的人脸位置信息，本发明将人脸的宽和高分别扩充为原来的1.5倍后再对图片进行剪裁。为了避免图像纹理信息的丢失，本发明不对剪裁后的图片进行规范化处理，对于大小不统一的纹理图片，本发明使用空间金字塔分割进行直方统计。

S2根据人脸图片的差值分布构造DQ_LBP特征提取方法，并对剪裁后的图片在选择的颜色空间的各个颜色通道中采用所述DQ_LBP特征提取方法进行纹理特征提取；

应知晓，DQ_LBP是根据LBP方法新取得一种特征提取方法的名称，通过前人的工作可知，选择合适的颜色模型对彩色图片的处理尤为重要。众所周知，常用的颜色模型有RGB、HSV和YCbCr三种，本发明选择HSV和YCbCr两种颜色模型来提取脸部纹理特征。

其中，HSV是一种面向视觉的彩色模型，其中H表示色调、S表示饱和度、V表示亮度值，YCbCr模型通常用作数字媒体的处理，Y、Cb和Cr分别表示亮度、蓝色分量和红色分量。由于人眼对亮度比较敏感，重造之后的人脸图片或者视频中的蓝色或者红色分量的变化很难通过人眼直观地感受到，但是在该颜色空间中计算图片的纹理特征能够有效地辨别欺诈图片，HSV和YCbCr颜色空间结合，可有效提取彩色图像的多种纹理信息，从而扩大真脸和假脸之间的差距。

确定好颜色模型后，对剪裁后的图片在选择的HSV和YCbCr中的各个颜色通道提取DQ_LBP特征，即分别在H通道、S通道和V通道中提取纹理特征，分别在Y通道、Cb通道和Cr通道中提取纹理特征。

具体的，DQ_LBP在计算过程中需要将像素之间的差值进行量化，量化结果用A表示，然后将A添加到指数上进行计算，其中，C为A的约束函数。DQ_LBP特征的提取过程和LBP的计算过程相似，其计算过程如下：

其中，r_c，r_n分别表示中心像素点及其临近点的像素值，

进一步地，

是本发明构造的一种有关差值和中心点像素值的归一化函数表达式，其中，K为DQ_LBP特征表示的最大值，P，R分别为临近点个数和半径大小，本发明设置P＝8，R＝1，则K＝2^P-1。

如图4所示，横坐标为位数即n的值，纵坐标为对应的数值，柱状图为n＝[1...8]时对应LBP的值，折线反映了DQ_LBP随位数n增大的变化趋势；DQ_LBP值随着n的增加以2^(1+A)的倍数递增，当n＝7时，A值对DQ_LBP的影响最大，当n＝1或n＝8时，DQ_LBP值将不受A的限制。只有当

时A对DQ_LBP值的影响较大，且既不会因为n较小而过多改变当前位LBP值，也不会因为n太大使DQ_LBP值远远超过K值大小。因此本发明构造二次函数如C中分子所示，分母为分子函数的最大值。

函数C用来约束A的大小，其表达式为：

图3为本实施例采用的数据库中图像局部像素差值的分布图，从中可知，Z轴为数量，X轴表示样本差值，Y轴表示样本编号，从X轴和Z轴可知，极大部分差值分布在[0,10]之间，根据实验统计的结果，A的取值主要集中在[0,0.1]范围内，此时DQ_LBP值在LBP基础上略有提高，从而既保留了LBP信息又增加了差值信息。如图5所示，(a)为使用LBP预测真脸和假脸的数值分布图，分界线A左侧为真实人脸数值，右侧为欺诈人脸数值，(b)为使用DQ_LBP预测真脸和假脸的数值分布图，分界线A左侧为真实人脸数值，右侧为欺诈人脸数值，(b)图中真实人脸和欺诈人脸的数值柱状图重叠部分比(a)图少，说明DQ_LBP纹理特征相比LBP纹理特征更能有效地辨别真脸和假脸。

S3采用空间金字塔算法提取带有纹理特征图片中纹理图片块的直方信息，并将各个纹理图片块对应的直方信息级联形成表示图片在当前颜色通道中的一维特征向量；

该步骤主要分为两部分：

图像分割：空间金字塔算法不仅能够有效解决图片尺寸不统一问题，而且能够提取纹理图片的空间结构信息。空间金字塔图像分割是借鉴空间金字塔算法的图像分割部分，为了降低图片的特征维度，本发明仅使用三层空间金字塔的第一层和第三层，层数l，l∈{0,1,2}和划分的纹理图像块的总数T满足以下公式：

T＝2^l×2^l

第一层提取的是整幅纹理图像的直方向量，表示图片的全局特征信息，第三层提取4×4的纹理图片块中的特征，表示图片的局部空间结构信息。

直方图表示：设当前纹理图片块的大小N×M，图像块的特征直方图表示为：

其中，k∈[0,K]，K表示DQ_LBP_P,R(i,j)的最大值，

round(a)表示对a值进行四舍五入计算，

S4将所述颜色空间内的所有颜色通道中的特征向量级联形成当前图片特征向量；

如图6所示，提取每一块纹理图片块的直方信息后，将所有小块的直方信息级联起来形成表示图片在当前颜色通道内的一维特征向量，循环表示图片在其他颜色通道内的一维特征向量。由于彩色纹理融合利用互补的颜色通道能够有效提高检测算法的泛化能力。本发明通过将HSV和YCbCr颜色空间中各个通道内的特征向量级联以表示当前图片特征。

S5将根据步骤1-4得到的训练集对应的特征向量进行归一化处理，并放入线性核的支持向量机(SVM)中进行训练。

测试部分：

S6将根据步骤1-4得到的测试集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行分类，得到预测结果，对于预测的结果如果是1则为真脸图片，预测结果是0则为欺诈图片。

DQ_LBP纹理特征提取便捷，而且对于每一个视频仅提取一帧图片进行计算，因此可对欺诈图片或视频进行快速识别。本发明不需要安装额外的设备获取人脸的局部信息，因此可移植性较强。本发明通过分析图片的静态纹理进行活体判别，不需要用户配合

为了体现本发明的可行性，做出相关实验：从1200个视频中选取360个视频作为训练集，其中真实视频140，欺诈视频220个。测试集由840个视频组成，真实视频和欺诈视频的比例为1:5，训练集和测试集没有共同的用户。下表给出了LBP、LBPV、CLBP和DQ_LBP以及本发明的实验结果：

表中，ACC表示检测正确率，TP表示真实样本检测的正确率，TN表示欺诈样本检测的正确率。由上表可知，虽然VLBP和CLBP都细化了LBP纹理特征，并且在纹理识别方面都表现出较高的识别精度，但是在欺诈检测领域表现的性能却不如LBP。该发明构造的DQ_LBP能够在计算过程中添加量化的差值信息，从而有效提高LBP的检测精度。本发明使用空间金字塔算法提取彩色DQ_LBP纹理不但提取了像素之间的差值信息，而且反映了图片的空间结构信息，因此其欺诈检测精度能够达到了100％。实验结果表明，本发明方法是可行的。

训练模块，用于将训练集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行训练。

测试模块，用于将测试集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行分类，得到预测结果。

参阅图7所示，本发明实施例中，一种电子设备结构示意图。

本发明实施例提供了一种电子设备，该电子设备可以包括处理器310(CenterProcessing Unit，CPU)、存储器320、输入设备330和输出设备340等，输入设备330可以包括键盘、鼠标、触摸屏等，输出设备340可以包括显示设备，如液晶显示器(Liquid CrystalDisplay，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器320可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器310提供存储器320中存储的程序指令和数据。在本发明实施例中，存储器320可以存储基于静态纹理的人脸欺诈检测方法的程序。

处理器310通过调用存储器320存储的程序指令，处理器310用于按照获得的程序指令执行上述任一种基于静态纹理的人脸欺诈检测方法的步骤。

基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的基于静态纹理的人脸欺诈检测方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于静态纹理的人脸欺诈检测方法，其特征在于，包括：

(2)根据人脸图片的差值分布构造一种特征提取方法，记为DQ_LBP特征提取方法，并对剪裁后的图片在选定的颜色空间的各个颜色通道中采用所述DQ_LBP特征提取方法进行纹理特征提取；

所述DQ_LBP特征提取方法对应的公式表示为：

其中，r_c，r_n分别表示中心像素点及其邻居点的像素值，

A是中心像素点与其邻居点差值归一化形式，C为函数A的约束函数，P为中心像素点的邻居点的个数，R为考虑像素范围邻域的半径大小，n为当前邻居点的索引，(i,j)为中心像素点的坐标；

所述函数A表示为：

其中，K表示DQ_LBP特征表示的最大值，K＝2^P-1；

所述函数A的约束函数C表示为：

(3)采用空间金字塔算法统计每层彩色纹理特征图片中的直方图信息，并级联形成表示图片在当前颜色通道中的一维特征向量；

(4)将当前颜色空间内的所有颜色通道中的特征向量级联，再将互补颜色空间内的纹理融合，形成表示当前图片彩色纹理的特征；

2.根据权利要求1所述的基于静态纹理的人脸欺诈检测方法，其特征在于，所述步骤(1)中，在对图片进行剪裁之前，首先对所述具有人脸位置信息的图片预处理，该预处理为将具有人脸位置信息的图片中的待研究人脸区域对应的宽和高分别向图片的非研究区域扩充，扩充为原来待研究人脸区域的1.2～1.8倍。

3.根据权利要求1或2所述的基于静态纹理的人脸欺诈检测方法，其特征在于，所述选定的颜色空间为HSV和YCbCr两种互补的颜色模型。

4.根据权利要求1所述的基于静态纹理的人脸欺诈检测方法，其特征在于，所述步骤(3)中，采用空间金字塔算法提取带有纹理特征图片中的直方图信息，包括：

图像分割：采用三层空间金字塔的第一层和第三层对带有纹理特征图片进行分割，形成多个纹理图片块，层数l和划分的纹理图像块的总数T满足以下公式，l∈{0,1,2}：

T＝2^l×2^l

其中，k∈[0,K]，K为DQ_LBP特征所表示的最大值，

round(a)表示对a值进行四舍五入计算，

5.一种基于静态纹理的人脸欺诈检测系统，其特征在于，包括：

特征提取模块，用于根据人脸图片中相邻像素间的差值分布构造DQ_LBP特征提取方法，并对剪裁后的图片在互补的颜色空间的各个颜色通道中采用所述DQ_LBP特征提取方法进行纹理特征提取；

所述DQ_LBP特征提取方法对应的公式表示为：

其中，r_c，r_n分别表示中心像素点及其邻居点的像素值，

所述函数A表示为：

其中，K表示DQ_LBP特征表示的最大值，K＝2^P-1；

所述函数A的约束函数C表示为：

训练模块，用于将训练集对应的特征向量进行归一化处理，并放入线性核的支持向量机中进行训练；

测试模块，用于将测试集对应的特征向量进行归一化处理，并放入提前训练好的模型中进行分类，得到预测结果。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现权利要求1至4任一项所述的方法。