CN114758387B - 基于单帧rgb图像的轻量级人脸反欺诈方法及装置 - Google Patents

基于单帧rgb图像的轻量级人脸反欺诈方法及装置 Download PDF

Info

Publication number
CN114758387B
CN114758387B CN202210340990.8A CN202210340990A CN114758387B CN 114758387 B CN114758387 B CN 114758387B CN 202210340990 A CN202210340990 A CN 202210340990A CN 114758387 B CN114758387 B CN 114758387B
Authority
CN
China
Prior art keywords
face
fraud
module
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210340990.8A
Other languages
English (en)
Other versions
CN114758387A (zh
Inventor
李家春
常建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210340990.8A priority Critical patent/CN114758387B/zh
Publication of CN114758387A publication Critical patent/CN114758387A/zh
Application granted granted Critical
Publication of CN114758387B publication Critical patent/CN114758387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单帧RGB图像的轻量级人脸反欺诈方法及装置，该方法包括：训练数据的采集和预处理，以及搭建人脸欺诈检测网络；训练搭建的人脸欺诈检测网络；输入待检测图像，计算预测欺诈得分；根据预测欺诈得分与预设阈值的比较结果得到欺诈人脸检测结果。该方法只有1.34M的参数量，占用内存空间小，计算耗时短，并且只需要输入单帧RGB图像即可高效地进行人脸欺诈检测。该装置包括数据采集模块、数据预处理模块、网络训练模块和网络预测模块。该装置只需要安装RGB相机，无需安装额外的采集设备，便于部署。采用此方法和装置可以快速、高效地完成人脸欺诈检测任务。

Description

基于单帧RGB图像的轻量级人脸反欺诈方法及装置
技术领域
本发明涉及深度学习和计算机视觉的技术领域，尤其是指一种基于单帧RGB图像的轻量级人脸反欺诈方法及装置。
背景技术
人脸识别系统的广泛应用引起了用户对人脸欺诈攻击的担忧，一方面人脸欺诈攻击的制作成本低，敌手通过打印真实用户的照片或重放包含真实用户的视频就可以实施人脸欺诈攻击；另一方面敌手获取用户的人脸信息非常容易，敌手可以通过从社交平台下载或非法偷拍等方式获取到用户的人脸信息。因此，人脸反欺诈方法对于确保人脸识别系统的安全性十分重要。
目前已有的人脸反欺诈方法可以分为两类，一类方法是基于手工特征的传统方法，这类方法需要人为设计并提取特征，泛化能力弱，检测错误率高；另一类方法是基于深度学习的方法，借助于深度学习自动学习特征的能力，这类方法泛化能力较强，与传统方法相比，检测错误率显著下降。然而，大多数基于深度学习的人脸反欺诈方法参数量庞大，计算耗时，并且部分方法还需要借助深度相机等额外的设备采集信息，推广成本高。因此，设计基于单帧RGB图像的轻量级人脸反欺诈方法成为人脸识别技术发展过程中亟待解决的技术问题之一。
发明内容
本发明的第一目的在于解决现有人脸反欺诈方法参数量庞大、计算耗时、需要额外设备的缺点，提供一种基于单帧RGB图像的轻量级人脸反欺诈方法，该方法参数量少、计算耗时短，检查错误率低，并且只需要输入单帧RGB图像即可实现人脸欺诈检测，适合与部署在带RGB相机的通用设备上。
本发明的第二目的在于提供一种基于单帧RGB图像的轻量级人脸反欺诈装置。
本发明的第一目的通过下述技术方案实现：基于单帧RGB图像的轻量级人脸反欺诈方法，包括以下步骤：
S1、训练数据的采集和预处理，以及搭建人脸欺诈检测网络；
所述训练数据是指单帧的RGB图像，包括真实人脸图像和欺诈人脸图像；在预处理过程中，首先使用MTCNN网络检测训练数据中的人脸区域，然后裁剪出真实人脸图像和欺诈人脸图像中的人脸区域图像，并将裁剪出来的人脸区域图像缩放为M×M大小，M代表图像宽和高方向上的像素个数；
所述人脸欺诈检测网络包括编码器模块、全局注意力模块、解码器模块和等通道像素级二元监督模块；
S2、使用经过预处理后的训练数据训练搭建的人脸欺诈检测网络，训练直至损失函数收敛，得到最优的人脸欺诈检测网络；
S3、将待检测的人脸图像经过步骤S1中的预处理过程后，再输入最优的人脸欺诈检测网络，得到网络输出的预测欺诈得分；
S4、判断步骤S3中预测欺诈得分是否大于预设阈值，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
进一步，在步骤S1中，所述编码器模块由倒残差瓶颈模块搭建而成，其作用是将输入图像编码到低分辨率的特征空间内。
进一步，在步骤S1中，所述全局注意力模块对输入特征添加注意力，具体步骤包括：
将输入特征输入到ReNet模块中，在ReNet模块中通过一个横向的LSTM扫描和一个竖直方向的LSTM扫描提取到全局特征，然后通过一个点卷积将全局特征通道数转换为D，并将转换后的特征变形为D×HW的矩阵，其中H和W分别为特征的高和宽；
将输入特征输入到点卷积中，转换通道数为D，然后对转换后的特征应用全局平均池化操作，并将池化后得到的特征变形为1×D的矩阵；
将1×D的矩阵和D×HW的矩阵进行矩阵乘法，得到1×HW的矩阵，并将其变形为1×H×W的矩阵，最后对该矩阵中的数值应用Sigmoid函数归一化到0-1区间内，即可得到全局注意力权重图A；
用全局注意力权重图A对输入特征进行加权，得到添加注意力后的特征，计算公式为：
式中，I代表输入特征，O代表最终添加注意力后的特征，⊙代表广播乘法，⊕代表逐元素加法。
进一步，在步骤S1中，所述解码器模块由倒残差瓶颈模块搭建而成，其作用是对全局注意力模块添加注意力后的特征，逐步上采样，并解码生成与输入图像大小相等的预测欺诈得分图。
进一步，在步骤S1中，所述等通道像素级二元监督模块的具体情况如下：
使用值全为1的标签图标记真实人脸图像，使用值全为0的标签图标记欺诈人脸图像，所述标签图的大小与解码器模块生成的预测欺诈得分图的大小相同；
计算预测欺诈得分图与标签图中对应元素的交叉熵损失的平均值作为损失值，对应公式为：
式中，L代表计算得到的损失值；C、H′、W′分别代表预测得分图的通道数、高度和宽度；i、j、k分别代表遍历通道数、高度和宽度的下标；Yijk代表预测欺诈得分图中第i个通道、高为j、宽为k位置的预测得分；Sijk代表标签图中第i个通道、高为j、宽为k位置的标签。
进一步，在步骤S2中，将训练数据中图像输入人脸欺诈检测网络中，依次经过编码器模块、全局注意力模块和解码器模块得到对应的预测欺诈得分图；根据预测欺诈得分图和标签图计算损失值；利用SGD算法对人脸欺诈检测网络中的参数进行迭代更新；重复上述过程，直至损失值收敛，得到最优的人脸欺诈检测网络。
进一步，在步骤S3中，所述预测欺诈得分为预测欺诈得分图的平均值。
本发明的第二目的通过下述技术方案实现：基于单帧RGB图像的轻量级人脸反欺诈装置，包括：
数据采集模块，用于采集训练数据，所述训练数据是指单帧的RGB图像，训练数据中既包含真实人脸图像也包含欺诈人脸图像；
数据预处理模块，用于对数据采集模块采集到的训练数据进行预处理，在预处理过程中首先使用MTCNN网络检测训练数据中的人脸区域，然后裁剪出真实人脸图像和欺诈人脸图像中的人脸区域图像，并将裁剪出来的人脸区域图像缩放为预设的尺寸；
网络训练模块，用于将训练数据输入人脸欺诈检测网络进行训练，训练直至损失函数收敛，得到最优的人脸欺诈检测网络；
网络预测模块，将待检测的人脸图像经过数据预处理模块处理后，输入最优的人脸欺诈检测网络，判断待检测的人脸图像是真实人脸图像还是欺诈人脸图像。
进一步，所述网络训练模块，包括：
网络搭建模块，根据网络结构搭建人脸欺诈检测网络；
网络监督模块，使用等通道像素级二元监督方法，监督网络的训练过程。
进一步，所述网络预测模块使用最优的人脸欺诈检测网络输出的预测欺诈得分图的均值作为预测得分，并与预设阈值比较大小，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
本发明与现有技术相比，具有如下优点与有益效果：
1、本发明提供的人脸反欺诈方法及装置只需要输入单帧RGB图像，故只需要配置RGB相机，无需配置额外的硬件设备，便于部署在带RGB相机的设备上。
2、本发明采用倒残差瓶颈模块搭建编码器模块和解码器模块，大幅缩减了参数量，整体网络也因此只有1.34M的参数，占用内存空间小，计算耗时短。
3、本发明提出的全局注意力模块能够从特征的全局范围内提取到更好的特征，给网络带来人脸欺诈检测效果的提升。
4、本发明提出的等通道像素级二元监督模块，能够很好地指导网络的学习过程，帮助网络提取到更具泛化能力的特征。
5、通过实验验证，本发明提出的基于单帧RGB图像的轻量级人脸反欺诈方法及装置，在OULU-NPU数据库上实现了最好的欺诈人脸检测效果。具体地，在OULU-NPU数据库的四个测试协议上实现的ACER指标分别为0.8％、0.4％、2.7％、3.7％。
附图说明
图1为本发明实施例公开的轻量级人脸反欺诈方法流程图。
图2为本发明实施例公开的人脸欺诈检测网络的架构图。
图3为本发明实施例公开的全局注意力机制的架构图。
图4为本发明实施例公开的人脸欺诈检测结构细节图。
图5为本发明实施例检测效果的可视化示意图。
图6为本发明实施例公开的轻量级人脸反欺诈装置的结构示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图1所示，本实施例公开了一种基于单帧RGB图像的轻量级人脸反欺诈方法，应用于欺诈人脸检测任务中，具体包括以下步骤：
S1、训练数据的采集和预处理，以及搭建人脸欺诈检测网络。
具体的，本实验采用的训练数据为OULU-NPU数据库，其中收集了55个用户在不同场景下的真实人脸数据和欺诈人脸数据。
具体的，在预处理过程中，首先使用MTCNN网络检测人脸区域得到人脸区域的左下角横坐标x、左下角纵坐标y、高h和宽w，然后根据(x,y,h,w)裁剪人脸区域并缩放为224×224的预设大小。
具体的，所搭建的人脸欺诈检测网络包含编码器模块、全局注意力模块、解码器模块和等通道像素级二元监督模块。
具体的，如图4所示，所述编码器模块由4个编码单元组成，第一个编码单元包含一个普通卷积和一个倒残差瓶颈模块，其余编码单元均由倒残差瓶颈模块组成。输入图像经过编码器模块的4个编码单元提取到低分辨率的特征表示。
具体的，如图3所示，所述全局注意力模块中，首先将形状为C×H×W的输入特征输入一个ReNet结构，其中C表示输入特征的通道数，H表示输入特征的高，W表示输入特征的宽。在ReNet结构中，输入特征经过一个横向的LSTM扫描和一个竖直方向的LSTM扫描提取到全局特征，然后全局特征通过一个点卷积转换通道数为D，并将转换后的特征变形为D×HW的矩阵。再将输入特征输入到点卷积中，转换通道数为D，然后对所述转换后的特征应用全局平均池化操作，并将池化后得到的特征变形为1×D的矩阵。将所述1×D的矩阵和所述D×HW的矩阵进行矩阵乘法，得到1×HW的矩阵，并将其变形为1×H×W的矩阵，最后对该矩阵中的数值应用Sigmoid函数归一化到0-1区间内，即可得到全局注意力权重图A。用全局注意力权重图A对输入特征进行加权，得到添加注意力后的特征，计算公式为：
式中，I代表输入特征，O代表最终添加注意力后的特征，⊙代表广播乘法，⊕代表逐元素加法。
具体的，如图4所示，所述解码器模块由4个解码器单元组成，在每个解码器单元中，首先将来自上层的特征通过反卷积的操作将其尺寸扩充为原来的二倍，然后与编码器中对称位置的特征拼接，再输入卷积层提取更精细的特征。前三个解码器单元的卷积层包含两个倒残差瓶颈模块，第四个解码器单元的卷积层包含一个普通卷积。
具体的，如图2最右边部分所示，所述等通道像素级二元监督模块使用值全为1的标签图标记真实人脸图像，使用值全为0的标签图标记欺诈人脸图像，所述标签图的大小与解码器生成的预测欺诈得分图的大小相同；
计算预测欺诈得分图与标签图中对应元素的交叉熵损失的平均值作为损失值，对应公式为：
式中，L代表计算得到的损失值；C、H′、W′分别代表预测得分图的通道数，高度和宽度；i、j、k分别代表遍历通道数、高度和宽度的下标；Yijk代表预测欺诈得分图中第i个通道，高为j，宽为k位置的预测得分；Sijk代表标签图中第i个通道，高为j，宽为k位置的标签。
S2、使用经过预处理后的训练数据训练搭建的人脸欺诈检测网络，训练直至损失函数收敛，得到并保存最优的人脸欺诈检测网络。
具体的，所述训练过程中，首先将训练数据输入编码器模块得到低分辨率特征表示，低分辨率特征经过全局注意力模块提取到全局注意力特征，全局注意力特征经过解码器得到预测欺诈得分图，使用预测欺诈得分图与标签图计算损失值。训练过程采用SGD算法对人脸欺诈检测网络中的参数进行优化，不断重复迭代，直至损失值收敛，得到最优的人脸欺诈检测网络。
S3、将待检测的人脸图像经过S1中的预处理过程后，再输入S2中得到的最优的人脸欺诈检测网络，并得到网络输出的预测欺诈得分。
具体的，所述预测欺诈得分为所述人脸欺诈检测网络输出的预测欺诈得分图的平均值。
S4、判断S3中所述预测欺诈得分是否大于预设阈值，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
具体的，本实验设置的阈值为0.9，判断预测得分是否大于0.9。若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
为了验证上述基于单帧RGB图像的轻量级人脸反欺诈方法的欺诈人脸检测效果，采用OULU-NPU数据库对人脸欺诈检测网络进行了效果测试。测试使用APCER、BPCER、ACER指标评估网络的欺诈人脸检测效果，ACER指标为APCER和BPCER的平均值，三个指标都是越低，意味着网络的欺诈人脸检测效果越好。测试结果如表1所示，测试结果表明本发明提供的基于单帧RGB图像的轻量级人脸反欺诈方法针对OULU-NPU数据库取得了非常低的ACER指标，欺诈人脸检测效果显著。
表1
协议 APCER(％) BPCER(％) ACER(％)
1 0 1.6 0.8
2 0.3 0.5 0.4
3 1.9±2.4 3.5±2.4 2.7±1.2
4 1.6±3.7 5.8±8.3 3.7±4.0
为了进一步验证本发明提供的基于单帧RGB图像的轻量级人脸反欺诈方法的欺诈人脸检测，对所述人脸欺诈检测网络生成的预测欺诈得分图进行了可视化，可视化结果如图5所示。从图5可以看出，针对真实人脸和重放欺诈人脸、打印欺诈人脸两种欺诈人脸，所述人脸欺诈检测网络生成的预测欺诈得分图是不一样的，并且针对真实人脸、重放欺诈人脸、打印欺诈人脸得到的预测欺诈得分分别为0.96、0.50、0.51。意味着真实人脸和欺诈人脸的预测欺诈得分相差很大，能够很方便地用阈值分割。
实施例2
本实施例公开了一种基于单帧RGB图像的轻量级人脸反欺诈装置，如图6所示，包括以下功能模块：
数据采集模块，用于采集原始人脸图像样本。在训练阶段需要采集真实人脸图像和欺诈人脸图像；在测试阶段用于采集待检测的人脸图像。数据采集模块只需安装普通的RGB相机，采集单帧RGB图像即可。
数据预处理模块，用于对数据采集模块采集到的图像进行预处理，以满足网络输入的要求。首先使用MTCNN网络检测训练数据中的人脸区域，然后裁剪出真实人脸图像或欺诈人脸图像中的人脸区域图像，并将裁剪出来的人脸区域图像缩放为M×M大小，M代表图像宽和高方向上的像素个数。
网络训练模块，将训练数据图像输入人脸反欺诈检测网络中，依次经过编码器模块、全局注意力模块和解码器模块生成对应的预测欺诈得分图；接着预测欺诈得分图和标签图计算损失值；然后利用SGD算法对所述人脸欺诈检测网络中的参数进行迭代更新；最后重复上述过程，直至损失值收敛，得到最优的人脸欺诈检测网络。
网络预测模块，将待检测的人脸图像经过数据预处理模块处理后，输入最优的人脸欺诈检测网络，判断待检测的人脸图像是真实人脸图像还是欺诈人脸图像。
具体的，所述网络训练模块，包括：
网络搭建模块，根据图4所示的人脸欺诈检测网络结构细节图搭建所述人脸欺诈检测网络；
网络监督模块，使用等通道像素级二元监督方法，监督网络的训练过程。
具体的，所述网络预测模块将经过处理后的待检测图像输入网络训练模块得到的最优的人脸欺诈检测网络得到对应的预测欺诈得分图，计算预测欺诈得分图的平均值作为预测欺诈得分，然后判断预测得分是否大于预设阈值，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
综上所述，本发明提供一种基于单帧RGB图像的轻量级人脸反欺诈方法及装置。本发明只需要使用单帧RGB图像作为输入数据，即可进行高效地进行人脸欺诈检测。本发明设计的全局注意力模块和等通道像素级二元监督模块能够帮助提取到更有区分度的特征，增强方法的欺诈人脸检测效果。本发明采用倒残差瓶颈模块搭建网络中的编码器模块和解码器模块，大幅降低了网络的参数量，整体网络仅有1.34M个训练参数，占用内存空间小，计算耗时短。本发明仅需要安装RGB相机，无需额外的硬件设备，便于部署在通用RGB设备上，具有实际推广价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于，包括以下步骤：
S1、训练数据的采集和预处理，以及搭建人脸欺诈检测网络；
所述训练数据是指单帧的RGB图像，包括真实人脸图像和欺诈人脸图像；在预处理过程中，首先使用MTCNN网络检测训练数据中的人脸区域，然后裁剪出真实人脸图像和欺诈人脸图像中的人脸区域图像，并将裁剪出来的人脸区域图像缩放为M×M大小，M代表图像宽和高方向上的像素个数；
所述人脸欺诈检测网络包括编码器模块、全局注意力模块、解码器模块和等通道像素级二元监督模块；
所述等通道像素级二元监督模块的具体情况如下：
使用值全为1的标签图标记真实人脸图像，使用值全为0的标签图标记欺诈人脸图像，所述标签图的大小与解码器模块生成的预测欺诈得分图的大小相同；
计算预测欺诈得分图与标签图中对应元素的交叉熵损失的平均值作为损失值，对应公式为：
式中，L代表计算得到的损失值；C、H′、W′分别代表预测得分图的通道数、高度和宽度；i、j、k分别代表遍历通道数、高度和宽度的下标；Yijk代表预测欺诈得分图中第i个通道、高为j、宽为k位置的预测得分；Sijk代表标签图中第i个通道、高为j、宽为k位置的标签；
S2、使用经过预处理后的训练数据训练搭建的人脸欺诈检测网络，训练直至损失函数收敛，得到最优的人脸欺诈检测网络；
S3、将待检测的人脸图像经过步骤S1中的预处理过程后，再输入最优的人脸欺诈检测网络，得到网络输出的预测欺诈得分；
S4、判断步骤S3中预测欺诈得分是否大于预设阈值，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
2.根据权利要求1所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于：在步骤S1中，所述编码器模块由倒残差瓶颈模块搭建而成，其作用是将输入图像编码到低分辨率的特征空间内。
3.根据权利要求1所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于，在步骤S1中，所述全局注意力模块对输入特征添加注意力，具体步骤包括：
将输入特征输入到ReNet模块中，在ReNet模块中通过一个横向的LSTM扫描和一个竖直方向的LSTM扫描提取到全局特征，然后通过一个点卷积将全局特征通道数转换为D，并将转换后的特征变形为D×HW的矩阵，其中H和W分别为特征的高和宽；
将输入特征输入到点卷积中，转换通道数为D，然后对转换后的特征应用全局平均池化操作，并将池化后得到的特征变形为1×D的矩阵；
将1×D的矩阵和D×HW的矩阵进行矩阵乘法，得到1×HW的矩阵，并将其变形为1×H×W的矩阵，最后对该矩阵中的数值应用Sigmoid函数归一化到0-1区间内，即可得到全局注意力权重图A；
用全局注意力权重图A对输入特征进行加权，得到添加注意力后的特征，计算公式为：
式中，I代表输入特征，O代表最终添加注意力后的特征，⊙代表广播乘法，⊕代表逐元素加法。
4.根据权利要求1所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于，在步骤S1中，所述解码器模块由倒残差瓶颈模块搭建而成，其作用是对全局注意力模块添加注意力后的特征，逐步上采样，并解码生成与输入图像大小相等的预测欺诈得分图。
5.根据权利要求1所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于，在步骤S2中，将训练数据中图像输入人脸欺诈检测网络中，依次经过编码器模块、全局注意力模块和解码器模块得到对应的预测欺诈得分图；根据预测欺诈得分图和标签图计算损失值；利用SGD算法对人脸欺诈检测网络中的参数进行迭代更新；重复上述过程，直至损失值收敛，得到最优的人脸欺诈检测网络。
6.根据权利要求5所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，其特征在于，在步骤S3中，所述预测欺诈得分为预测欺诈得分图的平均值。
7.一种基于单帧RGB图像的轻量级人脸反欺诈装置，其特征在于，用于实现权利要求1-6任意一项所述的一种基于单帧RGB图像的轻量级人脸反欺诈方法，包括：
数据采集模块，用于采集训练数据，所述训练数据是指单帧的RGB图像，训练数据中既包含真实人脸图像也包含欺诈人脸图像；
数据预处理模块，用于对数据采集模块采集到的训练数据进行预处理，在预处理过程中首先使用MTCNN网络检测训练数据中的人脸区域，然后裁剪出真实人脸图像和欺诈人脸图像中的人脸区域图像，并将裁剪出来的人脸区域图像缩放为预设的尺寸；
网络训练模块，用于将训练数据输入人脸欺诈检测网络进行训练，训练直至损失函数收敛，得到最优的人脸欺诈检测网络；
网络预测模块，将待检测的人脸图像经过数据预处理模块处理后，输入最优的人脸欺诈检测网络，判断待检测的人脸图像是真实人脸图像还是欺诈人脸图像。
8.根据权利要求7所述的一种基于单帧RGB图像的轻量级人脸反欺诈装置，其特征在于，所述网络训练模块，包括：
网络搭建模块，根据网络结构搭建人脸欺诈检测网络；
网络监督模块，使用等通道像素级二元监督方法，监督网络的训练过程。
9.根据权利要求7所述的一种基于单帧RGB图像的轻量级人脸反欺诈装置，其特征在于，所述网络预测模块使用最优的人脸欺诈检测网络输出的预测欺诈得分图的均值作为预测得分，并与预设阈值比较大小，若是，则待检测的人脸图像是一个真实人脸图像；若否，则待检测的人脸图像是一个欺诈人脸图像。
CN202210340990.8A 2022-04-02 2022-04-02 基于单帧rgb图像的轻量级人脸反欺诈方法及装置 Active CN114758387B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210340990.8A CN114758387B (zh) 2022-04-02 2022-04-02 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210340990.8A CN114758387B (zh) 2022-04-02 2022-04-02 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Publications (2)

Publication Number Publication Date
CN114758387A CN114758387A (zh) 2022-07-15
CN114758387B true CN114758387B (zh) 2024-03-29

Family

ID=82328455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210340990.8A Active CN114758387B (zh) 2022-04-02 2022-04-02 基于单帧rgb图像的轻量级人脸反欺诈方法及装置

Country Status (1)

Country Link
CN (1) CN114758387B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN112800876A (zh) * 2021-01-14 2021-05-14 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN113312965A (zh) * 2021-04-14 2021-08-27 重庆邮电大学 一种人脸未知欺骗攻击活体检测方法及系统
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN114093003A (zh) * 2021-11-23 2022-02-25 华东交通大学 一种更具欺诈辨别性的人脸活体检测方法及其网络模型

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460931A (zh) * 2020-03-17 2020-07-28 华南理工大学 基于颜色通道差值图特征的人脸欺骗检测方法及系统
WO2022001489A1 (zh) * 2020-06-28 2022-01-06 北京交通大学 一种无监督域适应的目标重识别方法
CN112800876A (zh) * 2021-01-14 2021-05-14 北京交通大学 一种用于重识别的超球面特征嵌入方法及系统
CN113312965A (zh) * 2021-04-14 2021-08-27 重庆邮电大学 一种人脸未知欺骗攻击活体检测方法及系统
CN114093003A (zh) * 2021-11-23 2022-02-25 华东交通大学 一种更具欺诈辨别性的人脸活体检测方法及其网络模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于半监督学习生成对抗网络的人脸还原算法研究;曹志义;牛少彰;张继威;;电子与信息学报;20180215(02);第74-81页 *

Also Published As

Publication number Publication date
CN114758387A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN110348376B (zh) 一种基于神经网络的行人实时检测方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN106570464A (zh) 一种快速处理人脸遮挡的人脸识别方法及装置
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN113591968A (zh) 一种基于非对称注意力特征融合的红外弱小目标检测方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN115661144A (zh) 基于可变形U-Net的自适应医学图像分割方法
CN113284100A (zh) 基于恢复图像对混合域注意力机制的图像质量评价方法
CN114549555A (zh) 一种基于语义分割网络的人耳图像解刨学分割方法
CN114677722A (zh) 一种融合多尺度特征的多监督人脸活体检测方法
CN116524189A (zh) 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法
CN116740121A (zh) 一种基于专用神经网络和图像预处理的秸秆图像分割方法
CN111753714B (zh) 基于字符分割的多方向自然场景文本检测方法
CN111275694B (zh) 一种注意力机制引导的递进式划分人体解析系统及方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN114758387B (zh) 基于单帧rgb图像的轻量级人脸反欺诈方法及装置
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统
CN113192018B (zh) 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法
CN115331081A (zh) 图像目标检测方法与装置
CN115170807A (zh) 一种图像分割、模型训练方法、装置、设备及介质
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN114092827A (zh) 一种图像数据集生成方法
CN111899161A (zh) 一种超分辨率重建方法
CN117274789B (zh) 一种水工混凝土结构水下裂缝语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant