CN113901916A - 一种基于可视化光流特征的面部欺诈动作识别方法 - Google Patents
一种基于可视化光流特征的面部欺诈动作识别方法 Download PDFInfo
- Publication number
- CN113901916A CN113901916A CN202111172281.5A CN202111172281A CN113901916A CN 113901916 A CN113901916 A CN 113901916A CN 202111172281 A CN202111172281 A CN 202111172281A CN 113901916 A CN113901916 A CN 113901916A
- Authority
- CN
- China
- Prior art keywords
- face
- fraud
- frame
- optical flow
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明涉及互联网金融风控技术领域，具体公开了一种基于可视化光流特征的面部欺诈动作识别方法，包括：从面审视频中获取人脸图像序列；对人脸图像序列中首尾两帧人脸图像分别进行人脸检测；根据检测出的人脸关键点分别确定首尾两帧人脸图像的面部欺诈区域，并分别对首尾两帧人脸图像中除面部欺诈区域以外的背景区域进行填充处理，以获得光流特征图；从矫正后的光流特征图中提取人脸ROI区域；将人脸ROI区域内的目标光流特征图输入到面部欺诈动作识别模型中，得到面部欺诈动作识别结果。本发明提供的基于可视化光流特征的面部欺诈动作识别方法，可以减少复杂环境下的背景干扰，增强提取面部欺诈动作的特征，提高反欺诈模型精度。
Description
技术领域
本发明涉及互联网金融风控技术领域，更具体地，涉及一种基于可视化光流特征的面部欺诈动作识别方法。
背景技术
互联网金融是传统金融机构与互联网企业利用互联网技术和信息通信技术实现资金融通、支付、投资和信息中介服务的新型金融业务模式。近年来，互联网金融是一个热点，新的业务模式带来新的增长点的同时，也对风控带来了新的挑战。其中，操作风险中的外部欺诈风险尤其值得关注。
在互联网金融的业务场景下，由于互联网的隐蔽性、客户资源问题、以及产品本身的缺陷等特性导致客户欺诈风险较之线下业务更为严重。其中视频面审是线上审批的重要贷前流程及放贷依据，因此，在视频面审中建立必要的风控模型尤为重要。
视频审核中的风控模型多为基于微表情的反欺诈模型。主要是对视频中的单帧图像进行处理，通过人脸检测截取人脸候选框，并将其作为深度学习网络模型的输入，获得特征序列，再通过分类方法获取最终反欺诈结果。一方面，这种单帧的处理方式无法很好地提取面部动作特征，另一方面，微表情不能涵盖所有的面部欺诈动作。同时，在视频审核中无法限制客户的复杂多变的环境，导致实际反欺诈模型识别率过低，所以如何减少复杂环境下的背景干扰，增强提取面部欺诈动作的特征，是提高反欺诈模型鲁棒性的关键。
发明内容
本发明的目的在于克服现有技术中存在的不足，提供了一种基于可视化光流特征的面部欺诈动作识别方法，可以减少复杂环境下的背景干扰，增强提取面部欺诈动作的特征，提高反欺诈模型精度。
作为本发明的第一个方面，提供一种基于可视化光流特征的面部欺诈动作识别方法，包括如下步骤：
步骤S1：获取面审视频，并从所述面审视频中获取固定时长的人脸图像序列；
步骤S2：对当前时刻的人脸图像序列中首尾两帧人脸图像分别进行人脸检测，得到两个人脸坐标框，并对两个人脸坐标框内的人脸图像分别进行人脸关键点检测；
步骤S3：根据检测出的人脸关键点分别确定首尾两帧人脸图像的面部欺诈区域，并分别对首尾两帧人脸图像中除面部欺诈区域以外的背景区域进行填充处理；
步骤S4：对背景填充处理后的首尾两帧人脸图像进行操作，得到一光流特征图；
步骤S5：对所述光流特征图进行矫正，得到矫正后的光流特征图，并从矫正后的光流特征图中提取人脸ROI区域；
步骤S6：训练面部欺诈动作识别模型，将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到面部欺诈动作识别结果。
进一步地，所述步骤S1中，还包括：
所述面审视频由任意用户设备摄像头实时采集得到。
进一步地，所述步骤S2中，还包括：
通过RetinaFace对首尾两帧人脸图像分别进行人脸检测，得到对应的人脸坐标框bbox(xlt，ylt，xrb，yrb)和人脸五点关键点Pointk(xk，yk)，(k＝5)；
将人脸坐标框bbox(xlt，ylt，xrb，yrb)输入到人脸106点关键点检测模型中，输出人脸106点关键点Pointl(xl，yl)，(l＝106)；
将人脸坐标框bbox、人脸五点关键点Pointk以及人脸106点关键点Pointl作为当前人脸图像的属性表保存起来。
进一步地，所述步骤S3中，还包括：
根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A；
通过3D人脸姿态估计分别确定首尾两帧人脸图像的3D面部欺诈候选区B；
计算首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值，同时计算尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值；
通过对比首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定首帧人脸图像的面部欺诈区域；同时通过对比尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定尾帧人脸图像的面部欺诈区域；
其中，首帧人脸图像的面部欺诈区域和尾帧人脸图像的面部欺诈区域的确认过程一致。
进一步地，所述根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A中，还包括：
通过所述人脸106点关键点，分别确定首尾两帧人脸图像的人脸脸颊两侧及下巴边缘坐标Pn(x，y)，(n＝32)；
通过公式(1)分别计算首尾两帧人脸图像的人脸额头区域坐标，公式(1)如下所示：
(x-a)2+(y-b)2＝r2
其中，
Point1(x1，y1)、Point17(x17，y17)为人脸关键点中对应直角系坐标，a、b为人脸中心点坐标；
通过所述脸颊两侧及下巴边缘坐标和所述人脸额头区域坐标，分别确定首尾两帧人脸图像的2D面部欺诈候选区A。
进一步地，还包括：
通过公式(2)分别计算首帧和尾帧人脸图像的IOU值，公式(2)如下所示：
其中，P2D为首帧或者尾帧人脸图像的2D面部欺诈候选区A，P3D为首帧或者尾帧人脸图像的3D面部欺诈候选区B；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均高于阈值H，则对首帧或者尾帧人脸图像的IOU值进行判断；如果IOU值高于阈值K，则选取3D面部欺诈候选区B作为首帧或者尾帧人脸图像的面部欺诈区域，如果IOU值小于阈值K，则选取2D面部欺诈候选区A作为首帧或者尾帧人脸图像的面部欺诈区域；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均低于阈值L，则跳过对当前时刻人脸图像序列的判断；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度不同时高于阈值H且不同时低于阈值L时，则对首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的置信度进行比较，选取置信度较高的面部欺诈候选区作为首帧或者尾帧人脸图像的面部欺诈区域；
其中，阈值H为0.8，阈值K为0.5，阈值L为0.3。
进一步地，所述步骤S4中，还包括：
对背景填充处理后的首尾两帧人脸图像分别进行灰度图转换；
根据首尾两帧人脸图像的灰度图，计算每个像素点的稠密光流，并获得h*w*2维光流特征，其中，所述h*w*2维光流特征表示每个像素点对应的位移偏重为coffset(h，w)(dx，dy)；
通过坐标系转化，将位移偏量coffset(h，w)(dx，dy)从直角坐标系转换成极坐标系；
将极坐标系带入HSV颜色空间，通过光流场的可视化，转化成所述光流特征图，其中，H通道代表方向，V通道代表运动强度。
进一步地，所述步骤S5中，还包括：
根据所述人脸五点关键点Pointk(xk，yk)，(k＝5)计算变换矩阵；
根据变换矩阵对所述光流特征图进行仿射变换，得到矫正后的光流特征图；
从矫正后的光流特征图中提取所述人脸ROI区域。
进一步地，所述步骤S6中，还包括：
从所述人脸ROI区域内的目标光流特征图中筛选出符合面部欺诈行为的可视化光流特征图，以构建所述面部欺诈动作识别模型；
将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到多维特征结果，再通过softmax函数获得当前帧人脸图像序列的面部欺诈动作识别结果得分；
将N帧人脸图像序列的面部欺诈动作识别结果得分进行加权求和，计算面审视频的面部欺诈动作识别结果最终得分，以确定面审视频中的人员是否存在面部欺诈动作行为；
其中，所述面审视频的面部欺诈动作识别结果最终得分Q的计算公式如下：
其中，Q为向审视频的向部欺诈动作识别结果最终得分，wi为当前帧人脸图像序列的权重，Si为当前帧人脸图像序列的面部欺诈动作识别结果得分。
进一步地，还包括：
基于MobileNetV2网络模型框架，通过添加网络模型的卷积层和池化层，并修改输出层中的全连接层，构建所述面部欺诈动作识别模型。
本发明提供的基于可视化光流特征的面部欺诈动作识别方法具有以下优点：
(1)通过对固定时间长度的图像序列提取光流特征，能够在不改变用户视频帧率的情况下，解决视频面审时用户设备的不同所带来的不同帧率的问题，从而增加面部欺诈动作识别的稳定性；
(2)在光流特征提取之前，通过背景处理，可以消除复杂多变的背景对光流特征的干扰，提高面部欺诈动作识别的精度，同时通过2D和3D提取面部欺诈区域的方法可以提高系统的稳定性；
(3)根据面部表情编码系统，直接从面部运动单元着手，相较于微表情等其他方法，从根源上完善面部欺诈动作，扩大了面部欺诈动作的涵盖范围，从而减小了面部欺诈动作的漏识别的概率；
(4)通过融合多帧识别结果，有效提升面部欺诈动作识别的稳定性；
(5)因此，该发明能够有效减少复杂环境对面部欺诈动作识别的影响，提高面部欺诈动作识别精度，适用所有金融风控领域下的视频面审、放款审核等复杂的业务场景，且具有良好的推广应用价值。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的基于可视化光流特征的面部欺诈动作识别方法的流程图。
图2为本发明提供的基于可视化光流特征的面部欺诈动作识别方法的具体实施方式流程图。
图3为本发明提供的可视化光流特征提取流程图。
具体实施方式
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于可视化光流特征的面部欺诈动作识别方法其具体实施方式、结构、特征及其功效，详细说明如后。显然，所描述的实施例为本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
在本实施例中提供了一种基于可视化光流特征的面部欺诈动作识别方法，如图1所示，所述基于可视化光流特征的面部欺诈动作识别方法包括：
步骤S1：获取面审视频，并从所述面审视频中获取固定时长的人脸图像序列；
其中，所述人脸图像序列list{PF、PF+1、PF+2…PL-1、PL}包括多帧人脸图像，PF为当前时刻的人脸图像序列中首帧人脸图像，PL为当前时刻的人脸图像序列中尾帧人脸图像；
步骤S2：对当前时刻的人脸图像序列中首尾两帧人脸图像分别进行人脸检测，得到两个人脸坐标框，并对两个人脸坐标框内的人脸图像分别进行人脸关键点检测；
需要说明的是，对当前时刻的人脸图像序列中两端的PF(former)、PL(latter)两帧人脸图像分别进行人脸检测；
步骤S3：根据检测出的人脸关键点分别确定首尾两帧(PF帧和PL帧)人脸图像的面部欺诈区域，并分别对首尾两帧人脸图像中除面部欺诈区域以外的背景区域进行像素级填充处理；
步骤S4：对背景填充处理后的首尾两帧人脸图像进行操作，得到一光流特征图；
步骤S5：对所述光流特征图进行矫正，得到矫正后的光流特征图，并从矫正后的光流特征图中提取人脸ROI区域；
步骤S6：训练面部欺诈动作识别模型，将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到面部欺诈动作识别结果。
需要说明的是，先对所述人脸ROI区域内的目标光流特征图进行图像预处理操作，然后再将预处理操作后的目标光流特征图输入到所述面部欺诈动作识别模型中。
优选地，所述步骤S1中，还包括：
所述面审视频由任意用户设备摄像头实时采集得到。
具体地，所述步骤S1中，还包括：
对面审视频进行逐帧读取，并将每一帧都作为PL(latter)人脸图像，进行分段保存固定时长的连续图像序列。
优选地，如图2所示，所述步骤S2中，还包括：
通过RetinaFace(Single-stage Dense Face Localisation in the Wild)对首尾两帧人脸图像分别进行人脸检测，得到对应的人脸坐标框bbox(xlt，ylt，xrb，yrb)和人脸五点关键点Pointk(xk，yk)，(k＝5)；
将人脸坐标框bbox(xlt，ylt，xrb，yrb)输入到InsightFace提供的人脸106点关键点检测模型中，输出人脸106点关键点Pointl(xl，yl)，(l＝106)；
将人脸坐标框bbox、人脸五点关键点Pointk以及人脸106点关键点Pointl作为当前人脸图像的属性表保存起来；该属性表，不但为当前图像序列后续人脸对齐及面部欺诈区域提取做准备，还可以在接下来的图像序列中，PL变成PF图像的时候重复利用，节省开支。
优选地，所述步骤S3中，还包括：
根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A；
通过3D人脸姿态估计分别确定首尾两帧人脸图像的3D面部欺诈候选区B；
计算首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值，同时计算尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值；
通过对比首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定首帧人脸图像的面部欺诈区域；同时通过对比尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定尾帧人脸图像的面部欺诈区域；
其中，首帧人脸图像的面部欺诈区域和尾帧人脸图像的面部欺诈区域的确认过程一致。
具体地，通过Img2Pose(Face Alignment and Detection via 6DoF)算法，估计PF、PL两帧人脸图像的3D人脸姿态并转化为面部欺诈候选区B。
需要说明的是，IOU为交叉比(Intersection over Union)。
优选地，所述根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A中，还包括：
通过所述人脸106点关键点，分别确定首尾两帧人脸图像的人脸脸颊两侧及下巴边缘坐标Pn(x，y)，(n＝32)；
假设人脸额头区域为类圆形区域，通过公式(1)分别计算首尾两帧人脸图像的人脸额头区域坐标，公式(1)如下所示：
(x-a)2+(y-b)2＝r2
其中，
Point1(x1，y1)、Point17(x17，y17)为人脸关键点中对应直角系坐标，a、b为人脸中心点坐标；
通过所述脸颊两侧及下巴边缘坐标和所述人脸额头区域坐标，分别确定首尾两帧人脸图像的2D面部欺诈候选区A。
优选地，还包括：
通过公式(2)分别计算首帧和尾帧人脸图像的IOU值，公式(2)如下所示：
其中，P2D为首帧或者尾帧人脸图像的2D面部欺诈候选区A，P3D为首帧或者尾帧人脸图像的3D面部欺诈候选区B；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均高于阈值H，则对首帧或者尾帧人脸图像的IOU值进行判断；如果IOU值高于阈值K，则选取3D面部欺诈候选区B作为首帧或者尾帧人脸图像的面部欺诈区域，如果IOU值小于阈值K，则选取2D面部欺诈候选区A作为首帧或者尾帧人脸图像的面部欺诈区域；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均低于阈值L，则跳过对当前时刻人脸图像序列的判断；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度不同时高于阈值H且不同时低于阈值L时，则对首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的置信度进行比较，选取置信度较高的面部欺诈候选区作为首帧或者尾帧人脸图像的面部欺诈区域；
其中，阈值H为0.8，阈值K为0.5，阈值L为0.3。
具体地，对首尾两帧人脸图像中除面部欺诈区域以外的背景区域进行统一颜色填充法，去除非面部欺诈区域的背景环境，填充色选择黑色；该方法能够很好地保存人脸面部欺诈区域特征的同时，去除背景干扰，并通过2D和3D提取面部欺诈区域方法的结合，提高系统稳定性。
优选地，如图3所示，所述步骤S4中，还包括：
对背景填充处理后的首尾两帧人脸图像分别进行灰度图转换；
根据首尾两帧人脸图像的灰度图，计算每个像素点的稠密光流，并获得h*w*2维光流特征，其中，所述h*w*2维光流特征表示每个像素点对应的位移偏量为coffset(h，w)(dx，dy)；
通过坐标系转化，将位移偏量coffset(h，w)(dx，dy)从直角坐标系转换成极坐标系；
将极坐标系带入HSV颜色空间，通过光流场的可视化，转化成所述光流特征图，其中，H通道代表方向，V通道代表运动强度。
需要说明的是，通过光流场可视化操作，能够更直观的表达面部动作的变化趋势。
优选地，所述步骤S5中，还包括：
根据所述人脸五点关键点Pointk(xk，yk)，(k＝5)计算变换矩阵；
根据变换矩阵对所述光流特征图进行仿射变换，得到矫正后的光流特征图；
从矫正后的光流特征图中提取所述人脸ROI区域。
优选地，所述步骤S6中，还包括：
通过面部表情编码系统(Facial Action Coding System)从所述人脸ROI区域内的目标光流特征图中筛选出符合面部欺诈行为的可视化光流特征图，以构建所述面部欺诈动作识别模型；该可视化光流特征图作为深度学习模型输入，并通过随机翻转、添加噪声、随机修改像素强度等方法，增强训练样本；
将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到多维特征结果，再通过softmax函数获得当前帧人脸图像序列的面部欺诈动作识别结果得分；
训练中，损失函数用传统交叉熵(CrossEntropyLoss)作为损失函数，损失函数的公式(3)如下所示：
其中，p是真实值，s是面部欺诈动作识别结果预测值，s由softmax公式计算获得，softmax公式(4)如下所示：
其中，i表示当前元素，j表示所有元素，当前元素的softamx值表示当前元素的指数与所有元素指数和的比值；
对人脸光流特征图进行归一化等预处理操作，然后带入面部欺诈动作识别模型，获得1*N维特征结果，这里N为2；并将特征结果带入上述softmax公式，从而获取当前人脸图像序列的面部欺诈动作识别结果得分；
最后，将N帧人脸图像序列的面部欺诈动作识别结果得分进行加权求和，计算面审视频的面部欺诈动作识别结果最终得分，以确定面审视频中的人员是否存在面部欺诈动作行为；
其中，所述面审视频的面部欺诈动作识别结果最终得分Q的计算公式如下：
其中，Q为面审视频的面部欺诈动作识别结果最终得分，wi为当前帧人脸图像序列的权重，Si为当前帧人脸图像序列的面部欺诈动作识别结果得分。
优选地，还包括：基于MobileNetV2网络模型框架，为了让模型更加适应当前实际需求，通过添加网络模型的卷积层(convolutional layer)和池化层(pooling layer)，避免了网络特征维度骤降情况，并修改输出层中的全连接层(fullyconnected layers)来适应当前输出维度需求，构建所述面部欺诈动作识别模型。
本发明提供的基于可视化光流特征的面部欺诈动作识别方法，通过对固定时间长度的图像序列提取光流特征，能够在不改变用户视频帧率的情况下，解决视频面审时用户设备的不同所带来的不同帧率的问题，从而增加面部欺诈动作识别的稳定性；在光流特征提取之前，通过背景处理，可以消除复杂多变的背景对光流特征的干扰，提高面部欺诈动作识别的精度，同时通过2D和3D提取面部欺诈区域的方法可以提高系统的稳定性；根据面部表情编码系统，直接从面部运动单元着手，相较于微表情等其他方法，从根源上完善面部欺诈动作，扩大了面部欺诈动作的涵盖范围，从而减小了欺诈动作的漏识别的概率；通过融合多帧识别结果，有效提升面部欺诈动作识别的稳定性；因此，该发明能够有效减少复杂环境对面部欺诈动作识别的影响，提高面部欺诈动作识别精度，适用所有金融风控领域下的视频面审、放款审核等复杂的业务场景，且具有良好的推广应用价值。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (10)
1.一种基于可视化光流特征的面部欺诈动作识别方法，其特征在于，包括如下步骤：
步骤S1：获取面审视频，并从所述面审视频中获取固定时长的人脸图像序列；
步骤S2：对当前时刻的人脸图像序列中首尾两帧人脸图像分别进行人脸检测，得到两个人脸坐标框，并对两个人脸坐标框内的人脸图像分别进行人脸关键点检测；
步骤S3：根据检测出的人脸关键点分别确定首尾两帧人脸图像的面部欺诈区域，并分别对首尾两帧人脸图像中除面部欺诈区域以外的背景区域进行填充处理；
步骤S4：对背景填充处理后的首尾两帧人脸图像进行操作，得到一光流特征图；
步骤S5：对所述光流特征图进行矫正，得到矫正后的光流特征图，并从矫正后的光流特征图中提取人脸ROI区域；
步骤S6：训练面部欺诈动作识别模型，将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到面部欺诈动作识别结果。
2.根据权利要求1所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S1中，还包括：
所述面审视频由任意用户设备摄像头实时采集得到。
3.根据权利要求1所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S2中，还包括：
通过RetinaFace对首尾两帧人脸图像分别进行人脸检测，得到对应的人脸坐标框bbox(xlt，ylt，xrb，yrb)和人脸五点关键点Pointk(xk，yk)，(k＝5)；
将人脸坐标框bbox(xlt，ylt，xrb，yrb)输入到人脸106点关键点检测模型中，输出人脸106点关键点Pointl(xl,yl),(l＝106)；
将人脸坐标框bbox、人脸五点关键点Pointk以及人脸106点关键点Pointl作为当前人脸图像的属性表保存起来。
4.根据权利要求3所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S3中，还包括：
根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A；
通过3D人脸姿态估计分别确定首尾两帧人脸图像的3D面部欺诈候选区B；
计算首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值，同时计算尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的IOU值；
通过对比首帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定首帧人脸图像的面部欺诈区域；同时通过对比尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度及IOU值，确定尾帧人脸图像的面部欺诈区域；
其中，首帧人脸图像的面部欺诈区域和尾帧人脸图像的面部欺诈区域的确认过程一致。
5.根据权利要求4所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述根据所述人脸106点关键点分别确定首尾两帧人脸图像的2D面部欺诈候选区A中，还包括：
通过所述人脸106点关键点，分别确定首尾两帧人脸图像的人脸脸颊两侧及下巴边缘坐标Pn(x,y)，(n＝32)；
通过公式(1)分别计算首尾两帧人脸图像的人脸额头区域坐标，公式(1)如下所示：
(x-a)2+(y-b)2＝r2
其中，
Point1(x1，y1)、Point17(x17，y17)为人脸关键点中对应直角系坐标，a、b为人脸中心点坐标；
通过所述脸颊两侧及下巴边缘坐标和所述人脸额头区域坐标，分别确定首尾两帧人脸图像的2D面部欺诈候选区A。
6.根据权利要求4所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，还包括：
通过公式(2)分别计算首帧和尾帧人脸图像的IOU值，公式(2)如下所示：
其中，P2D为首帧或者尾帧人脸图像的2D面部欺诈候选区A，P3D为首帧或者尾帧人脸图像的3D面部欺诈候选区B；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均高于阈值H，则对首帧或者尾帧人脸图像的IOU值进行判断；如果IOU值高于阈值K，则选取3D面部欺诈候选区B作为首帧或者尾帧人脸图像的面部欺诈区域，如果IOU值小于阈值K，则选取2D面部欺诈候选区A作为首帧或者尾帧人脸图像的面部欺诈区域；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度均低于阈值L，则跳过对当前时刻人脸图像序列的判断；
如果首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的双边置信度不同时高于阈值H且不同时低于阈值L时，则对首帧或者尾帧人脸图像的2D面部欺诈候选区A和3D面部欺诈候选区B的置信度进行比较，选取置信度较高的面部欺诈候选区作为首帧或者尾帧人脸图像的面部欺诈区域；
其中，阈值H为0.8，阈值K为0.5，阈值L为0.3。
7.根据权利要求1所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S4中，还包括：
对背景填充处理后的首尾两帧人脸图像分别进行灰度图转换；
根据首尾两帧人脸图像的灰度图，计算每个像素点的稠密光流，并获得h*w*2维光流特征，其中，所述h*w*2维光流特征表示每个像素点对应的位移偏量为coffset(h，w)(dx，dy)；
通过坐标系转化，将位移偏量coffset(h，w)(dx，dy)从直角坐标系转换成极坐标系；
将极坐标系带入HSV颜色空间，通过光流场的可视化，转化成所述光流特征图，其中，H通道代表方向，V通道代表运动强度。
8.根据权利要求3所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S5中，还包括：
根据所述人脸五点关键点Pointk(xk，yk)，(k＝5)计算变换矩阵；
根据变换矩阵对所述光流特征图进行仿射变换，得到矫正后的光流特征图；
从矫正后的光流特征图中提取所述人脸ROI区域。
9.根据权利要求1所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，所述步骤S6中，还包括：
从所述人脸ROI区域内的目标光流特征图中筛选出符合面部欺诈行为的可视化光流特征图，以构建所述面部欺诈动作识别模型；
将所述人脸ROI区域内的目标光流特征图输入到所述面部欺诈动作识别模型中，得到多维特征结果，再通过softmax函数获得当前帧人脸图像序列的面部欺诈动作识别结果得分；
将N帧人脸图像序列的面部欺诈动作识别结果得分进行加权求和，计算面审视频的面部欺诈动作识别结果最终得分，以确定面审视频中的人员是否存在面部欺诈动作行为；
其中，所述面审视频的面部欺诈动作识别结果最终得分Q的计算公式如下：
其中，Q为面审视频的面部欺诈动作识别结果最终得分，wi为当前帧人脸图像序列的权重，Si为当前帧人脸图像序列的面部欺诈动作识别结果得分。
10.根据权利要求9所述的基于可视化光流特征的面部欺诈动作识别方法，其特征在于，还包括：
基于MobileNetV2网络模型框架，通过添加网络模型的卷积层和池化层，并修改输出层中的全连接层，构建所述面部欺诈动作识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111172281.5A CN113901916A (zh) | 2021-10-08 | 2021-10-08 | 一种基于可视化光流特征的面部欺诈动作识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111172281.5A CN113901916A (zh) | 2021-10-08 | 2021-10-08 | 一种基于可视化光流特征的面部欺诈动作识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113901916A true CN113901916A (zh) | 2022-01-07 |
Family
ID=79190405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111172281.5A Pending CN113901916A (zh) | 2021-10-08 | 2021-10-08 | 一种基于可视化光流特征的面部欺诈动作识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113901916A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953239A (zh) * | 2023-03-15 | 2023-04-11 | 无锡锡商银行股份有限公司 | 一种基于多频流网络模型的面审视频场景评估方法 |
-
2021
- 2021-10-08 CN CN202111172281.5A patent/CN113901916A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953239A (zh) * | 2023-03-15 | 2023-04-11 | 无锡锡商银行股份有限公司 | 一种基于多频流网络模型的面审视频场景评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520503B (zh) | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 | |
| CN109615582B (zh) | 一种基于属性描述生成对抗网络的人脸图像超分辨率重建方法 | |
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN109544555B (zh) | 基于生成式对抗网络的细小裂缝分割方法 | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN108416266B (zh) | 一种利用光流提取运动目标的视频行为快速识别方法 | |
| CN110175986B (zh) | 一种基于卷积神经网络的立体图像视觉显著性检测方法 | |
| CN112418095A (zh) | 一种结合注意力机制的面部表情识别方法及系统 | |
| Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
| CN110543846A (zh) | 一种基于生成对抗网络的多姿态人脸图像正面化方法 | |
| CN112950661A (zh) | 一种基于注意力生成对抗网络人脸卡通画生成方法 | |
| CN108875623B (zh) | 一种基于图像特征融合对比技术的人脸识别方法 | |
| CN113724354B (zh) | 基于参考图颜色风格的灰度图像着色方法 | |
| CN113435319B (zh) | 一种联合多目标跟踪和行人角度识别的分类方法 | |
| CN113112416B (zh) | 一种语义引导的人脸图像修复方法 | |
| CN112528902A (zh) | 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 | |
| Liu et al. | Component semantic prior guided generative adversarial network for face super-resolution | |
| CN113901916A (zh) | 一种基于可视化光流特征的面部欺诈动作识别方法 | |
| CN116912604B (zh) | 模型训练方法、图像识别方法、装置以及计算机存储介质 | |
| Zheng et al. | Overwater image dehazing via cycle-consistent generative adversarial network | |
| CN113436251A (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 | |
| CN113177526A (zh) | 基于人脸识别的图像处理方法、装置、设备及存储介质 | |
| Xu et al. | RelightGAN: Instance-level generative adversarial network for face illumination transfer | |
| CN111696090A (zh) | 一种无约束环境下人脸图像质量评估方法 | |
| CN109165551B (zh) | 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |