CN110674675A - 一种行人面部反欺诈方法 - Google Patents

Abstract

本发明公开了一种行人面部反欺诈方法。本发明步骤如下：步骤1：获取原始的视频图像序列；步骤2：将获取的视频图像序列作为输入，进行人脸检测；步骤3：利用mask rcnn网络对视频图像序列进行实例分割，提取出人脸视频图像序列，输入数据为获取的图像；步骤4：对步骤3中提取出的人脸视频图像序列进行欧拉视频放大，提取出的时间域信息；步骤5：根据步骤4提取出的时间域信息基于阈值判别出真实人脸和伪造人脸。本发明解决了人工识别人脸信息的不准确性和低效性，解放了部分人工生产力，并采用了欧拉视频微小运动放大技术来提取时间域中人脸肤色的规律性变化信息，所提取的信息人工难以伪造，提高了安全性。

Description

一种行人面部反欺诈方法

技术领域

本发明设计涉及一种行人面部反欺诈系统，特别涉及一种mask rcnn和欧拉视频放大技术的一种行人面部反欺诈方法，属于计算机视觉领域。

背景技术

近年来随着深度学习、目标检测等技术的发展，计算机视觉技术越来越多地在金融、交通、公安、教育和安防等众多领域得到实际应用，并且随着计算机硬件和视频采集设备性能的提升，计算机视觉技术能够比人类更好更可靠地完成特定的任务。目前，计算机视觉技术已经深入到生活的方方面面，例如刷脸支付和门禁系统。计算机视觉技术的广泛应用，减轻了人工识别图像和视频数据的工作量，提高了分析的可靠性和效率，但随着生物信息欺诈技术的发展，例如使用图片替代人脸，伪造指纹，则为人们生活带来安全问题，同时，人工检测的问题有以下几点：劳动强度大，耗时较长，识别不精确等，为人工判断带来了极大的挑战。同时随着大数据时代的到来，大量的图像和视频数据需要处理，迫切需要计算机视觉的进一步发展。

实例分割：一种在像素层面识别目标轮廓的任务，分割是对图像的像素级描述，它赋予每个像素类别意义，适用于理解要求较高的场景。

Mask rcnn：在原始Faster-rcnn算法的基础上面增加了FCN来产生对应的MASK分支，可以用来完成多种任务，包括目标分类、目标检测、语义分割、实例分割等。

欧拉视频放大技术：欧拉视频放大技术可以提取出人头部由于心脏搏动导致的头部细微运动，以及血液循环导致的肤色变化的能力。

目前针对面部反欺诈的人脸检测部分一般采用语义分割方法，即首先输入一张图片，对图片生成数个候选区域，然后对每个候选区域使用深度网络提取特征，最后将特征送入每一类的SVM分类器，判别是否属于该类并使用回归器精修候选框位置。这些方法的不足是网络模块是分别训练的，耗时较大，并且消耗了大量的存储空间，同时训练得到的图片只包含了目标的矩形框信息，在得到的目标中仍有多余信息的干扰，对多在金融领域使用的面部反欺诈工作带来了影响。

随着图像获取设备的发展，现有设备如摄像头等已具备获取超出人类视觉感知的信息，例如由于血液循环导致的人体面部皮肤的细微周期性变化，这些信息人眼不仅无法感知，同时也难以伪造，这启发我们可以使用该手段来进行面部反欺诈工作。

发明内容

本发明要解决的技术问题是克服现有技术的的缺陷，提供一种行人面部反欺诈方法。

为了实现上述目的，本发明提供如下技术方案：

步骤1：获取原始的视频图像序列；

步骤2：将获取的视频图像序列作为输入，进行人脸检测；

步骤3：利用mask rcnn网络对视频图像序列进行实例分割，提取出人脸视频图像序列，输入数据为获取的图像；

步骤4：对步骤3中提取出的人脸视频图像序列进行欧拉视频放大，提取出的时间域信息；

步骤5：根据步骤4提取出的时间域信息基于阈值判别出真实人脸和伪造人脸；

所述的利用mask rcnn网络对视频图像序列进行实例分割，具体实现如下：

①输入一张图片，然后进行预处理操作；

②将处理好的图片输入到训练好的神经网络，获取图片的特征图；

③对特征图中的每一点设定ROI，获得多个候选ROI；

④将候选ROI送入RPN网络进行二至分类和BB回归，去掉部分ROI；

⑤对剩下的ROI进行ROIAlign操作；

⑥对ROI进行分类，BB回归和生成MASK；

Mask R-CNN是一个两阶段的框架，第一个阶段扫描图像并生成提议(proposals，即有可能包含一个目标的区域)，第二阶段分类提议并生成边界框和掩码。Mask R-CNN扩展自Faster R-CNN。

所述的欧拉视频放大技术流程如下：

(1)对图像进行金字塔分解，构造出高斯金字塔，以获取微弱动态信息；

(2)构造出高斯金字塔后，对其进行插值操作进行重建；

(3)在高斯金字塔分解的第一层提取心率信息；

本发明有益效果如下：

本发明解决了人工识别人脸信息的不准确性和低效性，解放了部分人工生产力，并采用了欧拉视频微小运动放大技术来提取时间域中人脸肤色的规律性变化信息，所提取的信息人工难以伪造，提高了安全性。

附图说明

图1是本发明的整体流程图；

图2是金字塔分解示意图；

具体实施方式

根据上述描述，以下是一个具体的实施流程，但本发明所保护的范围并不限于该实施流程。

本发明法包括如下步骤：

步骤1，通过摄像头获取视频流；

步骤2，对获取到的视频图像序列进行实例分割和欧拉视频放大；

针对摄像头获取到的视频流，首先提取视频帧，获取视频图像序列，利用maskrcnn网络对当前图像进行实例分割；然后对分割出的人脸图像，通过欧拉视频放大进行金字塔分解，构造出高斯金字塔；对高斯金字塔进行插值操作进行重建，将第l层图像Gl通过插值复原到与第l-1层图像Gl-1同等大小，并提取出高斯金字塔第一层的心率信息；最后，通过阈值函数分辨出真实人脸和伪造人脸。

进一步，在使用mask rcnn网络之前，需要利用摄像头采集的活体的人脸图片，尽可能包括各种场景下的图片，进行训练，得到一个可以用于部署的模型。

进一步，图2中所示h为高斯滤波器，↓n表示步长为n的下采样；

进一步，所述的阈值函数表达式如下：

进一步，H(n)为提取出的前N帧心率离散信号，真实人脸提取出的信号能量大，而伪造人脸肤色几乎没有什么变化，能量小，所以设置阈值便可分辨出真实人脸。

Mask rcnn提取图像特征图的方法如下：

使用共享的卷积层为全图提取特征，卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。

mask rcnn中ROIAlign操作解释如下：

ROI Align是一种区域特征聚集方式,解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。对输入图上的RoI到特征图上的RoI feature，不再进行取整操作，而是使用双线性插值来更精确地找到每个块对应的特征。

Claims (3)

1.一种行人面部反欺诈方法，其特征在于包括如下步骤：

步骤1：获取原始的视频图像序列；

步骤2：将获取的视频图像序列作为输入，进行人脸检测；

步骤3：利用mask rcnn网络对视频图像序列进行实例分割，提取出人脸视频图像序列，输入数据为获取的图像；

步骤4：对步骤3中提取出的人脸视频图像序列进行欧拉视频放大，提取出的时间域信息；

步骤5：根据步骤4提取出的时间域信息基于阈值判别出真实人脸和伪造人脸。

2.根据权利要求1所述的一种行人面部反欺诈方法，其特征在于所述的利用mask rcnn网络对视频图像序列进行实例分割，具体实现如下：

①输入一张图片，然后进行预处理操作；

②将处理好的图片输入到训练好的神经网络，获取图片的特征图；

③对特征图中的每一点设定ROI，获得多个候选ROI；

④将候选ROI送入RPN网络进行二至分类和BB回归，去掉部分ROI；

⑤对剩下的ROI进行ROIAlign操作；

⑥对ROI进行分类，BB回归和生成MASK。

3.根据权利要求2所述的一种行人面部反欺诈方法，其特征在于所述的欧拉视频放大实现如下：

(1)对图像进行金字塔分解，构造出高斯金字塔，以获取微弱动态信息；

(2)构造出高斯金字塔后，对其进行插值操作进行重建；

(3)在高斯金字塔分解的第一层提取心率信息。

Images