CN109977830A - 基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法 - Google Patents

Abstract

本发明公开了一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，包括如下步骤：1：对输入图像进行人脸区域提取，将人脸区域重采样为固定尺寸并划分为不重叠的图像块；2：对每个图像块进行预处理操作提取颜色及纹理分量；3：将每个图像块提取的颜色及纹理分量输入完成训练的双通道卷积神经网络得到高维特征表达；4：将步骤3所得所有图像块的高维特征表达作为空间循环神经网络的输入获得网络的输出分数；将输出分数与预设阈值进行比较，判断输入图像是否为人脸融合图像。本方法有效提升了在训练样本数量有限以及图像采集环境复杂情况下的检测性能，增强了对恶意后处理操作的鲁棒性。

Description

基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融 合检测方法

技术领域

本发明涉及图像篡改检测方法技术领域，具体地，涉及一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测算法。

背景技术

随着生物信息技术的发展，基于生物信息识别的应用已经广泛存在于人们的日常生活当中，例如交易支付和身份认证等。其中，基于人脸信息的识别技术因其具有采集速度快，无需接触采集设备等优点获得越来越多的应用。然而，现有的数字图像处理技术已经能够将来自两个用户的人脸图像进行融合(face morphing)，得到一张与两个用户相似度极高的图片。如图1所示，经过人脸融合技术生成的图片往往具有较高的视觉质量。人脸融合技术一般包括人脸关键点检测，关键点融合以及图像后处理等步骤。现已有多款人脸融合商用软件，例如Abrosoft FantaMorph。如果人脸融合图片被用于违法用途将对社会造成巨大的经济损失和安全隐患。例如，利用人脸融合图片申请电子护照使两个用户可以共用同一个电子护照等违法行为。因此，准确判断人脸图片是否经历过融合操作具有重要的实际应用价值。人脸融合图片技术作为一种常见的篡改手段已经受到了国内外学者的重视。

现有的人脸融合图片检测手段大致分为基于手工特征和基于神经网络两个方面。基于手工特征的检测手段一般需要根据人脸融合图片异常的颜色和纹理特性设计分类特征，将分类特征结合分类器完成检测。然而，人脸图片的采集环境往往具有很强的多样性，包括不同的光照强度和采集分辨率等因素。这使得基于手工特征的检测算法对复杂环境下采集的人脸图片生成的融合图片无法提供可靠检测。本发明所采用的是基于神经网络的检测算法，此类方法从训练样本中自动学习人脸融合图片的异常模式进行检测。由于人脸融合属于图像篡改的一种特殊形式，在目前公开发表的专利中，有下列专利与本发明方法具有一定相似性；公开号为CN108510483A，题为《一种采用VLAD编码和SVM的计算生成彩色图像篡改检测方法》的专利采用ResNet网络生成颜色特征，再对特征进行VLAD编码，最后利用SVM分类器判断图像是否经历篡改操作，此方法对于复杂采集环境下人脸融合图片的检测性能不佳，并且没有考虑恶意后处理操作带来的影响。而本发明方法结合颜色纹理双通道卷积神经网络和空间循环神经网络对人脸融合图片的局部和全局异常模式进行建模，能够有效提升对复杂采集环境下人脸融合图片的检测性能，并对恶意后处理操作具有良好的鲁棒性。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法。

一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，包括如下步骤：

步骤1：对输入图像进行人脸区域提取。将人脸区域重采样为固定尺寸并划分为不重叠的图像块；

步骤2：对每个图像块进行预处理操作提取颜色及纹理分量；

步骤3：将每个图像块提取的颜色及纹理分量输入完成训练的双通道卷积神经网络得到高维特征表达；

步骤4：将所有图像块的高维特征表达作为空间循环神经网络的输入获得网络的输出分数。将输出分数与预设阈值进行比较，判断输入图像是否为人脸融合图像。

优选的，步骤1包括如下步骤：

步骤1.1：采用人脸检测算法提取输入图片I(x，y)中人脸的矩形边界框，利用该矩形边框左上角位置(x₀，y₀)和右下角位置(x₁，y₁)确定人脸区域。人脸区域检测可采用的算法包括Viola-Jones算法等，但不限于此。

步骤1.2：截取输入彩色图片I(x，y)的人脸区域I_f(x，y)，并将其重采样为N×N大小。

步骤1.3：将重采样后的人脸区域图像均匀划分为不交叠的k²个图像块B_(i，j)，其中(i，j)表示图像块垂直方向和水平方向的序号。因此，每个图像块的空间尺寸为

优选的，步骤2包括如下步骤：

步骤2.1：对于步骤1.3获得的图像块其中分别表示图像块的RGB三个颜色通道分量。首先将图像块B_(i，j)进行颜色空间变换，从原本的RGB颜色空间转换到HSV颜色空间并提取颜色分量

步骤2.2：对于步骤1.3获得的图像块利用公式(1)计算其灰度级图像G_(i，j)，公式(1)如下所示：

步骤2.3：对于步骤2.2获得的灰度级图像G_(i，j)，采用Schmid滤波器组提取纹理信息。Schmid滤波器组由d个具有旋转不变性的滤波器构成。滤波器的形式如公式(2)所示：

其中，参数r表示半径而(σ，τ)的取值将决定滤波器的具体参数值。F₀(σ，τ)表示使滤波器系数直流分量为0的偏置量。利用上述滤波器依次对灰度级图像G_(i，j)进行空间域卷积操作得到d个处理结果，并组成纹理分量

优选的，步骤3包括如下步骤：

步骤3.1：构造双通道卷积神经网络。该网络包含两个输入通道，分别称为颜色通道和纹理通道。每个通道除了输入数据的特征图数量不同外，其余结构均相同。颜色通道的输入特征图数量为2，而纹理通道的输入特征图数量为d。每个通道均由N_C个卷积模块级联构成。每个卷积模块中依次连接一个卷积层，一个非线性激活层和一个池化层。非线性激活层均采用线性整流函数(RectifiedLinear Unit，简称ReLU)，其形式为f(x)＝max(x，0)。池化层均采用最大值池化操作。颜色通道和纹理通道的输出向量进行拼接后输入全连接层。该卷积网络中包含N_L个全连接层。两个全连接层之间为非线性激活层。除最后一个(即第N_L个)全连接层之外，其余全连接层之间的非线性激活层采用ReLU函数。而最后一个全连接层之后采用softmax函数，其形式为其中i∈{1，2}，[p₁，p₂]表示最后一个全连接层的输出向量。softmax函数用于将最后一个全连接层输出的二维向量归一化到[0，1]之间，分别作为输入样本属于人脸融合图片和真实人脸图片的概率值。

步骤3.2：将步骤2.1和步骤2.3中输入图像块B_(i，j)提取的颜色分量和纹理分量输入完成训练的双通道卷积神经网络，将第一个全连接层的输出向量z_(i，j)作为图像块B_(i，j)的高维特征表达。因此，输入图片一共可得到k²个图像块的特征表达。

优选的，步骤4包括如下步骤：

步骤4.1：构造DAG循环神经网络。该网络结构可以看作一个有向图G＝(V，E)，其中表示节点集合，m＝k×i+j。每个节点的输入是图像块B_(i，j)从双通道卷积神经网络得到的特征表达z_(i，j)。表示有向图中边的集合，其中e_(m，l)表示节点v_m到v_l的边。此外，要求节点v_m和v_l是图G中相邻的节点。该网络的前馈过程如公式(3)-(5)所示：

其中和分别表示节点v_m的输入数据，隐藏层数据和输出数据。P_G(v_m)表示节点v_m在图G＝(V，E)中直接相连的前向节点集合。其中每个节点的隐藏层只有一层。矩阵U，W，和向量b，c分别表示DAG循环神经网络中可训练的参数。f(·)和g(·)分别表示非线性激活函数ReLU函数和softmax函数。

在使用上述网络模型之前，需要对该网络模型进行训练。具体地，将人脸融合图片与真实人脸图片对应分块的双通道卷积神经网络输出特征z_(i，j)作为正样本和负样本输入到该循环神经网络中，对该网络利用时间维度反向传播算法进行训练，直到网络模型收敛停止训练。

步骤4.2：将输入图像的k²个图像块对应的特征表达输入完成训练的DAG循环神经网络，可以得到每个节点的输出向量 表示属于人脸融合图片的概率，即输出分数。求取所有节点输出分数的平均值作为输入图像最终的分数。

步骤4.3：将s与预设阈值进行比较，如果大于阈值则判断输入图片为人脸融合图片，反之输入图片为真实人脸图片。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提供的双通道卷积神经网络模型首先对输入图像块提取颜色分量和纹理分量然后通过双通道卷积神经网络结构学习特征表达用于检测融合人脸图片，而不是直接将原始图像作为卷积神经网络的输入。因此，本方法有效提升了对训练样本有限以及样本光照环境复杂的情况下的检测性能。

2、本发明考虑采用有向无环图(DAG)循环神经网络对人脸融合操作产生的全局痕迹进行特征表达，能够在网络训练过程中学习人脸不同部位异常痕迹之间的关联性，增强了对复杂采集环境以及恶意后处理操作等情况的检测鲁棒性。

附图说明如下：

图1为采用人脸融合技术的效果图，图中，(a)为人脸A，(b)为人脸A和人脸B的融合图像，(c)为人脸B。

图2为本发明一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合图像检测方法的流程图；

图3为双通道卷积神经网络的结构示意图；

图4为DAG循环神经网络的结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图2所示，根据本发明提供的基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合图像检测方法，包括如下步骤：

步骤1：对输入图像进行人脸区域提取。将人脸区域重采样为固定尺寸并划分为不重叠的图像块；

步骤2：对每个图像块进行预处理操作提取颜色及纹理分量；

步骤3：将每个图像块提取的颜色及纹理分量输入完成训练的双通道卷积神经网络得到高维特征表达；

步骤4：将所有图像块的高维特征表达作为空间循环神经网络的输入获得网络的输出分数。将输出分数与预设阈值进行比较，判断输入图像是否为人脸融合图像。

所述步骤1包括如下步骤：

步骤1.1：采用人脸检测算法提取输入图片I(x，y)中人脸的矩形边界框，利用该矩形边框左上角位置(x₀，y₀)和右下角位置(x₁，y₁)确定人脸区域。人脸区域检测可采用的算法包括Viola-Jones算法等，但不限于此。

步骤1.2：截取输入彩色图片I(x，y)的人脸区域I_f(x，y)，并将其重采样为384×384大小。

步骤1.3：将重采样后的人脸区域图像均匀划分为不交叠的9个图像块B_(i，j)，其中(i，j)表示图像垂直方向和水平方向的序号。因此，每个图像块的空间尺寸为128×128。

所述步骤2包括如下步骤：

步骤2.1：对于步骤1.2获得的图像块其中分别表示图像块的RGB三个颜色通道分量。首先将图像块B_(i，j)进行颜色空间变换，从原本的RGB颜色空间转换到HSV颜色空间并提取颜色分量

步骤2.2：对于步骤1.2获得的图像块利用公式(1)计算其灰度级图像G_(i，j)，公式(1)如下所示：

步骤2.3：对于步骤2.2获得的灰度级图像G_(i，j)，采用Schmid滤波器组提取纹理信息。Schmid滤波器组由13个具有旋转不变性，并且尺寸为5×5的滤波器构成。滤波器的形式如公式(2)所示：

其中，参数r表示半径。综合考虑检测性能和运算效率，建议(σ，τ)的取值分别设置为(2，1)，(4，1)，(4，2)，(6，1)，(6，2)，(6，3)，(8，1)，(8，2)，(8，3)，(10，1)，(10，2)，(10，3)，和(10，4)。F₀(σ，τ)表示使滤波器系数直流分量为0的偏置量。利用上述滤波器依次对灰度级图像G_(i，j)进行空间域卷积操作得到13个处理结果，并组成纹理分量

具体地，图3为双通道卷积神经网络的结构图，所述步骤3包括如下步骤：

步骤3.1：构造双通道卷积神经网络。该网络包含两个输入通道，分别称为颜色通道和纹理通道。每个通道除了输入数据的特征图数量不同外，其余结构均相同。颜色通道的输入特征图数量为2，而纹理通道的输入特征图数量为13。综合考虑检测性能和运算效率等因素，每个通道均由3个卷积模块级联构成。每个卷积模块中依次连接一个卷积层，一个非线性激活层和一个池化层。其中，卷积层的卷积核尺寸均为3×3，卷积步长均为1×1。三个卷积模块中卷积层的输出特征图数量分别为32，32和64。非线性激活层均采用线性整流函数(Rectified Linear Unit，简称ReLU)，其形式为f(x)＝max(x，0)。池化层均采用最大值池化操作，池化操作窗口尺寸为2×2，池化操作步长为2×2。颜色通道和纹理通道的输出向量进行拼接后输入全连接层。该卷积网络中包含2个全连接层，其节点个数分别为128和2。第一个全连接层使用ReLU函数作为非线性激活函数。而第二个全连接层之后采用softmax函数，其形式为其中i′∈{1，2}，[p₁，p₂]表示第二个全连接层的输出向量。softmax函数用于将第二个全连接层输出的二维向量归一化到[0，1]之间，分别作为输入样本属于人脸融合图片和真实人脸图片的概率值。

最后，双通道卷积神经网络将softmax层输出概率向量与样本标签的交叉熵作为损失函数，指导网络的训练。总的来说，颜色通道专注于学习人脸融合图片异常的颜色特性；而纹理通道专注于学习人脸融合图片异常的纹理特性。最后，经过全连接层对两类信息进行加权融合，能够提升检测性能。

在使用上述网络模型之前，需要对该网络模型进行训练。具体地，将人脸融合图片与真实人脸图片作为正样本和负样本输入到该卷积神经网络中，对该网络利用随机梯度下降算法进行训练，直到网络模型收敛，停止训练。

步骤3.2：将步骤2.1和步骤2.3中输入图像块B_(i，j)提取的颜色分量和纹理分量输入完成训练的双通道卷积神经网络，将第一个全连接层的128维输出向量z_(i，j)作为图像块B_(i，j)的高维特征表达。因此，输入图片一共可得到9个图像块的特征表达。

具体地，图4为有向无环图(directed acyclic graph，简称DAG)循环神经网络的结构示意图，所述步骤4包括如下步骤：

步骤4.1：构造DAG循环神经网络。该网络结构可以看作一个有向图G＝(V，E)，其中V＝{v_m}_{m∈{1，.，9}}表示节点集合，m＝k×i+j。每个节点的输入是图像块B_(i，j)从双通道卷积神经网络得到的特征表达z_(i，j)。E＝{e_(m，l)}_{m，l∈{1，...，9}}表示有向图中边的集合，其中e_(m，l)表示节点v_m到v_l的边。此外，要求节点v_m和v_l是图G中相邻的节点。该网络的前馈过程如公式(3)-(5)所示：

其中和分别表示节点v_m的输入数据，隐藏层数据和输出数据。P_G(v_m)表示节点v_m在图G＝(V，E)中直接相连的前向节点集合。其中每个节点的隐藏层只有一层并且神经元个数均设置为128。分别表示DAG循环神经网络中可训练的参数。f(·)和g(·)分别表示非线性激活函数ReLU函数和softmax函数。

在使用上述网络模型之前，需要对该网络模型进行训练。具体地，将人脸融合图片与真实人脸图片对应分块的双通道卷积神经网络输出特征z_(i，j)作为正样本和负样本输入到该循环神经网络中。使用交叉熵损失函数结合时间维度反向传播算法进行网络训练，直到网络模型收敛，停止训练。

步骤4.2：将输入图像的9个图像块对应的特征表达输入完成训练的DAG循环神经网络，可以得到每个节点的输出向量 表示属于人脸融合图片的概率，即输出分数。求取所有节点输出分数的平均值作为输入图像最终的分数。

步骤4.3：将s与预设阈值进行比较，如果大于阈值则判断输入图片为人脸融合图片，反之输入图片为真实人脸图片。阈值设置为0.5。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (5)

1.一种基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，其特征在于，包括如下步骤：

步骤1：对输入图像进行人脸区域提取，将人脸区域重采样为固定尺寸并划分为不重叠的图像块；

步骤2：对步骤1所得每个图像块进行预处理操作提取颜色及纹理分量；

步骤3：将步骤2所得每个图像块提取的颜色及纹理分量输入完成训练的双通道卷积神经网络得到高维特征表达；

步骤4：将步骤3所得所有图像块的高维特征表达作为空间循环神经网络的输入获得网络的输出分数；将输出分数与预设阈值进行比较，判断输入图像是否为人脸融合图像。

2.根据权利要求1所述的基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1：采用人脸检测算法提取输入图片I(x，y)中人脸的矩形边界框，利用该矩形边框左上角位置(x₀，y₀)和右下角位置(x₁，y₁)确定人脸区域；人脸区域检测采用的算法包括Viola-Jones算法，但不限于此；

步骤1.2：截取输入彩色图片I(x，y)的人脸区域I_f(x，y)，并将其重采样为N×N大小；

步骤1.3：将重采样后的人脸区域图像均匀划分为不交叠的k²个图像块B_(i，j)，其中(i，j)表示图像块垂直方向和水平方向的序号；每个图像块的空间尺寸为

3.根据权利要求1所述的基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，其特征在于，所述步骤2包括如下步骤：

步骤2.1：对于步骤1.3获得的图像块其中分别表示图像块的RGB三个颜色通道分量；首先将图像块B(_i，j)进行颜色空间变换，从原本的RGB颜色空间转换到HSV颜色空间并提取颜色分量

步骤2.2：对于步骤1.3获得的图像块利用公式(1)计算其灰度级图像G_(i，j)，公式(1)如下所示：

步骤2.3：对于步骤2.2获得的灰度级图像G_(i，j)，采用Schmid滤波器组提取纹理信息；Schmid滤波器组由d个具有旋转不变性的滤波器构成；滤波器的形式如公式(2)所示：

其中，参数r表示半径而(σ，τ)的取值将决定滤波器的具体参数值；F₀(σ，τ)表示使滤波器系数直流分量为0的偏置量；利用上述滤波器依次对灰度级图像G_(i，j)进行空间域卷积操作得到d个处理结果，并组成纹理分量

4.根据权利要求1所述的基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，其特征在于，所述步骤3包括如下步骤：

步骤3.1：构造双通道卷积神经网络，该网络包含两个输入通道，分别称为颜色通道和纹理通道；每个通道除了输入数据的特征图数量不同外，其余结构均相同；颜色通道的输入特征图数量为2，而纹理通道的输入特征图数量为d；每个通道均由N_C个卷积模块级联构成；每个卷积模块中依次连接一个卷积层，一个非线性激活层和一个池化层；非线性激活层均采用线性整流函数ReLU(Rectified Linear Unit)，其形式为f(x)＝max(x，0)；池化层均采用最大值池化操作；颜色通道和纹理通道的输出向量进行拼接后输入全连接层；该卷积网络中包含N_L个全连接层；两个全连接层之间为非线性激活层；除最后一个(即第N_L个)全连接层之外，其余全连接层之间的非线性激活层采用ReLU函数；而最后一个全连接层之后采用softmax函数，其形式为其中i′∈{1，2}，[p₁，p₂]表示最后一个全连接层的输出向量；softmax函数用于将最后一个全连接层输出的二维向量归一化到[0，1]之间，分别作为输入样本属于人脸融合图片和真实人脸图片的概率值；

步骤3.2：将步骤2.1和步骤2.3中输入图像块B_(i，j)提取的颜色分量和纹理分量输入完成训练的双通道卷积神经网络，将第一个全连接层的输出向量z_(i，j)作为图像块B_(i，j)的高维特征表达；至此，输入图片一共可得到k²个图像块的特征表达。

5.根据权利要求1所述的基于颜色纹理双通道卷积神经网络及循环神经网络的人脸融合检测方法，其特征在于，所述步骤4包括如下步骤：

步骤4.1：构造DAG循环神经网络，该网络结构可以看作一个有向图G＝(V，E)，其中表示节点集合，m＝k×i+j；每个节点的输入是图像块B_(i，j)从双通道卷积神经网络得到的特征表达z_(i，j)；表示有向图中边的集合，其中e_(m，l)表示节点v_m到v_l的边；节点v_m和v_l是图G中相邻的节点；该网络的前馈过程如公式(3)-(5)所示：

其中和分别表示节点v_m的输入数据，隐藏层数据和输出数据；P_G(v_m)表示节点v_m在图G＝(V，E)中直接相连的前向节点集合；其中每个节点的隐藏层只有一层；矩阵U，W，和向量b，c分别表示DAG循环神经网络中可训练的参数；f(·)和g(·)分别表示非线性激活函数ReLU函数和softmax函数；

步骤4.2：将输入图像的k²个图像块对应的特征表达输入完成训练的DAG循环神经网络，可以得到每个节点的输出向量 表示属于人脸融合图片的概率，即输出分数；求取所有节点输出分数的平均值作为输入图像最终的分数；

步骤4.3：将s与预设阈值进行比较，如果大于阈值则判断输入图片为人脸融合图片，反之输入图片为真实人脸图片。