CN113807232B - 基于双流网络的伪造人脸检测方法、系统及存储介质 - Google Patents

基于双流网络的伪造人脸检测方法、系统及存储介质 Download PDF

Info

Publication number
CN113807232B
CN113807232B CN202111074096.2A CN202111074096A CN113807232B CN 113807232 B CN113807232 B CN 113807232B CN 202111074096 A CN202111074096 A CN 202111074096A CN 113807232 B CN113807232 B CN 113807232B
Authority
CN
China
Prior art keywords
network
capsule
face
flow
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111074096.2A
Other languages
English (en)
Other versions
CN113807232A (zh
Inventor
李树栋
林凯瀚
韩伟红
梅阳阳
吴晓波
方滨兴
田志宏
殷丽华
顾钊铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202111074096.2A priority Critical patent/CN113807232B/zh
Publication of CN113807232A publication Critical patent/CN113807232A/zh
Application granted granted Critical
Publication of CN113807232B publication Critical patent/CN113807232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双流网络的伪造人脸检测方法、系统和存储介质，所述方法包括以下步骤：获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系；将深度卷积神经网络和胶囊网络进行融合，得到训练好的双流网络；将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。本发明在传统的卷积神经网络方法的基础上，添加了胶囊网络流，考虑了面部各部分的位置关系，能够捕获伪造人脸图像中错误的位置关系伪影。

Description

基于双流网络的伪造人脸检测方法、系统及存储介质
技术领域
本发明属于人脸识别的技术领域，具体涉及一种基于双流网络的伪造人脸检测方法系统及存储介质。
背景技术
在人类所使用的众多生物学特征中，人脸是最具代表性和辨识度的特征之一，因此，人脸特征被用于各个领域中。随着人脸相关应用技术的快速发展，人脸伪造所带来的安全威胁在不断加剧。人脸伪造是指通过使用深度学习等技术手段生成一个虚假的人脸或篡改人脸的一种技术。它可以生成一个虚拟的人脸，也可以在视频或图像中将原始的人脸替换成目标人物的人脸，或者改变目标人物的表情和外观属性。因此，人脸伪造技术可以使目标人物在视频或图像中根据伪造者的需求去做特定的动作或说一些特定的话。虽然这项技术可用于在电影制作中创建虚拟角色，并在视频中复活历史数据或死亡亲戚和朋友。但总的来说，它的负面影响远大于它的正面影响。人脸伪造往往包含虚假的人物、动作和语音信息，这些虚假信息可以导致假新闻的传播、互联网诈骗、谣言的制造和传播等，对本申请的日常生活产生负面影响。人脸伪造技术的滥用为个人隐私和社会安全带来了巨大威胁，因此对伪造人脸进行检测具有重要意义。
近年来，研究人员提出了大量的人脸伪造检测方法，人脸伪造检测已成为最活跃的研究领域之一，现有工作主要有传统的方法和基于卷积神经网络的方法。
传统方法：Fridrich和Kodovsky提出了基于隐藏分析技术的伪造检测方法，该方法将噪声分量模型集合成多个不同子模型的联合，形成量化图像噪声残差相邻样本的联合分布。Lyu等人提出了一种通过全局噪声和局部噪声之间的不一致来检测伪造的方法，该基于来自不同源的图像具有传感器或后处理步骤的不同噪声特性。另一种有效的检测方法是利用色彩滤镜矩阵(color filter array，CFA)模式分析，该方法可以区分篡改区域和真实区域。压缩伪影也是伪造检测的一种关键解决方案，该方法可以根据所关注的特征进行检测。Fan等人将伪影网格(block artifact grid,BAG)应用于伪造检测中，该网格利用JPEG块处理形成易于检测的网格模式。随后，一些研究者也提出了基于伪影网格的方法。传统的检测方法中，研究者通过设计一些手工特征或图像特征来检测是否存在伪造人脸。此类方法具有设计较为复杂、检测精度相对较低、鲁棒性较差等缺点。
基于深度学习的方法：由于深度学习在计算机视觉取得丰硕的成果，研究人员开始将深度学习应用于伪造人脸检测领域。Zhou等人提出了一种了综合考虑了篡改伪像和局部噪声残差及相机特性的伪造人脸检测方法。现有的基于深度学习的方法主要关注传统的面部特征，没有更多地关注所生成的伪造人脸各部位的位置和角度的不合理性及不协调性，因此对检测准确率有一定的影响。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于双流网络的伪造人脸检测方法系统及存储介质，该方网络中采用胶囊网络获取人脸各部位的位置和角度特征，采用深度卷积神经网络获取深度人脸特征，然后对两流的进行融合，预测所测人脸的真伪。
为了达到上述目的，本发明采用以下技术方案：
本发明一方面提供了一种基于双流网络的伪造人脸检测方法，包括下述步骤：
获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；
构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
作为优选的技术方案，对所述样本图像集进行预处理的具体步骤为：
通过人脸检测算法对输入的样本图像集中的人脸图像进行检测，然后将检测出来的人脸图像裁剪为仅包含人脸区域的图像。
作为优选的技术方案，得到仅含人脸区域的图像后，还包括下述步骤：
采用迁移学习的方法，在VGGFACE2人脸识别数据集上预先训练部分深度卷积神经网络作为初始特征提取器，减少过拟合和训练时间。
作为优选的技术方案，所述深度卷积神经网络采用Inception ResNet V1网络，所述Inception ResNet V1网络由包括Inception-Reset的多个块组成。
作为优选的技术方案，所述胶囊网络由多个主胶囊和两个输出胶囊组成，所述多个主胶囊具有相同的结构，每个主胶囊分为三个部分:二维卷积部分、统计池化层和一维卷积部分，统计池化层作用于中间部分，所述两个输出胶囊分别为真胶囊和假胶囊，所述真胶囊和假胶囊对应于伪造人脸检测的二分类任务。
作为优选的技术方案，采用动态路由算法计算主胶囊和输出胶囊之间的权重，所述输出胶囊实时地将所述主胶囊链接到输出胶囊上，因此，输出胶囊用于表达低级胶囊特征的一致性，假设ui和vj分别表示主胶囊的输出矢量和输出胶囊，胶囊j的输入sj通过在迭代动态路由中确定的耦合系数ci,j来计算，如下所示：
Figure BDA0003261459220000031
其中Wij为权重矩阵，
Figure BDA0003261459220000032
是所有预测向量的加权求和结果，动态路由算法通过几个迭代调整耦合系数ci,j以确定适当的重量，耦合系数ci,j计算如下：
Figure BDA0003261459220000033
其中bij是主胶囊i应与输出胶囊j耦合的先验概率，然后用squash函数对sj进行压缩，得到输出胶囊的输出向量vj。
Figure BDA0003261459220000034
为了减少过拟合，还添加了随机噪声，然后使用dropout操作。
作为优选的技术方案，将深度卷积神经网络和胶囊网络进行融合，得到训练好的双流网络，具体为：
对于深度卷积神经网络的网络流，首先采用Sigmoid函数进行归一化输出，然后采用二值交叉熵函数作为该网络流的损失函数，其定义如下：
Figure BDA0003261459220000035
其中
Figure BDA0003261459220000036
为sigmoid函数后的最终输出，yi为第i个输入的标签值，在训练过程中，定义1为伪造人脸，0为真实人脸；
对于胶囊网络的胶囊网络流，胶囊网络流的损失函数定义如下：
Figure BDA0003261459220000037
其中Ti为第i个输入的标签值，vi是胶囊流的预测概率，该损失函数将使得胶囊网络的输出胶囊的预测不断趋近标签值，最后，双流网络的定义如下：
L＝LIR+LC。
作为优选的技术方案，所述胶囊网络流的损失函数使得一个输出胶囊的输出大于等于0.9，其他输出小余等于0.1。
本发明另一方面提供了一种基于双流网络的伪造人脸检测系统，应用于所述的基于双流网络的伪造人脸检测方法，包括预处理模块、双流网络构建模块、融合模块和检测模块；
所述预处理模块，用于获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；
所述双流网络构建模块，用于构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
所述融合模块，用于将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
所述检测模块，用于将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
本发明又一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于双流网络的伪造人脸检测方法。
本发明与现有技术相比，具有如下优点和有益效果：
本发明采用了深度卷积神经网络与胶囊网络相结合的双流网络进行特征提取，不仅考虑了传统的深度特征，而且还考虑了面部各部分层次结构关系特征，然后采用改进的损失函数对两流的进行训练，最后利用训练后的模型对输入的人脸图像进行预测。另外，本发明在传统的卷积神经网络方法的基础上，添加了胶囊网络流，考虑了面部各部分的位置关系，能够捕获伪造人脸图像中错误的位置关系伪影。
附图说明
图1是本发明实施例基于双流网络的伪造人脸检测方法示意图；
图2是本发明实施例Inception ResNet的结构示意图；
图3是本发明实施例胶囊网络流的结构示意图；
图4是本发明实施例所述一种基于双流网络的伪造人脸检测系统的结构示意图；
图5是本发明实施例所述存储介质的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
本申请是一种综合考虑传统特征和面部各部分层次结构关系的双流网络决方案，称为IR-Capsule，网络中采用胶囊网络获取人脸各部位的位置和角度特征，采用InceptionResnet获取深度人脸特征，然后对两流的进行融合，预测所测人脸的真伪，其目的是为了在检测系统中更有效地检测伪造人脸。
如图1所示，基于双流网络的伪造人脸检测方法，包括下述步骤：
S1、获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；
具体的，通过人脸检测算法对输入的样本图像集中的人脸图像进行检测，然后将检测出来的人脸图像裁剪为仅包含人脸区域的图像。
S2、构建双流网络IR-Capsule；
IR-Capsule由两个流网络组成，其中一个是初始化Inception ResNet网络来提取传统面部特征，另一个是胶囊网络，以捕获脸各部位的位置和角度关系。IR-Capsule的第一步是通过MTCCN人脸检测方法对输入图像进行人脸检测，然后将输入图像裁剪为仅包含人脸区域的图像传输到下一环节。与直接传入完整图像中的其他方法不同，此过程旨在加快训练速度并提高检测性能。
为了确保裁剪图像足够大以提供足够的信息，本实施例采用了300×300的图像尺寸，然后将裁剪后的图像输入Inception Reset V1的部分网络中，该网络已在VGGFace2人脸识别数据集上进行了预先训练，因此可以提供更有效的面部特征提取，并可以减少训练时间以及过拟合。
进一步的，对双流网络中的Inception ResNet流和胶囊网络流做具体阐述：
S3.1、Inception ResNet流；
对于Inception ResNet流，在初始特征提取器之后完整的Inception ResNet V1网络被用于提取深层常规卷积特征。本申请选择Inception ResNet V1网络，因为它在Inception ResNet系列网络中的性能和速度之间具有更好的平衡。Inception ResNet流的细节如图2所示，可以看出，Inception ResNet V1由包括Inception-Reset的多个块组成，其兼具Inception和Reset的优点。特别的，部分的预训练Inception Reset V1网络采用了最初的几层，因此可以提取足够的浅层特征，且对后续训练和预测没有显著的影响。
S3.2、胶囊网络流；
胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量表示出现在图像中的特定对象的不同属性，胶囊网络使用向量输出而不是标量输出，可以识别对象类别，同时保留其分层姿势关系和角度信息。此外，本申请采用动态路由算法将权值从低级更新到高级，而不是采用池化操作，避免了信息丢失。对于伪造人脸，在脸部的各个部分之间的分层姿势关系和角度可能存在一些异常。因此，与传统的神经网络相比，胶囊网络可以有效地检测伪造的痕迹，胶囊网络流设计在预先训练的网络之后，因此可以提取更深的特征，例如分层姿势特征和角度特征。如图3所示，胶囊网络流主要由十个主胶囊和两个输出胶囊组成，十个主胶囊具有相同的结构，统计池化(statistical pooling)作用于中间部分。对于网络的下一部分，本申请使用真正的胶囊和假胶囊作为输出胶囊，对应于伪造人脸检测的二分类任务。动态路由算法用于更新主胶囊和输出胶囊之间的权重。最后经归一化过程输出胶囊网络流预测结果。
进一步的，动态路由算法用于计算主胶囊和输出胶囊之间的权重，该输出胶囊实时地将这些主胶囊链接到输出胶囊上；因此，输出胶囊可用于表达低级胶囊特征的一致性。假设ui和vj分别表示主胶囊的输出矢量和输出胶囊。胶囊j的输入sj可以通过在迭代动态路由中确定的耦合系数ci,j来计算，如下所示：
Figure BDA0003261459220000061
其中Wij为权重矩阵，
Figure BDA0003261459220000062
是所有预测向量的加权求和结果。动态路由算法通过几个迭代调整耦合系数ci,j以确定适当的重量，耦合系数ci,j计算如下：
Figure BDA0003261459220000063
其中bij是主胶囊i应与输出胶囊j耦合的先验概率，然后用squash函数对sj进行压缩，得到输出胶囊的输出向量vj。
Figure BDA0003261459220000071
为了减少过拟合，本申请还添加了随机噪声，然后使用dropout操作。本申请综合考虑了性能和速度，在动态路由算法中设置了三轮迭代。
S3、将深度卷积神经网络和胶囊网络进行融合；
IR-Capsule网络将Inception ResNet流和胶囊网络流结合来检测伪造人脸，对于Inception ResNet流，Sigmoid函数用于归一化其输出。随后，采用二值交叉熵函数作为该流的损失函数，其定义如下：
Figure BDA0003261459220000072
其中
Figure BDA0003261459220000073
为sigmoid函数后的最终输出，yi为第i个输入的标签值。在训练过程中，定义1为伪造人脸，0为真实人脸。
对于胶囊网络流，本申请改进了传统的胶囊损失，为了适用于IR-Capsule网络，本申请只采用了边缘损失。该损失函数可以使一个输出胶囊输出0.9或更大的矢量幅度，并且在训练过程期间，其他输出等于或小于0.1，胶囊网络流的损失函数定义如下：
Figure BDA0003261459220000074
其中Ti为第i个输入的标签值，vi是胶囊流的预测概率，该损失函数将使得胶囊网络的输出胶囊的预测不断趋近标签值；最后，IR-Capsule网络的定义如下：
L＝LIR+LC。
如图4所示，在另一个实施例中，提供了一种基于双流网络的伪造人脸检测系统，该系统
包括预处理模块、双流网络构建模块、融合模块和检测模块；
所述预处理模块，用于获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；
所述双流网络构建模块，用于构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
所述融合模块，用于将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
所述检测模块，用于将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
如图5所示，在本申请的另一个实施例中，还提供了一种存储介质，存储有程序，所述程序被处理器执行时，实现上述实施例的一种基于双流网络的伪造人脸检测方法，具体为：
S1、获取样本图像，对所述样本图像集进行预处理得到仅含人脸区域的图像；
S2、构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
S3、将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
S4、将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.基于双流网络的伪造人脸检测方法，其特征在于，包括下述步骤：
获取样本图像集，对所述样本图像集进行预处理得到仅含人脸区域的图像；
构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
所述深度卷积神经网络采用Inception ResNet V1网络，所述Inception ResNet V1网络由包括Inception-Reset的多个块组成；
所述胶囊网络由多个主胶囊和两个输出胶囊组成，所述多个主胶囊具有相同的结构，每个主胶囊分为三个部分:二维卷积部分、统计池化层和一维卷积部分，统计池化层作用于中间部分，所述两个输出胶囊分别为真胶囊和假胶囊，所述真胶囊和假胶囊对应于伪造人脸检测的二分类任务；
将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
所述损失函数对双流网络进行训练，得到训练好的双流网络，具体为：对于深度卷积神经网络的网络流，首先采用Sigmoid函数进行归一化输出，然后采用二值交叉熵函数作为该网络流的损失函数，其定义如下：
Figure FDA0003810811710000011
其中
Figure FDA0003810811710000012
为Sigmoid函数后的最终输出，yi为第i个输入的标签值，在训练过程中，定义1为伪造人脸，0为真实人脸；
对于胶囊网络的胶囊网络流，胶囊网络流的损失函数定义如下：
Figure FDA0003810811710000013
其中Ti为第i个输入的标签值，vi是胶囊流的预测概率，该损失函数将使得胶囊网络的输出胶囊的预测不断趋近标签值，最后，双流网络的定义如下：
L＝LIR+LC；
将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
2.根据权利要求1所述基于双流网络的伪造人脸检测方法，其特征在于，对所述样本图像集进行预处理的具体步骤为：
通过人脸检测算法对输入的样本图像集中的人脸图像进行检测，然后将检测出来的人脸图像裁剪为仅包含人脸区域的图像。
3.根据权利要求1所述基于双流网络的伪造人脸检测方法，其特征在于，得到仅含人脸区域的图像后，还包括下述步骤：
采用迁移学习的方法，在VGGFACE2人脸识别数据集上预先训练部分深度卷积神经网络作为初始特征提取器，减少过拟合和训练时间。
4.根据权利要求1所述基于双流网络的伪造人脸检测方法，其特征在于，采用动态路由算法计算主胶囊和输出胶囊之间的权重，所述输出胶囊实时地将所述主胶囊链接到输出胶囊上，因此，输出胶囊用于表达低级胶囊特征的一致性，假设ui和vj分别表示主胶囊的输出矢量和输出胶囊，胶囊j的输入sj通过在迭代动态路由中确定的耦合系数ci,j来计算，如下所示：
Figure FDA0003810811710000021
其中Wij为权重矩阵，
Figure FDA0003810811710000022
是所有预测向量的加权求和结果，动态路由算法通过几个迭代调整耦合系数ci,j以确定适当的重量，耦合系数ci,j计算如下：
Figure FDA0003810811710000023
其中bij是主胶囊i应与输出胶囊j耦合的先验概率，然后用squash函数对sj进行压缩，得到输出胶囊的输出向量vj；
Figure FDA0003810811710000024
为了减少过拟合，还添加了随机噪声，然后使用dropout操作。
5.根据权利要求1所述基于双流网络的伪造人脸检测方法，其特征在于，所述胶囊网络流的损失函数使得一个输出胶囊的输出大于等于0.9，其他输出小余等于0.1。
6.基于双流网络的伪造人脸检测系统，其特征在于，应用于权利要求1-5中任一项所述的基于双流网络的伪造人脸检测方法，包括预处理模块、双流网络构建模块、融合模块和检测模块；
所述预处理模块，用于获取样本图像集，对所述样本图像集进行预处理得到仅含人脸区域的图像；
所述双流网络构建模块，用于构建双流网络，所述双流网络包括深度卷积神经网络和胶囊网络，所述深度卷积神经网络用于提取深层常规面部特征，所述胶囊网络用于捕获面部各部位的位置和角度关系，所述胶囊网络中的“胶囊”是一组矢量或矩阵，其中不同的输出矢量或矩阵表示出现在图像中的特定对象的不同属性；
所述融合模块，用于将深度卷积神经网络和胶囊网络进行融合，利用深度卷积神经网络和胶囊网络的损失函数对双流网络进行训练，得到训练好的双流网络；
所述检测模块，用于将待检测图像输入到训练好的双流网络中，检测是否为伪造人脸的图像。
7.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的基于双流网络的伪造人脸检测方法。
CN202111074096.2A 2021-09-14 2021-09-14 基于双流网络的伪造人脸检测方法、系统及存储介质 Active CN113807232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111074096.2A CN113807232B (zh) 2021-09-14 2021-09-14 基于双流网络的伪造人脸检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111074096.2A CN113807232B (zh) 2021-09-14 2021-09-14 基于双流网络的伪造人脸检测方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113807232A CN113807232A (zh) 2021-12-17
CN113807232B true CN113807232B (zh) 2022-09-30

Family

ID=78895223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111074096.2A Active CN113807232B (zh) 2021-09-14 2021-09-14 基于双流网络的伪造人脸检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113807232B (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN111241958B (zh) * 2020-01-06 2022-07-22 电子科技大学 一种基于残差-胶囊网络的视频图像鉴别方法

Also Published As

Publication number Publication date
CN113807232A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
Rao et al. Deep learning local descriptor for image splicing detection and localization
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
Rehman et al. Deep learning for face anti-spoofing: An end-to-end approach
CN109740539B (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
Liu et al. Overview of image inpainting and forensic technology
Chen et al. Image splicing localization using residual image and residual-based fully convolutional network
Liu et al. Image deblocking detection based on a convolutional neural network
Sharma et al. Deepfakes Classification of Faces Using Convolutional Neural Networks.
Hu et al. Deep learning for distinguishing computer generated images and natural images: A survey
CN113807237B (zh) 活体检测模型的训练、活体检测方法、计算机设备及介质
TWI744057B (zh) 深度偽造影片檢測系統及其方法
Dastbaravardeh et al. Channel Attention‐Based Approach with Autoencoder Network for Human Action Recognition in Low‐Resolution Frames
CN113807232B (zh) 基于双流网络的伪造人脸检测方法、系统及存储介质
Mazumdar et al. Siamese convolutional neural network‐based approach towards universal image forensics
Zaidan et al. A novel hybrid module of skin detector using grouping histogram technique for Bayesian method and segment adjacent-nested technique for neural network
CN113205044B (zh) 一种基于表征对比预测学习的深度伪造视频检测方法
Lian et al. A novel forgery classification method based on multi‐scale feature capsule network in mobile edge computing
Yavuzkiliç et al. DeepFake face video detection using hybrid deep residual networks and LSTM architecture
Hummady et al. A Review: Face Recognition Techniques using Deep Learning
Deshpande et al. Abnormal Activity Recognition with Residual Attention-based ConvLSTM Architecture for Video Surveillance.
Jia et al. Enhanced face morphing attack detection using error-level analysis and efficient selective kernel network
Kumari et al. Image splicing forgery detection: A review
Xu Face manipulation with generative adversarial network
CN117315791B (zh) 骨骼动作识别方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant