CN112949464B - 基于人脸三维形状的换脸伪造检测方法、系统及设备 - Google Patents

基于人脸三维形状的换脸伪造检测方法、系统及设备 Download PDF

Info

Publication number
CN112949464B
CN112949464B CN202110219838.XA CN202110219838A CN112949464B CN 112949464 B CN112949464 B CN 112949464B CN 202110219838 A CN202110219838 A CN 202110219838A CN 112949464 B CN112949464 B CN 112949464B
Authority
CN
China
Prior art keywords
face
image
dimensional shape
true
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110219838.XA
Other languages
English (en)
Other versions
CN112949464A (zh
Inventor
董晶
王伟
彭勃
管伟楠
谭铁牛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110219838.XA priority Critical patent/CN112949464B/zh
Priority to PCT/CN2021/084421 priority patent/WO2022178945A1/zh
Publication of CN112949464A publication Critical patent/CN112949464A/zh
Application granted granted Critical
Publication of CN112949464B publication Critical patent/CN112949464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明属于人脸交换图像、计算机视觉与图像取证领域，具体涉及了一种基于人脸三维形状的换脸伪造检测方法、系统及设备，旨在解决现有技术易受后处理操作与非同源人脸伪造方法的攻击，模型鲁棒性和和泛化性不高，从而人脸伪造检测准确性较低甚至无法检测的问题。本发明包括：提取人物面部外观确定人物身份；从注册参考集中获取相应人物的面部三维形状特征模板；通过3DMM提取待检测图像的面部三维形状特征；计算两者之间的马氏距离，若小于真假判断阈值，则为真实人脸图像；否则，为换脸伪造图像。本发明可以将伪造样本从真实人脸图片中检测出来，同时有效提升检测模型对多种后处理操作的抗干扰能力以及与训练数据非同源的伪造方法的泛化能力。

Description

基于人脸三维形状的换脸伪造检测方法、系统及设备
技术领域
本发明属于人脸交换图像、计算机视觉与图像取证领域，具体涉及了一种基于人脸三维形状的换脸伪造检测方法、系统及设备。
背景技术
近年来，随着深度学习，特别是生成对抗网络(GAN)的蓬勃发展，人脸图像的面部篡改技术也展现出了快速的进展。而随着近几年GAN的发展，一些人眼很难分辨的高质量伪造图像可以被轻而易举的生成出来。其中，人脸交换是当前最为常见的伪造生成方法。一些不法分子可以利用人脸交换的伪造生成技术来达到一些恶意的目的，因此这也是数字图像取证领域的重要研究课题之一。
在数字图像取证领域，已经有一些深度伪造检测的方法被提出。当前的方法主要可分为基于图像像素级伪影的方法和基于特定线索的方法。对于基于图像像素级伪影的方法，将伪造检测当作一个真假二分类问题，针对于换脸问题，就是令网络自己学到换脸的伪造痕迹[1][2]。对于基于特定线索的方法，针对换脸问题，包含眨眼检测，头部姿态，面部表情运动模式等方法[3][4][5]。
然而，当前基于像素级伪影的方法，虽然能够得到很好的检测准确率，但是却很容易受到一些后处理操作的攻击，比如增加噪声以及模糊图像，都会使得检测性能受到影响，特别是对于训练数据中未包含的伪造方法所生成的伪造数据(与训练数据非同源伪造数据)，甚至有可能完全失效，从而模型的鲁棒性和泛化性不高。
以下文献是与本发明相关的技术背景资料：
[1]Andreas Rossler,Davide Cozzolino,Luisa Verdoliva,Christian Riess,Justus Thies,and Matthias Niessner,“Faceforensics++:Learning to detectmanipulated facial images”,in The IEEE International Conference on ComputerVision(ICCV),2019.
[2]Brian Dolhansky,Russ Howes,Ben Pflaum,Nicole Baram,and CristianCanton Ferrer,“The deepfake detection challenge(dfdc)preview dataset”,2019.
[3]Li,Y.,Chang,M.C.,Lyu,S.:In ictu oculi,“Exposing AI created fakevideos by detecting eye blinking”,in IEEE International Workshop onInformation Forensics and Security,2018.
[4]X.Yang,Y.Li,and S.Lyu,“Exposing deep fakes using inconsistent headposes”,in ICASSP 2019-2019IEEE International Conference on Acoustics,Speechand Signal Processing(ICASSP),2019.
[5]Shruti Agarwal,Tarek El-Gaaly,Hany Farid,and Ser-Nam Lim,“Detecting deep-fake videos from appearance and behavior”,2020.
发明内容
为了解决现有技术中的上述问题，即现有技术易受后处理操作与非同源人脸伪造方法的攻击，模型鲁棒性和和泛化性不高，从而人脸伪造检测准确性较低甚至无法检测的问题，本发明提供了一种基于人脸三维形状的换脸伪造检测方法，该方法包括：
步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。
在一些优选的实施例中，所述面部形状模板注册的参考集，其注册方法为：
步骤A10，获取各待保护人物的大于设定数量的真实人脸图像集；
步骤A20，分别通过人脸三维形变统计模型提取所述真实人脸集中每一张图像的面部三维形状特征；
步骤A30，将所述真实人脸集对应的属于同一待注册人物的面部三维形状特征作为该待注册人物的面部形状特征模板，获得各待保护人物的面部形状模板注册的参考集。
在一些优选的实施例中，所述面部三维形状特征，其获取方法为：
Fs＝f(αid)
其中，Fs代表特征选择后的面部三维形状特征，f表示特征选择的过程，αid表示身份三维形状信息在提取的面部三维形状S中的权重系数。
在一些优选的实施例中，所述面部三维形状S，其表示为：
Figure GDA0003011071030000031
其中，S代表提取的面部三维形状，
Figure GDA0003011071030000032
代表面部三维形状的平均向量，Aid和Aexp分别代表图像对应的身份三维形状信息和表情纹理信息，αid和αexp分别为表示身份三维形状信息和表情纹理信息在提取的面部三维形状中的权重系数。
在一些优选的实施例中，所述真假判定阈值，其训练和优化方法为：
步骤B10，随机设定初始真假判定阈值，并基于获取的训练图像集中每一个图像的人物面部外观，确定各训练图像的人物身份；所述训练图像集包括真实人脸图像集和换脸伪造人脸图像集；
步骤B20，基于所述各训练图像的人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述训练图像集中每一个图像的面部三维形状特征；
步骤B30，随机选取所述真实人脸图像集和所述换脸伪造人脸图像集中数量相同的一批训练图像，计算其对应的面部三维形状特征模板和面部三维形状特征的马氏距离；
步骤B40，基于所述马氏距离和初始真假判定阈值，判断所述一批训练图像中每一个训练图像的真伪；
步骤B50，基于所述每一个训练图像的真伪，结合训练图像对应的真实类别，计算所述一批训练图像的检测的真阳率TPR和真阴率TNR；
步骤B60，若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR小于真阴率TNR，则将所述初始真假判定阈值按照设定步长调大；若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR大于真阴率TNR，则将所述初始真假判定阈值按照设定步长调小；
步骤B70，以调大或调小后的真假判定阈值作为当前真假判定阈值，并跳转步骤B30，直至所述真阳率TPR和真阴率TNR的差值小于或等于设定阈值，获得最终的真假判定阈值。
本发明的另一方面，提出了一种基于人脸三维形状的换脸伪造检测系统，基于上述的基于人脸三维形状的换脸伪造检测方法，该系统包括以下模块：
人物身份确认模块，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
模板选择模块，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；
面部三维形状提取模块，通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
距离度量模块，用于计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
输出模块，若所述马氏距离小于真假判断阈值，则输出所述待检测图像为真实人脸图像；否则，输出所述待检测图像为换脸伪造图像。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于人脸三维形状的换脸伪造检测方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于人脸三维形状的换脸伪造检测方法。
本发明的有益效果：
本发明基于人脸三维形状的换脸伪造检测方法，利用3DMM来提取待保护人物的面部三维形状信息，提取特征，作为待保护人物的模板数据注册至参考集中。在检测过程中，通过待检测样本的面部外观确定其身份，从参考集中查询相应的面部三维形状模板，同时，利用3DMM提取待检测样本的面部三维形状，将其与模板数据相比对，并利用马氏距离度量二者之间的距离，从而进行真伪判别。一方面，本发明利用了换脸伪造样本面部外观和面部三维形状之间的不一致性这一语义相关的线索，使得所提出的检测方法具有更好的可解释性；另一方面，由于利用3DMM方法提取面部三维形状信息并不过于依赖图像质量，因此对多种后处理操作具有更好的鲁棒性，同时提取面部三维形状信息的过程并不受限于伪造生成方法，因此该方法对非同源伪造生成数据也能维持很好的检测性能
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于人脸三维形状的换脸伪造检测方法的流程示意图；
图2是本发明基于人脸三维形状的换脸伪造检测方法一种实施例的换脸伪造检测示意图；
图3是本发明基于人脸三维形状的换脸伪造检测方法一种实施例的同源和非同源不同后处理方式的伪造数据与真实样本对比图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于人脸三维形状的换脸伪造检测方法，本方法可以有效地提升模型对换脸伪造数据的后处理操作及与训练集非同源的换脸伪造数据的鲁棒性。
本发明的出发点是当前基于图像像素级伪影的检测方法鲁棒性差，对于一些常见的后处理操作，会使得检测性能明显下降，而目前换脸伪造的生成方法种类繁多，对于与训练数据非同源的伪造数据，这些方法几乎不起作用，因此鲁棒的伪造检测方法变得越来越重要。
本发明采用了一种基于人脸三维形状的换脸伪造检测方法，该工作首先利用3DMM来提取待保护人物的面部三维形状信息，提取特征，作为待保护人物的模板数据注册至参考集中。在检测过程中，通过待检测样本的面部外观确定其身份，从参考集中查询相应的面部三维形状模板，同时，利用3DMM提取待检测样本的面部三维形状，将其与模板数据相比对，并利用马氏距离度量二者之间的距离，从而进行真伪判别。该发明利用了换脸伪造样本面部外观和面部三维形状之间的不一致性这一语义相关的线索，使得所提出的检测方法具有更好的可解释性。同时，由于利用3DMM方法提取面部三维形状信息并不过于依赖图像质量，因此对多种后处理操作具有更好的鲁棒性，同时提取面部三维形状信息的过程并不受限于伪造生成方法，因此该方法对非同源伪造生成数据也能维持很好的检测性能。
本发明的一种基于人脸三维形状的换脸伪造检测方法，该方法包括：
步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。
为了更清晰地对本发明基于人脸三维形状的换脸伪造检测方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于人脸三维形状的换脸伪造检测方法，具体包括了待保护人物面部三维形状注册阶段、真假判定阈值训练和优化阶段、测试及应用阶段，各阶段详细描述如下：
(一)待保护人物面部三维形状注册阶段
面部形状模板注册的参考集，其注册方法为：
步骤A10，获取各待保护人物的大于设定数量的真实人脸图像集。本发明一个实施例中，每个人物获取不少于100张图像。
本发明在注册阶段就为后续的训练、测试及应用提前准备好了数据，选用FaceForesics++数据库中提供的CRF23以及CRF40数据中的真实数据，FaceSwap数据，Deepfakes数据，并对这三种数据基于CRF23进行多种后处理操作。其中CRF23数据中的真实数据用作注册参考集Dref；CRF23的真实数据与FaceSwap数据用作训练集Dtrain和部分测试及应用集；CRF40，以及基于CRF23的多种后处理操作在真实数据，FaceSwap数据和Deepfakes数据的处理结果作为测试及应用数据Dtest。
步骤A20，分别通过人脸三维形变统计模型提取所述真实人脸集中每一张图像的面部三维形状特征。
步骤A30，将所述真实人脸集对应的属于同一待注册人物的面部三维形状特征作为该待注册人物的面部形状特征模板，获得各待保护人物的面部形状模板注册的参考集。
利用人脸三维形变统计模型(3DMM)提取所有待保护人物人脸图像的面部三维形状，将同一人物的面部三维形状注册为该人物的面部形状模板，所有人物模板构成参考集Dref。
(二)真假判定阈值训练和优化阶段
真假判定阈值，其训练和优化方法为：
步骤B10，随机设定初始真假判定阈值，并基于获取的训练图像集中每一个图像的人物面部外观，确定各训练图像的人物身份；所述训练图像集包括真实人脸图像集和换脸伪造人脸图像集。
训练图像集为上述待保护人物面部三维形状注册阶段提前准备的数据集Dtrain中的数据。
步骤B20，基于所述各训练图像的人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述训练图像集中每一个图像的面部三维形状特征。
步骤B30，随机选取所述真实人脸图像集和所述换脸伪造人脸图像集中数量相同的一批训练图像，计算其对应的面部三维形状特征模板和面部三维形状特征的马氏距离。
步骤B40，基于所述马氏距离和初始真假判定阈值，判断所述一批训练图像中每一个训练图像的真伪。
步骤B50，基于所述每一个训练图像的真伪，结合训练图像对应的真实类别，计算所述一批训练图像的检测的真阳率TPR和真阴率TNR。
步骤B60，若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR小于真阴率TNR，则将所述初始真假判定阈值按照设定步长调大；若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR大于真阴率TNR，则将所述初始真假判定阈值按照设定步长调小。
步骤B70，以调大或调小后的真假判定阈值作为当前真假判定阈值，并跳转步骤B30，直至所述真阳率TPR和真阴率TNR的差值小于或等于设定阈值，获得最终的真假判定阈值。
(三)测试及应用阶段
步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份。
待检测图像为上述待保护人物面部三维形状注册阶段提前准备的测试及应用集Dtest中的数据。
步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征。
步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离。
步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。
如图2所示，为本发明基于人脸三维形状的换脸伪造检测方法一种实施例的换脸伪造检测示意图，输入图像经过两个处理分支，一个分支是采用人脸三维形变统计模型(3DMM)提取图像的面部三维形状，另一个分支是提取图像中的面部外观，基于该面部外观获取人脸身份，并在模板数据集(包括相应人物模板的三维人脸形状)中进行查询，获取目标的形状特征，并提取形状特征分布，计算这两个分支获取的面部三维形状和形状特征分布的马氏距离，结合真假判定阈值训练和优化阶段获取的固定的真假判定阈值进行图像真伪判断，若马氏距离＜阈值，图像为真实样本，若马氏距离≥阈值，图像为伪造样本。
上述三个阶段中，均涉及通过人脸三维形变统计模型(3DMM)提取图像的面部三维形状特征的过程，其方法如式(1)所示：
Fs＝f(αid) (1)
其中，Fs代表特征选择后的面部三维形状特征，f表示特征选择的过程，αid表示身份三维形状信息在提取的面部三维形状S中的权重系数。
面部三维形状S，其表示如式(2)所示：
Figure GDA0003011071030000112
其中，S代表提取的面部三维形状，
Figure GDA0003011071030000113
代表面部三维形状的平均向量，Aid和Aexp分别代表图像对应的身份三维形状信息和表情纹理信息，αid和αexp分别为表示身份三维形状信息和表情纹理信息在提取的面部三维形状中的权重系数。
如图3所示，为本发明基于人脸三维形状的换脸伪造检测方法一种实施例的同源和非同源不同后处理方式的伪造数据与真实样本对比图，从上至下分别为不同后处理方式：CRF23、CRF40、高斯噪声(var＝0.001)、高斯噪声(var＝0.01)、高斯平滑(std＝1.4)以及高斯平滑(std＝2.3)；从左至右分别为：真实样本、与训练数据同源的伪造样本(由FaceSwap生成)以及与训练数据非同源的伪造样本(由Deepfakes生成)。
本发明一个实施例中，在面部人脸形状注册过程中，仅采用CRF23的真实样本进行注册，训练优化时同样仅采用CRF23的真实数据和FaceSwap生成的数据进行。
为了测试方法的鲁棒性和泛化性，在后处理后的数据以及与训练数据非同源的数据所构成的测试集进行测试，以准确率(Accuracy)ACC、真阳率(True Postive Rate)TPR和真阴率(True Negative Rate)TNR作为测试结果的三个性能指标，测试结果如表1所示：
表1
Figure GDA0003011071030000111
Figure GDA0003011071030000121
其中，GN表示添加高斯噪声(Gaussian Noise)，GS表示进行高斯模糊(GaussianSmoothing)，性能指标排列为ACC(TPR/TNR)。
从表1中1-6行的数据可以看到，本发明方法能够抵抗不同种类不同强度的后处理方法，维持较好的性能。同时将表1中1-6行分别与7-12行数据进行比较可以看出，本发明方法对于与训练数据非同源的测试数据有很好的泛化性，检测性能并没有发生很大的波动。
从表1横向对比可以看出，虽然以往的方法在与训练数据同分布的数据上表现良好，但是鲁棒性很差，一旦受到后处理的干扰或者来自于非同源伪造数据的攻击，检测性能会大幅下降，甚至失效，而相比之下本发明方法在对抗这些攻击的情况下，依然可以维持较好的性能，相较于以往的方法，检测性能上有了明显的优势。
表1的横向纵向对比结果，表明了本发明提出的基于人脸三维形状的换脸伪造检测方法可以有效抵抗后处理和非同源伪造方法的攻击，具有良好的鲁棒性和泛化性。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于人脸三维形状的换脸伪造检测系统，基于上述的基于人脸三维形状的换脸伪造检测方法，该系统包括以下模块：
人物身份确认模块，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
模板选择模块，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；
面部三维形状提取模块，通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
距离度量模块，用于计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
输出模块，若所述马氏距离小于真假判断阈值，则输出所述待检测图像为真实人脸图像；否则，输出所述待检测图像为换脸伪造图像。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于人脸三维形状的换脸伪造检测系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于人脸三维形状的换脸伪造检测方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于人脸三维形状的换脸伪造检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种基于人脸三维形状的换脸伪造检测方法，其特征在于，该方法包括：
步骤S10，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
步骤S20，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
步骤S30，计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
步骤S40，若所述马氏距离小于真假判断阈值，则所述待检测图像为真实人脸图像；否则，所述待检测图像为换脸伪造图像。
2.根据权利要求1所述的基于人脸三维形状的换脸伪造检测方法，其特征在于，所述面部形状模板注册的参考集，其注册方法为：
步骤A10，获取各待保护人物的大于设定数量的真实人脸图像集；
步骤A20，分别通过人脸三维形变统计模型提取所述真实人脸集中每一张图像的面部三维形状特征；
步骤A30，将所述真实人脸集对应的属于同一待注册人物的面部三维形状特征作为该待注册人物的面部形状特征模板，获得各待保护人物的面部形状模板注册的参考集。
3.根据权利要求1或2所述的基于人脸三维形状的换脸伪造检测方法，其特征在于，所述面部三维形状特征，其获取方法为：
Fs＝f(αid)
其中，Fs代表特征选择后的面部三维形状特征，f表示特征选择的过程，αid表示身份三维形状信息在提取的面部三维形状S中的权重系数。
4.根据权利要求3所述的基于人脸三维形状的换脸伪造检测方法，其特征在于，所述面部三维形状S，其表示为：
Figure FDA0002954306130000021
其中，S代表提取的面部三维形状，
Figure FDA0002954306130000022
代表面部三维形状的平均向量，Aid和Aexp分别代表图像对应的身份三维形状信息和表情纹理信息，αid和αexp分别为表示身份三维形状信息和表情纹理信息在提取的面部三维形状中的权重系数。
5.根据权利要求1所述的基于人脸三维形状的换脸伪造检测方法，其特征在于，所述真假判定阈值，其训练和优化方法为：
步骤B10，随机设定初始真假判定阈值，并基于获取的训练图像集中每一个图像的人物面部外观，确定各训练图像的人物身份；所述训练图像集包括真实人脸图像集和换脸伪造人脸图像集；
步骤B20，基于所述各训练图像的人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；通过人脸三维形变统计模型提取所述训练图像集中每一个图像的面部三维形状特征；
步骤B30，随机选取所述真实人脸图像集和所述换脸伪造人脸图像集中数量相同的一批训练图像，计算其对应的面部三维形状特征模板和面部三维形状特征的马氏距离；
步骤B40，基于所述马氏距离和初始真假判定阈值，判断所述一批训练图像中每一个训练图像的真伪；
步骤B50，基于所述每一个训练图像的真伪，结合训练图像对应的真实类别，计算所述一批训练图像的检测的真阳率TPR和真阴率TNR；
步骤B60，若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR小于真阴率TNR，则将所述初始真假判定阈值按照设定步长调大；若所述真阳率TPR和真阴率TNR的差值大于设定阈值且真阳率TPR大于真阴率TNR，则将所述初始真假判定阈值按照设定步长调小；
步骤B70，以调大或调小后的真假判定阈值作为当前真假判定阈值，并跳转步骤B30，直至所述真阳率TPR和真阴率TNR的差值小于或等于设定阈值，获得最终的真假判定阈值。
6.一种基于人脸三维形状的换脸伪造检测系统，其特征在于，基于权利要求1-5任一项所述的基于人脸三维形状的换脸伪造检测方法，该系统包括以下模块：
人物身份确认模块，基于获取的待检测图像中的人物面部外观，确定待检测图像的人物身份；
模板选择模块，基于所述人物身份从面部形状模板注册的参考集中获取相应人物的面部三维形状特征模板；
面部三维形状提取模块，通过人脸三维形变统计模型提取所述待检测图像的面部三维形状特征；
距离度量模块，用于计算所述待检测图像的面部三维形状特征和所述面部三维形状特征模板的马氏距离；
输出模块，若所述马氏距离小于真假判断阈值，则输出所述待检测图像为真实人脸图像；否则，输出所述待检测图像为换脸伪造图像。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-5任一项所述的基于人脸三维形状的换脸伪造检测方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-5任一项所述的基于人脸三维形状的换脸伪造检测方法。
CN202110219838.XA 2021-02-26 2021-02-26 基于人脸三维形状的换脸伪造检测方法、系统及设备 Active CN112949464B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110219838.XA CN112949464B (zh) 2021-02-26 2021-02-26 基于人脸三维形状的换脸伪造检测方法、系统及设备
PCT/CN2021/084421 WO2022178945A1 (zh) 2021-02-26 2021-03-31 基于人脸三维形状的换脸伪造检测方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110219838.XA CN112949464B (zh) 2021-02-26 2021-02-26 基于人脸三维形状的换脸伪造检测方法、系统及设备

Publications (2)

Publication Number Publication Date
CN112949464A CN112949464A (zh) 2021-06-11
CN112949464B true CN112949464B (zh) 2021-12-14

Family

ID=76246605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110219838.XA Active CN112949464B (zh) 2021-02-26 2021-02-26 基于人脸三维形状的换脸伪造检测方法、系统及设备

Country Status (2)

Country Link
CN (1) CN112949464B (zh)
WO (1) WO2022178945A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113627233B (zh) * 2021-06-17 2024-08-13 中国科学院自动化研究所 基于视觉语义信息的人脸伪造检测方法和装置
CN113435292B (zh) * 2021-06-22 2023-09-19 北京交通大学 一种基于固有特征挖掘的ai伪造人脸检测方法
CN115063868A (zh) * 2022-07-01 2022-09-16 公安部第三研究所 一种基于深度学习的人脸深度伪造鉴定方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN110428006A (zh) * 2019-08-01 2019-11-08 中国科学院自动化研究所 计算机生成图像的检测方法、系统、装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678308A (zh) * 2016-01-12 2016-06-15 中国科学院自动化研究所 一种基于光照方向不一致性的图像拼接检测方法
US10878612B2 (en) * 2017-04-04 2020-12-29 Intel Corporation Facial image replacement using 3-dimensional modelling techniques
CN112163511B (zh) * 2020-09-25 2022-03-29 天津大学 一种图像真伪鉴别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170006355A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN110428006A (zh) * 2019-08-01 2019-11-08 中国科学院自动化研究所 计算机生成图像的检测方法、系统、装置
CN111738244A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备和存储介质
CN112002014A (zh) * 2020-08-31 2020-11-27 中国科学院自动化研究所 面向精细结构的三维人脸重建方法、系统、装置

Also Published As

Publication number Publication date
WO2022178945A1 (zh) 2022-09-01
CN112949464A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949464B (zh) 基于人脸三维形状的换脸伪造检测方法、系统及设备
Messer et al. Face verification competition on the XM2VTS database
Svoboda et al. Generative convolutional networks for latent fingerprint reconstruction
CN104992148A (zh) 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN108197644A (zh) 一种图像识别方法和装置
CN114842524B (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN113313054A (zh) 人脸伪造视频检测方法、系统、设备与存储介质
CN107111755A (zh) 基于活跃度评价的视频假冒检测方法和系统
Saeed A framework for recognition of facial expression using HOG features
Hilles et al. Latent fingerprint enhancement and segmentation technique based on hybrid edge adaptive dtv model
CN109409227A (zh) 一种基于多通道cnn的手指静脉图质量评估方法及其装置
Kim et al. Suppressing spoof-irrelevant factors for domain-agnostic face anti-spoofing
CN114724218A (zh) 视频检测方法、装置、设备及介质
Contreras et al. A new multi-filter framework for texture image representation improvement using set of pattern descriptors to fingerprint liveness detection
Prashanth et al. Off-line signature verification based on angular features
Srinivasan et al. Signature verification using kolmogorov-smirnov statistic
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN117636421A (zh) 一种基于边缘特征采集的人脸深伪检测方法
CN110443790B (zh) 一种医学影像中软骨识别方法和识别系统
CN117373136A (zh) 基于频率掩膜和注意力一致性的人脸伪造检测方法
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN111062338A (zh) 一种证照人像一致性比对方法及其系统
CN113780084B (zh) 基于生成式对抗网络的人脸数据扩增方法、电子设备和存储介质
CN111753722B (zh) 一种基于特征点类型的指纹识别方法及装置
Fu et al. On the quality and diversity of synthetic face data and its relation to the generator training data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant