CN116740794A - 人脸伪造图像鉴别方法、系统、设备及存储介质 - Google Patents

人脸伪造图像鉴别方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN116740794A
CN116740794A CN202311022982.XA CN202311022982A CN116740794A CN 116740794 A CN116740794 A CN 116740794A CN 202311022982 A CN202311022982 A CN 202311022982A CN 116740794 A CN116740794 A CN 116740794A
Authority
CN
China
Prior art keywords
image
identity
detected
representation
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311022982.XA
Other languages
English (en)
Other versions
CN116740794B (zh
Inventor
谢洪涛
方鸣骐
张勇东
于灵云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311022982.XA priority Critical patent/CN116740794B/zh
Publication of CN116740794A publication Critical patent/CN116740794A/zh
Application granted granted Critical
Publication of CN116740794B publication Critical patent/CN116740794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种人脸伪造图像鉴别方法、系统、设备及存储介质，它们是一一对应的方案，方案中：提取待检测图像与参考图像的身份表征，以及提取待检测图像与参考图像对应的特征图，利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子，并结合两个特征图获得对应空间激活图，最终得到对应的身份矫正表征，将待检测图像与参考图像各自对应的两类身份表征进行融合，再根据两个融合特征的相似度，鉴别待检测图像的真伪。上述方案可以自适应地挖掘伪造人脸中的判别性局部区域，灵活度高，泛化性强，并进行偏置矫正，不需要任何手工设计的特征或人脸三维信息等进行辅助，简单易行，总体来说，可以实现高精度的人脸伪造鉴别。

Description

人脸伪造图像鉴别方法、系统、设备及存储介质
技术领域
本发明涉及人脸伪造鉴别技术领域，尤其涉及一种人脸伪造图像鉴别方法、系统、设备及存储介质。
背景技术
人脸深度伪造是一类利用图像生成方法对人脸图像进行篡改的技术。恶意编辑的人脸图像可能会被用以诋毁人物名誉、引导公众舆论等，对社会安全构成了严重威胁。因此，如何精确对这类伪造图像进行鉴别是目前亟待解决的问题。
早期的鉴别方法多将该任务定义为简单的真假二分类问题，通过挖掘图像中人物的异常姿态以及面部融合边界等伪造痕迹来实现鉴别。然而，简单的二元标签难以在模型训练中实现有效的监督，往往会导致模型过度拟合图像中的低级伪影，从而无法正确关注鲁棒、泛化的关键伪造线索。
近来，基于伪造图像中存在的身份不一致现象，一系列方法提出引入特定人物的参考图像作为身份先验，通过一致性判别来分辨真伪，取得了较好的鉴别表现。然而，这类方法多是使用真实人脸对模型进行训练，在表征伪造人脸的身份信息时存在偏置；同时，基于全局信息的身份表征也无法准确反映伪造人脸的局部身份异常，导致人脸伪造图像鉴别结果的精确度不佳。
发明内容
本发明的目的是提供一种人脸伪造图像鉴别方法、系统、设备及存储介质，通过对预训练身份提取器进行偏置矫正，最终实现高精度的人脸伪造鉴别。
本发明的目的是通过以下技术方案实现的：
一种人脸伪造图像鉴别方法，包括：
步骤1、将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征；
步骤2、利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子；
步骤3、对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征；
步骤4、将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
一种人脸伪造图像鉴别系统，包括：人脸伪造图像鉴别模型，基于该人脸伪造图像鉴别模型实现人脸伪造图像鉴别；其中，该人脸伪造图像鉴别模型包括：
身份特征提取分支，用于将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征；
滤波算子生成网络，用于利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子；
偏置矫正分支，用于对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征；
表征融合与鉴别分支，用于将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，基于预训练模型（预训练身份提取器）进行偏置矫正，不需要任何手工设计的特征或人脸三维信息等进行辅助，简单易行；并且，可以依据特定身份先验进行自适应的局部区域挖掘，灵活度高，泛化性强。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种人脸伪造图像鉴别方法的流程图；
图2为本发明实施例提供的一种人脸伪造图像鉴别模型的示意图；
图3为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
下面对本发明所提供的一种人脸伪造图像鉴别方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种人脸伪造图像鉴别方法，如图1所示，其主要包括如下步骤：
步骤1、使用预训练的身份特征提取器，将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征。
步骤2、利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子。
步骤3、对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征。
步骤4、将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
本发明实施例提供的上述方案，可以自适应地挖掘伪造人脸中的判别性局部区域（即空间激活图中指示的区域），灵活度高，泛化性强，并以此为依据对预训练身份提取器进行偏置矫正，不需要任何手工设计的特征或人脸三维信息等进行辅助，简单易行，总体来说，本发明可以实现高精度的人脸伪造鉴别。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法进行详细描述。
一、构建人脸伪造图像鉴别模型。
本发明实施例中，构建的人脸伪造图像鉴别模型主要包括：身份特征提取分支、滤波算子生成网络、偏置矫正分支，以及表征融合与鉴别分支，具体如图2所示；对照图1，身份特征提取分支执行前述步骤1，滤波算子生成网络前述步骤2，偏置矫正分支前述步骤3，表征融合与鉴别分支前述步骤4。
二、人脸伪造图像鉴别模型的工作流程。
1、身份特征提取分支。
本发明实施例中，身份特征提取分支用于获取人物身份表征。对于同一人物的待检测图像和参考图像，使用预训练的身份特征提取器作为身份特征提取分支（冻结），将待检测图像与参考图像分别映射至身份空间，提取得到待检测图像身份表征和参考图像身份表征/>。
本发明实施例中，所述预训练的身份特征提取器使用真实人脸进行预训练，因此在表征伪造人脸时存在偏置，即以上的身份表征与/>均为有偏身份表征，需要进行进一步的矫正。
2、滤波算子生成网络。
本发明实施例中，设置一个全连接层作为滤波算子生成网络，所述滤波算子生成网络利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子/>。
3、偏置矫正分支。
考虑到伪造图像的身份不一致性在一些局部区域更加显著，因此本发明提出从局部角度进行身份矫正。首先，对于待检测图像和参考图像，利用ResNet-34网络（一种34层的深度残差网络）分别提取特征图。之后，将所述带有人物身份先验的可学习空间滤波算子分别与待检测图像与参考图像对应的特征图在空间维度进行卷积计算，获得对应的空间激活图，并最终以此确定需要关注的局部区域，针对性提取得到待检测图像的身份矫正表征与参考图像的身份矫正表征；空间激活图中不同局部区域的激活值是不相同的，激活值越大表示相应的局部区域更值得关注，具体的，将空间激活图的元素值规范到0-1之间，以此获得区域掩码，区域掩码可以认为是指代了需要关注的局部区域，再利用此区域掩码与提取的特征图在空间维度相乘，得到对应的身份矫正表征。
4、表征融合与鉴别分支。
本发明实施例中，将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。具体来说：
1）计算待检测图像的身份矫正表征与参考图像的身份矫正表征的相似度，表示为：
；
其中，表示待检测图像的身份矫正表征，/>表示与参考图像的身份矫正表征，/>表示二者的相似度，sim为相似度度量函数（例如，余弦相似度函数）。
2）如果在身份矫正表征的层面二者即存在较大差异，则说明待检测图像很有可能是伪造图像。因此，这一中间信息可以作为辅助，帮助网络在检测时放大不一致线索。以上述相似度信息为依据，计算偏置矫正分支的重要性权重。
权重计算方式表示为：
；
其中，w表示权重， exp表示以自然常数e为底的指数函数。
3）利用该权重将待检测图像的身份表征与待检测图像的身份矫正表征融合，获得待检测图像判别性表征，以及利用该权重将参考图像的身份表征与参考图像的身份矫正表征融合，获得参考图像判别性表征。
融合过程表示为：
；
；
其中，表示待检测图像的身份表征，/>表示参考图像的身份表征，/>表示待检测图像判别性表征，/>表示参考图像判别性表征。
4）根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
计算待检测图像判别性表征与参考图像判别性表征相似度，表示为：
；
其中，s表示待检测图像判别性表征与参考图像判别性表征相似度。
比较s与设定阈值的大小，若s大于设定阈值，则判定待检测图像为真实人脸图像；否则，则判定待检测图像为伪造人脸图像。
三、模型训练。
本发明实施例中，预先使用训练数据集对该人脸伪造图像鉴别模型进行训练，每次训练时，均输入训练数据集中的待检测图像与参考图像至人脸伪造图像鉴别模型，由表征融合与鉴别分支输出训练数据集中的待检测图像判别性表征与参考图像判别性表征相似度，具体流程记载于前述第二部分，此处不做赘述。
训练时，希望增加真实待检测图像同参考图像间的相似度，同时降低虚假图像与参考图像间的相似度。具体地，首先利用Sigmoid函数（一种S型函数）对相似度的范围进行约束，而后依据图像真伪标签设计交叉熵损失对模型进行优化，模型的损失函数可以表示为：
；
；
其中，表示训练数据集中的待检测图像判别性表征，/>表示训练数据集中的参考图像判别性表征，sim为相似度度量函数，Sigmoid函数是一种S型函数，通过Sigmoid函数对相似度的范围进行约束，similarity为约束后的相似度，Loss为损失函数，CrossEntropy为交叉熵损失函数，y为训练数据集中的待检测图像的真伪标签。
利用损失函数优化所述滤波算子生成网络与偏置矫正分支。在此优化过程中，一方面，身份特征提取分支负责实现人脸图像到身份空间的映射，先提取有偏的人脸身份表征；另一方面，在偏置矫正分支中引入身份先验进行空间激活，从而寻找不一致性显著的局部区域，并依此提取身份矫正表征。两个分支互相补充，协同工作，最终融合得到判别性表征。
四、模型测试。
模型测试流程同样可参见前述第二部分介绍的工作流程，获得待检测图像的真伪鉴别结果。
本发明实施例提供的上述方案，可以应用于鉴别人脸深度伪造图像。下面提供一些应用场景的示例，例如：可以应用于网络安全监管部门，对可疑的人脸图像进行鉴别和取证；或者，部署于网站、应用的后台服务器上，在伪造图像大范围传播前即对其进行检测和拦截，消除可能带来的负面影响。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种人脸伪造图像鉴别系统，其主要用于实现前述实施例提供的方法，该系统主要包括：人脸伪造图像鉴别模型，基于该人脸伪造图像鉴别模型实现人脸伪造图像鉴别；其中，该人脸伪造图像鉴别模型包括：
身份特征提取分支，用于将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征；
滤波算子生成网络，用于利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子；
偏置矫正分支，用于对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征；
表征融合与鉴别分支，用于将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图3所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种人脸伪造图像鉴别方法，其特征在于，包括：
步骤1、将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征；
步骤2、利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子；
步骤3、对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征；
步骤4、将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
2.根据权利要求1所述的一种人脸伪造图像鉴别方法，其特征在于，使用预训练的身份特征提取器作为身份特征提取分支，将待检测图像与参考图像分别映射至身份空间，所述预训练的身份特征提取器使用真实人脸进行预训练。
3.根据权利要求1所述的一种人脸伪造图像鉴别方法，其特征在于，设置一个全连接层作为滤波算子生成网络，所述滤波算子生成网络利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子。
4.根据权利要求1所述的一种人脸伪造图像鉴别方法，其特征在于，结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图包括：将所述带有人物身份先验的可学习空间滤波算子分别与待检测图像与参考图像对应的特征图在空间维度进行卷积计算，获得对应的空间激活图。
5.根据权利要求1所述的一种人脸伪造图像鉴别方法，其特征在于，所述将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征包括：
计算待检测图像的身份矫正表征与参考图像的身份矫正表征的相似度，并由此计算权重，利用该权重将待检测图像的身份表征与待检测图像的身份矫正表征融合，获得待检测图像判别性表征，以及利用该权重将参考图像的身份表征与参考图像的身份矫正表征融合，获得参考图像判别性表征。
6.根据权利要求5所述的一种人脸伪造图像鉴别方法，其特征在于，
相似度计算方式表示为：
；
其中，表示待检测图像的身份矫正表征，/>表示与参考图像的身份矫正表征，/>表示二者的相似度，sim为相似度度量函数；
权重计算方式表示为：
；
其中，w表示权重， exp表示以自然常数e为底的指数函数；
融合过程表示为：
；
；
其中，表示待检测图像的身份表征，/>表示参考图像的身份表征，/>表示待检测图像判别性表征，/>表示参考图像判别性表征。
7.根据权利要求1所述的一种人脸伪造图像鉴别方法，其特征在于，所述步骤1通过身份特征提取分支实现，所述步骤2通过滤波算子生成网络实现，所述步骤3通过偏置矫正分支实现，所述步骤4通过表征融合与鉴别分支实现，它们共同组成人脸伪造图像鉴别模型；
预先使用训练数据集对该人脸伪造图像鉴别模型进行训练，每次训练时，均输入训练数据集中的待检测图像与参考图像至人脸伪造图像鉴别模型，由表征融合与鉴别分支输出训练数据集中的待检测图像判别性表征与参考图像判别性表征相似度，并计算损失函数，表示为：
；
；
其中，表示训练数据集中的待检测图像判别性表征，/>表示训练数据集中的参考图像判别性表征，sim为相似度度量函数，Sigmoid函数是一种S型函数，通过Sigmoid函数对相似度的范围进行约束，similarity为约束后的相似度，Loss为损失函数，CrossEntropy为交叉熵损失函数，y为训练数据集中的待检测图像的真伪标签；
利用损失函数优化所述滤波算子生成网络与偏置矫正分支。
8.一种人脸伪造图像鉴别系统，其特征在于，包括：人脸伪造图像鉴别模型，基于该人脸伪造图像鉴别模型实现人脸伪造图像鉴别；其中，该人脸伪造图像鉴别模型包括：
身份特征提取分支，用于将待检测图像与参考图像分别映射至身份空间，获得待检测图像的身份表征与参考图像的身份表征；
滤波算子生成网络，用于利用参考图像的身份表征生成带有人物身份先验的可学习空间滤波算子；
偏置矫正分支，用于对待检测图像与参考图像分别进行图像特征提取，获得对应的特征图，并结合所述带有人物身份先验的可学习空间滤波算子，获得对应的空间激活图，并对应的提取出待检测图像的身份矫正表征与参考图像的身份矫正表征；
表征融合与鉴别分支，用于将待检测图像的身份表征与待检测图像的身份矫正表征融合，以及将参考图像的身份表征与参考图像的身份矫正表征融合，获得待检测图像判别性表征与参考图像判别性表征，并根据待检测图像判别性表征与参考图像判别性表征相似度鉴别待检测图像的真伪。
9.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~7任一项所述的方法。
10.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~7任一项所述的方法。
CN202311022982.XA 2023-08-15 2023-08-15 人脸伪造图像鉴别方法、系统、设备及存储介质 Active CN116740794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311022982.XA CN116740794B (zh) 2023-08-15 2023-08-15 人脸伪造图像鉴别方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311022982.XA CN116740794B (zh) 2023-08-15 2023-08-15 人脸伪造图像鉴别方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116740794A true CN116740794A (zh) 2023-09-12
CN116740794B CN116740794B (zh) 2023-11-28

Family

ID=87911864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311022982.XA Active CN116740794B (zh) 2023-08-15 2023-08-15 人脸伪造图像鉴别方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116740794B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351294A (zh) * 2023-12-06 2024-01-05 武汉大学 一种基于双功能鉴别器的图像检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190042895A1 (en) * 2016-06-12 2019-02-07 Grg Banking Equipment Co., Ltd. Offline identity authentication method and apparatus
EP3736781A1 (en) * 2013-10-01 2020-11-11 Trunomi Ltd. Systems and methods for sharing verified identity documents
CN114495245A (zh) * 2022-04-08 2022-05-13 北京中科闻歌科技股份有限公司 人脸伪造图像鉴别方法、装置、设备以及介质
CN114898437A (zh) * 2022-05-25 2022-08-12 北京邮电大学 一种基于频率学习的深度伪造人脸检测方法
CN115035052A (zh) * 2022-05-24 2022-09-09 浙江大学 一种基于身份差异量化的伪造换脸图像检测方法和系统
US20230013380A1 (en) * 2020-02-14 2023-01-19 Kakaobank Corp. Deep-learning-based identification card authenticity verification apparatus and method
US20230081645A1 (en) * 2021-01-28 2023-03-16 Tencent Technology (Shenzhen) Company Limited Detecting forged facial images using frequency domain information and local correlation
CN115909445A (zh) * 2022-11-11 2023-04-04 中国人民解放军国防科技大学 人脸图像伪造检测方法及相关设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3736781A1 (en) * 2013-10-01 2020-11-11 Trunomi Ltd. Systems and methods for sharing verified identity documents
US20190042895A1 (en) * 2016-06-12 2019-02-07 Grg Banking Equipment Co., Ltd. Offline identity authentication method and apparatus
US20230013380A1 (en) * 2020-02-14 2023-01-19 Kakaobank Corp. Deep-learning-based identification card authenticity verification apparatus and method
US20230081645A1 (en) * 2021-01-28 2023-03-16 Tencent Technology (Shenzhen) Company Limited Detecting forged facial images using frequency domain information and local correlation
CN114495245A (zh) * 2022-04-08 2022-05-13 北京中科闻歌科技股份有限公司 人脸伪造图像鉴别方法、装置、设备以及介质
CN115035052A (zh) * 2022-05-24 2022-09-09 浙江大学 一种基于身份差异量化的伪造换脸图像检测方法和系统
CN114898437A (zh) * 2022-05-25 2022-08-12 北京邮电大学 一种基于频率学习的深度伪造人脸检测方法
CN115909445A (zh) * 2022-11-11 2023-04-04 中国人民解放军国防科技大学 人脸图像伪造检测方法及相关设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHANG Z: ""PRRNet: Pixel-Region Relation Network for Face Forgery Detection"", 《PATTERN RECOGNITION》, pages 1 - 10 *
WANYI ZHUANG: ""UIA-ViT: Unsupervised Inconsistency-Aware Method based on Vision Transformer for Face Forgery Detection"", 《ARXIV》, pages 1 - 17 *
杨少聪: ""多级特征全局一致性的伪造人脸检测"", 《中国图象图形学报》, pages 1 - 17 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351294A (zh) * 2023-12-06 2024-01-05 武汉大学 一种基于双功能鉴别器的图像检测方法及装置
CN117351294B (zh) * 2023-12-06 2024-02-20 武汉大学 一种基于双功能鉴别器的图像检测方法及装置

Also Published As

Publication number Publication date
CN116740794B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
Kang et al. Robust median filtering forensics using an autoregressive model
CN104933721B (zh) 基于颜色滤波阵列特性的拼接图像篡改检测方法
CN101894260A (zh) 基于匹配特征点随机生成特征线的伪造印章识别方法
CN116740794B (zh) 人脸伪造图像鉴别方法、系统、设备及存储介质
CN110378254B (zh) 车损图像修改痕迹的识别方法、系统、电子设备及存储介质
CN112561907B (zh) 一种基于双流网络的视频篡改操作检测方法及装置
CN111415336A (zh) 一种图像篡改识别方法、装置、服务器及存储介质
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN116822623B (zh) 一种生成对抗网络联合训练方法、装置、设备及存储介质
CN116561809A (zh) 一种基于点云识别保密介质的销毁方法
Abdulqader et al. Detection of tamper forgery image in security digital mage
Yohannan et al. Detection of copy-move forgery based on Gabor filter
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
Ahmed et al. Image splicing detection and localisation using efficientnet and modified u-net architecture
CN112560989B (zh) 一种基于大数据的人工智能防伪图像识别方法及系统
CN114067401A (zh) 目标检测模型的训练及身份验证方法和装置
Doan et al. Blind forensics tool of falsification for RAW images
CN115035332B (zh) 基于图像识别的抗原检测结果认证方法
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
Lin et al. Image provenance inference through content-based device fingerprint analysis
CN116911883B (zh) 基于ai鉴真技术和溯源量化的农产防伪溯源方法及云平台
Krishnalal et al. Advances in Copy Move Forgery Detection in Digital Images: A Comparative Examination of Conventional Approaches and Deep Learning Based Models
Poyraz et al. Fusion of camera model and source device specific forensic methods for improved tamper detection
CN108319851B (zh) 一种异常行为主动检测方法、设备及存储介质
CN116756568A (zh) DoH流量的流量类型检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant