CN109344709A - 一种人脸生成伪造图像的检测方法 - Google Patents

一种人脸生成伪造图像的检测方法 Download PDF

Info

Publication number
CN109344709A
CN109344709A CN201810996340.2A CN201810996340A CN109344709A CN 109344709 A CN109344709 A CN 109344709A CN 201810996340 A CN201810996340 A CN 201810996340A CN 109344709 A CN109344709 A CN 109344709A
Authority
CN
China
Prior art keywords
image
detection
training
sampling point
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810996340.2A
Other languages
English (en)
Inventor
郭园方
操晓春
王蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Information Engineering of CAS
Original Assignee
Institute of Information Engineering of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Information Engineering of CAS filed Critical Institute of Information Engineering of CAS
Priority to CN201810996340.2A priority Critical patent/CN109344709A/zh
Publication of CN109344709A publication Critical patent/CN109344709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人脸生成伪造图像的检测方法，步骤包括：根据训练图像集中所有训练图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到训练图像集的采样点集和其中每张训练图像的采样点集；对训练图像集的采样点集进行分布建模，并计算得到其参数；基于该参数，对每张训练图像的采样点集进行编码，构建其检测特征，将每幅训练图像的检测特征与其对应的训练图像标签进行模型训练，得到检测分类器；根据待检测图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到采样点集；基于上述参数，对待检测图像的采样点集进行编码，构建其检测特征，将待检测图像的检测特征输入到检测分类器，进行人脸生成伪造图像的检测。

Description

一种人脸生成伪造图像的检测方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于颜色特征编码的人脸生成伪造图像的检测方法。
背景技术
近年来，层出不穷的图像修改工具的诞生与改进使得现在的图像极易被修改，为恶意行为中的图像伪造提供了极大的便利，从政治丑闻、办案证据、明星八卦等近年来频发的图像伪造事件，到网络上大量可能经过修改的个人照片，可见伪造图像已经对新闻公信度、公检法办案乃至人与人之间的信任造成了较大的恶劣影响。
当前检测图像可信度的方法主要为主动式和被动式两类方法。主动式检测方法通常先对可信图像进行水印嵌入，之后，当该图像的可信度需被检测时，用户可提取该图像中的水印从而实现检测。被动式检测方法通常考虑图像的多种特性如物理、几何、相机拍摄过程、压缩效应、区域相似度等，通过检测这些特性在图像被伪造时的相应变化进行伪造检测。由于主动式方法需要提前嵌入水印，因此在生活中受到一定局限，在此关注在实际应用中潜力更大的被动式检测方法。
当前，人工智能技术获得了较大的发展，新型图像处理(伪造)技术也随之日新月异，这些技术也可能被攻击者用于图像伪造。自2016年始，研究者在图像生成技术(Imagegeneration)方面取得了较大的进展，基于人脸生成所伪造的部分人脸图像与自然人脸图像已颇为近似。而当前，已有的被动式检测方法主要针对传统伪造方式如复制移动(Copy-move)、拼接(Splicing)、图像修补(Image retouching)等篡改伪造方式所伪造的图像进行检测研究。这些传统方法由于其个性化的假设条件，并不适用于检测人脸生成图像，当前也并无针对人脸生成伪造图像的检测技术，在大数据量的情况下对人脸生成伪造图像的检测难以快速有效地进行。因此，研究人脸生成伪造图像的检测方法可为该问题提供有效解决手段，也为伪造图像检测领域填补空白。
发明内容
本发明的目的在于提供一种人脸生成伪造图像的检测方法，该方法基于颜色特征编码，从而对抗存在的多种人脸图像生成伪造方法。
为达到上述目的，本发明所采用的技术方案为：
一种人脸生成伪造图像的检测方法，其步骤包括：
根据含有自然人脸图像和人脸生成伪造图像的训练图像集中所有训练图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到所述训练图像集的采样点集和其中每张训练图像所有采样点所构成的采样点集；
对所述训练图像集的采样点集进行分布建模，并计算得到该分布建模的参数；
基于所述分布建模的参数，对所述每张训练图像的采样点集进行编码，构建每幅训练图像的检测特征，将所述每幅训练图像的检测特征与其对应的训练图像标签进行模型训练，得到检测分类器；
根据待检测图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，所有采样点构成所述待检测图像的采样点集；
基于所述分布建模的参数，对所述待检测图像的采样点集进行编码，构建所述待检测图像的检测特征，将所述待检测图像的检测特征输入到所述检测分类器，进行人脸生成伪造图像的检测。
进一步地，所述颜色通道为但不限于色度(Hue)、饱和度(Saturation)、暗(Dark)和亮(Bright)通道。
进一步地，所述分布建模为但不限于混合高斯建模(GMM)、K-means聚类。
进一步地，所述编码的方法为但不限于费希尔(Fisher)编码、局部特征聚合描述符(Vector of Aggragate Locally Descriptor)编码。
进一步地，所述模型训练的方法步骤包括：
将所述训练图像标签表示为一个由0和1组成的标签向量，该0和1的其中一个代表自然人脸图像，另一个代表人脸生成伪造图像；
将所述每幅训练图像的检测特征构成特征矩阵；
将上述特征矩阵和其对应的标签向量输入到一分类器进行训练，得到所述检测分类器。
进一步地，所述检测分类器为但不限于支持向量机(Support Vector Machine)、集成分类器(Ensemble Classifier)。
进一步地，对于所述支持向量机，利用Grid Search(网格搜索)的方法进行调参，选取最佳的cost和gamma参数。
一种人脸生成伪造图像的检测系统，包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述方法中各步骤的指令。
一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述方法中的各个步骤。
本发明提出的一种人脸生成伪造图像的检测方法，为人脸生成伪造图像的检测提供了解决方案，也为伪造图像检测领域填补了空白。该方法首先根据含有自然人脸图像和人脸生成伪造图像的训练图像集中所有训练图像每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到训练图像集的采样点集和每张训练图像所有采样点所构成的采样点集；之后对训练图像集的采样点集进行分布建模，并计算得到该分布建模的参数，基于该参数，对每张训练图像的采样点集编码构建检测特征；最后利用训练图像的检测特征和对应的训练图像标签训练分类器，从而得到有效的检测分类器，即可针对待检测图像提取其检测特征，从而利用训练好的检测分类器进行检测。同时，实验验证结果显示本发明所涉及的人脸生成伪造图像检测方法可以成功区分人脸生成伪造图像与自然人脸图像。
附图说明
图1是实施例中的一种人脸生成伪造图像的检测方法的流程图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。
本实施例提供一种人脸生成伪造图像的检测方法，该方法的步骤包括训练阶段和检测阶段，如图1所示。
1、训练阶段包括以下步骤：
1)将训练图像集(包括人脸生成伪造图像和自然人脸图像)分为人脸生成伪造图像子集和自然人脸图像子集，并根据含有自然人脸图像和人脸生成伪造图像的训练图像集中所有训练图像每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到训练图像集的采样点集和每张训练图像所有采样点所构成的采样点集；其中所述颜色通道包括hue通道、saturation通道、暗通道、亮通道等。
2)对上述训练图像集的采样点集进行分布建模，并计算得到该分布建模的参数；其中所述分布建模方法包括混合高斯建模、K-means聚类建模等。
3)基于上述参数，对每张训练图像的采样点集进行编码，构建检测特征；其中所述编码的方法包括费希尔编码、局部特征聚合描述符编码等。
4)将每幅训练图像的检测特征与其对应的训练图像标签一起输入分类器进行模型训练，得到检测分类器；其中所述检测分类器包括支持向量机、集成分类器等。
所述模型训练的方法步骤包括：
4-1)将训练图像标签表示为一个由0和1组成的标签向量；其中0为负例即代表自然人脸图像，1为正例即代表人脸生成伪造图像，反之亦可；
4-2)将每幅训练图像的检测特征构成特征矩阵；
4-3)将每幅训练图像的特征矩阵和其对应的标签向量一起输入分类器(如支持向量机、集成分类器等)进行训练。
2、检测阶段包括以下步骤：
a)根据待检测图像每个像素点的多个颜色通道，在每个像素点的位置进行采样。
b)基于训练步骤2)中所述分布建模的参数，对待检测图像的所有采样点所构成的采样点集编码构建待检测图像的检测特征。
c)将上述检测特征输入训练阶段得到的检测分类器进行检测，以得到检测结果。
下面举一具体实施例来更好地解释说明本发明。该实施例步骤包括：
1)构建采样点集。
首先根据1000幅人脸生成伪造图像和1000幅自然人脸图像的训练图像集(每幅训练图像有对应的训练图像标签表明是人脸生成伪造图像还是自然人脸图像)中所有训练图像每个像素点的hue通道、saturation通道、dark通道和bright通道，在每个像素点的位置进行采样，从而得到训练图像集的采样点集和每张训练图像所有采样点所构成的采样点集。
2)分布建模并计算建模参数。
对所述训练图像集的采样点集进行混合高斯建模，如公式(1)所示：
其中N代表Φ中采样点的数量，Θ代表混合高斯建模的参数集如公式(2)所示：
其中ωa代表权重，μa代表均值向量，σa代表协方差矩阵，Nm代表混合高斯模型中高斯分布的个数。
随后每张训练图像的采样点集Φn被该混合高斯模型表达的概率如公式(3)所示：
其中pm(Φm|Θ)如公式(4)所示：
其中Nv代表每个采样点向量的维度。根据上述公式，混合高斯模型的Θ可以被求得。
3)构建检测特征。
基于Θ对每张训练图像的采样点集进行费希尔编码，从而得到每张训练图像的检测特征Fn，如公式(5)所示：
其中v＝1,2,…,Nv，λ1,λ2,λ3如公式(6-8)所定义：
4)模型训练。
将训练图像标签表示为一个由0和1组成的标签向量，其中0为负例(即代表自然人脸图像)，1为正例(即代表人脸生成伪造图像)，并将每幅训练图像所提取的完整检测特征Fn构成特征矩阵，和所述标签向量一起输入支持向量机进行训练，并利用Grid Search(网格搜索)的方法对支持向量机进行调参，选取最好的cost和gamma参数。
5)检测未知图像(即待检测图像)。
对未知图像首先根据每个像素点的hue通道、saturation通道、dark通道和bright通道，在每个像素点的位置进行采样，从而得到训练图像集的采样点集和每张训练图像所有采样点所构成的采样点集；再基于步骤2)中所述混合高斯建模的参数，对待检测图像的所有采样点所构成的采样点集编码构建待检测图像的检测特征；并将所述检测特征输入步骤4)所训练的支持向量机进行检测，以得到检测结果。
为了验证本发明方法的有效性和实用性，以1000幅人脸生成伪造图像和1000幅自然人脸图像作为训练图像集，根据步骤1)-步骤4)训练了一个检测分类器，并对另外200幅待检测图像根据步骤5)提取每一幅待检测图像的检测特征，并将其输入检测分类器进行检测，得到一个由0和1组成的标签向量，再与该200幅待检测图像的实际(真实)标签向量做对比，检测分类器所得的结果的正确率为94％，可见本发明方法有效可行。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (9)

1.一种人脸生成伪造图像的检测方法，其步骤包括：
根据含有自然人脸图像和人脸生成伪造图像的训练图像集中所有训练图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，得到所述训练图像集的采样点集和其中每张训练图像所有采样点所构成的采样点集；
对所述训练图像集的采样点集进行分布建模，并计算得到该分布建模的参数；
基于所述分布建模的参数，对所述每张训练图像的采样点集进行编码，构建每幅训练图像的检测特征，将所述每幅训练图像的检测特征与其对应的训练图像标签进行模型训练，得到检测分类器；
根据待检测图像的每个像素点的多个颜色通道，在每个像素点的位置进行采样，所有采样点构成所述待检测图像的采样点集；
基于所述分布建模的参数，对所述待检测图像的采样点集进行编码，构建所述待检测图像的检测特征，将所述待检测图像的检测特征输入到所述检测分类器，进行人脸生成伪造图像的检测。
2.如权利要求1所述的方法，其特征在于，所述颜色通道包括色度通道、饱和度通道、暗通道和亮通道。
3.如权利要求1所述的方法，其特征在于，所述分布建模包括混合高斯建模、K-means聚类。
4.如权利要求1所述的方法，其特征在于，所述编码的方法包括费希尔编码、局部特征聚合描述符编码。
5.如权利要求1所述的方法，其特征在于，所述模型训练的方法步骤包括：
将所述训练图像标签表示为一个由0和1组成的标签向量，该0和1的其中一个代表自然人脸图像，另一个代表人脸生成伪造图像；
将所述每幅训练图像的检测特征构成特征矩阵；
将上述特征矩阵和其对应的标签向量输入到一分类器进行训练，得到所述检测分类器。
6.如权利要求1所述的方法，其特征在于，所述检测分类器包括支持向量机、集成分类器。
7.如权利要求6所述的方法，其特征在于，对于所述支持向量机，利用Grid Search的方法进行调参，选取最佳的cost和gamma参数。
8.一种人脸生成伪造图像的检测系统，包括存储器和处理器，该存储器存储计算机程序，该程序被配置为由该处理器执行，该程序包括用于执行上述权利要求1至7任一所述方法中各步骤的指令。
9.一种存储计算机程序的计算机可读存储介质，该计算机程序包括指令，该指令当由服务器的处理器执行时使得该服务器执行上述权利要求1至7任一所述方法中的各个步骤。
CN201810996340.2A 2018-08-29 2018-08-29 一种人脸生成伪造图像的检测方法 Pending CN109344709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810996340.2A CN109344709A (zh) 2018-08-29 2018-08-29 一种人脸生成伪造图像的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810996340.2A CN109344709A (zh) 2018-08-29 2018-08-29 一种人脸生成伪造图像的检测方法

Publications (1)

Publication Number Publication Date
CN109344709A true CN109344709A (zh) 2019-02-15

Family

ID=65292249

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810996340.2A Pending CN109344709A (zh) 2018-08-29 2018-08-29 一种人脸生成伪造图像的检测方法

Country Status (1)

Country Link
CN (1) CN109344709A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110866470A (zh) * 2019-10-31 2020-03-06 湖北工程学院 一种基于随机图像特征的人脸防伪检测方法
CN111291863A (zh) * 2020-01-20 2020-06-16 腾讯科技（深圳）有限公司 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295032A (zh) * 2013-05-15 2013-09-11 西安电子科技大学 基于空间Fisher向量的图像分类方法
CN103745235A (zh) * 2013-12-18 2014-04-23 小米科技有限责任公司 人脸识别方法、装置及终端设备
CN107133640A (zh) * 2017-04-24 2017-09-05 河海大学 基于局部图像块描述子和费舍尔向量的图像分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295032A (zh) * 2013-05-15 2013-09-11 西安电子科技大学 基于空间Fisher向量的图像分类方法
CN103745235A (zh) * 2013-12-18 2014-04-23 小米科技有限责任公司 人脸识别方法、装置及终端设备
CN107133640A (zh) * 2017-04-24 2017-09-05 河海大学 基于局部图像块描述子和费舍尔向量的图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUANFANG GUO等: "Fake Colorized Image Detection", 《ARXIV:1801.02768V2》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置
CN110866470A (zh) * 2019-10-31 2020-03-06 湖北工程学院 一种基于随机图像特征的人脸防伪检测方法
CN111291863A (zh) * 2020-01-20 2020-06-16 腾讯科技（深圳）有限公司 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
CN111291863B (zh) * 2020-01-20 2022-11-08 腾讯科技（深圳）有限公司 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
CN111444881A (zh) * 2020-04-13 2020-07-24 中国人民解放军国防科技大学 伪造人脸视频检测方法和装置
CN112883874A (zh) * 2021-02-22 2021-06-01 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN112883874B (zh) * 2021-02-22 2022-09-06 中国科学技术大学 针对深度人脸篡改的主动防御方法
CN113221786A (zh) * 2021-05-21 2021-08-06 深圳市商汤科技有限公司 数据分类方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Khalid et al. Oc-fakedect: Classifying deepfakes using one-class variational autoencoder
Guo et al. Fake face detection via adaptive manipulation traces extraction network
Lee et al. Detecting handcrafted facial image manipulations and GAN-generated facial images using Shallow-FakeFaceNet
CN109344709A (zh) 一种人脸生成伪造图像的检测方法
Zhang et al. Demeshnet: Blind face inpainting for deep meshface verification
Pautov et al. On adversarial patches: real-world attack on arcface-100 face recognition system
Rekha et al. An efficient automated attendance management system based on Eigen Face recognition
EP4085369A1 (en) Forgery detection of face image
Chanti et al. Improving bag-of-visual-words towards effective facial expressive image classification
CN111553267A (zh) 图像处理方法、图像处理模型训练方法及设备
CN105138951B (zh) 基于图模型表示的人脸画像-照片识别方法
CN113205002B (zh) 非受限视频监控的低清人脸识别方法、装置、设备及介质
Atzori et al. Demographic bias in low-resolution deep face recognition in the wild
Parde et al. Deep convolutional neural network features and the original image
Zhang et al. Landmark‐Guided Local Deep Neural Networks for Age and Gender Classification
Jabberi et al. Generative data augmentation applied to face recognition
Usmani et al. Efficient deepfake detection using shallow vision transformer
CN109214394A (zh) 一种基于颜色和纹理特性的风格迁移伪造图像检测方法和装置
Wang et al. Iris image super resolution based on gans with adversarial triplets
Patel et al. Deepfake video detection using neural networks
Thakurdesai et al. Face recognition using one-shot learning
CN115708135A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
Vajpayee et al. Detecting Deepfake Human Face Images Using Transfer Learning: A Comparative Study
Tan et al. The impact of data correlation on identification of computer-generated face images
Keerthana et al. An effective approach for detecting deepfake videos using Long Short-Term Memory and ResNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190215

WD01 Invention patent application deemed withdrawn after publication