CN111986179A - 脸部篡改图像检测器 - Google Patents

脸部篡改图像检测器 Download PDF

Info

Publication number
CN111986179A
CN111986179A CN202010851717.2A CN202010851717A CN111986179A CN 111986179 A CN111986179 A CN 111986179A CN 202010851717 A CN202010851717 A CN 202010851717A CN 111986179 A CN111986179 A CN 111986179A
Authority
CN
China
Prior art keywords
tampered
feature
region
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010851717.2A
Other languages
English (en)
Other versions
CN111986179B (zh
Inventor
张勇东
尚志华
谢洪涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202010851717.2A priority Critical patent/CN111986179B/zh
Publication of CN111986179A publication Critical patent/CN111986179A/zh
Application granted granted Critical
Publication of CN111986179B publication Critical patent/CN111986179B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种脸部篡改图像检测器，包括：特征提取器，提取输入人脸图像的特征图；篡改区域定位模块，对特征图中每一个特征进行像素级别的分类，得到特征图分类后的掩膜，从而定位篡改区域并计算出篡改区域的特征；将人脸图像中除去篡改区域以外的区域作为原始区域，并计算原始区域的特征；不一致性度量模块，基于篡改区域的特征与原始区域的特征，计算篡改区域与原始区域的不一致性得分，根据不一致性得分来判断输入的人脸图像是否被篡改。上述方法利用图像内部篡改区域和未篡改区域间的不一致性进行脸部篡改图像检测，可取的较好的效果，并且检测是自动完成的，可以适用于大规模的视频平台、社交平台。

Description

脸部篡改图像检测器
技术领域
本发明涉及图像检测技术领域，尤其涉及一种脸部篡改图像检测器。
背景技术
当前图像篡改技术进展很快，特别是针对脸部图像的篡改已经比较成熟，并且得到了广泛应用。但同时也有不法分子使用脸部篡改技术进行不法活动，侵害个人利益，威胁社会安定。
目前已有一些基于神经网络的脸部篡改图像检测器，但是没有充分利用图像内部篡改区域和其他区域的不一致性，因此，检测效果还有待提升。
发明内容
本发明的目的是提供一种脸部篡改图像检测器，具有较高的检测精度。
本发明的目的是通过以下技术方案实现的：
一种脸部篡改图像检测器，包括：
特征提取器，提取输入人脸图像的特征图；
篡改区域定位模块，对特征图中每一个特征进行像素级别的分类，得到特征图分类后的掩膜，从而定位篡改区域并计算出篡改区域的特征，其中掩膜中的每一个像素的值表示对应的图像块被篡改的概率；将人脸图像中除去篡改区域以外的区域作为原始区域，并计算原始区域的特征；
不一致性度量模块，基于篡改区域的特征与原始区域的特征，计算篡改区域与原始区域的不一致性得分，根据不一致性得分来判断输入的人脸图像是否被篡改。
由上述本发明提供的技术方案可以看出，利用图像内部篡改区域和未篡改区域间(即原始区域)的不一致性进行脸部篡改图像检测，可取的较好的效果，并且检测是自动完成的，可以适用于大规模的视频平台、社交平台。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的脸部篡改图像检测器的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种脸部篡改图像检测器，其利用图像内部篡改区域和未篡改区域间的不一致性进行脸部篡改图像检测，如图1所示，示出了脸部篡改图像检测器的主要结构及其工作过程，该脸部篡改图像检测器主要包括：特征提取器、篡改区域定位模块及不一致性度量模块；其中：
特征提取器，提取输入人脸图像的特征图；
篡改区域定位模块，对特征图中每一个特征进行像素级别的分类，得到特征图分类后的掩膜，从而定位篡改区域并计算出篡改区域的特征，其中掩膜中的每一个像素的值表示对应的图像块被篡改的概率；将人脸图像中除去篡改区域以外的区域作为原始区域，并计算原始区域的特征；
不一致性度量模块，基于篡改区域的特征与原始区域的特征，计算篡改区域与原始区域的不一致性得分，根据不一致性得分来判断输入的人脸图像是否被篡改。
与现有方法相比，上述脸部篡改图像检测器基于深度神经网络，同时利用了篡改图像内部不同区域关系，即篡改区域和非篡改区域的不一致性，可取的较好的效果。同时训练完成后检测是自动完成的，可以适用于大规模的视频平台、社交平台。
为了便于理解，下面针对脸部篡改图像检测器做进一步的介绍。
一、特征提取器。
本发明实施例中，所述特征提取器为主干网络(Backbone Network)，其可以采用HRNet-30网络实现，其部分参数使用Imagenet预训练参数进行初始化。
通过HRNet-30网络提取出输入人脸图像的多个分辨率下的特征图，并将所有所有分辨率下的特征图调整至统一尺寸，再将尺寸调整后的所有分辨率下的特征图拼接在一起，得到输入人脸图像对应的三维张量形式的特征图。
由于本发明实施例主要是进行脸部篡改检测，因此，如果输入的人脸图像包含较多与人脸无关的区域，则需要进行裁剪，裁剪后仅保留人脸区域及其周边区域，示例性的，人脸区域长宽与裁剪区域的长宽比为1:1.3，该数值可以根据实际情况调整。
示例性的，可以提取四种分辨率下的特征图，统一调整为75×75的尺寸大小，拼接后的三维张量形式的特征图大小为450×75×75。
二、篡改区域定位模块(MRS module)。
篡改区域定位模块，首先对特征图中每一个特征进行像素级别的分类，其公式为：
Figure BDA0002644944430000033
其中，i表示像素的索引，fp表示分类函数，Finput表示特征提取器提取到的特征图，Mman表示对于特征图分类后的掩膜(manipulation mask)，矩阵形式的掩膜Mman中的每一个像素的值表示对应的图像块被篡改的概率。
之后，利用注意力机制计算篡改区域的特征：
Figure BDA0002644944430000031
其中，N表示特征图中像素的数量，Fman表示篡改区域的特征。
通过特征图分类后的掩膜Mman可以定位输入人脸图像中的篡改区域，除去篡改区域之外的区域作为原始区域，可以计算一个掩膜Mori(original mask)，它的每一个像素的值表示对应的图像块未被篡改的概率。再通过注意力机制计算原始区域的特征：
Figure BDA0002644944430000032
其中，Fori表示原始区域的特征。
三、不一致性度量模块(Inconsistency measure，简写为IM)。
所述不一致性度量模块将篡改区域的特征Fman与原始区域的特征Fori分别输入至三层全连接层，由三层全连接层对输入特征进行非线性映射以去除冗余信息，得到的特征分别记为F′man和F′ori；所述三层全连接层中，前两个全连接层之后都连接着批处理层和ReLu激活层，每一全连接层包含450个神经元。之后，通过如下公式计算篡改区域与原始区域的不一致性得分s：
s＝sigmoid(w×(F′man·F′ori)+b)
其中，w和b为两个可学习的参数，sigmoid(·)表示sigmoid激活函数；
最终，可以根据不一致性得分s来判断图像是否被篡改过。示例性的，当s≥0.5时，认为输入图像被篡改过，否则没有被篡改过。
以上为脸部篡改图像检测器主要工作原理，无论是测试阶段还是训练阶段都使用上述工作原理计算篡改区域掩膜Mman和一个不一致性得分s。
下面针对脸部篡改图像检测器的训练方式进行介绍。
脸部篡改图像检测器可以通过大量的标注数据进行学习，学习完成之后可以依照前文介绍的方式判断输入的脸部图像是否被篡改过。
首先，需要收集足够多的脸部图像(或将视频数据解码成帧图像)，而且存在未篡改的脸部图像和篡改的人脸图像并标注该图像是否被篡改。使用通用人脸检测器，如python中的Dlib工具库等，将图像中的人脸区域及其周围区域裁剪出来(人脸区域长宽与裁剪区域的长宽比为1:1.3，该数值可以调整)保存为图像，组成最终数据集。
特别地，需要使用到篡改区域的位置信息，因为真实的篡改区域比较难确定，可以使用两种方法近似地获得篡改区域的位置信息，分别应对两种情况。第一种情况，当对于篡改图像可以确定其原始图像时，将两张图像的灰度图相减，像素的值相差超过20(该数值可以根据具体情况调整)时，则认为该像素被篡改。第二种情况，当对于篡改图像无法确定其原始图像时，使用通用的脸部关键点检测器，如python中的Dlib工具库等，确定脸部关键点，并连接为一个多边形以确定更精确的脸部区域近似作为篡改区域。
关于以上两种情况的说明：假设有一副篡改图像，如果知道哪一副是它对应的没有篡改过的图像，此时可以确定其原始图像(也即第一种情况)。但是，还存在一种可能，即只知道一幅图像被篡改了，但无法得知篡改前的图像(也即第二种情况)。
训练过程中，对于特征提取器的一部分参数使用Imagenet预训练参数进行初始化，剩余部分的参数使用pytorch框架下的默认初始化方式。
对于一张输入图像，可以按照前述方式得到一个篡改区域掩膜Mman和一个不一致性得分s，篡改区域定位模块与不一致性度量模块的损失函数分别为：
Figure BDA0002644944430000041
Figure BDA0002644944430000051
其中，I表示输入图像，D表示整个训练集，G表示篡改区域的真实值(也即通过前述两种方式确定的篡改区域的位置信息)，M表示篡改区域掩膜(也即前文计算的Mman)，K表示篡改区域掩膜中像素的数量，k为像素索引；y表示输入图像I的标签，当输入图像I为篡改图像时，y＝1，否则为y＝0；s为针对输入图像I计算出的不一致性得分；
总的损失函数L为：
L＝Lmask+λ·Lscore
其中，λ为预设的超参数，示例性的，经验上可设定λ＝0.1。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种脸部篡改图像检测器，其特征在于，包括：
特征提取器，提取输入人脸图像的特征图；
篡改区域定位模块，对特征图中每一个特征进行像素级别的分类，得到特征图分类后的掩膜，从而定位篡改区域并计算出篡改区域的特征，其中掩膜中的每一个像素的值表示对应的图像块被篡改的概率；将人脸图像中除去篡改区域以外的区域作为原始区域，并计算原始区域的特征；
不一致性度量模块，基于篡改区域的特征与原始区域的特征，计算篡改区域与原始区域的不一致性得分，根据不一致性得分来判断输入的人脸图像是否被篡改。
2.根据权利要求1所述的一种脸部篡改图像检测器，其特征在于，所述特征提取器采用HRNet-30网络实现；
通过HRNet-30网络提取出输入人脸图像的多个分辨率下的特征图，并将所有所有分辨率下的特征图调整至统一尺寸，再将尺寸调整后的所有分辨率下的特征图拼接在一起，得到输入人脸图像对应的三维张量形式的特征图。
3.根据权利要求1所述的一种脸部篡改图像检测器，其特征在于，所述对特征图中每一个特征进行像素级别的分类的公式为：
Figure FDA0002644944420000011
其中，i表示像素的索引，fp表示分类函数，Finput表示特征提取器提取到的特征图，Mman表示对于特征图分类后的掩膜。
4.根据权利要求1或2或3所述的一种脸部篡改图像检测器，其特征在于，利用注意力机制计算篡改区域的特征，计算公式为：
Figure FDA0002644944420000012
其中，N表示特征图中像素的数量，i表示像素的索引，Finput表示特征提取器提取到的特征图，Mman表示对于特征图分类后的掩膜，Fman表示篡改区域的特征。
5.根据权利要求1或2或3所述的一种脸部篡改图像检测器，其特征在于，利用注意力机制计算计算原始区域的特征，计算公式为：
Figure FDA0002644944420000013
其中，N表示特征图中像素的数量，i表示像素的索引，Finput表示特征提取器提取到的特征图，Mori表示原始区域的掩膜，Fori表示原始区域的特征。
6.根据权利要求1所述的一种脸部篡改图像检测器，其特征在于，所述不一致性度量模块将篡改区域的特征Fman与原始区域的特征Fori分别三层全连接层，得到的特征分别记为F′man和F′ori；再通过如下公式计算篡改区域与原始区域的不一致性得分s：
s＝sigmoid(w×(F′man·F′ori)+b)
其中，w和b为两个可学习的参数，sigmoid(·)表示sigmoid激活函数；
所述三层全连接层中，前两个全连接层之后都连接着批处理层和ReLu激活层。
7.根据权利要求1所述的一种脸部篡改图像检测器，其特征在于，该方法还包括：网络训练；训练过程中：
对于特征提取器的一部分参数使用Imagenet预训练参数进行初始化，剩余部分的参数使用pytorch框架下的默认初始化方式；
对于篡改区域定位模块与不一致性度量模块的损失函数分别为：
Figure FDA0002644944420000021
Figure FDA0002644944420000022
其中，I表示输入图像，D表示整个训练集，G表示篡改区域的真实值，M表示篡改区域掩膜，K表示篡改区域掩膜中像素的数量，k为像素索引；y表示输入图像I的标签，当输入图像I为篡改图像时，y＝1，否则为y＝0；s为针对输入图像I计算出的不一致性得分；
总的损失函数L为：
L＝Lmask+λ·Lscore
其中，λ为预设的超参数。
CN202010851717.2A 2020-08-21 2020-08-21 脸部篡改图像检测器 Active CN111986179B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010851717.2A CN111986179B (zh) 2020-08-21 2020-08-21 脸部篡改图像检测器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010851717.2A CN111986179B (zh) 2020-08-21 2020-08-21 脸部篡改图像检测器

Publications (2)

Publication Number Publication Date
CN111986179A true CN111986179A (zh) 2020-11-24
CN111986179B CN111986179B (zh) 2021-07-06

Family

ID=73444150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010851717.2A Active CN111986179B (zh) 2020-08-21 2020-08-21 脸部篡改图像检测器

Country Status (1)

Country Link
CN (1) CN111986179B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686331A (zh) * 2021-01-11 2021-04-20 中国科学技术大学 伪造图像识别模型训练方法及伪造图像识别方法
CN112749686A (zh) * 2021-01-29 2021-05-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
CN114677670A (zh) * 2022-03-30 2022-06-28 浙江康旭科技有限公司 一种身份证篡改自动识别与定位的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158319A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Method and apparatus for fake-face detection using range information
CN110880172A (zh) * 2019-11-12 2020-03-13 中山大学 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111553916A (zh) * 2020-05-09 2020-08-18 杭州中科睿鉴科技有限公司 基于多种特征和卷积神经网络的图像篡改区域检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100158319A1 (en) * 2008-12-22 2010-06-24 Electronics And Telecommunications Research Institute Method and apparatus for fake-face detection using range information
CN110880172A (zh) * 2019-11-12 2020-03-13 中山大学 基于循环卷积神经网络的视频人脸篡改检测方法及系统
CN110992238A (zh) * 2019-12-06 2020-04-10 上海电力大学 一种基于双通道网络的数字图像篡改盲检测方法
CN111553916A (zh) * 2020-05-09 2020-08-18 杭州中科睿鉴科技有限公司 基于多种特征和卷积神经网络的图像篡改区域检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KUNJ BIHARI MEENA，ET AL: "《Image Forgery Detection：Survey and Future Directions》", 《DATA，ENGINEERING AND APPLICATIONS》 *
NIKA DOGONADZE，ET AL.: "《Deep Face Forgery Detection》", 《ARXIV：2004.11804V1》 *
张怡暄，等: "《基于帧间差异的人脸篡改视频检测方法》", 《信息安全学报》 *
胡永健，等: "《基于图像分割网络的深度假脸视频篡改检测》", 《电子与信息学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686331A (zh) * 2021-01-11 2021-04-20 中国科学技术大学 伪造图像识别模型训练方法及伪造图像识别方法
CN112686331B (zh) * 2021-01-11 2022-09-09 中国科学技术大学 伪造图像识别模型训练方法及伪造图像识别方法
CN112749686A (zh) * 2021-01-29 2021-05-04 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机设备及存储介质
CN114677670A (zh) * 2022-03-30 2022-06-28 浙江康旭科技有限公司 一种身份证篡改自动识别与定位的方法
CN114677670B (zh) * 2022-03-30 2024-04-26 康旭科技有限公司 一种身份证篡改自动识别与定位的方法

Also Published As

Publication number Publication date
CN111986179B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
Yang et al. MTD-Net: Learning to detect deepfakes images by multi-scale texture difference
CN111986179B (zh) 脸部篡改图像检测器
Li et al. Identification of deep network generated images using disparities in color components
Zheng et al. A survey on image tampering and its detection in real-world photos
CN112381775B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN107704877B (zh) 一种基于深度学习的图像隐私感知方法
Yang et al. Detecting fake images by identifying potential texture difference
US20230162522A1 (en) Person re-identification method of integrating global features and ladder-shaped local features and device thereof
Yu et al. Vehicle detection from high-resolution remote sensing imagery using convolutional capsule networks
Ye et al. A targeted change-detection procedure by combining change vector analysis and post-classification approach
CN107766823B (zh) 基于关键区域特征学习的视频中异常行为检测方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN112613375A (zh) 一种轮胎受损检测识别方法和设备
CN114444565B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN115115969A (zh) 视频检测方法、装置、设备、存储介质和程序产品
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
CN117541571A (zh) 一种基于多尺度监督对比学习的图像篡改检测与定位方法
Wheeler et al. A semantically driven self-supervised algorithm for detecting anomalies in image sets
Kiruthika et al. Image quality assessment based fake face detection
CN117558011B (zh) 基于自一致性矩阵和多尺度损失的图像文本篡改检测方法
CN114973226A (zh) 自监督对比学习自然场景中文本识别系统训练方法
CN112613341B (zh) 训练方法及装置、指纹识别方法及装置、电子设备
Das et al. Image splicing detection with principal component analysis generated low-dimensional homogeneous feature set based on local binary pattern and support vector machine
CN113762151A (zh) 一种故障数据处理方法、系统及故障预测方法
CN116469177A (zh) 混合精度的活体目标检测方法和活体检测模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant