CN111104892A - 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 - Google Patents
基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 Download PDFInfo
- Publication number
- CN111104892A CN111104892A CN201911296877.9A CN201911296877A CN111104892A CN 111104892 A CN111104892 A CN 111104892A CN 201911296877 A CN201911296877 A CN 201911296877A CN 111104892 A CN111104892 A CN 111104892A
- Authority
- CN
- China
- Prior art keywords
- face
- model
- tampering identification
- identification
- tampering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
- G06Q50/265—Personal security, identity or safety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Computer Security & Cryptography (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，通过利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。本发明通过大数据学习能够自动提取图像特征，在检测出图像中人脸信息的同时，实现对图像中人脸是否被篡改的鉴定。
Description
技术领域
本发明涉及图像或视频的鉴定，具体地指一种基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，属于图像处理技术领域。
背景技术
早在2017年，一位名叫“deepfakes”的外国网友就利用AI(人工智能)技术，将女明星的脸，“移花接木”到了色情片女主角身上，一度掀起轩然大波。这一技术被公开后，各种换脸软件层出不穷。“deepfake”也因此成为这项技术的代名词。“deepfake”(深度伪造)是英文“deeplearning”(深度学习)和“fake”(伪造)的合成词，是一种基于AI的人体图像合成技术。利用深度学习算法进行音频、视频的模拟和伪造，创造出现实不存在的人物活动，让某人做没做过的事。这种技术的一大特点就是，投入深度学习的内容库越大，合成的音视频仿真性就越高，甚至可以达到以假乱真的效果。
毋庸置疑，“deepfake”这项技术如果被居心叵测者利用，制作各种可能涉及色情、暴力、政治因素的虚假视频，就会成为侵害他人合法权益和危害社会公共安全的工具。对于人脸篡改鉴定任务，很多人直接使用传统数字图像处理来鉴定，传统方法算法设计的特征只能对特定篡改进行鉴定；在AI技术兴起后，有些人的第一想法是直接使用SSD等通用目标检测算法检测出人脸位置，再训练人脸篡改判定网络对检测到的人脸roi图片进行是否是篡改人脸的判定。这种先检测后判定的方法不仅步骤繁琐，而且每帧图像鉴定所需时耗会随着图片中检测到的人脸增加而线性增加。
发明内容
本发明目的在于克服上述现有技术的不足而提供一种基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法，本发明能够自动学习图像特征，在检测出图像中人脸坐标信息的同时，实现对图像中人脸是否被篡改的鉴定。
实现本发明目的采用的技术方案是一种基于目标检测的人脸篡改鉴定方法，该方法包括：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。
本发明还提供一种基于目标检测的人脸篡改鉴定模型，该模型包括人脸篡改鉴定基础模型，所述人脸篡改鉴定基础模型包括：
目标检测模型，用于将提取的人脸特征回归出目标图像中人脸坐标信息；
人脸篡改鉴定分支，设于所述目标检测模型的特征提取层后，所述人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，并以此鉴定人脸是否被篡改。
本发明还提供一种将上述人脸篡改鉴定基础模型进行训练得到人脸篡改鉴定网络模型，具体的训练过程包括：收集m个原视频文件及对原视频文件中进行人脸篡改后的视频文件作为初始样本，并以初始样本采集样本图片n张，对样本图片中人脸坐标及其是否被篡改进行标注；将初始样本和标注结果作为输入，通过多次调整训练参数训练得到人脸篡改鉴定网络模型。
本发明能够自动、快速对图片或实时视频进行人脸是否被篡改的鉴定，有利于协助拦截各种可能涉及色情、暴力、政治因素的虚假视频，帮助打击侵害他人合法权益和危害社会公共安全的犯罪行为。
附图说明
图1为SSD目标检测模型的算法示意图。
图2为本发明基于目标检测的人脸篡改鉴定网络模型的结构示意图。
图3-1为一原始图像；图3-2为通过本发明人脸篡改鉴定网络模型进行是否被篡改鉴定的效果示意图。
图4-1为另一原始图像；图4-2为通过本发明人脸篡改鉴定网络模型进行是否被篡改鉴定的效果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明。
本实施例中所用目标检测模型用于提取目标图像中的人脸坐标信息，该操作可以采用现有技术实现，例如SSD、RefineDet、MobileNet-SSD，具体实施方式中的以下具体实施例均以现有SSD网络结构进行示例说明，SSD网络结构的如图1所示。
实施例1
本发明基于目标检测的人脸篡改鉴定方法包括：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。其中，所用的人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。
实施例2
本实施例基于目标检测的人脸篡改鉴定模型，首先建立一个人脸篡改鉴定基础模型，该基础模型通过SSD目标检测模型对目标图像中的人脸框进行人脸特征提取，在SSD每个特征提取层后添加一个人脸篡改鉴定分支，在本实施例中，本发明采用3个3*3卷积层及激活层串联形成人脸篡改鉴定分支，该分支输出即为目标图像中的人脸篡改鉴定特征，其中，SSD原有特征回归出图像中所有人脸坐标信息，而人脸篡改鉴定分支特征是用于对图像中的人脸进行描述的信息，包括但不限于与人脸相关的各种基本要素(例如人脸轮廓、人脸及周边纹理等)，对该特征采用二元交叉熵分类，得到各个人脸是否被篡改得分，结合两个分支输出结果，即可实现一个网络模型端到端获取图像中所有人脸坐标及其是否被篡改信息。
使用该人脸篡改鉴定模型时，利用目标检测模型提取目标图像中人脸的坐标信息，以及利用人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。
实施例3
本实施例是对上述实施例2所得的人脸篡改鉴定基础模型进行训练得到最终的人脸篡改鉴定网络模型，具体的训练过程包括：收集1万个原视频文件及对原视频文件中进行人脸篡改后的视频文件作为初始样本，并对初始样本的视频文件采集样本图片3.3万张，对样本图片中人脸是否被篡改进行标注；将初始样本和标注结果作为输入，通过多次调整训练参数训练得到人脸篡改鉴定网络模型。
在本实施例中，对上述训练所得人脸篡改鉴定网络模型可以使用avx2进行加速优化，以使得模型的处理速度能达到实时处理监控视频的要求。其中，所用裁剪和加速优化的操作都是为了使得整个算法速度达到实时处理视频的需求，均可采用现有的常规操作实现，此处不再赘述。
上述人脸篡改鉴定基础模型和人脸篡改鉴定网络模型，均利用目标检测模型提取目标图像中人脸坐标信息，以及利用人脸篡改鉴定分支提取目标图像中人脸的描述信息，最后根据人脸篡改鉴定特征鉴定人脸是否被篡改。而人脸篡改鉴定网络模型经过大数据训练，提高了鉴定的准确率。
下面以实际的图片篡改鉴定说明本专利的鉴定效果：
通过上述人脸篡改鉴定网络模型，对篡改后的图片进行鉴定，其鉴定效果如图3和图4所示，具体地，图3-1为原始图片，图3-2是对图3-1进行人脸篡改后的图片，使用本发明人脸篡改鉴定网络模型对图3-2进行鉴定之后，能够得出图中被篡改的人脸，如图3-2中的疑似篡改标示。图4-1为另一原始图片，图4-2是对图4-1进行人脸篡改后的图片，使用本发明人脸篡改鉴定网络模型对图4-2进行鉴定之后，能够得出图中被篡改的人脸，如图4-2中的疑似篡改标示。图3-2和图4-2的人脸框上边标示“疑似篡改：xxx”字样的人脸，被本发明算法判定为篡改人脸，其中“xxx”为判定置信度得分。
通过上述人脸篡改鉴定网络模型，直接输入待处理图像后能够一步获得图像中每个人人脸位置及对应是否是篡改人脸的置信度，鉴定出多种形式下被篡改的人脸图像；本发明算法在一步检测框架上优化，具有时耗固定的优势；本发明利用深度学习的特征提取方案，使得人脸篡改鉴定综合准确率达到97％。
Claims (9)
1.一种基于目标检测的人脸篡改鉴定方法，其特征在于：利用目标检测模型提取目标图像中人脸的坐标信息，通过目标检测模型的尾分支完成人脸框的检测，在目标检测模型的原有特征提取层后添加一个人脸篡改鉴定分支并通过该分支提取人脸篡改鉴定特征，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。
2.根据权利要求1所述基于目标检测的人脸篡改鉴定方法，其特征在于：所述人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。
3.一种基于目标检测的人脸篡改鉴定模型，其特征在于：包括人脸篡改鉴定基础模型，所述人脸篡改鉴定基础模型包括：
目标检测模型，用于提取目标图像中人脸的坐标信息；
人脸篡改鉴定分支，设于所述目标检测模型的特征提取层后，所述人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，并以此鉴定人脸是否被篡改。
4.根据权利要求3所述基于目标检测的人脸篡改鉴定模型，其特征在于：所述人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。
5.一种通过权利要求3所述人脸篡改鉴定模型的鉴定方法，其特征在于，包括：利用目标检测模型提取目标图像中人脸的坐标信息，以及利用人脸篡改鉴定分支用于提取目标图像中人脸的描述信息，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。
6.根据权利要求3所述基于目标检测的人脸篡改鉴定网络模型，其特征在于：将所述人脸篡改鉴定基础模型进行训练得到人脸篡改鉴定网络模型，具体的训练过程包括：收集m个原视频文件及对原视频文件中进行人脸篡改后的视频文件作为初始样本，并以初始样本采集样本图片n张，对样本图片中人脸坐标及其是否被篡改进行标注；将初始样本和标注结果作为输入，通过多次调整训练参数训练得到人脸篡改鉴定网络模型。
7.根据权利要求6所述基于目标检测的人脸篡改鉴定网络模型，其特征在于：所述人脸篡改鉴定分支为3个3*3卷积层及激活层串联形成。
8.根据权利要求7所述基于目标检测的人脸篡改鉴定网络模型，其特征在于：对所述人脸篡改鉴定网络模型使用avx2进行加速优化，以使得模型的处理速度能达到实时处理监控视频的要求。
9.一种通过权利要求6所述人脸篡改鉴定网络模型的鉴定方法，其特征在于，包括：将目标图像输入所述人脸篡改鉴定网络模型，所述人脸篡改鉴定网络模型提取目标图像中人脸的坐标信息，以及提取目标图像中的人脸的描述信息，最后根据所述人脸篡改鉴定特征鉴定人脸是否被篡改。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911296877.9A CN111104892A (zh) | 2019-12-16 | 2019-12-16 | 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911296877.9A CN111104892A (zh) | 2019-12-16 | 2019-12-16 | 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111104892A true CN111104892A (zh) | 2020-05-05 |
Family
ID=70423657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911296877.9A Pending CN111104892A (zh) | 2019-12-16 | 2019-12-16 | 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104892A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674195A (zh) * | 2020-05-13 | 2021-11-19 | 中国移动通信集团有限公司 | 图像检测方法、装置、设备及存储介质 |
| US20220174076A1 (en) * | 2020-11-30 | 2022-06-02 | Microsoft Technology Licensing, Llc | Methods and systems for recognizing video stream hijacking on edge devices |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304820A (zh) * | 2018-02-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种人脸检测方法、装置及终端设备 |
| CN108416314A (zh) * | 2018-03-16 | 2018-08-17 | 中山大学 | 图片重要人脸检测方法 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
| CN109754393A (zh) * | 2018-12-19 | 2019-05-14 | 众安信息技术服务有限公司 | 一种基于深度学习的篡改图像鉴定方法及装置 |
| CN109919097A (zh) * | 2019-03-08 | 2019-06-21 | 中国科学院自动化研究所 | 基于多任务学习的人脸和关键点联合检测系统、方法 |
| CN110008853A (zh) * | 2019-03-15 | 2019-07-12 | 华南理工大学 | 行人检测网络及模型训练方法、检测方法、介质、设备 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
-
2019
- 2019-12-16 CN CN201911296877.9A patent/CN111104892A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108304820A (zh) * | 2018-02-12 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种人脸检测方法、装置及终端设备 |
| CN108416314A (zh) * | 2018-03-16 | 2018-08-17 | 中山大学 | 图片重要人脸检测方法 |
| WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
| CN109543754A (zh) * | 2018-11-23 | 2019-03-29 | 中山大学 | 基于端对端深度学习的目标检测与语义分割的并行方法 |
| CN109754393A (zh) * | 2018-12-19 | 2019-05-14 | 众安信息技术服务有限公司 | 一种基于深度学习的篡改图像鉴定方法及装置 |
| CN109919097A (zh) * | 2019-03-08 | 2019-06-21 | 中国科学院自动化研究所 | 基于多任务学习的人脸和关键点联合检测系统、方法 |
| CN110008853A (zh) * | 2019-03-15 | 2019-07-12 | 华南理工大学 | 行人检测网络及模型训练方法、检测方法、介质、设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674195A (zh) * | 2020-05-13 | 2021-11-19 | 中国移动通信集团有限公司 | 图像检测方法、装置、设备及存储介质 |
| US20220174076A1 (en) * | 2020-11-30 | 2022-06-02 | Microsoft Technology Licensing, Llc | Methods and systems for recognizing video stream hijacking on edge devices |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Albahar et al. | Deepfakes: Threats and countermeasures systematic review | |
| CN109583342B (zh) | 基于迁移学习的人脸活体检测方法 | |
| CN111950424B (zh) | 一种视频数据处理方法、装置、计算机及可读存储介质 | |
| CN111931758B (zh) | 一种结合面部静脉的人脸识别方法及装置 | |
| CN108596141A (zh) | 一种深度网络生成人脸图像的检测方法及系统 | |
| CN111191695A (zh) | 一种基于深度学习的网站图片篡改检测方法 | |
| CN112069891B (zh) | 一种基于光照特征的深度伪造人脸鉴别方法 | |
| CN111444873A (zh) | 视频中人物真伪的检测方法、装置、电子设备及存储介质 | |
| CN110532855A (zh) | 基于深度学习的自然场景证件图像文字识别方法 | |
| CN112907598A (zh) | 一种基于注意力cnn文档证件类图像篡改检测方法 | |
| Miao et al. | Learning forgery region-aware and ID-independent features for face manipulation detection | |
| CN113361474B (zh) | 基于图像块特征提取的双流网络图像伪造检测方法及系统 | |
| CN111104892A (zh) | 基于目标检测的人脸篡改鉴定方法、模型及其鉴定方法 | |
| CN114662497A (zh) | 一种基于协同神经网络的虚假新闻检测方法 | |
| CN110457996A (zh) | 基于vgg-11卷积神经网络的视频运动对象篡改取证方法 | |
| CN112200001A (zh) | 一种指定场景下深度伪造视频识别方法 | |
| CN117496583B (zh) | 一种可学习局部差异的深度伪造人脸检测定位方法 | |
| CN113362217A (zh) | 一种基于模型水印的深度学习模型中毒防御方法 | |
| CN111882525A (zh) | 一种基于lbp水印特征和细粒度识别的图像翻拍检测方法 | |
| CN113468954B (zh) | 基于多通道下局部区域特征的人脸伪造检测方法 | |
| CN114842524A (zh) | 一种基于不规则显著性像素簇的人脸鉴伪方法 | |
| Jolly et al. | CNN based deep learning model for deepfake detection | |
| Wang et al. | An audio-visual attention based multimodal network for fake talking face videos detection | |
| CN117079354A (zh) | 一种基于噪声不一致性的深度伪造检测分类和定位方法 | |
| Patrikar et al. | Comprehensive study on image forgery techniques using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |