CN112116592B - 图像检测方法、图像检测模型的训练方法、装置和介质 - Google Patents
图像检测方法、图像检测模型的训练方法、装置和介质 Download PDFInfo
- Publication number
- CN112116592B CN112116592B CN202011308101.7A CN202011308101A CN112116592B CN 112116592 B CN112116592 B CN 112116592B CN 202011308101 A CN202011308101 A CN 202011308101A CN 112116592 B CN112116592 B CN 112116592B
- Authority
- CN
- China
- Prior art keywords
- image
- training
- detection model
- type
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 455
- 238000001514 detection method Methods 0.000 title claims abstract description 225
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000006870 function Effects 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000002372 labelling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005242 forging Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明的实施方式提供了一种图像检测方法、图像检测模型的训练方法、装置和介质。该图像检测模型的训练方法包括:获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。本发明能够基于获取到的训练数据集进行训练,进而可以通过训练后的训练数据集对伪造类型检测模型进行更加深入的训练,以使训练之后的伪造类型检测模型可以更加准确地识别出伪造的图像,甚至能识别伪造图像的伪造类型,提升了识别伪造图像的准确性和全面性。
Description
技术领域
本发明的实施方式涉及图像处理技术领域,更具体地,本发明的实施方式涉及一种图像检测方法、图像检测模型的训练方法、装置和介质。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
近年来,随着深度伪造(Deep Fake)技术的发展,在视频网站以及社交媒体等网络中出现了越来越多通过人脸替换生成新图像的情况,对他人的肖像权造成了侵犯。
目前,现有技术仅能对真实图像和深度伪造图像进行识别。在实践中发现,对于不同类型的深度伪造图像,最终造成的事件性质与舆论影响不尽相同,然而,现有技术无法对深度伪造图像进行更深层次的检测,从而导致对于深度伪造图像的分析不够准确。
发明内容
在本上下文中,本发明的实施方式期望提供一种图像检测方法、图像检测模型的训练方法、装置和介质。
在本发明实施方式的第一方面中,提供了一种图像检测模型的训练方法,包括:
获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;
基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。
在本实施方式的一个实施例中,所述方法还包括:
利用卷积神经网络模型提取各个训练图像的图像特征;
以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
在本实施方式的一个实施例中,其中,所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签。
在本实施方式的一个实施例中,其中,所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集;
所述获取训练数据集,包括:
将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;
将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集。
在本实施方式的一个实施例中,其中,所述利用卷积神经网络模型提取各个训练图像的图像特征;以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪,包括:
利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
在本实施方式的一个实施例中,其中,所述基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型,包括:
基于所述第二训练数据集构建三元组;
基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
在本实施方式的一个实施例中,其中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。
在本实施方式的一个实施例中,其中,所述基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型,包括:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
在本发明实施方式的第二方面中,提供了一种图像检测方法,采用第一方面中任一项所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,所述图像检测方法包括:
通过预设方式获取伪造图像;
采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
在本实施方式的一个实施例中,所述图像检测模型还包括图像真伪检测模型,所述通过预设方式获取伪造图像,包括:
获取待检测图像;
采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
在本发明实施方式的第三方面中,提供了一种图像检测模型的训练装置,包括:
第一获取单元,用于获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;
训练单元,用于基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。
在本实施方式的一个实施例中,所述装置还包括:
提取单元,用于利用卷积神经网络模型提取各个训练图像的图像特征;以及以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
在本实施方式的一个实施例中,所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签。
在本实施方式的一个实施例中,所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集;
所述第一获取单元包括:
第一添加子单元,用于将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;
第二添加子单元,用于将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集。
在本实施方式的一个实施例中,所述提取单元包括:
提取子单元,用于利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
第一训练子单元,用于通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
在本实施方式的一个实施例中,所述训练单元包括:
构建子单元,用于基于所述第二训练数据集构建三元组;
第二训练子单元,用于基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
在本实施方式的一个实施例中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。
在本实施方式的一个实施例中,所述第二训练子单元基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型的方式具体为:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
在本发明实施方式的第四方面中,提供了一种图像检测装置,采用第三方面中任一项所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,所述图像检测方法包括:
第二获取单元,用于通过预设方式获取伪造图像;
确定单元,用于采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
在本实施方式的一个实施例中,所述图像检测模型还包括图像真伪检测模型,第二获取单元包括:
获取子单元,用于获取待检测图像;
检测子单元,用于采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
在本发明实施方式的第五方面中,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序在被处理器执行时能够实现第一方面和/或第二方面中任一项所述的方法。
在本发明实施方式的第六方面中,提供了一种计算设备,包括第五方面所述的存储介质。
根据本发明实施方式的图像检测方法、图像检测模型的训练方法、装置和介质,能够基于获取到的训练数据集进行训练,进而可以通过训练后的训练数据集对伪造类型检测模型进行更加深入的训练,以使训练之后的伪造类型检测模型可以更加准确地识别出伪造的图像,甚至能够识别出伪造图像的伪造类型,提升了识别伪造图像的准确性和全面性。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1为本发明一实施例提供的图像检测模型的训练方法的流程示意图;
图2为本发明另一实施例提供的图像检测模型的训练方法的流程示意图;
图3为本发明一实施例提供的图像检测方法的流程示意图;
图4为本发明另一实施例提供的图像检测方法的流程示意图;
图5为本发明一实施例提供的图像检测模型的训练装置的结构示意图;
图6为本发明一实施例提供的图像检测装置的结构示意图;
图7示意性地示出了本发明实施例的一种计算机可读存储介质的结构示意图;
图8示意性地示出了本发明实施例的一种计算设备的结构示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种图像检测方法、图像检测模型的训练方法、装置和介质。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
示例性方法
下面参考图1,图1为本发明一实施例提供的图像检测模型的训练方法的流程示意图。需要注意的是,本发明的实施方式可以应用于适用的任何场景。
图1所示的本发明一实施例提供的图像检测模型的训练方法的流程100,包括:
步骤S110,获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;
步骤S120,基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。
本申请中提出的图像检测模型的训练方法所针对的是基于深度学习算法在在视频网站、社交媒体等网络环境中,训练图像检测模型对利用深度伪造技术伪造出的伪造图像进行识别方法,除了对伪造图像进行识别之外,还可以对伪造视频等多媒体信息进行识别,对此,本申请不做限定。
本发明的上述技术能够基于获取到的训练数据集进行训练,进而可以通过训练后的训练数据集对伪造类型检测模型进行更加深入的训练,以使训练之后的伪造类型检测模型可以更加准确地识别出伪造的图像,甚至能够识别伪造图像的伪造类型,提升了识别伪造图像的准确性和全面性。
下面结合附图说明如何提升识别伪造图像的准确性和全面性:
其中,执行图像检测模型的训练方法的设备可以为服务器、服务设备等,对此,本发明不做限定。训练数据集中可以包含海量的训练图像,训练图像可以包含真实的图像和伪造的图像,本发明的技术方案尤其适用于深度伪造图像的检测,每一训练图像可以对应标记其所属分类的标签,训练图像的分类可以根据图像的真伪性来划分,更进一步可以对真实类别的图像进行更加深入的划分,例如,真实图像可以分为真实人物图像类型、真实风景图像类型等;此外,还可以对伪造类别的图像进行更加深入的划分,例如,伪造图像可以分为全脸合成伪造类型、人脸替换伪造类型、表情替换伪造类型或者面部编辑伪造类型等,其中,全脸合成伪造类型对应的图像可以为利用深度学习算法,创造完全不存在的人脸;人脸替换伪造类型对应的图像可以为利用深度学习算法,将图像中一个人脸替换成另外一个人脸;表情替换伪造类型对应的图像可以为利用深度学习算法,篡改图像中人物的表情、嘴型等;面部编辑伪造类型对应的图像可以为利用深度学习算法,篡改图像中人物的面部的特征,如头发和皮肤的颜色、性别、年龄、增加眼镜等。
此外,一个训练图像可能同时对应多种类型,因此,每一训练图像对应标记其所属分类的标签也可以为多个,例如,当训练图像为伪造的图像时,该训练图像可以为伪造类别的图像,更进一步,该训练图像还可以为面部编辑伪造类型的图像,因此,该训练图像对应的类型可以为伪造类别以及面部编辑伪造类型,可见,该训练图像可以同时标记伪造类别的标签以及面部编辑伪造类型的标签。
本发明实施例中,可以基于该训练数据集对伪造类型检测模型进行训练,以实现从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大的目标。由于两个图像的特征距离越小表示两个图像越相似,因此,标记有相同标签的训练图像的图像类型相同,因此标记有相同标签的训练图像的特征距离也应最小;标记有不同标签的训练图像的图像类型不同,因此标记有不同标签的训练图像的特征距离也应最大。
请参阅图2,图2为本发明另一实施例提供的图像检测模型的训练方法的流程示意图,图2所示的本发明另一实施例提供的图像检测模型的训练方法的流程200包括:
步骤S210,将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;且所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签。
实施上述的步骤S210,可以确定训练图像的图像类别包含真实类别和伪造类别,更进一步可以确定伪造类别包含的不同伪造类型,进而可以对给每一个训练图像标记其图像类别或者图像类型对应的标签,以使训练图像的类型能够更加容易获取,降低了对训练图像的图像类别的错误识别率。
其中,第一训练数据集可以用于训练图像真伪检测模型,因此第一训练数据集中的训练图像的标签可以只标记真实类别的标签或者伪造类别的标签,只需要使图像真伪检测模型能够对识别的训练图像的图像类别进行验证。
此外,伪造类别可以包含多种伪造类型,伪造类型可以包括但不限于全脸合成伪造类型、人脸替换伪造类型、表情替换伪造类型或者面部编辑伪造类型等,其中,不同的伪造类型对应的图像的来源可以有多种方式。
举例来说,真实类别的图像的标签可以记为0。
全脸合成伪造类型对应的图像的来源主要是以生成对抗网络为代表,典型的包含ProGAN、StyleGAN、StyleGAN2、Big-GAN等,全脸合成伪造类型对应的图像可以采用上述开源算法生成,全脸合成伪造类型对应的图像的标签可以记为1。
人脸替换伪造类型对应的图像的来源主要有两大类,一类是基于生成对抗网络,一类是基于图形学,人脸替换伪造类型对应的图像需要包含这两种方法的换脸图像,人脸替换伪造类型对应的图像的标签可以记为2。
表情替换伪造类型对应的图像通常包含生成对抗网络和图形学方法。表情替换指的是人脸身份不变,表情或者唇形受别的操纵视频控制。表情替换伪造类型对应的图像有三类来源,一是开源公开数据集,比如Face2Face、NeuralTexture,二是开源的或者自己实现的算法,比如First Order Motion Model,三是网上各大视频社区的表情替换视频。表情替换伪造类型对应的图像的标签可以记为3。
面部编辑伪造类型对应的图像可以包含婴儿滤镜、老年滤镜、瘦脸、双眼皮编辑、添加眼镜、直发卷发编辑、鹰鼻编辑等等内容,包含范围较广,实现技术各异,而且也有大量的娱乐类APP。收集面部编辑伪造类型对应的图像的主要渠道是,以使用APP生成为主,下载试用相关APP,自己生成数据,第二种渠道是收集网络上的视频,清洗归类,第三种渠道积累相关算法,自己生成。面部编辑标签可以记为4。
步骤S220,将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集;所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集。
实施上述的步骤S210~步骤S220,可以根据图像的类别或类型不同构建出两个作用不同的训练数据集,以使基于不同的训练数据集训练的模型能够达到更好的训练效果。
其中,第二训练数据集可以用于训练伪造类型检测模型,因此,第二训练数据集中只需要添加伪造类别对应的训练图像即可,由于伪造类别可以包含多种伪造类型,因此,需要对不同伪造类型对应的图像标记有不同的标签。
步骤S230,利用卷积神经网络模型提取各个训练图像的图像特征;以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
实施上述的步骤S230,可以通过卷积神经网络从训练图像中提取出图像的图像特征,以使提取出的图像特征较为准确,还可以基于提取出的图像特征对图像真伪检测模型进行训练,以使图像真伪检测模型可以更加准确地识别出图像特征趋近于0的真实图像,还可以基于提取到的真实图像中的图像特征的特定部分更加趋近于0,从而确定所有图像的这部分图像特征为用于判断图像真伪的伪造信号,或者还可以基于识别出的伪造图像的图像特征确定其中某些部分更加无法趋近于0,并将其作为伪造信号,从而既能够提升图像真伪检测模型的检测结果准确性,还能够提升确认伪造信号的准确性。
其中,由于真实类别的图像标注的标签可以为0,伪造类别的图像标注的标签可以不为0,因此,对图像真伪检测模型进行训练时,需要使通过卷积神经网络提取出的真实类别的图像对应的图像特征尽可能的趋近于0,以使图像真伪检测模型识别出的真实类别的图像的准确率更高。如果图像真伪检测模型通过卷积神经网络提取出的图像特征不趋近于0,即该图像特征对应的训练图像为伪造类别的图像,因此,可以认为该图像特征是有意义的图像特征,进而可以将有意义的图像特征作为伪造信号。
此外,标签可以为提前通过人为设置的标签,因此可以对标签设置其他数值,并且可以对标签对应的数值规定对应的意义。且可以利用深度学习的卷积神经网络提取图像的特征,以真实类别的图像特征趋于0为目标,不断地训练卷积神经网络,在最终目标最优的时候,可以得到对真伪有显著影响的图像特征,该图像特征可以认为是有意义的图像特征。
作为一种可选的实施方式,步骤S230,利用卷积神经网络模型提取各个训练图像的图像特征;以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪的方式具体可以包括以下步骤:
利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
可见,实施上述实施方式,在卷积神经网络将训练图像的图像特征提取出来之后,可以通过第一损失函数对训练图像中的真实类别的图像进行约束,进而可以更加准确地对图像真伪检测模型进行训练。
本发明实施例中,第一损失函数可以为:
其中,N live 可以为当前训练图像的数量,C i 可以为真实类别的训练图像的伪造信号(通过卷积神经网络提取),| |1表示L1距离,该第一损失函数的意义是使真实类别的训练图像的伪造信号C i 趋近于0。
步骤S240,基于所述第二训练数据集构建三元组;
步骤S250,基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
实施上述的步骤S240~步骤S250,可以基于第二训练数据集中的训练图像构建三元组,进而基于三元组以及度量学习的方式对伪造类型检测模型进行训练,以使伪造类型检测模型识别出的伪造图像的伪造类型更加准确。
其中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。可以从第二训练数据集中确定三元组中的三种训练图像,且确定的三种训练图像对应的标签不完全相同,从而提升了基于三元组训练伪造类型检测模型的效果。
其中,基于第二训练数据集可以构建三元组(a i , n i ,p i ),a i 是第二训练数据集中标记有任意伪造类型的标签的图像,n i 表示与a i 的标签不同的图像,p i 表示与a i 标签相同的图像。此外,度量学习是可以作用于卷积神经网络提取的图像中间层特征。
作为一种可选的实施方式,步骤S250,基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型的方式具体可以为:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
可见,实施上述实施方式,可以通过第二损失函数以及L2距离度量函数对伪造类型检测模型进行训练,以使伪造类型检测模型识别出的相同标签的训练图像的特征距离最小和/或识别出的不通过标签的训练图像的特征距离最大,从而提升伪造类型检测模型的训练效果。
本发明实施例中,第二损失函数可以为:
其中,T是三元组的数量,m是一个可调节的常数,d是距离度量函数,损失函数L可以促使相同标签的图像特征尽可能的接近,不同标签的图像特征尽可能的远离,但与的之间特征距离和a i 与n i 之间的特征距离有一个最小的间隔m。m的作用是平衡训练难度和训练效果之间的关系,当m较小时,训练时L比较容易趋向于0,a i 与p i 的之间距离和a i 与n i 之间的距离间隔比较小,会降低L所起的作用;当m较大时,L比较大,a i 与p i 的之间距离和a i 与n i 之间的距离间隔会拉得比较大,但伴随的问题是比较训练难收敛,甚至会发散,导致训练不成功。一般情况下,m先选取一个比较小的值,比如0.5或者1,当发现可以稳定训练时,逐步增大m,当发现训练发散时,适当减小m。
此外,距离度量函数d可以为L2距离度量函数,具体L2距离度量函数的公式可以为
实施本发明实施例,可以使训练图像的类型能够更加容易获取,降低了对训练图像的图像类别的错误识别率;还可以使基于不同的训练数据集训练的模型能够达到更好的训练效果;还可以提升图像真伪检测模型的检测结果准确性,以及能够提升确认伪造信号的准确性;此外,还可以更加准确地对图像真伪检测模型进行训练;还可以使伪造类型检测模型识别出的伪造图像的伪造类型更加准确;还可以提升伪造类型检测模型的训练效果。
请参阅图3,图3为本发明一实施例提供的图像检测方法的流程示意图,图3所示的图像检测方法可以采用图1或图2中任一项所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,其中,图3所示的本发明一实施例提供的图像检测方法的流程300包括:
步骤S310,通过预设方式获取伪造图像;
步骤S320,采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
本发明的上述技术能够基于训练后的图像检测模型以及图像检测模型的伪造类型检测模型对获取到的图像进行伪造类型识别,从而是的识别得到的伪造图像对应的类型更加准确。
其中,获取伪造图像的预设方式可以为通过接收用户输入的伪造图像,还可以为根据用户输入的指令,从指令中包含的地址获取到伪造图像,对此,本发明实施例不做限定。
请参阅图4,图4为本发明另一实施例提供的图像检测方法的流程示意图,其中,图4所示的图像检测方法中的所述图像检测模型还包括图像真伪检测模型,图4所示的本发明另一实施例提供的图像检测方法的流程400包括:
步骤S410,获取待检测图像;
步骤S420,采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
实施上述的步骤S410~步骤S420,可以通过预先进行训练的图像检测模型对获取到的图像进行真伪性检测,以使在判断伪造图像的伪造类型之前可以确定该图像确实为伪造图像,避免出现输出真实图像的伪造类型的情况,提高了伪造图像的伪造类型识别的准确性。
步骤S430,采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
示例性装置
在介绍了本发明示例性实施方式的方法之后,接下来,参考图5对本发明示例性实施方式的一种图像检测模型的训练装置进行说明,该装置包括:
第一获取单元501,用于获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;
训练单元502,用于基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。
本发明的上述技术能够基于获取到的训练数据集进行训练,进而可以通过训练后的训练数据集对伪造类型检测模型进行更加深入的训练,以使训练之后的伪造类型检测模型可以更加准确地识别出伪造的图像,甚至能够识别伪造图像的伪造类型,提升了识别伪造图像的准确性和全面性。
其中,所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签。可以确定训练图像的图像类别包含真实类别和伪造类别,更进一步可以确定伪造类别包含的不同伪造类型,进而可以对给每一个训练图像标记其图像类别或者图像类型对应的标签,以使训练图像的类型能够更加容易获取,降低了对训练图像的图像类别的错误识别率。
作为一种可选的实施方式,该装置还可以包括:
提取单元,用于利用卷积神经网络模型提取各个训练图像的图像特征;以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
其中,实施这种实施方式,可以通过卷积神经网络从训练图像中提取出图像的图像特征,以使提取出的图像特征较为准确,还可以基于提取出的图像特征对图像真伪检测模型进行训练,以使图像真伪检测模型可以更加准确地识别出图像特征趋近于0的真实图像,还可以基于识别出的伪造图像的图像特征确定伪造信号,从而既能够提升图像真伪检测模型的检测结果准确性,还能够提升确认伪造信号的准确性。
作为一种可选的实施方式,所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集;
该装置的第一获取单元501还可以包括:
第一添加子单元,用于将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;
第二添加子单元,用于将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集。
其中,实施这种实施方式,可以根据图像的类别或类型不同构建出两个作用不同的训练数据集,以使基于不同的训练数据集训练的模型能够达到更好的训练效果。
作为一种可选的实施方式,该装置的提取单元还可以包括:
提取子单元,用于利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
第一训练子单元,用于通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪。
其中,实施这种实施方式,在卷积神经网络将训练图像的图像特征提取出来之后,可以通过第一损失函数对训练图像中的真实类别的图像进行约束,进而可以更加准确地对图像真伪检测模型进行训练。
作为一种可选的实施方式,该装置的训练单元502还可以包括:
构建子单元,用于基于所述第二训练数据集构建三元组;
第二训练子单元,用于基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
其中,实施这种实施方式,可以基于第二训练数据集中的训练图像构建三元组,进而基于三元组以及度量学习的方式对伪造类型检测模型进行训练,以使伪造类型检测模型识别出的伪造图像的伪造类型更加准确。
其中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。可以从第二训练数据集中确定三元组中的三种训练图像,且确定的三种训练图像对应的标签不完全相同,从而提升了基于三元组训练伪造类型检测模型的效果。
作为一种可选的实施方式,所述第二训练子单元基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型的方式具体可以为:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
其中,实施这种实施方式,可以通过第二损失函数以及L2距离度量函数对伪造类型检测模型进行训练,以使伪造类型检测模型识别出的相同标签的训练图像的特征距离最小和/或识别出的不通过标签的训练图像的特征距离最大,从而提升伪造类型检测模型的训练效果。
请参阅图6,图6为本发明一实施例提供的图像检测装置的结构示意图,图6所示的图像检测装置可以采用图5所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,其中,该装置包括:
第二获取单元601,用于通过预设方式获取伪造图像;
确定单元602,用于采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
本发明的上述技术能够基于训练后的图像检测模型以及图像检测模型的伪造类型检测模型对获取到的图像进行伪造类型识别,从而是的识别得到的伪造图像对应的类型更加准确。
作为一种可选的实施方式,所述图像检测模型还包括图像真伪检测模型,该装置的第二获取单元601可以包括:
获取子单元,用于获取待检测图像;
检测子单元,用于采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
其中,实施这种实施方式,可以通过预先进行训练的图像检测模型对获取到的图像进行真伪性检测,以使在判断伪造图像的伪造类型之前可以确定该图像确实为伪造图像,避免出现输出真实图像的伪造类型的情况,提高了伪造图像的伪造类型识别的准确性。
示例性介质
在介绍了本发明示例性实施方式的方法和装置之后,接下来,参考图7对本发明示例性实施方式的计算机可读存储介质进行说明,请参考图7,其示出的计算机可读存储介质为光盘70,其上存储有计算机程序(即程序产品),所述计算机程序在被处理器运行时,会实现上述方法实施方式中所记载的各步骤,例如,获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型;各步骤的具体实现方式在此不再重复说明。
需要说明的是,所述计算机可读存储介质的例子还可以包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质,在此不再一一赘述。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后,接下来,参考图对本发明示例性实施方式的用于模型处理的计算设备。
图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图,该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算设备80的组件可以包括但不限于:一个或者多个处理器或者处理单元801,系统存储器802,连接不同系统组件(包括系统存储器802和处理单元801)的总线803。
计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器802可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,ROM8023可以用于读写不可移动的、非易失性磁介质(图8中未显示,通常称为“硬盘驱动器”)。尽管未在图8中示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块8024的程序/实用工具8025,可以存储在例如系统存储器802中,且这样的程序模块8024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。
计算设备80也可以与一个或多个外部设备804(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且,计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图8所示,网络适配器806通过总线803与计算设备80的其它模块(如处理单元801等)通信。应当明白,尽管图8中未示出,可以结合计算设备80使用其它硬件和/或软件模块。
处理单元801通过运行存储在系统存储器802中的程序,从而执行各种功能应用以及数据处理,例如,获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型。各步骤的具体实现方式在此不再重复说明。应当注意,尽管在上文详细描述中提及了图像检测模型的训练装置和图像检测模型的若干单元/模块或子单元/子模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
Claims (12)
1.一种图像检测模型的训练方法,包括:
获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签;
基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型;
其中,所述方法还包括:
利用卷积神经网络模型提取各个训练图像的图像特征,其中,所述真实类别的训练图像的图像特征为0,所述伪造类别的训练图像的图像特征不为0,所述伪造类型的训练图像为深度伪造图像;
以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中不趋近于0的特定部分为伪造信号来判断图像的真伪;
其中,所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集;
所述获取训练数据集,包括:
将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;
将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集;
其中,利用卷积神经网络模型提取各个训练图像的图像特征;以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪,包括:
利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪;
其中,基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型,包括:
基于所述第二训练数据集构建三元组;
基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
2.根据权利要求1所述的图像检测模型的训练方法,其中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。
3.根据权利要求2所述的图像检测模型的训练方法,其中,基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型,包括:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
4.一种图像检测方法,采用权利要求1-3中任一项所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,所述图像检测方法包括:
通过预设方式获取伪造图像;
采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
5.根据权利要求4所述的图像检测方法,其中,所述图像检测模型还包括图像真伪检测模型,通过预设方式获取伪造图像,包括:
获取待检测图像;
采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
6.一种图像检测模型的训练装置,包括:
第一获取单元,用于获取训练数据集,其中,所述训练数据集中包括多种训练图像,每一训练图像对应标记其所属分类的标签;所述训练图像的图像类别至少包括真实类别和伪造类别,所述伪造类别包含多种伪造类型,所述每一训练图像对应标记其所属图像类别的标签,所述伪造类别对应的每一训练图像对应标记其所属伪造类型的标签;
训练单元,用于基于所述训练数据集,以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练伪造类型检测模型;
其中,所述装置还包括:
提取单元,用于利用卷积神经网络模型提取各个训练图像的图像特征,其中,真实类别的训练图像的图像特征为0,伪造类别的训练图像的图像特征不为0,所述伪造类型的训练图像为深度伪造图像;以及
以使真实图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中不趋近于0的特定部分为伪造信号来判断图像的真伪;
其中,所述训练数据集至少包括所述图像真伪检测模型的第一训练数据集和所述伪造类型检测模型的第二训练数据集;
所述第一获取单元包括:
第一添加子单元,用于将标记所述真实类别的标签的训练图像以及标记所述伪造类别的标签的训练图像添加至所述第一训练数据集;
第二添加子单元,用于将标记所述伪造类型的标签的训练图像添加至所述第二训练数据集;
其中,所述提取单元包括:
提取子单元,用于利用卷积神经网络模型从所述第一训练数据集中提取各个训练图像的图像特征;
第一训练子单元,用于通过第一损失函数对所述真实类别对应的训练图像的图像特征进行约束,以使所述真实类别对应的训练图像的图像特征趋于0为目标训练图像真伪检测模型,其中,训练完成的图像真伪检测模型将以某个图像的图像特征中的特定部分为伪造信号来判断图像的真伪;
其中,所述训练单元包括:
构建子单元,用于基于所述第二训练数据集构建三元组;
第二训练子单元,用于基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
7.根据权利要求6所述的图像检测模型的训练装置,其中,每一所述三元组中包括三种训练图像,其中,第一种训练图像为标记有任意伪造类型的标签的图像,第二种训练图像与第一种训练图像标记有不同的标签,第三种训练图像与第一种训练图像标记有相同的标签。
8.根据权利要求7所述的图像检测模型的训练装置,其中,所述第二训练子单元基于所述三元组,采用度量学习的方式以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型的方式具体为:
基于所述三元组,采用第二损失函数以及L2距离度量函数以使从标记相同标签的多个训练图像中提取到的特征距离最小,和/或从标记不同标签的多个训练图像中提取到的特征距离最大为目标训练所述伪造类型检测模型。
9.一种图像检测装置,采用权利要求6-8中任一项所述的图像检测模型对图像进行检测,所述图像检测模型至少包括伪造类型检测模型,所述图像检测方法包括:
第二获取单元,用于通过预设方式获取伪造图像;
确定单元,用于采用伪造类型检测模型对所述伪造图像进行伪造类型检测,确定所述伪造图像的伪造类型。
10.根据权利要求9所述的图像检测装置,其中,所述图像检测模型还包括图像真伪检测模型,第二获取单元包括:
获取子单元,用于获取待检测图像;
检测子单元,用于采用图像真伪检测模型对待检测图像的真伪性进行检测,以得到伪造图像。
11.一种存储有程序的存储介质,其中,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-5中的任一项所述的图像检测模型的训练方法。
12.一种计算设备,包括如权利要求11所述的存储介质。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011308101.7A CN112116592B (zh) | 2020-11-19 | 2020-11-19 | 图像检测方法、图像检测模型的训练方法、装置和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011308101.7A CN112116592B (zh) | 2020-11-19 | 2020-11-19 | 图像检测方法、图像检测模型的训练方法、装置和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112116592A CN112116592A (zh) | 2020-12-22 |
CN112116592B true CN112116592B (zh) | 2021-04-02 |
Family
ID=73794492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011308101.7A Active CN112116592B (zh) | 2020-11-19 | 2020-11-19 | 图像检测方法、图像检测模型的训练方法、装置和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116592B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818767B (zh) * | 2021-01-18 | 2023-07-25 | 深圳市商汤科技有限公司 | 数据集生成、伪造检测方法、装置、电子设备及存储介质 |
CN114793300A (zh) * | 2021-01-25 | 2022-07-26 | 天津大学 | 一种基于生成对抗网络的虚拟视频客服机器人合成方法和系统 |
CN113807281B (zh) * | 2021-09-23 | 2024-03-29 | 深圳信息职业技术学院 | 图像检测模型的生成方法、检测方法、终端及存储介质 |
CN118379668B (zh) * | 2024-06-24 | 2024-09-17 | 中国科学技术大学 | 针对时间伪造的定位分析方法、系统、设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
CN108776786A (zh) * | 2018-06-04 | 2018-11-09 | 北京京东金融科技控股有限公司 | 用于生成用户真伪识别模型的方法和装置 |
CN110458185A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技(深圳)有限公司 | 图像识别方法及装置、存储介质、计算机设备 |
US20200160502A1 (en) * | 2018-11-16 | 2020-05-21 | Artificial Intelligence Foundation, Inc. | Identification of Neural-Network-Generated Fake Images |
CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
CN111738373A (zh) * | 2020-08-28 | 2020-10-02 | 北京瑞莱智慧科技有限公司 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
CN111753919A (zh) * | 2020-06-30 | 2020-10-09 | 江南大学 | 一种基于对抗网络的图像设计作品抄袭检测方法 |
CN111768336A (zh) * | 2020-07-09 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 人脸图像处理方法、装置、计算机设备和存储介质 |
CN111899251A (zh) * | 2020-08-06 | 2020-11-06 | 中国科学院深圳先进技术研究院 | 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法 |
-
2020
- 2020-11-19 CN CN202011308101.7A patent/CN112116592B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107423690A (zh) * | 2017-06-26 | 2017-12-01 | 广东工业大学 | 一种人脸识别方法及装置 |
CN108776786A (zh) * | 2018-06-04 | 2018-11-09 | 北京京东金融科技控股有限公司 | 用于生成用户真伪识别模型的方法和装置 |
US20200160502A1 (en) * | 2018-11-16 | 2020-05-21 | Artificial Intelligence Foundation, Inc. | Identification of Neural-Network-Generated Fake Images |
CN110458185A (zh) * | 2019-06-26 | 2019-11-15 | 平安科技(深圳)有限公司 | 图像识别方法及装置、存储介质、计算机设备 |
CN111368342A (zh) * | 2020-03-13 | 2020-07-03 | 众安信息技术服务有限公司 | 图像篡改识别模型训练方法、图像篡改识别方法及装置 |
CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技(深圳)有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
CN111753919A (zh) * | 2020-06-30 | 2020-10-09 | 江南大学 | 一种基于对抗网络的图像设计作品抄袭检测方法 |
CN111768336A (zh) * | 2020-07-09 | 2020-10-13 | 腾讯科技(深圳)有限公司 | 人脸图像处理方法、装置、计算机设备和存储介质 |
CN111899251A (zh) * | 2020-08-06 | 2020-11-06 | 中国科学院深圳先进技术研究院 | 一种区分伪造来源和目标区域的copy-move型伪造图像检测方法 |
CN111738373A (zh) * | 2020-08-28 | 2020-10-02 | 北京瑞莱智慧科技有限公司 | 多样本对抗扰动生成方法、装置、存储介质和计算设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112116592A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112116592B (zh) | 图像检测方法、图像检测模型的训练方法、装置和介质 | |
CN109583468B (zh) | 训练样本获取方法,样本预测方法及对应装置 | |
CN111898642B (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
CN114258559A (zh) | 用于标识具有不受控制的光照条件的图像中的肤色的技术 | |
CN103383732B (zh) | 图像处理方法和装置 | |
JP5287333B2 (ja) | 年令推定装置 | |
EP4085369A1 (en) | Forgery detection of face image | |
CN111914633B (zh) | 基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用 | |
Katzman et al. | Taxonomizing and measuring representational harms: A look at image tagging | |
JP6969663B2 (ja) | ユーザの撮影装置を識別する装置及び方法 | |
CN112435137B (zh) | 一种基于社团挖掘的欺诈信息检测方法及系统 | |
US11816923B2 (en) | Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium | |
CN113128619B (zh) | 伪造样本检测模型的训练方法、伪造样本识别方法、装置、介质和设备 | |
US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
US20230409467A1 (en) | System and Method for User Interface Testing | |
CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
CN113918471A (zh) | 测试用例的处理方法、装置及计算机可读存储介质 | |
Çiftçi et al. | Deepfake source detection in a heart beat | |
JP6713422B2 (ja) | 学習装置、イベント検出装置、学習方法、イベント検出方法、プログラム | |
Zhang et al. | A self-occlusion detection approach based on depth image using SVM | |
CN110880023A (zh) | 一种检测证件图片的方法及装置 | |
JP2014032605A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
KR102348368B1 (ko) | 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
CN110348361A (zh) | 皮肤纹理图像验证方法、电子设备及记录介质 | |
JP7540500B2 (ja) | グループ特定装置、グループ特定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20201222 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: Beijing Ruili Wisdom Technology Co.,Ltd. Contract record no.: X2023110000073 Denomination of invention: Image detection methods, training methods, devices, and media for image detection models Granted publication date: 20210402 License type: Common License Record date: 20230531 |
|
EE01 | Entry into force of recordation of patent licensing contract |