CN111291863B - 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备 - Google Patents

换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备 Download PDF

Info

Publication number
CN111291863B
CN111291863B CN202010067470.5A CN202010067470A CN111291863B CN 111291863 B CN111291863 B CN 111291863B CN 202010067470 A CN202010067470 A CN 202010067470A CN 111291863 B CN111291863 B CN 111291863B
Authority
CN
China
Prior art keywords
face
sample
image
changing
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010067470.5A
Other languages
English (en)
Other versions
CN111291863A (zh
Inventor
叶泽雄
蒋进
肖万鹏
鞠奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010067470.5A priority Critical patent/CN111291863B/zh
Publication of CN111291863A publication Critical patent/CN111291863A/zh
Application granted granted Critical
Publication of CN111291863B publication Critical patent/CN111291863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备，属于计算机技术领域，涉及人工智能和计算机视觉技术。本申请在训练换脸鉴别模型时，将同一样本对象的未换脸脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，并基于模型针对样本图像组生成的损失值调整换脸鉴别模型的参数。由于同一样本对象的未换脸脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像的面部主要特征的学习，更注重未换脸脸部样本图像和换脸脸部样本图像的差异特征，可以减少模型在训练过程中的抖动，加快模型的收敛速度，提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。

Description

换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备。
背景技术
脸部识别技术可以通过分析比较脸部视觉特征信息进行身份鉴别，随着脸部识别技术的不断提高，脸部识别技术在多个领域得到广泛应用。
同时，随着图像处理技术的不断发展，可以通过制图工具或其它图像处理方法对图像中的脸部区域进行处理，将第一对象的脸部替换为第二对象的脸部。例如，利用Deepfake换脸技术就可以将图像或视频中的两个人的脸部进行互换。经过处理后的脸部图像给脸部识别技术带来了新的挑战，也使本来可以作为法律证据的视频的真实性遭受质疑。
相关技术中，一般通过判断视频中人物的表情是否自然、人物是否眨眼等方式对视频中的脸部进行真假鉴别。但是，随着换脸技术的不断优化，经过换脸技术得到的视频中人物的表情更加自然，换脸后的人物也具有眨眼等自然动作。采用现有的脸部识别方法区分待鉴别的脸部图像是否为经过换脸的脸部图像，其准确率较低。
发明内容
为解决现有存在的技术问题，本申请实施例提供一种换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备，可以提高换脸鉴别模型的鉴别准确率，还可以加快模型的训练速度。
为达到上述目的，本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种换脸鉴别模型的训练方法，包括：
获取至少一个样本图像组；所述样本图像组中包括同一样本对象的至少一张未换脸脸部样本图像和至少一张换脸脸部样本图像，所述换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是未换脸脸部样本图像或换脸脸部样本图像；
将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为未换脸脸部样本图像或换脸脸部样本图像；
分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
第二方面，本申请实施例提供一种换脸鉴别方法，包括：
获取待鉴别的脸部图像；
通过已训练的换脸鉴别模型，确定所述脸部图像是否为未换脸脸部图像；所述换脸鉴别模型是基于样本图像组训练得到的，所述样本图像组中包括同一样本对象的至少一张未换脸脸部样本图像和至少一张换脸脸部样本图像，所述换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像。
第三方面，本申请实施例提供一种换脸鉴别模型的训练装置，包括：
样本获取单元，用于获取至少一个样本图像组；所述样本图像组中包括同一样本对象的至少一张未换脸脸部样本图像和至少一张换脸脸部样本图像，所述换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是未换脸脸部样本图像或换脸脸部样本图像；
训练单元，用于将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为未换脸脸部样本图像或换脸脸部样本图像；以及分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
参数调整单元，用于根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
在一种可选的实施例中，所述样本图像组中包括第一样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为采用第一样本对象的脸部替换第二样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为采用第二样本对象的脸部替换第一样本对象的脸部得到的图像。
在一种可选的实施例中，所述训练单元，还用于：
将所述样本图像组中同一样本对象的未换脸脸部样本图像和换脸脸部样本图像间隔地输入换脸鉴别模型。
在一种可选的实施例中，所述换脸鉴别模型包括特征提取网络和分类网络；所述训练单元，还用于：
对于样本图像组中的每张脸部样本图像，将所述脸部样本图像输入特征提取网络，得到所述脸部样本图像的脸部特征；
将所述脸部样本图像的脸部特征输入分类网络，得到所述脸部样本图像的鉴别结果。
第四方面，本申请实施例提供一种换脸鉴别装置，包括：
图像获取单元，用于获取待鉴别的脸部图像；
鉴别单元，用于通过已训练的换脸鉴别模型，确定所述脸部图像是否为未换脸脸部图像；所述换脸鉴别模型是基于样本图像组训练得到的，所述样本图像组中包括同一样本对象的至少一张未换脸脸部样本图像和至少一张换脸脸部样本图像，所述换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像。
在一种可选的实施例中，所述换脸鉴别模型包括特征提取网络和分类网络；所述鉴别单元，还用于：
通过所述特征提取网络对所述脸部图像进行特征提取，得到所述脸部图像的脸部特征；
将所述脸部图像的脸部特征输入所述分类网络，根据所述分类网络的输出确定所述脸部图像为未换脸脸部图像或换脸脸部图像。
在一种可选的实施例中，所述图像获取单元，还用于：
获取待鉴别视频；
对所述待视频中每一图像帧进行脸部定位检测，得到脸部定位结果；
根据脸部定位结果从所述图像帧中截取包含脸部区域的图像，并将经截取得到的脸部区域的图像作为待鉴别的脸部图像。
在一种可选的实施例中，所述换脸鉴别装置还包括模型训练单元，用于：
获取至少一个样本图像组；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是真实脸部样本图像或换脸脸部样本图像；
将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为真实脸部样本图像或换脸脸部样本图像；
分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
第五方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现第一方面的换脸鉴别模型的训练方法或第二方面的换脸鉴别方法。
第六方面，本申请实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现第一方面的换脸鉴别模型的训练方法或第二方面的换脸鉴别方法。
本申请实施例的换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备，在训练换脸鉴别模型时，将同一样本对象的未换脸脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，并基于模型针对样本图像组生成的损失值调整换脸鉴别模型的参数。由于同一样本对象的未换脸脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像的面部主要特征的学习，更注重未换脸脸部样本图像和换脸脸部样本图像的差异特征，可以减少模型在训练过程中的抖动，加快模型的收敛速度，并且由于更注重未换脸脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一种获取样本图像组的示意图；
图2为真实脸部图像与换脸脸部图像的示意图；
图3为本申请实施例提供的一种换脸鉴别模型的训练方法的流程示意图；
图4为本申请实施例提供的一种获取样本图像组的示意图；
图5为本申请实施例提供的另一种获取样本图像组的示意图；
图6为本申请实施例提供的另一种获取样本图像组的示意图；
图7为本申请实施例提供的一种换脸鉴别方法的流程示意图；
图8为本申请实施例提供的一种换脸鉴别模型的训练装置的结构示意图；
图9为本申请实施例提供的一种换脸鉴别装置的结构示意图；
图10为本申请实施例提供的另一种换脸鉴别装置的结构示意图；
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
为了解决现有的脸部识别方法在区分脸部图像是否为经过换脸的脸部图像时，准确率较低的问题，本申请实施例提供了一种换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备。本申请实施例涉及人工智能(Artificial Intelligence,AI)和机器学习技术，基于人工智能中的计算机视觉(Computer Vision,CV)技术和机器学习(Machine Learning,ML)而设计。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步，人工智能在多个领域展开研究和应用，例如常见的智能家居、图像检索、视频监控、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗等，相信随着技术的发展，人工智能将在更多的领域得到应用，并发挥越来越重要的价值。
计算机视觉技术是人工智能的重要应用，其研究相关的理论和技术，试图建立能够从图像、视频或者多维数据中获取信息，以代替人的视觉判读的人工智能系统。典型的计算机视觉技术通常包括图像处理和视频分析。本申请实施例提供的换脸鉴别方法属于图像处理的一种方法。
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。本申请实施例采用了基于机器学习或深度学习的换脸鉴别模型根据对多个样本对象的未换脸脸部样本图像和换脸脸部样本图像的差异特征进行学习，以达到区分未换脸脸部样本图像和换脸脸部样本图像的目的。其中，未换脸脸部样本图像指采用摄像装置实际拍摄的真实的脸部图像，下文中称为真实脸部样本图像。
在对一般的分类模型进行训练时，随机打乱正负样本，可以避免邻近样本都是属于同一个类别，同时可以提升训练过程中样本的丰富度，往往可以提高训练效果。
但是，在对换脸鉴别模型进行训练时，如果随机打乱获取的样本数据集中的正负样本，反而更不利于对模型进行训练。其中，正样本指未经换脸处理的真实脸部样本图像，负样本指经换脸处理的换脸脸部样本图像。更具体地说，由于真实脸部样本图像与换脸脸部样本图像通过肉眼基本不可区分，仅是在噪声、伪影等弱特征上具有可区分性，如果随机打乱正负样本，则换脸鉴别模型在学习真假特征差异时，更容易学习到五官关键点等面部主要特征和背景特征等差异更明显的特征信息，而忽略噪声、伪影等弱特征，因此得到的换脸鉴别模型的鉴别效果并不好。
例如，采用A、B、C、D等A-Z的26个字母分别代表26个样本对象的真实脸部样本图像，AB代表采用样本对象A的脸部替换样本对象B的脸部得到的换脸脸部样本图像，BA代表采用样本对象B的脸部替换样本对象A的脸部得到的换脸脸部样本图像。如图1所示，如果从样本数据集中完全随机地抽取正负样本组成样本图像组batch1、batch2等，同一样本图像组中的训练样本往往由不同样本对象的真实脸部样本图像和换脸脸部样本图像组成。例如，样本图像组batch1由样本对象A与样本对象B换脸得到的换脸脸部样本图像AB、样本对象C的真实脸部样本图像、样本对象E的真实脸部样本图像以及样本对象F与样本对象M换脸得到的换脸脸部样本图像FM组成。样本图像组batch2由样本对象D的真实脸部样本图像、样本对象J与样本对象K换脸得到的换脸脸部样本图像JK、样本对象N的真实脸部样本图像以及样本对象G与样本对象H换脸得到的换脸脸部样本图像GH组成。图1中类别标签“1”表示该脸部样本图像为换脸脸部样本图像，类别标签“0”表示该脸部样本图像为真实脸部样本图像。
由于同一样本图像组中的脸部样本图像的面部主要特征及背景特征的差异性较大，而相较之下，真实脸部样本图像与换脸脸部样本图像之间的噪声、伪影等特征之间的差异显得十分微弱。采用图1所示的样本图像组对换脸鉴别模型进行训练时，基于换脸鉴别模型针对该结构的样本图像组生成的损失值，对换脸鉴别模型的参数进行调整，容易导致模型抖动，收敛速度慢且收敛效果差。
本申请实施例将同一样本对象的真实脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，并基于模型针对样本图像组生成的损失值调整换脸鉴别模型的参数。同一样本对象的真实脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，例如，图2示出了样本对象A和样本对象B的真实脸部样本图像，以及采用样本对象A的脸部替换样本对象B的脸部得到的换脸脸部样本图像AB和采用样本对象B的脸部替换样本对象A的脸部得到的换脸脸部样本图像BA。由图2可以看出，样本对象A的真实脸部样本图像与其换脸脸部样本图像AB之间的脸部差异性很小，肉眼基本无法区分，样本对象B的真实脸部样本图像与其换脸脸部样本图像BA之间的脸部差异性也很小。
由于同一样本对象的真实脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像的面部主要特征的学习，更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以减少在训练过程中模型的抖动，加快模型的收敛速度，并且由于更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
采用本申请实施例提供的换脸鉴别模型，可以对待鉴别图像中的脸部是否为真实脸部图像，还可以用于鉴别待鉴别视频的真实性，辅助确定作为法律证据的视频的有效性。
图3示出了本申请实施例提供的换脸鉴别模型的训练方法的流程示意图，本方案可以应用服务器或者终端，服务器可以是用于进行脸部鉴别或模型训练的服务器。本实施例以该方法应用在服务器中举例进行说明。如图3所示，该训练方法可以包括如下步骤：
步骤S301，获取样本图像组。
服务器获取样本数据集，样本数据集中包括多张不同样本对象的真实脸部样本图像和换脸脸部样本图像，样本数据集可以采用通过网络收集的样本集，也可以是在日常收集的真实脸部样本图像和换脸脸部样本图像。在构建样本数据集时，可以获取多张不同样本对象的真实脸部样本图像，采用换脸技术对不同样本对象的真实脸部样本图像进行换脸，得到换脸脸部样本图像。每张脸部样本图像均标注有类别标签，类别标签用于指示该脸部样本图像是真实脸部样本图像或换脸脸部样本图像。
例如，样本对象A的真实脸部样本图像，以下称为脸部样本图像A，其类别标签为“0”，表示脸部样本图像A为真实脸部样本图像。脸部样本图像AB的类别标签为“1”，表示脸部样本图像AB为换脸脸部样本图像。
服务器从样本数据集中抽取至少两张脸部样本图像组成样本图像组。样本图像组中包括同一样本对象的至少一张真实脸部样本图像和至少一张换脸脸部样本图像。其中，换脸脸部样本图像为采用该样本对象的脸部替换其他对象的脸部得到的图像。
在一个实施例中，服务器获取多张不同样本对象的真实脸部样本图像，得到样本数据集，从样本数据集中抽取两张包含不同样本对象的真实脸部样本图像，对抽取到的两张真实脸部样本图像进行脸部特征互换，得到至少一张换脸脸部样本图像。例如，可以采用Deepfake换脸技术将两张真实脸部样本图像进行脸部特征互换，得到换脸脸部样本图像。以抽取到的两张真实脸部样本图像和至少一张换脸脸部样本图像组成一个样本图像组。
步骤S302，将样本图像组中的脸部样本图像输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果。
服务器将样本图像组中的脸部样本图像均输入待训练的换脸鉴别模型，也可以将样本图像组中的脸部样本图像先后输入换脸鉴别模型，得到每张脸部样本图像的鉴别结果。脸部样本图像的鉴别结果用于指示该脸部样本图像为真实脸部样本图像或换脸脸部样本图像。
可选地，上述换脸鉴别模型可以采用卷积网络实现，其网络结构可以是但不限于VGG、ResNet、ShuffleNet、InceptionNet等网络结构。
在一种可选的实施例中，换脸鉴别模型可以包括特征提取网络和分类网络。特征提取网络用于提取脸部样本图像的脸部特征。分类网络用于基于脸部样本图像的脸部特征，将脸部样本图像分类，确定该脸部样本图像属于真实脸部样本图像还是换脸脸部样本图像。将样本图像组中的脸部样本图像输入特征提取网络，得到脸部样本图像的脸部特征，将脸部样本图像的脸部特征输入分类网络，得到脸部样本图像的鉴别结果。鉴别结果可以是该脸部样本图像属于真实脸部样本图像的概率以及该脸部样本图像属于换脸脸部样本图像的概率。
示例性地，特征提取网络可以采用全卷积神经网络(Fully ConvolutionalNeuron networks，FCN)实现。全卷积神经网络可以包括至少一个卷积层和至少一个池化层。卷积层和池化层可以间隔设置，即相邻的池化层之间可以设置一个或多个卷积层。每个卷积层包括一个或多个用于从输入的脸部样本图像中提取特征信息的卷积核，用卷积核按照一定的步长遍历脸部样本图像的像素矩阵，得到至少一个特征值，由至少一个特征值组成卷积特征图。池化层用于将卷积层输出的卷积特征图进行降维处理，最后一个池化层输出从脸部样本图像中提取的脸部特征。
特征提取网络的每个卷积层可以包括多个神经元，不同的神经元用于提取脸部样本图像的不同位置的特征。
特征提取网络也可以包括残差网络和FPN(Feature Pyramid Networks，特征金字塔网络)。残差网络包括多个特征提取层，特征金字塔网络包括对应的多个网络层。通过残差网络的多个特征提取层，输出多个尺寸的特征响应图，将多个尺寸的特征响应图对应输入特征金字塔网络的多个网络层，通过自下而上的特征融合，可以得到多个尺寸的特征图。
例如，残差网络的每个特征提取层可以将输入的特征响应图缩小至原来的1/2。特征金字塔网络的每个网络层可以将输入的特征图放大至原来的2倍。
采用残差网络和特征金字塔网络，可以获取脸部样本图像的多个不同尺寸的特征图，感受野的变化范围也较大，可以用于检测不同尺寸的脸部图像。其中，感受野又可称为接收野，被定义为卷积神经网络特征所能看到输入图像的区域，也可理解为特征图上的一个点对应输入图像上的区域。采用残差网络和特征金字塔网络，具有多种感受野，能够对不同大小的脸部图像进行检测。
示例性地，分类网络可以包括至少一个全连接层，用于进行分类。全连接层之后可以采用Softmax等激活函数来输出分类的概率。分类网络可以输出脸部样本图像属于真实脸部样本图像的概率以及脸部样本图像属于换脸脸部样本图像的概率。分类网络可以采用SVM(Support Vector Machine，支持向量机)分类器实现。SVM分类器是一种线性分类器，主要用于二分类，SVM分类器可以基于输入的脸部样本图像的脸部特征确定脸部样本图像属于真实脸部样本图像还是换脸脸部样本图像。
步骤S303，根据脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值。
损失值是综合考虑样本图像组内的每一张脸部样本图像的鉴别结果与类别标签之间的距离得到的。服务器可以采用预设的损失函数计算损失值，损失函数可以采用交叉熵损失函数，例如Sigmoid函数。通常，损失值是判定实际的输出与期望的输出的接近程度。损失值越小，说明实际的输出越接近期望的输出。
步骤S304，判断损失值是否收敛至预设的期望值；如果是，执行步骤S306；如果否，执行步骤S305。
服务器判断损失值是否收敛至预设的期望值，即是否小于或等于预设的期望值，如果是，说明损失值收敛；如果否，说明损失值尚未收敛。
步骤S305，根据损失值对换脸鉴别模型的参数进行调整。
如果损失值尚未收敛，服务器可以采用反向传播算法，根据损失值调整换脸鉴别模型的参数，然后返回步骤S301继续抽取脸部样本图像组成样本图像组，对换脸鉴别模型继续进行训练。
步骤S306，将当前参数作为换脸鉴别模型的参数，获得已训练的换脸鉴别模型。
在一种实施例中，一个样本图像组中可以包括同一样本对象的一张真实脸部样本图像和一张换脸脸部样本图像，该换脸脸部样本图像为采用该样本对象的脸部替换其他对象的脸部得到的图像。例如，如图4所示，样本图像组b1中包括样本对象A的一张真实脸部样本图像和一张换脸脸部样本图像AB，其中，AB代表采用样本对象A的脸部替换样本对象B的脸部得到图像。样本图像组b2中包括样本对象E的一张真实脸部样本图像和一张换脸脸部样本图像ED，其中，ED代表采用样本对象E的脸部替换样本对象D的脸部得到图像。样本图像组b3中包括样本对象C的一张真实脸部样本图像和一张换脸脸部样本图像CJ，其中，CJ代表采用样本对象C的脸部替换样本对象J的脸部得到图像。
在上述实施例中，一个样本图像组中可以包括同一样本对象的一张真实脸部样本图像和一张换脸脸部样本图像，由于同一样本对象的真实脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像的面部主要特征的学习，更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以减少在训练过程中模型的抖动，加快模型的收敛速度，并且由于更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
为了使换脸鉴别模型更专注于学习真实脸部样本图像与换脸脸部样本图像之间的细微差异，在一些实施例中，如果样本图像组中的脸部样本图像包括脸部区域和背景区域，同一样本对象的真实脸部样本图像与换脸脸部样本图像的背景区域的图像可以相同。
在另一种实施例中，样本图像组中包括第一样本对象的一张真实脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的一张真实脸部样本图像和一张换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为采用第一样本对象的脸部替换第二样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为采用第二样本对象的脸部替换第一样本对象的脸部得到的图像。
例如，如图5所示，样本图像组b1中包括样本对象F的一张真实脸部样本图像和样本对象E的一张真实脸部样本图像，以及样本对象F和样本对象E的换脸脸部样本图像FE和EF。样本图像组b2中包括样本对象A的一张真实脸部样本图像和样本对象B的一张真实脸部样本图像，以及样本对象A和样本对象B的换脸脸部样本图像AB和BA。样本图像组b3中包括样本对象C的一张真实脸部样本图像和样本对象D的一张真实脸部样本图像，以及样本对象C和样本对象D的换脸脸部样本图像CD和DC。
在上述实施例中，一个样本图像组中包括第一样本对象的一张真实脸部样本图像、第二样本对象的一张真实脸部样本图像以及第一样本对象与第二样本对象相互换脸后得到的换脸脸部样本图像。同一样本图像组中的脸部样本图像具有较高的关联性，在训练过程中，能最小化同一样本图像组中的脸部样本图像在背景特征、面部特征等信息上的差异，使得换脸鉴别模型可以更专注于学习真实脸部样本图像和换脸脸部样本图像之间的差异特征，加快模型的收敛速度，提升模型的鉴别准确率。
可选地，根据训练设备的计算能力，可以将多个样本图像组的脸部样本图像组成一批训练图像，输入换脸鉴别模型对模型进行训练。
服务器在将样本图像组的脸部样本图像输入待训练的换脸鉴别模型时，可以将样本图像组中的真实脸部样本图像和换脸脸部样本图像间隔地输入换脸鉴别模型，以使真实脸部样本图像与换脸脸部样本图像之间的对比更明显。
在另一种实施例中，样本图像组中可以包括同一样本对象的一张真实脸部样本图像和两张换脸脸部样本图像。其中，两张换脸脸部样本图像分别为采用该样本对象的脸部替换其他两个不同对象的脸部得到的图像。例如，如图6所示，样本图像组b1中包括样本对象A的一张真实脸部样本图像和两张换脸脸部样本图像AB和AC，其中，换脸脸部样本图像AB为采用样本对象A的脸部替换样本对象B的脸部得到的图像，换脸脸部样本图像AC为采用样本对象A的脸部替换样本对象C的脸部得到的图像。样本图像组b2中包括样本对象B的一张真实脸部样本图像和两张换脸脸部样本图像BF和BE，其中，换脸脸部样本图像BF为采用样本对象B的脸部替换样本对象F的脸部得到的图像，换脸脸部样本图像BE为采用样本对象B的脸部替换样本对象E的脸部得到的图像。样本图像组b3中包括样本对象C的一张真实脸部样本图像和两张换脸脸部样本图像CD和CK，其中，换脸脸部样本图像CD为采用样本对象C的脸部替换样本对象D的脸部得到的图像，换脸脸部样本图像CK为采用样本对象C的脸部替换样本对象K的脸部得到的图像。
一个样本图像组中包括同一样本对象的一张真实脸部样本图像和两张换脸脸部样本图像，可以更突出真实脸部样本图像与换脸脸部样本图像之间的差异特征，使换脸鉴别模型更容易学习到图像间的差异特征，收敛速度更快。
在另一种实施例中，样本图像组中可以包括同一样本对象的两张真实脸部样本图像和一张换脸脸部样本图像。此时，训练换脸鉴别模型所使用的损失函数可以采用TripletLoss(三元组损失)函数，其中的三元可以理解为锚、正样本和负样本，即可以将样本对象A的一张真实脸部样本图像作为锚，样本对象A的另一张真实脸部样本图像作为正样本，样本对象A的一张换脸脸部样本图像作为负样本，对换脸鉴别模型进行训练，训练的目的是使正样本与锚之间的距离最小，而负样本与锚之间的距离最大。
采用与训练数据集相同的测试集，或者另外获取测试集，分别对随机排序训练得到的换脸鉴别模型与采用本申请实施例提供的训练方法得到的换脸鉴别模型进行测试，可以得出，相对于随机排序训练得到的换脸鉴别模型，采用本申请实施例提供的训练方法得到的换脸鉴别模型的鉴别准确率提升了10％以上。
与上述实施例属于同一发明构思，本申请实施例还提供了一种换脸鉴别方法，如图7所示，该方法包括如下步骤：
步骤S701，获取待鉴别的脸部图像。
待鉴别的脸部图像可以是预先存储在服务器中的或通过数据传输获得的设定格式的图片，设定格式可以包括但不限于JPEG格式、PNG格式、BMP格式或者GIF格式等。待鉴别的脸部图像还可以是待鉴别视频中的图像帧。
待鉴别的脸部图像还可以是从待鉴别视频的任一图像帧中分割出的包含脸部区域的图像，待鉴别的脸部图像可以是仅包含脸部或者头部的图像。例如，服务器可以从待鉴别视频的任一图像帧中去掉背景区域，分割出仅包含脸部或头部的图像，作为待鉴别的脸部图像。
具体地，当需要鉴别某一段视频的真实性时，服务器获取待鉴别视频，从待鉴别视频中抽取一个或多个图像帧，对抽取的每个图像帧进行脸部定位检测，得到脸部定位结果。例如，服务器可以对每个图像帧进行五官关键点的位置定位，确定每个图像帧中脸部所在的位置，作为脸部定位结果。利用图像分割方法，根据脸部定位结果从图像帧中截取包含脸部区域的图像，并将经截取得到的脸部区域的图像作为待鉴别的脸部图像。
采用从待鉴别视频的任一图像帧中分割出的包含脸部区域的图像，可以减少背景区域对换脸鉴别模型的影响，使换脸鉴别模型可以输出更准确的鉴别结果。
步骤S702，通过已训练的换脸鉴别模型，确定待鉴别的脸部图像是否为真实脸部图像。
其中，换脸鉴别模型是基于样本图像组训练得到的，样本图像组中包括同一样本对象的至少一张真实脸部样本图像和至少一张换脸脸部样本图像，换脸脸部样本图像为采用上述样本对象的脸部替换其他对象的脸部得到的图像。
在一种实施例中，换脸鉴别模型可以包括特征提取网络和分类网络。服务器可以通过特征提取网络对脸部图像进行特征提取，得到脸部图像的脸部特征。服务器将脸部图像的脸部特征输入分类网络，根据分类网络的输出确定脸部图像为真实脸部图像或换脸脸部图像。
换脸鉴别模型的具体训练过程可以参照上述训练方法的实施例实现，在此不再赘述。
本申请实施例提供的换脸鉴别方法，采用换脸鉴别模型对待鉴别图像中的脸部是否为真实脸部图像，可以用于鉴别待鉴别视频的真实性，辅助确定作为法律证据的视频的有效性。由于在训练换脸鉴别模型时，将同一样本对象的真实脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，可以减少模型在训练过程中的抖动，加快模型的收敛速度，并且由于更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
与上述换脸鉴别模型的训练方法的实施例相对应地，本申请实施例还提供了换脸鉴别模型的训练装置，训练得到的换脸鉴别模型可以应用于上述换脸鉴别方法的实施例中。图8为本申请实施例的提供的换脸鉴别模型的训练装置的结构示意图；如图8所示，该换脸鉴别模型的训练装置包括样本获取单元81、训练单元82和参数调整单元83。其中，
样本获取单元，用于获取至少一个样本图像组；所述样本图像组中包括同一样本对象的至少一张真实脸部样本图像和至少一张换脸脸部样本图像，所述换脸脸部样本图像为采用第二样本对象的脸部替换第一样本对象的脸部得到的图像；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是真实脸部样本图像或换脸脸部样本图像；
训练单元，用于将样本图像组中的脸部样本图像输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为真实脸部样本图像或换脸脸部样本图像；以及根据脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
参数调整单元，用于根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
在一种可选的实施例中，所述样本图像组中包括第一样本对象的一张真实脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的一张真实脸部样本图像和一张换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为采用第一样本对象的脸部替换第二样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为采用第二样本对象的脸部替换第一样本对象的脸部得到的图像。
在一种可选的实施例中，所述样本图像组中包括同一样本对象的一张真实脸部样本图像和两张换脸脸部样本图像；或者，所述样本图像组中包括同一样本对象的两张真实脸部样本图像和一张换脸脸部样本图像。
在一种可选的实施例中，所述换脸鉴别模型包括特征提取网络和分类网络；所述训练单元82，还可以用于：
将样本图像组中的脸部样本图像输入特征提取网络，得到脸部样本图像的脸部特征；
将脸部样本图像的脸部特征输入分类网络，得到脸部样本图像的鉴别结果。
本申请实施例的换脸鉴别模型的训练装置，在训练换脸鉴别模型时，将同一样本对象的真实脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，并基于模型针对样本图像组生成的损失值调整换脸鉴别模型的参数。由于同一样本对象的真实脸部样本图像与换脸脸部样本图像的面部主要特征差异很小，因此可以使模型在调整参数时，弱化对图像的面部主要特征的学习，更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以减少模型在训练过程中的抖动，加快模型的收敛速度，并且由于更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
与上述换脸鉴别方法的实施例相对应地，本申请实施例还提供了一种换脸鉴别装置。图9为本申请实施例的提供的换脸鉴别装置的结构示意图；如图9所示，该换脸鉴别装置包括图像获取单元91和鉴别单元92。其中，
图像获取单元91，用于获取待鉴别的脸部图像；
鉴别单元92，用于通过已训练的换脸鉴别模型，确定脸部图像是否为真实脸部图像；换脸鉴别模型是基于样本图像组训练得到的，样本图像组中包括同一样本对象的至少一张真实脸部样本图像和至少一张换脸脸部样本图像，换脸脸部样本图像为采用第二样本对象的脸部替换第一样本对象的脸部得到的图像。
在一种可选的实施例中，换脸鉴别模型包括特征提取网络和分类网络；鉴别单元92，还用于：
通过特征提取网络对脸部图像进行特征提取，得到脸部图像的脸部特征图；
将脸部图像的脸部特征输入分类网络，根据分类网络的输出确定脸部图像为真实脸部图像或换脸脸部图像。
在一种可选的实施例中，图像获取单元91，还可以用于：
从待鉴别视频的任一图像帧中分割出包含脸部区域的图像作为待鉴别的脸部图像。
在一种可选的实施例中，如图10所示，换脸鉴别装置还包括模型训练单元93，用于：
获取至少一个样本图像组；样本图像组中的每张脸部样本图像均标注有类别标签，类别标签用于指示脸部样本图像是真实脸部样本图像或换脸脸部样本图像；
将样本图像组中的脸部样本图像输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，鉴别结果用于指示脸部样本图像为真实脸部样本图像或换脸脸部样本图像；
根据脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
根据损失值对待训练的换脸鉴别模型的参数进行调整，直至损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
本申请实施例提供的换脸鉴别装置，采用换脸鉴别模型对待鉴别图像中的脸部是否为真实脸部图像，可以用于鉴别待鉴别视频的真实性，辅助确定作为法律证据的视频的有效性。由于在训练换脸鉴别模型时，将同一样本对象的真实脸部样本图像和换脸脸部样本图像包含在一个样本图像组中，对换脸鉴别模型进行训练，可以减少模型在训练过程中的抖动，加快模型的收敛速度，并且由于更注重真实脸部样本图像和换脸脸部样本图像的差异特征，可以提高换脸鉴别模型在对脸部图像进行鉴别时的鉴别准确率。
与上述方法实施例相对应地，本申请实施例还提供了一种电子设备。该电子设备可以是服务器，也可以是移动终端或计算机等电子设备，该电子设备至少包括用于存储数据的存储器和用于数据处理的处理器。其中，对于用于数据处理的处理器而言，在执行处理时，可以采用微处理器、CPU、GPU(Graphics Processing Unit，图形处理单元)、DSP或FPGA实现。对于存储器来说，存储器中存储有操作指令，该操作指令可以为计算机可执行代码，通过该操作指令来实现上述本申请实施例的脸部识别方法或分类模型的训练方法的流程中的各个步骤。
图11为本申请实施例提供的一种电子设备的结构示意图；如图11所示，本申请实施例中该电子设备110包括：处理器111、显示器112、存储器113、输入设备116、总线115和通讯模块114；该处理器111、存储器113、输入设备116、显示器112和通讯模块114均通过总线115连接，该总线115用于该处理器111、存储器113、显示器112、通讯模块114和输入设备116之间传输数据。
其中，存储器113可用于存储软件程序以及模块，如本申请实施例中的脸部识别方法或分类模型的训练方法对应的程序指令/模块，处理器111通过运行存储在存储器133中的软件程序以及模块，从而执行电子设备110的各种功能应用以及数据处理，如本申请实施例提供的脸部识别方法。存储器113可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个应用的应用程序等；存储数据区可存储根据电子设备110的使用所创建的数据(比如待鉴别图像、训练好的网络模型等相关数据)等。此外，存储器113可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器111是电子设备110的控制中心，利用总线115以及各种接口和线路连接整个电子设备110的各个部分，通过运行或执行存储在存储器113内的软件程序和/或模块，以及调用存储在存储器113内的数据，执行电子设备110的各种功能和处理数据。可选的，处理器111可包括一个或多个处理单元，如CPU、GPU(Graphics Processing Unit，图形处理单元)、数字处理单元等。
本申请实施例中，处理器111将换脸鉴别的结果通过显示器112展示给用户。
处理器111还可以通过通讯模块114连接网络，获取待鉴别图像等。
该输入设备116主要用于获得用户的输入操作，当该电子设备不同时，该输入设备116也可能不同。例如，当该电子设备为计算机时，该输入设备116可以为鼠标、键盘等输入设备；当该电子设备为智能手机、平板电脑等便携设备时，该输入设备116可以为触控屏。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所述的换脸鉴别模型的训练方法。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有计算机可执行指令，该计算机可执行指令用于实现本申请任一实施例所述的换脸鉴别方法。
在一些可能的实施方式中，本申请提供的换脸鉴别方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的换脸鉴别方法的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (11)

1.一种换脸鉴别模型的训练方法，其特征在于，所述训练方法包括：
获取至少一个样本图像组；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是未换脸脸部样本图像或换脸脸部样本图像；所述样本图像组中包括第一样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的未换脸脸部样本图像和换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为将第二样本对象的脸部换脸为第一样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像；
将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为未换脸脸部样本图像或换脸脸部样本图像；
分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
2.根据权利要求1所述的训练方法，其特征在于，所述将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，包括：
将所述样本图像组中同一样本对象的未换脸脸部样本图像和换脸脸部样本图像间隔地输入待训练的换脸鉴别模型。
3.根据权利要求1所述的训练方法，其特征在于，所述换脸鉴别模型包括特征提取网络和分类网络；所述将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，包括：
对于样本图像组中的每张脸部样本图像，将所述脸部样本图像输入特征提取网络，得到所述脸部样本图像的脸部特征；
将所述脸部样本图像的脸部特征输入分类网络，得到所述脸部样本图像的鉴别结果。
4.一种换脸鉴别方法，其特征在于，包括：
获取待鉴别的脸部图像；
通过已训练的换脸鉴别模型，确定所述脸部图像是否为未换脸脸部图像；所述换脸鉴别模型是基于样本图像组训练得到的，所述样本图像组中包括第一样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的未换脸脸部样本图像和换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为将第二样本对象的脸部换脸为第一样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像。
5.根据权利要求4所述的方法，其特征在于，所述换脸鉴别模型包括特征提取网络和分类网络；通过已训练的换脸鉴别模型，对所述脸部图像进行真假鉴别，包括：
通过所述特征提取网络对所述脸部图像进行特征提取，得到所述脸部图像的脸部特征；
将所述脸部图像的脸部特征输入所述分类网络，根据所述分类网络的输出确定所述脸部图像为未换脸脸部图像或换脸脸部图像。
6.根据权利要求4所述的方法，其特征在于，所述获取待鉴别的脸部图像，包括：
获取待鉴别视频；
对所述待鉴别视频中任意一个图像帧进行脸部定位检测，得到脸部定位结果；
根据脸部定位结果从所述图像帧中截取包含脸部区域的图像，并将经截取得到的脸部区域的图像作为待鉴别的脸部图像。
7.根据权利要求4～6中任一项所述的方法，其特征在于，所述换脸鉴别模型的训练过程，包括：
获取至少一个样本图像组；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是未换脸脸部样本图像或换脸脸部样本图像；
将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为未换脸脸部样本图像或换脸脸部样本图像；
分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
8.一种换脸鉴别模型的训练装置，其特征在于，所述训练装置包括：
样本获取单元，用于获取至少一个样本图像组；所述样本图像组中的每张脸部样本图像均标注有类别标签，所述类别标签用于指示所述脸部样本图像是未换脸脸部样本图像或换脸脸部样本图像；所述样本图像组中包括第一样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的未换脸脸部样本图像和换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为将第二样本对象的脸部换脸为第一样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像；
训练单元，用于将样本图像组中的脸部样本图像分别输入待训练的换脸鉴别模型，得到脸部样本图像的鉴别结果，所述鉴别结果用于指示所述脸部样本图像为未换脸脸部样本图像或换脸脸部样本图像；以及分别根据每张脸部样本图像的鉴别结果与该脸部样本图像的类别标签，确定损失值；
参数调整单元，用于根据损失值对待训练的换脸鉴别模型的参数进行调整，直至所述损失值收敛至预设的期望值为止，得到已训练的换脸鉴别模型。
9.一种换脸鉴别装置，其特征在于，包括：
图像获取单元，用于获取待鉴别的脸部图像；
鉴别单元，用于通过已训练的换脸鉴别模型，确定所述脸部图像是否为未换脸脸部图像；所述换脸鉴别模型是基于样本图像组训练得到的，所述样本图像组中包括第一样本对象的一张未换脸脸部样本图像和一张换脸脸部样本图像，以及第二样本对象的未换脸脸部样本图像和换脸脸部样本图像；其中，第一样本对象的换脸脸部样本图像为将第二样本对象的脸部换脸为第一样本对象的脸部得到的图像，第二样本对象的换脸脸部样本图像为将第一样本对象的脸部换脸为第二样本对象的脸部得到的图像。
10.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现权利要求1～3任一项或权利要求4～7任一项所述的方法。
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现权利要求1～3任一项或权利要求4～7任一项所述的方法。
CN202010067470.5A 2020-01-20 2020-01-20 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备 Active CN111291863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067470.5A CN111291863B (zh) 2020-01-20 2020-01-20 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067470.5A CN111291863B (zh) 2020-01-20 2020-01-20 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备

Publications (2)

Publication Number Publication Date
CN111291863A CN111291863A (zh) 2020-06-16
CN111291863B true CN111291863B (zh) 2022-11-08

Family

ID=71027220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067470.5A Active CN111291863B (zh) 2020-01-20 2020-01-20 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备

Country Status (1)

Country Link
CN (1) CN111291863B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112070662B (zh) * 2020-11-12 2021-02-26 北京达佳互联信息技术有限公司 一种换脸模型的评价方法、装置、电子设备及存储介质
CN113255575B (zh) * 2021-06-17 2024-03-29 深圳市商汤科技有限公司 一种神经网络训练方法、装置、计算机设备及存储介质
CN113344777B (zh) * 2021-08-02 2021-10-15 中国科学院自动化研究所 基于三维人脸分解的换脸与重演方法及装置
CN114360034A (zh) * 2022-03-18 2022-04-15 武汉大学 基于三胞胎网络的深度伪造人脸检测方法、系统及设备
CN115063868A (zh) * 2022-07-01 2022-09-16 公安部第三研究所 一种基于深度学习的人脸深度伪造鉴定方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344709A (zh) * 2018-08-29 2019-02-15 中国科学院信息工程研究所 一种人脸生成伪造图像的检测方法
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344709A (zh) * 2018-08-29 2019-02-15 中国科学院信息工程研究所 一种人脸生成伪造图像的检测方法
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术（北京）有限公司 人脸图像的检测方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
How to Detect Facial Manipulation Image Using CNN;Dou Goodman，et al.;《HITB GSEC 2019》;20200115;全文 *

Also Published As

Publication number Publication date
CN111291863A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN111291863B (zh) 换脸鉴别模型的训练方法、换脸鉴别方法、装置和设备
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Yuan et al. Fingerprint liveness detection using an improved CNN with image scale equalization
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
CN111126346A (zh) 脸部识别方法、分类模型的训练方法、装置和存储介质
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN112131978A (zh) 一种视频分类方法、装置、电子设备和存储介质
WO2014210334A1 (en) Machine learning enchanced by human measurements
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN114693624B (zh) 一种图像检测方法、装置、设备及可读存储介质
CN107832721B (zh) 用于输出信息的方法和装置
CN111753602A (zh) 动作识别方法和装置、电子设备、存储介质
CN113254491A (zh) 一种信息推荐的方法、装置、计算机设备及存储介质
CN110837777A (zh) 基于改进VGG-Net的部分遮挡的人脸表情识别方法
US20240212392A1 (en) Determining inconsistency of local motion to detect edited video
CN115188031A (zh) 指纹识别方法、计算机程序产品、存储介质及电子设备
Tejaswi et al. Proctor net: An AI framework for suspicious activity detection in online proctored examinations
CN110046576A (zh) 一种训练识别面部表情的方法和装置
CN112749686A (zh) 图像检测方法、装置、计算机设备及存储介质
Arigbabu et al. Gender recognition on real world faces based on shape representation and neural network
CN116959123A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN111898473B (zh) 一种基于深度学习的司机状态实时监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40023601

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant