CN112036356A - 视频检测方法、装置、设备及存储介质 - Google Patents
视频检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112036356A CN112036356A CN202010942808.7A CN202010942808A CN112036356A CN 112036356 A CN112036356 A CN 112036356A CN 202010942808 A CN202010942808 A CN 202010942808A CN 112036356 A CN112036356 A CN 112036356A
- Authority
- CN
- China
- Prior art keywords
- face
- identity
- feature
- video
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 151
- 230000001815 facial effect Effects 0.000 claims abstract description 134
- 238000013528 artificial neural network Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 abstract description 32
- 238000012545 processing Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 16
- 241001465754 Metazoa Species 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本公开关于一种视频检测方法、装置、设备及存储介质。其中，视频检测方法包括：获取目标视频对应的脸部图像序列，脸部图像序列包括多个脸部图像；提取脸部图像中的脸部身份特征；对脸部身份特征进行波动检测，得到波动检测结果；在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。采用本公开提供的视频检测方法、装置、设备及存储介质，能够提高换脸检测结果的准确性。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频检测方法、装置、设备及存储介质。
背景技术
换脸技术是在图像或视频中替换指定对象的脸部的技术，通常采用人工智能技术将指定对象的脸部自动替换为其他对象的脸部。
以通过换脸技术合成得到的换脸视频为例，换脸视频在为人们带来娱乐的同时，也带来了一定的安全隐患。为了降低换脸视频带来的安全隐患，需要对由换脸技术所合成的换脸视频进行检测。但是，随着换脸技术的快速发展，换脸技术的合成效果变得越来越逼真，已有的检测方法已经无法准确地检测出换脸视频。
发明内容
本公开提供一种视频检测方法、装置、设备及存储介质，以至少解决相关技术中无法准确地检测出换脸视频的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频检测方法，包括：获取目标视频对应的脸部图像序列；其中，脸部图像序列包括多个脸部图像；提取脸部图像中的脸部身份特征；对脸部身份特征进行波动检测，得到波动检测结果；在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。
在其中一个实施例中，提取脸部图像中的脸部身份特征，包括：采用预先训练得到的身份特征提取模型，提取脸部图像中的所述脸部身份特征；其中，身份特征提取模型根据脸部图像样本以及脸部图像样本对应的身份标签训练得到，身份标签为脸部图像样本中的样本脸部身份特征对应的标签。
在其中一个实施例中，在采用预先训练得到的身份特征提取模型，提取脸部图像中的脸部身份特征之前，该方法还包括：获取训练样本集，训练样本集中包括多个脸部图像样本以及每个脸部图像样本对应的身份标签；将脸部图像样本输入至第一神经网络，将第一神经网络输出的样本脸部身份特征输入至第二神经网络，将身份标签作为第二神经网络的输出，利用机器学习方法，对第一神经网络和第二神经网络进行迭代训练，直至满足预设训练停止条件；将训练后的第一神经网络确定为身份特征提取模型。
在其中一个实施例中，对脸部身份特征进行波动检测，得到波动检测结果，包括：计算每个脸部身份特征与脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，得到多个特征相似度；在多个特征相似度满足预设条件的情况下，确定波动检测结果为脸部身份特征存在波动；在多个特征相似度不满足预设条件的情况下，确定波动检测结果为脸部身份特征不存在波动。
在其中一个实施例中，目标脸部图像包括脸部图像序列中与脸部身份特征所属的脸部图像后相邻的多个后相邻脸部图像，目标脸部身份特征包括多个后相邻脸部身份特征，一个后相邻脸部身份特征对应一个后相邻脸部图像；
其中，计算每个脸部身份特征与脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，包括：计算每个脸部身份特征与每个后相邻脸部身份特征之间的相似度，得到多个相似度；将每个脸部身份特征对应的多个相似度的平均值，确定为脸部身份特征对应的特征相似度。
在其中一个实施例中，预设条件包括下列中的至少一项：特征相似度中存在预设数量的目标特征相似度；其中，目标特征相似度为小于或等于第一相似度阈值的特征相似度；特征相似度的平均值小于或等于第二相似度阈值。
在其中一个实施例中，获取目标视频对应的脸部图像序列，包括：获取目标视频中的图像帧序列；其中，图像帧序列包括多个图像帧；对图像帧进行脸部检测，得到包含目标脸部的脸部图像；根据多个脸部图像，生成脸部图像序列。
在其中一个实施例中，在根据多个脸部图像，生成脸部图像序列之前，该方法还包括：对脸部图像进行对齐处理，得到对齐后的脸部图像；
其中，根据多个所述脸部图像，生成脸部图像序列，包括：根据多个对齐后的脸部图像，生成脸部图像序列。
根据本公开实施例的第二方面，提供一种视频检测装置，包括：第一获取单元，被配置为执行获取目标视频对应的脸部图像序列；其中，脸部图像序列包括多个脸部图像；特征提取单元，被配置为执行提取脸部图像中的脸部身份特征；波动检测单元，被配置为对脸部身份特征进行波动检测，得到波动检测结果；第一确定单元，被配置为在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。
在其中一个实施例中，特征提取单元被进一步配置为：采用预先训练得到的身份特征提取模型，提取脸部图像中的脸部身份特征；其中，身份特征提取模型根据脸部图像样本以及脸部图像样本对应的身份标签训练得到，身份标签为脸部图像样本中的样本脸部身份特征对应的标签。
在其中一个实施例中，该装置还包括：第二获取单元，被配置为执行获取训练样本集，训练样本集中包括多个脸部图像样本以及每个脸部图像样本对应的身份标签；模型训练单元，被配置为执行将脸部图像样本输入至第一神经网络，将第一神经网络输出的样本脸部身份特征输入至第二神经网络，将身份标签作为第二神经网络的输出，利用机器学习方法，对第一神经网络和第二神经网络进行迭代训练，直至满足预设训练停止条件；第二确定单元，被配置为执行将训练后的第一神经网络确定为身份特征提取模型。
在其中一个实施例中，波动检测单元包括：相似度计算子单元，被配置为执行计算每个脸部身份特征与脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，得到多个特征相似度；第一确定子单元，被配置为在多个特征相似度满足预设条件的情况下，确定波动检测结果为脸部身份特征存在波动；第二确定子单元，被配置为在多个特征相似度不满足预设条件的情况下，确定波动检测结果为脸部身份特征不存在波动。
在其中一个实施例中，目标脸部图像包括脸部图像序列中与脸部身份特征所属的脸部图像后相邻的多个后相邻脸部图像，目标脸部身份特征包括多个后相邻脸部身份特征，一个后相邻脸部身份特征对应一个后相邻脸部图像；
其中，相似度计算子单元包括：第一处理子单元，被配置为执行计算每个脸部身份特征与每个后相邻脸部身份特征之间的相似度，得到多个相似度；第二处理子单元，被配置为执行将每个脸部身份特征对应的多个相似度的平均值，确定为脸部身份特征对应的特征相似度。
在其中一个实施例中，预设条件包括下列中的至少一项：特征相似度中存在预设数量的目标特征相似度；其中，目标特征相似度为小于或等于第一相似度阈值的特征相似度；特征相似度的平均值小于或等于第二相似度阈值。
在其中一个实施例中，第一获取单元包括：图像获取子单元，被配置为执行获取目标视频中的图像帧序列；其中，图像帧序列包括多个图像帧；脸部检测子单元，被配置为执行对图像帧进行脸部检测，得到包含目标脸部的脸部图像；序列生成子单元，被配置为执行根据多个脸部图像，生成脸部图像序列。
在其中一个实施例中，第一获取单元还包括：脸部对齐子单元，被配置为执行对脸部图像进行对齐处理，得到对齐后的脸部图像；
其中，序列生成子单元被进一步配置为：根据多个对齐后的脸部图像，生成脸部图像序列。
根据本公开实施例的第三方面，提供一种计算设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行所述指令，以实现如第一方面所述的视频检测方法。
根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由计算设备的处理器执行时，使得计算设备能够执行如第一方面所述的视频检测方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当计算机程序产品中的指令由计算设备的处理器执行时，使得计算设备能够执行如第一方面所述的视频检测方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，能够在获取目标视频对应的脸部图像序列之后，提取脸部图像序列内的每个脸部图像中的脸部身份特征，然后对脸部身份特征进行波动检测，得到波动检测结果，由于换脸视频中的脸部身份特征的融合性存在波动，因此，在波动检测结果为脸部身份特征存在波动的情况下，可以确定目标视频为换脸视频，提高换脸检测结果的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频换脸的原理图；
图2是根据一示例性实施例示出的一种视频检测的架构图；
图3是根据一示例性实施例示出的另一种视频检测的架构图；
图4是根据一示例性实施例示出的一种视频检测方法的流程图；
图5是根据一示例性实施例示出的一种脸部图像序列获取方法的流程图；
图6是根据一示例性实施例示出的一种身份特征提取模型训练方法的流程图；
图7是根据一示例性实施例示出的一种残差网络模型的结构图；
图8是根据一示例性实施例示出的一种残差学习模块的结构图；
图9是根据一示例性实施例示出的特性相似度计算方法的流程图；
图10是根据一示例性实施例示出的一种视频检测装置的框图；
图11是根据一示例性实施例示出的一种计算设备的框图；
图12是根据一示例性实施例示出的一种用于视频检测的设备的框图；
图13是根据一示例性实施例示出的另一种用于视频检测的设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
目前，用户在录制一段视频时，为了使所录制的视频更具有趣味性，会利用换脸技术对所录制的视频进行换脸，将视频中用户本人的人脸替换成其他人的人脸。然而，在换脸视频为人们带来娱乐的同时，也带来了一定的安全隐患，例如，利用换脸视频对损害他人名誉、侵犯他人隐私等。为了降低换脸视频带来的安全隐患，需要对由换脸技术所合成的换脸视频进行检测。
图1是根据一示例性实施例示出的一种视频换脸的原理图。
如图1所示，该原理图示出了视频换脸中的深度换脸(Deepfake)的原理。一般来说，如果要将对象A的脸部替换为对象B的脸部，首先需要收集对象A和对象B的脸部图像数据，然后搭建编码(Encoder)-解码(Decoder)模型：Encoder模块A-Decoder模块A模型110和Encoder模块B-Decoder模块B模型120，并利用对象A的脸部图像数据训练Encoder模块A-Decoder模块A模型110、利用对象B的脸部图像数据训练Encoder模块B-Decoder模块B模型120，得到训练后的两个模型，最后，将训练后的两个模型中的编码模块和解码模块进行组合，得到Encoder模块A-Decoder模块B模型130。此时，将对象A的脸部图像输入Encoder模块A-Decoder模块B模型130之后，Encoder模块A-Decoder模块B模型130可以将脸部图像中的对象A的脸部替换为对象B的脸部，进而输出带有对象B的脸部的脸部图像，完成对象A至对象B的换脸过程。
基于上述的换脸过程，本公开的申请人发现：
对象A的脸部身份特征A以及光线、脸部角度、脸部表情和脸部背景等特征，构成了对象A的脸部特征A。同理，对象B的脸部身份特征B以及光线、脸部角度、脸部表情和脸部背景等特征，构成了对象B的脸部特征B。
如果要将对象A的脸部替换成对象B的脸部，Encoder模块A131的编码过程就是从包含对象A的脸部的图像中去除掉对象A的脸部身份特征A，但是保留图像中的光线、脸部角度、脸部表情和脸部背景等特征，而Decoder模块B132的解码过程就是要将对象B的脸部身份特征B加入到Encoder模块A131所保留的特征中，这样就完成对象A至对象B的换脸过程。而在Decoder模块B132的解码过程中，对象B的脸部身份特征B往往无法很好的融合，使得换脸后的视频中的一些图像中出现脸部不太像对象B的情况。
可见，虽然换脸技术的合成效果变得越来越逼真，但是在视频换脸的过程中，被加入的脸部身份特征的融合性存在波动。基于这样的问题，申请人提出了一种基于脸部身份特征波动来检测换脸视频的视频检测方法。
本公开实施例所提供的视频检测方法，可以应用于如图2和图3所示的架构中，具体结合图2和图3进行详细说明。
图2是根据一示例性实施例示出的一种视频检测的架构图。
如图2所示，该架构图中可以包括客户端的至少一个电子设备210和服务端的服务器220。其中，电子设备210可以是手机、计算机、平板设备、健身设备、个人数字助理等具有通讯功能的设备。服务器220可以使云服务器或者服务器集群等具有存储以及计算功能的设备。
基于上述的架构，用户通过电子设备210在应用程序内上传视频，或者，通过电子设备210在一些特定网络平台内上传视频时，应用程序或者网络平台的服务器220需要先检测用户所上传的视频是否为换脸视频，如果是换脸视频，则可以采取一定的安全管控措施，以降低换脸视频所带来的安全隐患。
以短视频平台为例，用户可以在短视频平台内上传视频，短视频平台的服务器可以检测用户所上传的视频是否为换脸视频，如果是换脸视频，则可以采取如屏蔽该视频或者为该视频添加“换脸”标签等的安全管控措施，以使其他浏览短视频的用户无法浏览到该视频，或者使其他浏览短视频的用户可以通过“换脸”标签明确该视频为换脸视频，以避免换脸视频为他人带来困扰，保护用户的隐私，降低因为换脸带来的潜在风险，保证短视频平台的安全。
继续参照图2，服务器220在接收到电子设备210上传的视频后，可以首先获取由该视频中的多个脸部图像按照先后顺序排列所构成的脸部图像序列，然后提取脸部图像序列中的每个脸部图像中的脸部身份特征，接着对脸部身份特征进行波动检测，得到波动检测结果，如果波动检测结果为脸部身份特征存在波动，则可以确定该视频为换脸视频。
这样，服务器220便可以基于换脸视频中的脸部身份特征的融合性存在波动的问题，通过对脸部图像序列中的全部脸部图像中的脸部身份特征进行波动检测，实现对目标视频的换脸检测，提高换脸检测结果的准确性。
需要说明的是，在本公开实施例中，视频中能够被替换的脸部可以为人脸、动物脸等，也可以为其他具有脸部形状的生物，在此不做限制。视频中能够融入的脸部也可以为人脸、动物脸等，也可以为其他具有脸部形状的生物，在此不做限制。其中，人脸可以为现实人脸，也可以为虚拟人脸；动物脸可以为现实动物脸，也可以为虚拟动物脸，在此不做限制。
另外，本公开实施例提供的视频检测方法除了可以应用在上述的电子设备和服务器的架构中，还可以应用在电子设备和电子设备的架构中，例如，一种对等式(peer-to-peer，P2P)网络中的两个电子设备。
图3是根据一示例性实施例示出的另一种视频检测的架构图。
如图3所示，该架构图中可以包括第一电子设备310和第二电子设备320。其中，电子设备可以是手机、计算机、平板设备、健身设备、个人数字助理等具有点对点通讯功能的设备。其中，点对点通讯功能可以为支持蓝牙通讯或者无线保真(Wireless Fidelity，WiFi)网络通讯的通讯功能。
基于上述的架构，用户可以使用第一电子设备310通过蓝牙或者WiFi网络直接向第二电子设备320传输视频，而不经过任何的服务器。第二电子设备320可以先检测接收到的视频是否为换脸视频，如果是换脸视频，则可以采取一定的安全管控措施，例如为该视频添加“换脸”标签，使通过第二电子设备320观看该视频的用户可以通过“换脸”标签明确该视频为换脸视频，以降低换脸视频所带来的安全隐患。
具体地，第二电子设备320在接收到第一电子设备310传输的视频后，可以首先获取由该视频中的多个脸部图像按照先后顺序排列所构成的脸部图像序列，然后提取脸部图像序列中的每个脸部图像中的脸部身份特征接着对脸部身份特征进行波动检测，得到波动检测结果，如果波动检测结果为脸部身份特征存在波动，则可以确定该视频为换脸视频。
这样，第二电子设备320便可以基于换脸视频中的脸部身份特征的融合性存在波动的问题，通过对脸部图像序列中的全部脸部图像中的脸部身份特征进行波动检测，实现对目标视频的换脸检测，提高换脸检测结果的准确性。
需要说明的是，在本公开实施例中，第二电子设备320在可以通过具体视频检测功能的应用程序来检测该视频是否为换脸视频，或者，第二电子设备320可以通过设备系统中的视频检测模块来检测该视频是否为换脸视频，在此不做限制。
需要说明的是，在本公开实施例中，视频中能够被替换的脸部可以为人脸、动物脸等，也可以为其他具有脸部形状的生物，在此不做限制。视频中能够融入的脸部也可以为人脸、动物脸等，也可以为其他具有脸部形状的生物，在此不做限制。其中，人脸可以为现实人脸，也可以为虚拟人脸；动物脸可以为现实动物脸，也可以为虚拟动物脸，在此不做限制。
根据上述架构，下面结合图4至图7对本公开实施例提供的视频检测方法进行详细说明。其中，本公开实施例提供的视频检测方法可以由图1中所示的服务器220或者服务器220中的功能模块执行，也可以由图3中所示的第二电子设备320或者第二电子设备320中的功能模块执行，在此不做限制。
图4是根据一示例性实施例示出的一种视频检测方法的流程图。如图4所示，该视频检测方法包括以下步骤。
在S410中，获取目标视频对应的脸部图像序列；其中，脸部图像序列包括多个脸部图像。
在本公开实施例中，目标视频可以为包括人脸的人脸视频或者包括动物脸的动物脸视频，在此不做限制。在目标视频为人脸视频的情况下，目标视频中的脸部可以为人脸；在目标视频为动物脸视频的情况下，目标视频中的脸部可以为动物脸。
在本公开一些实施例的S410中，服务器或者电子设备可以直接接收由其他设备发送的目标视频对应的脸部图像序列。具体地，服务器或者电子设备在接收到目标视频后，可以将目标视频发送给具有视频解码功能和脸部检测功能的其他设备，使该其他设备可以对目标视频进行视频解码处理和脸部检测处理，得到多个脸部图像构成的脸部图像序列，并且将脸部图像序列发送给服务器或者电子设备，以使服务器或者电子设备获取目标视频对应的脸部图像序列。
在本公开另一些实施例的S410中，服务器或者电子设备也可以在获取目标视频之后，依次对目标视频进行视频解码处理和脸部检测处理，得到多个脸部图像构成的脸部图像序列，后续会对此实现方式进行详细介绍。
在S420中，提取脸部图像中的脸部身份特征。
在本公开实施例的S420中，脸部身份特征为可以用于进行人脸识别(FaceRecognition)的面部特征(如统计特征或几何特征等)。服务器或者电子设备对脸部图像中的脸部身份特征进行提取的实现方式有多种。
在本公开一些实施例中，服务器或者电子设备可以采用基于几何特征(GeometricFeatures)的方法、基于子空间分析的方法等提取脸部图像中的脸部身份特征。
在本公开另一些实施例中，服务器或者电子设备还可以采用预先训练得到的身份特征提取模型，提取脸部图像中的脸部身份特征，后续会对此实现方式进行详细介绍。
在S430中，对脸部身份特征进行波动检测，得到波动检测结果。
在本公开实施例中，可选地，S430可以具体包括：
计算每个脸部身份特征与脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，得到多个特征相似度；
在多个特征相似度满足预设条件的情况下，确定波动检测结果为脸部身份特征存在波动；
在多个特征相似度不满足预设条件的情况下，确定波动检测结果为脸部身份特征不存在波动。
具体地，服务器或者电子设备可以首先计算得到多个特征相似度，然后判断多个特征相似度是否满足预设条件，如果多个特征相似度满足预设条件，则可以确定波动检测结果为脸部身份特征存在波动；如果多个特征相似度不满足预设条件，则可以确定波动检测结果为脸部身份特征不存在波动。
在本公开实施例中，由于特征相似度能够表征脸部身份特征与目标脸部身份特征之间的相似程度，因此，可以利用全部的脸部身份特征与目标脸部身份特征之间的特征相似度是否满足预设条件，判断波动检测结果为脸部身份特征是否存在波动，即判断脸部身份特征是否经常有较大的变化。
在本公开实施例中，每个脸部图像中所提取的脸部身份特征可以构成身份特征向量，服务器或者电子设备可以基于向量相似度的计算方法，计算脸部身份特征与目标脸部身份特征之间的特征相似度。其中，向量相似度可以包括余弦相似度、欧式距离等，在此不做限制。
在本公开一些实施例中，目标脸部图像可以为在脸部图像序列中与脸部身份特征所属的脸部图像前相邻的一个或多个前相邻脸部图像，此时，目标脸部身份特征包括一个或多个前相邻脸部身份特征，一个前相邻脸部身份特征对应一个前相邻脸部图像。
在本公开另一些实施例中，目标脸部图像也可以包括脸部图像序列中与该脸部身份特征所属的脸部图像后相邻的多个后相邻脸部图像，此时，目标脸部身份特征包括多个后相邻脸部身份特征，一个后相邻脸部身份特征对应一个后相邻脸部图像，后续会对此实现方式进行详细介绍。
以脸部图像序列包括脸部图像1、脸部图像2、脸部图像3、脸部图像4和脸部图像5为例，如果脸部图像3为脸部身份特征所属的脸部图像，则脸部图像2为与脸部图像3前相邻的1个前相邻脸部图像，脸部图像1和脸部图像2为与脸部图像3前相邻的2个前相邻脸部图像，脸部图像4为与脸部图像3前相邻的1个后相邻脸部图像，脸部图像4和脸部图像5为与脸部图像3前相邻的2个后相邻脸部图像。
在本公开又一些实施例中，目标脸部图像还可以为脸部图像序列中的指定脸部图像，指定脸部图像可以例如脸部图像序列中的第一个脸部图像或者最后一个脸部图像等，目标脸部身份特征可以为指定脸部图像中的指定脸部身份特征。
在本公开实施例中，可选地，预设条件可以包括下列中的至少一项：
特征相似度中存在预设数量的目标特征相似度；其中，目标特征相似度为小于或等于第一相似度阈值的特征相似度；
特征相似度的平均值小于或等于第二相似度阈值。
在本公开一些实施例中，服务器或电子设备可以判断多个特征相似度中是否存在预设数量的小于或等于第一相似度阈值的目标特征相似度，以确定目标视频的各个脸部图像中的脸部身份特征之间是否存在较大波动，进而判断目标视频是否为换脸视频。如果特征相似度中存在预设数量的目标特征相似度，则说明各个脸部图像中的脸部身份特征之间存在较大波动，进而确定目标视频为换脸视频，否则，确定目标视频不是换脸视频。
其中，第一相似度阈值可以根据原始脸部视频中的各个脸部图像中的脸部身份特征与原始脸部视频中的目标脸部图像中的目标脸部身份特征之间的特征相似度确定，例如可以为多个原始脸部视频对应的最小特征相似度的平均值。
原始脸部视频可以为未经过换脸处理的真实脸部视频。
需要说明的是，计算原始脸部视频中的各个脸部图像中的脸部身份特征对应的特征相似度与上述的计算目标视频中的各个脸部图像中的脸部身份特征对应的特征相似度的方法相同，在此不做赘述。
由此，在本公开实施例中，可以利用每个特征相似度与第一相似度阈值分别进行比较，进而准确地判断脸部身份特征是否存在波动。
在本公开另一些实施例中，为了体现视频波动的整体性，服务器或电子设备可以计算多个特征相似度的平均值，以得到视频维度的平均相似度，然后再判断特征相似度的平均值是否小于或等于第二相似度阈值，以确定目标视频的脸部身份特征是否存在较大波动，进而判断目标视频是否为换脸视频。如果特征相似度的平均值小于或等于第二相似度阈值，则说明目标视频的脸部身份特征存在较大波动，进而确定目标视频为换脸视频，否则，确定目标视频不是换脸视频。
其中，第二相似度阈值可以根据原始脸部视频中的各个脸部图像中的脸部身份特征与原始脸部视频中的目标脸部图像中的目标脸部身份特征之间的特征相似度的平均值确定，例如可以为多个原始脸部视频对应的全部特征相似度的平均值。
原始脸部视频可以为未经过换脸处理的真实脸部视频。
需要说明的是，计算原始脸部视频中的各个脸部图像中的脸部身份特征对应的特征相似度与上述的计算目标视频中的各个脸部图像中的脸部身份特征对应的特征相似度的方法相同，在此不做赘述。
由此，在本公开实施例中，可以可以计算多个特征相似度的平均值，然后利用特征相似度的平均值与第二相似度阈值进行比较，进而快速判断脸部身份特征是否存在波动。
在本公开又一些实施例中，为了进一步提高换脸检测结果的准确性，还可以判断多个特征相似度是否满足上述的预设条件中的两项，如果全部满足，则确定目标视频为换脸视频，否则，确定目标视频不是换脸视频。
在S440中，在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。
在本公开实施例的S440中，可以首先确认波动检测结果是否为脸部身份特征存在波动，在波动检测结果为脸部身份特征存在波动的情况下，可以确定目标视频为换脸视频；在波动检测结果为脸部身份特征不存在波动的情况下，可以确定目标视频不是换脸视频。
因此，在本公开实施例中，能够在获取目标视频对应的脸部图像序列之后，提取脸部图像序列内的每个脸部图像中的脸部身份特征，然后对脸部身份特征进行波动检测，得到波动检测结果，由于换脸视频中的脸部身份特征的融合性存在波动，因此，在波动检测结果为脸部身份特征存在波动的情况下，可以确定目标视频为换脸视频，提高换脸检测结果的准确性。
在本公开的另一种实现方式中，为了准确地获取脸部图像序列，本公开实施例提供了一种脸部图像序列获取方法。
图5是根据一示例性实施例示出的一种脸部图像序列获取方法的流程图。如图5所示，S410可以包括如下步骤。
在S412中，获取目标视频中的图像帧序列；其中，图像帧序列包括多个图像帧。
在本公开一些实施例的S412中，服务器或者电子设备可以在接收到目标视频后，对目标视频进行视频解码处理，得到多帧图像帧，并且按照在目标视频中的播放顺序排列多帧图像帧，得到图像帧序列。
在S414中，对图像帧进行脸部检测，得到包含目标脸部的脸部图像。
在本公开一些实施例的S414中，在目标视频仅包括目标脸部的情况下，服务器或者电子设备可以分别对每个图像帧进行脸部检测，得到每个图像帧中的包括目标脸部的脸部图像。
在本公开另一些实施例的S414中，在目标视频包括多个脸部、目标脸部为多个脸部中的一个的情况下，服务器或者电子设备可以分别对每个图像帧进行脸部检测，得到每个图像帧对应的至少一个脸部图像，并且从每个图像帧对应的至少一个脸部图像中筛选出包含目标脸部的脸部图像，得到多个包含目标脸部的脸部图像。
在S416中，根据多个脸部图像，生成脸部图像序列。
在本公开一些实施例的S416中，服务器或者电子设备可以按照脸部图像所属的图像帧在目标视频中的播放顺序排列多个包括目标脸部的脸部图像，得到脸部图像序列。
以图2中所示的电子设备210向服务器220传输人脸视频为例，在人脸视频仅包括目标人脸的情况下，服务器220可以在接收到人脸视频之后，对人脸视频进行视频解码处理，得到多帧图像帧，并且按照在人脸视频中的播放顺序排列多帧图像帧，得到图像帧序列。然后，服务器220可以利用人脸检测器对每个图像帧进行人脸检测，得到每个图像帧中的包括目标人脸的人脸图像。最后，服务器220可以按照人脸图像所属的图像帧在人脸视频中的播放顺序排列多个人脸图像，得到人脸图像序列。
由此，本公开实施例可以在目标视频仅包括目标脸部的情况下，直接对接收到的目标视频进行预处理，准确地获取用于进行视频检测的脸部图像序列。
继续以图2中所示的电子设备210向服务器220传输人脸视频为例，在人脸视频包括多个人脸、目标人脸为多个人脸中的一个的情况下，服务器220可以在接收到人脸视频之后，对人脸视频进行视频解码处理，得到多帧图像帧，并且按照在人脸视频中的播放顺序排列多帧图像帧，得到图像帧序列。然后，服务器220可以利用人脸检测器对每个图像帧进行人脸检测，得到每个图像帧对应的至少一个人脸图像。以图像帧序列包括图像帧1、图像帧2和图像帧3为例，利用人脸检测器对图像帧1进行人脸检测，可以得到图像帧1中的人物A对应的人脸图像1A和人物B对应的人脸图像1B。利用人脸检测器对图像帧2进行人脸检测，可以得到图像帧2中的人物A对应的人脸图像2A和人物C对应的人脸图像2C。利用人脸检测器对图像帧3进行人脸检测，可以得到图像帧3中的人物B对应的人脸图像3B和人物C对应的人脸图像3C。如果目标人脸为人物A的人脸，则需要对检测得到的多个人脸图像进行筛选，识别出包含人物A的人脸图像1A和脸部图像2A。最后，服务器220可以按照人脸图像所属的图像帧在人脸视频中的播放顺序排列多个人脸图像A，得到人脸图像序列(例如，人脸图像序列包括人脸图像1A和人脸图像2A)。
需要说明的是，在本公开一些实施例中，从多个脸部图像中筛选出包含目标脸部的脸部图像的具体方法可以为从脸部库中查找目标脸部的脸部图像，或者，获取用户输入的用于指定目标脸部的脸部图像，然后将各个人脸检测得到的脸部图像与目标脸部的脸部图像进行对比，将与目标脸部的脸部图像相似的脸部图像，确定为筛选得到的包含目标脸部的脸部图像。在本公开另一些实施例中，还可以利用其他方法从多个脸部图像中筛选出包含目标脸部的脸部图像，在此不做限制。
由此，本公开实施例可以在目标视频包括多个脸部、目标脸部为多个脸部中的一个的情况下，直接对接收到的目标视频进行预处理，得到多个脸部图像，并且自动对脸部图像进行筛选，准确地获取用于进行视频检测的脸部图像序列。
需要说明的是，在本公开实施例中，人脸检测器可以为OpenCV人脸检测器、VJ人脸检测器、Haar人脸检测器中的任意一种，也可以为其他的人脸检测器，在此不做限制。
在本公开另一些实施例中，为了提高换脸检测结果的准确性，在S416之前，该视频检测方法还可以包括：
对脸部图像进行对齐处理，得到对齐后的脸部图像；
相应地，S416可以包括：
根据多个对齐后的脸部图像，生成脸部图像序列。
在一些实施例中，在服务器或电子设备对包含目标脸部的脸部图像进行对齐处理时，可以首先通过放大图像或者缩小图像的方式，将脸部图像的尺寸调整为预设尺寸，然后将脸部图像中的目标脸部的平面旋转角度调整为预定角度，例如，将目标脸部的平面旋转角度调整为0°，即使目标脸部的两眼连线与水平线的夹角为0°。经过上述的处理后，即可以得到对齐后的脸部图像。服务器或者电子设备可以按照脸部图像所属的图像帧在目标视频中的播放顺序排列多个对齐后的脸部图像，生成脸部图像序列。
由此，在本公开实施例中，可以对脸部图像进行归一化处理，并利用归一化后的脸部图像生成脸部图像序列，使基于脸部图像序列的换脸检测结果的准确性更高。
在本公开的又一种实现方式中，S420可以包括：采用预先训练得到的身份特征提取模型，提取脸部图像中的脸部身份特征。
其中，身份特征提取模型根据脸部图像样本以及脸部图像样本对应的身份标签训练得到，身份标签为脸部图像样本中的样本脸部身份特征对应的标签。
具体地，身份标签可以为用于对脸部图像样本所包含的样本脸部进行区分的脸部身份标识(Identity document，ID)。例如，脸部ID可以为样本脸部所属对象的在对象序列中的序列位置对应的编号，若样本脸部所属对象的在对象序列中的序列位置为第一位，则序列位置对应的编号为1，脸部ID为1。
在本公开实施例中，可以将脸部图像序列中的每个脸部图像依次输入预先训练得到的身份特征提取模型，以分别提取每个脸部图像中的脸部身份特征，进而快速、准确地识别出脸部图像中的脸部身份特征。
下面介绍上述身份特征提取模型的训练方法。
图6是根据一示例性实施例示出的一种身份特征提取模型训练方法的流程图。
如图6所示，预先训练获得身份特征提取模型的步骤可以包括：
在S610中，获取训练样本集，训练样本集中包括多个脸部图像样本以及每个脸部图像样本对应的身份标签。
在本公开一些实施例的S610中，服务器或者电子设备可以通过互联网收集训练样本集中的脸部图像样本以及脸部图像样本对应的身份标签，例如可以通过webface数据集进行收集，webface数据集中包含1万个脸部ID和每个脸部ID对应的脸部图像样本。
在S620中，将脸部图像样本输入至第一神经网络，将第一神经网络输出的样本脸部身份特征输入至第二神经网络，将身份标签作为第二神经网络的输出，利用机器学习方法，对第一神经网络和第二神经网络进行迭代训练，直至满足预设训练停止条件。
在本公开一些实施例中，第一神经网络可以采用残差网络(Residual Network，ResNet)模型，第一神经网络用于对脸部图像样本中的样本脸部身份特征进行提取，网络结构如图7所示。
图7是根据一示例性实施例示出的一种残差网络模型的结构图。如图7所示，模型结构中的input_size代表各层输入向量尺寸，output_size代表各层输出向量尺寸，OP代表各层对输入向量进行的操作，conv_3中的conv代表向量卷积运算，conv_3中的3代表卷积核大小，max_poolong_2中的max_poolong代表池化运算，max_poolong_2中的2代表卷积核大小，{resblock_3}×5中的resblock代表残差学习模块对应的运算，{resblock_3}×5中的3代表残差学习模块中的卷积神经网络的卷积核大小，{resblock_3}×5中的5代表残差学习模块的数量，fc_1024中的fc代表全连接运算，fc_1024中的1024代表输出向量的向量维度。
图8是根据一示例性实施例示出的一种残差学习模块的结构图。如图8所示，模型结构中的conv_3中的conv代表向量卷积运算，conv_3中的3代表卷积核大小，PReLU为激活函数。
在本公开一些实施例中，第二神经网络可以为分类器，第二神经网络可以用于对第一神经网络所提取的样本脸部身份特征按照1万类进行分类。
在本公开实施例中，由于每个脸部图像样本对应一个身份标签，因此，可以将脸部图像样本作为第一神经网络的输入，将第一神经网络输出的样本脸部身份特征作为第二神经网络的输入，将预先标注的身份标签作为第二神经网络的输出，利用机器学习方法，对第一神经网络和第二神经网络进行迭代训练，直至满足预设训练停止条件。
其中，预设训练停止条件可以为达到预设迭代次数、损失值小于预设阈值中的至少一种。
在S630中，将训练后的第一神经网络确定为身份特征提取模型。
进一步地，还可以将训练后的第二神经网络确定为身份特征分类模型。
其中，训练得到的身份特征提取模型用于提取脸部身份特征，身份特征分类模型用于对脸部身份特征进行分类。
因此，在本公开实施例中，可以利用多个脸部图像样本、每个脸部图像样本对应的身份标签以及用于辅助模型训练的第二神经网络，对第一神经网络进行训练，进而可以降低对脸部图像样本的标记难度，提高身份特征提取模型的训练效率。
在本公开的再一种实现方式中，为了提高视频检测结果的准确性，目标脸部图像可以包括与脸部身份特征所属脸部图像后相邻的多个后相邻脸部图像，目标脸部身份特征包括多个后相邻脸部身份特征，一个后相邻脸部身份特征对应一个后相邻脸部图像。
图9是根据一示例性实施例示出的特性相似度计算方法的流程图。
如图9所示，S430可以包括如下步骤。
在S432中，计算每个脸部身份特征与每个后相邻脸部身份特征之间的相似度，得到多个相似度。
在本公开一些实施例的S432中，针对脸部图像序列中的每个脸部图像中的脸部身份特征，服务器或电子设备可以利用例如余弦相似度等的向量相似度计算该脸部身份特征与每个后相邻脸部身份特征之间的相似度。因此，可以得到多个脸部身份特征与对应的后相邻脸部身份特征之间的多个相似度。
在S434中，将每个脸部身份特征对应的多个相似度的平均值确定为脸部身份特征对应的特征相似度。
在本公开一些实施例的S432中，针对脸部图像序列中的每个脸部图像中的脸部身份特征，服务器或电子设备可以按照后相邻脸部身份特征对应的后相邻脸部图像在脸部图像序列中的序列位置，对多个相似度进行排序，得到相似度向量，然后计算相似度向量的均值，得到多个相似度的平均值，将多个相似度的平均值确定为全部脸部身份特征对应的特征相似度。
进一步地，为了提高各个特征相似度之间的可比性，在本公开一些实施例中，每个脸部图像对应的后相邻脸部图像的数量可以为预设图像数量，例如100个。
相应地，S430的具体方法还可以包括；
针对每个脸部身份特征，在该脸部身份特征所属的脸部图像之后的脸部图像数量大于或等于预设图像数量的情况下，计算该脸部身份特征与目标脸部身份特征之间的特征相似度；
针对每个脸部身份特征，在该脸部身份特征所属的脸部图像之后的脸部图像数量小于预设图像数量的情况下，不计算该脸部身份特征与目标脸部身份特征之间的特征相似度。
具体地，服务器或电子设备可以将脸部身份特征按照其所属的脸部图像在脸部图像序列中的序列位置进行排序，得到脸部身份特征序列。针对脸部身份特征序列中的第T个脸部身份特征，如果第T个脸部身份特征后的脸部身份特征数量大于100个，则计算第T个脸部身份特征与第T+1个脸部身份特征至第T+100个脸部身份特征中的每一个脸部身份特征之间的相似度，按照第T+1个脸部身份特征至第T+100个脸部身份特征，对其对应的相似度进行排序，得到100维的相似度向量，然后计算相似度向量的均值，得到多个相似度的平均值，将多个相似度的平均值确定为第T个脸部身份特征对应的特征相似度。
依次类推，依次计算第T+1个脸部身份特征对应的特征相似度至第T+N个脸部身份特征对应的特征相似度。
其中，T和N分别为正整数。
需要说明的是，图9所示的特性相似度计算方法不限于计算脸部身份特征与多个后相邻脸部身份特征之间的特征相似度，也可以计算脸部身份特征与多个前相邻脸部身份特征之间的特征相似度或者脸部身份特征与多个指定脸部身份特征之间的特征相似度，在此不做限制。
由此，本公开实施例中，仅需要计算目标视频中的部分脸部图像与其他部分脸部图像之间的特征相似度，即可实现对目标视频的换脸检测，无需较多个脸部图像资源，降低了换脸检测的成本。
图10是根据一示例性实施例示出的一种视频检测装置的框图。如图10所示，该视频检测装置1000可以包括第一获取单元1010、特征提取单元1020、波动检测单元1030和第一确定单元1040。
该第一获取单元1010可以被配置为执行获取目标视频对应的脸部图像序列；其中，脸部图像序列包括多个脸部图像。
该特征提取单元1020可以被配置为执行提取脸部图像中的脸部身份特征。
该波动检测单元1030可以被配置为执行对脸部身份特征进行波动检测，得到波动检测结果。
该第一确定单元1040可以被配置为在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。
在本公开实施例中，视频检测装置1000能够在获取目标视频对应的脸部图像序列之后，提取脸部图像序列内的每个脸部图像中的脸部身份特征，然后对脸部身份特征进行波动检测，得到波动检测结果，由于换脸视频中的脸部身份特征的融合性存在波动，因此，在波动检测结果为脸部身份特征存在波动的情况下，可以确定目标视频为换脸视频，提高换脸检测结果的准确性。
在本公开一些实施例中，该特征提取单元1020可以被进一步配置为：
采用预先训练得到的身份特征提取模型，提取脸部图像中的脸部身份特征；其中，身份特征提取模型根据脸部图像样本以及脸部图像样本对应的身份标签训练得到，身份标签为脸部图像样本中的样本脸部身份特征对应的标签。
在本公开一些实施例中，该视频检测装置1000还可以包括第二获取单元、模型训练单元和第二确定单元。
该第二获取单元可以被配置为执行获取训练样本集，训练样本集中包括多个脸部图像样本以及每个脸部图像样本对应的身份标签。
该模型训练单元可以被配置为执行将脸部图像样本输入至第一神经网络，将第一神经网络输出的样本脸部身份特征输入至第二神经网络，将身份标签作为第二神经网络的输出，利用机器学习方法，对第一神经网络和第二神经网络进行迭代训练，直至满足预设训练停止条件。
该第二确定单元可以被配置为执行将训练后的第一神经网络确定为身份特征提取模型。
在本公开一些实施例中，该波动检测单元1030可以包括相似度计算子单元、第一确定子单元和第二确定子单元。
相似度计算子单元被配置为执行计算每个脸部身份特征与脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，得到多个特征相似度。
第一确定子单元被配置为在多个特征相似度满足预设条件的情况下，确定波动检测结果为脸部身份特征存在波动。
第二确定子单元被配置为在多个特征相似度不满足预设条件的情况下，确定波动检测结果为脸部身份特征不存在波动。
在本公开一些实施例中，为了提高视频检测结果的准确性，目标脸部图像可以包括脸部图像序列中与脸部身份特征所属的脸部图像后相邻的多个后相邻脸部图像，目标脸部身份特征可以包括多个后相邻脸部身份特征，一个后相邻脸部身份特征对应一个后相邻脸部图像。
相应地，该相似度计算子单元可以包括第一处理子单元和第二处理子单元。
该第一处理子单元可以被配置为执行计算每个脸部身份特征与每个后相邻脸部身份特征之间的相似度，得到多个相似度。
该第二处理子单元可以被配置为执行将每个脸部身份特征对应的多个相似度的平均值，确定为脸部身份特征对应的特征相似度。
在本公开一些实施例中，预设条件可以包括下列中的至少一项：
特征相似度中存在预设数量的目标特征相似度；其中，目标特征相似度为小于或等于第一相似度阈值的特征相似度；
特征相似度的平均值小于或等于第二相似度阈值。
在本公开一些实施例中，为了准确地获取脸部图像序列，该第一获取单元1010可以包括图像获取子单元、脸部检测子单元和序列生成子单元。
该图像获取子单元可以被配置为执行获取目标视频中的图像帧序列；其中，图像帧序列包括多个图像帧。
该脸部检测子单元可以被配置为执行对图像帧进行脸部检测，得到包含目标脸部的脸部图像。
该序列生成子单元可以被配置为执行根据多个脸部图像，生成脸部图像序列。
在本公开一些实施例中，为了提高换脸检测结果的准确性，该第一获取单元1010还可以包括脸部对齐子单元。
该脸部对齐子单元可以被配置为执行对脸部图像进行对齐处理，得到对齐后的脸部图像。
相应地，该序列生成子单元可以被进一步配置为：
根据多个对齐后的脸部图像，生成脸部图像序列。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图11是根据一示例性实施例示出的一种计算设备的框图。
如图11所示，该计算设备可以指代本公开实施例中的如图2中所示的服务器220以及如图3中所示的第二电子设备320。
该计算设备可以包括处理器1110、通信接口1120、存储器1130和通信总线1140，其中，处理器1110、通信接口1120和存储器1130通过通信总线1140完成相互间的通信。
该存储器1130，用于存放处理器1110可执行的指令。
该处理器1110，用于执行存储器1130上所存放的指令时，实现如下步骤：
获取目标视频对应的脸部图像序列；其中，脸部图像序列包括多个脸部图像；
提取脸部图像中的脸部身份特征；
对脸部身份特征进行波动检测，得到波动检测结果；
在波动检测结果为脸部身份特征存在波动的情况下，确定目标视频为换脸视频。
在本公开实施例中，计算设备能够在获取目标视频对应的脸部图像序列之后，提取脸部图像序列内的每个脸部图像中的脸部身份特征，然后对脸部身份特征进行波动检测，得到波动检测结果，由于换脸视频中的脸部身份特征的融合性存在波动，因此，在波动检测结果为脸部身份特征存在波动的情况下，可以确定目标视频为换脸视频，提高换脸检测结果的准确性。
图12是根据一示例性实施例示出的一种用于视频检测的设备的框图。例如，设备1200可以被提供为一电子设备。
参照图12，设备1200可以包括以下一个或多个组件：处理组件1202，存储器1204，电源组件1206，多媒体组件1208，音频组件1210，输入/输出(I/O)接口1212，传感器组件1214，以及通信组件1216。
处理组件1202通常控制设备1200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令，以完成上述的视频检测方法的全部或部分步骤。此外，处理组件1202可以包括一个或多个模块，便于处理组件1202和其他组件之间的交互。例如，处理组件1202可以包括多媒体模块，以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在设备1200的操作。这些数据的示例包括用于在设备1200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1206为设备置1200的各种组件提供电力。电源组件1206可以包括电源管理系统，一个或多个电源，及其他与为设备1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1208包括一个前置摄像头和/或后置摄像头。当设备1200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如，音频组件1210包括一个麦克风(MIC)，当设备1200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中，音频组件1210还包括一个扬声器，用于输出音频信号。
I/O接口1212为处理组件1202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器，用于为设备1200提供各个方面的状态评估。例如，传感器组件1214可以检测到设备1200的打开/关闭状态，组件的相对定位，例如所述组件为设备1200的显示器和小键盘，传感器组件1214还可以检测设备1200或设备1200一个组件的位置改变，用户与设备1200接触的存在或不存在，设备1200方位或加速/减速和设备1200的温度变化。传感器组件1214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1216被配置为便于设备1200和其他设备之间有线或无线方式的通信。设备1200可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件1216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
图13是根据一示例性实施例示出的另一种用于视频检测的设备的框图。例如，该设备1300可以被提供为一服务器。
参照图13，服务器1300包括处理组件1322，其进一步包括一个或多个处理器，以及由存储器1332所代表的存储器资源，用于存储可由处理组件1322的执行的指令，例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1322被配置为执行指令，以执行上述任一实施例所述的视频检测方法。
该设备1300还可以包括一个电源组件1326被配置为执行设备1300的电源管理，一个有线或无线网络接口1350被配置为将设备1300连接到网络，和一个输入输出(I/O)接口1358。设备1300可以操作基于存储在存储器1332的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在本公开一些实施例中，还提供了一种存储介质，当该存储介质中的指令由计算设备的处理器执行时，使得计算设备能够执行上述任一实施例所述的视频检测方法。
可选地，该存储介质可以是非临时性计算机可读存储介质，示例性的，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开一些实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由计算设备的处理器执行时，使得计算设备能够执行上述任一实施例所述的视频检测方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频检测方法，其特征在于，包括：
获取目标视频对应的脸部图像序列；其中，所述脸部图像序列包括多个脸部图像；
提取所述脸部图像中的脸部身份特征；
对所述脸部身份特征进行波动检测，得到波动检测结果；
在所述波动检测结果为所述脸部身份特征存在波动的情况下，确定所述目标视频为换脸视频。
2.根据权利要求1所述的方法，其特征在于，所述提取所述脸部图像中的脸部身份特征，包括：
采用预先训练得到的身份特征提取模型，提取所述脸部图像中的所述脸部身份特征；其中，所述身份特征提取模型根据脸部图像样本以及所述脸部图像样本对应的身份标签训练得到，所述身份标签为所述脸部图像样本中的样本脸部身份特征对应的标签。
3.根据权利要求2所述的方法，其特征在于，在所述采用预先训练得到的身份特征提取模型，提取所述脸部图像中的所述脸部身份特征之前，所述方法还包括：
获取训练样本集，所述训练样本集中包括多个所述脸部图像样本以及每个所述脸部图像样本对应的身份标签；
将所述脸部图像样本输入至第一神经网络，将所述第一神经网络输出的样本脸部身份特征输入至第二神经网络，将所述身份标签作为所述第二神经网络的输出，利用机器学习方法，对所述第一神经网络和所述第二神经网络进行迭代训练，直至满足预设训练停止条件；
将训练后的所述第一神经网络确定为所述身份特征提取模型。
4.根据权利要求1所述的方法，其特征在于，所述对所述脸部身份特征进行波动检测，得到波动检测结果，包括：
计算每个所述脸部身份特征与所述脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，得到多个所述特征相似度；
在多个所述特征相似度满足预设条件的情况下，确定所述波动检测结果为所述脸部身份特征存在波动；
在多个所述特征相似度不满足所述预设条件的情况下，确定所述波动检测结果为所述脸部身份特征不存在波动。
5.根据权利要求4所述的方法，其特征在于，所述目标脸部图像包括所述脸部图像序列中与所述脸部身份特征所属的脸部图像后相邻的多个后相邻脸部图像，所述目标脸部身份特征包括多个后相邻脸部身份特征，一个所述后相邻脸部身份特征对应一个所述后相邻脸部图像；
其中，所述计算每个所述脸部身份特征与所述脸部图像序列中的目标脸部图像对应的目标脸部身份特征之间的特征相似度，包括：
计算每个所述脸部身份特征与每个所述后相邻脸部身份特征之间的相似度，得到多个所述相似度；
将每个所述脸部身份特征对应的多个所述相似度的平均值，确定为所述脸部身份特征对应的特征相似度。
6.根据权利要求4所述的方法，其特征在于，所述预设条件包括下列中的至少一项：
所述特征相似度中存在预设数量的目标特征相似度；其中，所述目标特征相似度为小于或等于第一相似度阈值的特征相似度；
所述特征相似度的平均值小于或等于第二相似度阈值。
7.根据权利要求1所述的方法，其特征在于，所述获取目标视频对应的脸部图像序列，包括：
获取所述目标视频中的图像帧序列；其中，所述图像帧序列包括多个图像帧；
对所述图像帧进行脸部检测，得到包含目标脸部的脸部图像；
根据多个所述脸部图像，生成所述脸部图像序列。
8.一种视频检测装置，其特征在于，包括：
第一获取单元，被配置为执行获取目标视频对应的脸部图像序列；其中，所述脸部图像序列包括多个脸部图像；
特征提取单元，被配置为执行提取所述脸部图像中的脸部身份特征；
波动检测单元，被配置为对所述脸部身份特征进行波动检测，得到波动检测结果；
第一确定单元，被配置为在所述波动检测结果为所述脸部身份特征存在波动的情况下，确定所述目标视频为换脸视频。
9.一种计算设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频检测方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由计算设备的处理器执行时，使得所述计算设备能够执行如权利要求1至7中任一项所述的视频检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010942808.7A CN112036356B (zh) | 2020-09-09 | 2020-09-09 | 视频检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010942808.7A CN112036356B (zh) | 2020-09-09 | 2020-09-09 | 视频检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036356A true CN112036356A (zh) | 2020-12-04 |
| CN112036356B CN112036356B (zh) | 2024-06-25 |
Family
ID=73583986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010942808.7A Active CN112036356B (zh) | 2020-09-09 | 2020-09-09 | 视频检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036356B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163169A (zh) * | 2019-05-27 | 2019-08-23 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN111144314A (zh) * | 2019-12-27 | 2020-05-12 | 北京中科研究院 | 一种篡改人脸视频检测方法 |
-
2020
- 2020-09-09 CN CN202010942808.7A patent/CN112036356B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163169A (zh) * | 2019-05-27 | 2019-08-23 | 北京达佳互联信息技术有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN111144314A (zh) * | 2019-12-27 | 2020-05-12 | 北京中科研究院 | 一种篡改人脸视频检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张怡暄等: "基于帧间差异的人脸篡改视频检测方法", 信息安全学报, pages 49 - 72 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036356B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110517185B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN105631408B (zh) | 基于视频的面孔相册处理方法和装置 | |
| CN109859096A (zh) | 图像风格迁移方法、装置、电子设备及存储介质 | |
| CN110399841B (zh) | 一种视频分类方法、装置及电子设备 | |
| CN105354543A (zh) | 视频处理方法及装置 | |
| CN106548145A (zh) | 图像识别方法及装置 | |
| CN113590881B (zh) | 视频片段检索方法、视频片段检索模型的训练方法及装置 | |
| CN110602527A (zh) | 视频处理方法、装置及存储介质 | |
| CN107784279B (zh) | 目标跟踪方法及装置 | |
| CN109934275B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| TW202109449A (zh) | 影像處理方法、電子設備，和電腦可讀儲存介質 | |
| CN115100472B (zh) | 展示对象识别模型的训练方法、装置和电子设备 | |
| CN104077597B (zh) | 图像分类方法及装置 | |
| CN110532956B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN110175223A (zh) | 一种实现问题生成的方法及装置 | |
| CN105335713A (zh) | 指纹识别方法及装置 | |
| CN105354560A (zh) | 指纹识别方法及装置 | |
| CN104867112B (zh) | 照片处理方法及装置 | |
| CN111553372A (zh) | 一种训练图像识别网络、图像识别搜索的方法及相关装置 | |
| CN115424044A (zh) | 基于多模态的图像标注方法、装置及电子设备 | |
| CN115909127A (zh) | 异常视频识别模型的训练方法、异常视频识别方法和装置 | |
| CN116193193A (zh) | 一种视频处理方法及装置 | |
| CN111145080A (zh) | 一种图像生成模型的训练方法、图像生成方法及装置 | |
| CN111428806B (zh) | 图像标签确定方法、装置、电子设备及存储介质 | |
| CN110019965B (zh) | 表情图像的推荐方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |