CN114283108A - 图像序列的鉴别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种图像序列的鉴别方法、装置、设备及可读存储介质，属于图像处理技术领域。方法包括：获取图像序列，图像序列包括至少两张图像；提取图像序列的第一空间特征，第一空间特征用于表征至少两张图像中的各张图像中的伪造区域；提取图像序列的第一时序特征，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域；根据第一空间特征和第一时序特征，鉴别图像序列的真实性，真实性用于表征图像序列是否为伪造的图像序列。本申请综合图像序列中各张图像中的伪造区域和相邻图像之间的差异区域，鉴别图像序列的真实性，提高鉴别结果的准确性。

Description

图像序列的鉴别方法、装置、设备及可读存储介质

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种图像序列的鉴别方法、装置、设备及可读存储介质。

背景技术

随着图像处理技术的发展，人脸编辑软件、图像合成软件等逐渐进入大众的视野，在人脸编辑软件、图像合成软件等推动了娱乐产业发展的同时，也给图像的真实性鉴别带来了巨大挑战。

相关技术中，对于视频等图像序列，在鉴别该图像序列的真实性时，先从图像序列中选取一张图像，再提取该图像的空间特征，空间特征用于表征该图像中的伪造区域，基于空间特征鉴别该图像的真实性，将该图像的真实性鉴别结果作为图像序列的真实性鉴别结果。

由于从图像序列中选取图像具有随机性，使得将单张图像的真实性鉴别结果作为图像序列的真实性鉴别结果时，准确性较低。

发明内容

本申请实施例提供了一种图像序列的鉴别方法、装置、设备及可读存储介质，可用于解决图像序列的真实性鉴别结果准确性较低的问题，所述技术方案包括如下内容。

一方面，本申请实施例提供了一种图像序列的鉴别方法，所述方法包括：

获取图像序列，所述图像序列包括至少两张图像；

提取所述图像序列的第一空间特征，所述第一空间特征用于表征所述至少两张图像中的各张图像中的伪造区域；

提取所述图像序列的第一时序特征，所述第一时序特征用于表征所述至少两张图像中相邻图像之间的差异区域；

根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性，所述真实性用于表征所述图像序列是否为伪造的图像序列。

另一方面，本申请实施例提供了一种图像序列的鉴别装置，所述装置包括：

获取模块，用于获取图像序列，所述图像序列包括至少两张图像；

提取模块，用于提取所述图像序列的第一空间特征，所述第一空间特征用于表征所述至少两张图像中的各张图像中的伪造区域；

所述提取模块，还用于提取所述图像序列的第一时序特征，所述第一时序特征用于表征所述至少两张图像中相邻图像之间的差异区域；

鉴别模块，用于根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性，所述真实性用于表征所述图像序列是否为伪造的图像序列。

在一种可能的实现方式中，所述装置还包括：

所述获取模块，还用于获取所述图像序列的序列特征，所述序列特征用于表征所述至少两张图像中的各张图像的图像信息；

切分模块，用于基于通道信息对所述序列特征进行切分，得到第一通道特征和第二通道特征；

所述提取模块，用于基于所述第一通道特征获取所述图像序列的第一空间特征；

所述提取模块，用于基于所述第二通道特征获取所述图像序列的第一时序特征。

在一种可能的实现方式中，所述提取模块，用于基于所述第二通道特征和所述第一空间特征获取所述图像序列的第一时序特征。

在一种可能的实现方式中，所述提取模块，用于基于所述第二通道特征，获取所述图像序列的第一子特征；基于所述第一空间特征，获取所述图像序列的第二子特征；将所述第一子特征和所述第二子特征进行融合，得到所述图像序列的第一时序特征。

在一种可能的实现方式中，所述提取模块，用于对所述第二通道特征进行第一方向的特征处理，得到第一方向特征；对所述第二通道特征进行第二方向的特征处理，得到第二方向特征；将所述第一方向特征、所述第二方向特征以及所述第二通道特征进行融合，得到所述图像序列的第一子特征。

在一种可能的实现方式中，所述鉴别模块，用于将所述第一空间特征和所述第一时序特征进行融合，得到第一融合特征；基于所述第一融合特征确定所述图像序列的真实性概率；基于所述图像序列的真实性概率，确定所述图像序列的真实性。

在一种可能的实现方式中，所述第一空间特征和所述第一时序特征是基于所述图像序列的序列特征得到的，所述鉴别模块，用于将所述第一空间特征、所述第一时序特征和所述序列特征进行融合，得到第一融合特征。

在一种可能的实现方式中，所述鉴别模块，用于基于通道信息对所述第一融合特征进行切分，得到第三通道特征和第四通道特征；基于所述第三通道特征获取所述图像序列的第二空间特征；基于所述第四通道特征获取所述图像序列的第二时序特征；将所述第二空间特征和所述第二时序特征进行融合，得到第二融合特征；基于所述第二融合特征确定所述图像序列的真实性概率。

在一种可能的实现方式中，所述第一空间特征和所述第一时序特征是基于时空模型提取到的，所述装置还包括：

所述获取模块，用于获取样本图像序列和所述样本图像序列的真实性标注结果，所述样本图像序列包括至少两张样本图像；

所述提取模块，用于提取所述样本图像序列的样本空间特征，所述样本空间特征用于表征所述至少两张样本图像中的各张样本图像中的伪造区域；

所述提取模块，用于提取所述样本图像序列的样本时序特征，所述样本时序特征用于表征所述至少两张样本图像中相邻样本图像之间的差异区域；

确定模块，用于基于所述样本空间特征和所述样本时序特征，确定所述样本图像序列的真实性概率；

所述获取模块，用于基于所述样本图像序列的真实性概率和真实性标注结果，获取所述时空模型。

在一种可能的实现方式中，所述图像序列是基于视频获取到的，所述装置还包括：

推荐模块，用于响应于所述图像序列的真实性为非伪造，则推荐所述图像序列所对应的视频；

过滤模块，用于响应于所述图像序列的真实性为伪造，则过滤掉所述图像序列所对应的视频。

在一种可能的实现方式中，所述图像序列是包含面部的图像序列，所述获取模块，用于响应于触发的目标请求，获取所述图像序列，所述目标请求为支付请求或者身份验证请求；

所述装置还包括：

所述获取模块，还用于响应于所述图像序列的真实性为非伪造，则获取目标面部，基于所述图像序列包含的面部和所述目标面部进行与所述目标请求相应的操作；

生成模块，用于响应于所述图像序列的真实性为伪造，则生成提示信息，所述提示信息用于提示基于所述目标请求所进行的操作失败。

在一种可能的实现方式中，所述获取模块，用于从视频中提取至少两张目标帧图像，所述目标帧图像为包含目标对象的图像；基于所述至少两张目标帧图像获取所述图像序列。

在一种可能的实现方式中，所述获取模块，用于确定所述至少两张目标帧图像中的各张目标帧图像中的目标区域，所述目标区域为包含所述目标对象的区域；剪切所述各张目标帧图像中的目标区域，得到所述图像序列。

在一种可能的实现方式中，所述获取模块，用于对所述至少两张目标帧图像中的各张目标帧图像进行图像识别，得到所述各张目标帧图像中目标对象所在的区域信息；按照扩展比例对所述各张目标帧图像中目标对象所在的区域信息进行扩展，得到所述各张目标帧图像中的目标区域。

另一方面，本申请实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现上述任一所述的图像序列的鉴别方法。

另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现上述任一所述的图像序列的鉴别方法。

另一方面，还提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品中存储有至少一条计算机指令，所述至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种图像序列的鉴别方法。

本申请实施例提供的技术方案至少带来如下有益效果：

本申请实施例提供的技术方案根据第一空间特征和第一时序特征鉴别图像序列的真实性，图像序列包括至少两张图像，第一空间特征用于表征各张图像中的伪造区域，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域，实现了综合图像序列中各张图像中的伪造区域和相邻图像之间的差异区域，鉴别图像序列的真实性，提高鉴别结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像序列的鉴别方法的实施环境示意图；

图2是本申请实施例提供的一种图像序列的鉴别方法的流程图；

图3是本申请实施例提供的一种空间子模型的结构示意图；

图4是本申请实施例提供的一种第一时序特征的提取示意图；

图5是本申请实施例提供的一种信息补充子模型的结构示意图；

图6是本申请实施例提供的一种第一方向特征提取部分的结构示意图；

图7是本申请实施例提供的一种第二方向特征提取部分的结构示意图；

图8是本申请实施例提供的一种时空模型的结构示意图；

图9是本申请实施例提供的一种融合特征所表征的图像区域的示意图；

图10是本申请实施例提供的一种图像序列的鉴别装置的结构示意图；

图11是本申请实施例提供的一种终端设备的结构示意图；

图12是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种图像序列的鉴别方法的实施环境示意图，如图1所示该实施环境包括电子设备11，本申请实施例中的图像序列的鉴别方法可以由电子设备11执行。示例性地，电子设备11可以包括终端设备或者服务器中的至少一项。

终端设备可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。

服务器可以为一台服务器，或者为多台服务器组成的服务器集群，或者为云计算平台和虚拟化中心中的任意一种，本申请实施例对此不加以限定。服务器可以与终端设备通过有线网络或无线网络进行通信连接。服务器可以具有数据处理、数据存储以及数据收发等功能，在本申请实施例中不加以限定。

本申请实施例的图像序列的鉴别方法可以基于人工智能技术实现，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

基于上述实施环境，本申请实施例提供了一种图像序列的鉴别方法，以图2所示的本申请实施例提供的一种图像序列的鉴别方法的流程图为例，该方法可由图1中的电子设备11执行。如图2所示，该方法包括步骤21-24。

步骤21，获取图像序列，图像序列包括至少两张图像。

本申请实施例中，图像序列包含的各张图像对应唯一的排序号，图像对应的排序号用于表征图像在图像序列中的位置。

示例性的，图像序列中包括图像A、图像B和图像C，其中，图像A对应的排序号为2，图像B对应的排序号为1，图像C对应的排序号为3，则图像序列中各图像的先后顺序是图像B、图像A、图像C。

在一种可能的实现方式中，获取图像序列，包括：从视频中提取至少两张目标帧图像，目标帧图像为包含目标对象的图像；基于至少两张目标帧图像获取图像序列。

目标对象包括但不限于人、人脸、车辆、建筑物等。对视频中各帧图像进行图像识别，得到各帧图像各自所包含的对象，基于各帧图像各自所包含的对象确定包含目标对象的目标帧图像，从而实现从视频中提取出至少两张目标帧图像。其中，本申请实施例不对图像识别方式作限定，示例性的，采用神经网络模型、图像处理检测方法(Oriented FAST AndRotated BRIEF，ORB)、尺度不变特征变换(Scale-invariant Feature Transform，SIFT)等，对视频中各帧图像进行图像识别。

在从视频中提取至少两张目标帧图像时，可以先从视频中等间隔采样多张待筛选帧图像，然后对各张待筛选帧图像进行图像识别，基于各张待筛选帧图像各自所包含的对象确定包含目标对象的目标帧图像。

示例性的，从视频第一帧开始，每隔10帧提取一张帧图像作为待筛选帧图像，从而得到150张待筛选帧图像，对150张待筛选帧图像进行图像识别，基于150张待筛选帧图像各自所包含的对象确定包含人脸的目标帧图像。

在一种可能的实现方式中，确定各张目标帧图像的排序号，基于各张目标帧图像的排序号确定图像序列。其中，各张目标帧图像的排序号可以基于各张目标帧图像在视频中的位置确定。

示例性的，视频中第三张帧图像为目标帧图像A，视频中第四张帧图像为目标帧图像B，视频中第六张帧图像为目标帧图像C，则目标帧图像A-C各自对应的排序号依次为1-3，即图像序列中各图像的先后顺序是目标帧图像A、目标帧图像B、目标帧图像C。

在另一种可能的实现方式中，基于至少两张目标帧图像获取图像序列，包括：确定至少两张目标帧图像中的各张目标帧图像中的目标区域，目标区域为包含目标对象的区域；剪切各张目标帧图像中的目标区域，得到图像序列。

本申请实施例中，通过图像识别技术识别出各张目标帧图像后，对于每一张目标帧图像，确定出该目标帧图像中的目标区域。目标区域包括但不限于目标对象的区域，目标区域的大小和形状等不做限定。示例性的，目标区域包括目标对象的区域和背景区域等，目标区域为矩形、圆形等任意规则的闭合形状，或者为任意不规则的闭合形状。

其中，确定至少两张目标帧图像中的各张目标帧图像中的目标区域，包括：对至少两张目标帧图像中的各张目标帧图像进行图像识别，得到各张目标帧图像中目标对象所在的区域信息；按照扩展比例对各张目标帧图像中目标对象所在的区域信息进行扩展，得到各张目标帧图像中的目标区域。

区域信息为目标对象所在的区域的位置信息。例如，目标对象所在的区域为矩形，则区域信息为三个顶点的坐标，或者四个顶点的坐标，或者一个顶点的坐标以及两个边的边长。目标对象为圆形，则区域信息为中心坐标和半径，或者中心坐标和直径。

在一种可能的实现方式中，通过多任务级联卷积网络(Multi-task CascadedConvolutional Network，MTCNN)对各张目标帧图像进行图像识别，得到各张目标帧图像中目标对象所在的区域信息，该区域信息为矩形的位置信息，按照扩展比例，将各张目标帧图像中目标对象所在的区域信息进行扩展，得到各张目标帧图像中的目标区域，该目标区域包含目标对象所在的区域和背景区域。其中，扩展比例的大小在本申请实施例中不做限定，示例性的，扩展比例为1.2倍。即各张目标帧图像中目标对象所在的区域信息扩大1.2倍，得到各张目标帧图像中的目标区域。

在另一种可能的实现方式中，在识别出各张目标帧图像中目标对象所在的区域信息后，将目标对象所在的区域信息作为目标区域，即直接识别出各张目标帧图像中的目标区域。

在得到各张目标帧图像中的目标区域后，将各张目标帧图像中的目标区域进行剪切，得到各个目标区域，确定各个目标区域的排序号，基于各个目标区域的排序号确定图像序列。其中，目标区域的排序号是基于该目标区域对应的目标帧图像在视频中的位置确定的。

示例性的，视频中第三张帧图像为目标帧图像A，目标帧图像A中包括目标区域a，视频中第四张帧图像为目标帧图像B，目标帧图像B中包括目标区域b，视频中第六张帧图像为目标帧图像C，目标帧图像C中包括目标区域c。目标区域a-c各自对应的排序号依次为1-3，即图像序列中各图像的先后顺序是目标区域a、目标区域b、目标区域c。

需要说明的是，对于任意一张目标帧图像，该目标帧图像中包括至少一个目标对象，当目标帧图像中包括至少两个目标对象时，识别出各个目标对象所在的区域信息。对于每一个目标对象，利用至少两张目标帧图像中该目标对象所在的区域信息，获取该目标对象对应的图像序列，获取该目标对象对应的图像序列的过程见“从视频中提取至少两张目标帧图像，基于至少两张目标帧图像获取图像序列”的相关描述，在此不再赘述。

本申请实施例中，获取图像序列之后，还包括：获取图像序列的序列特征，序列特征用于表征各张图像的图像信息；基于通道信息对序列特征进行切分，得到第一通道特征和第二通道特征。

在获取到图像序列之后，提取图像序列的序列特征，序列特征表示为[c，t，h，w]。基于通道信息对序列特征进行切分，得到第一通道特征和第二通道特征，例如，将序列特征沿着通道方向进行切分，得到第一通道特征和第二通道特征，第一通道特征表示为X1，第二通道特征表示为X2，X1和X2均为[c/2，t，h，w]。其中，c表示图像序列的通道数，t表示图像序列的图像数量，h表示图像序列中图像的高，w表示图像序列中图像的宽。

本申请实施例中，第一通道特征用于提取图像序列的第一空间特征，第二通道特征用于提取图像序列的第一时序特征，详见下述有关步骤22和步骤23的描述。

步骤22，提取图像序列的第一空间特征，第一空间特征用于表征至少两张图像中的各张图像中的伪造区域。

本申请实施例不对空间特征(如第一空间特征、下文提及的第二空间特征、样本空间特征等)的提取方式作限定。示例性的，基于空间子模型提取图像序列的第一空间特征，空间子模型又称为空间不一致性模块(Spatial Inconsistency Module，SIM)，用于通过空间上的注意力机制来提取表征图像序列中各张图像中的伪造区域的空间特征。

在一种可能的实现方式中，提取图像序列的第一空间特征，包括：基于第一通道特征获取图像序列的第一空间特征。

如图3所示，图3是本申请实施例提供的一种空间子模型的结构示意图。第一通道特征输入至空间子模型，一方面，第一通道特征进行3×3的的卷积处理，得到卷积处理后的第一通道特征。另一方面，第一通道特征依次经过下采样处理、1×3的第二方向卷积处理、3×1的第一方向卷积处理以及上采样处理，得到处理后的第一通道特征，将处理后的第一通道特征与未经处理的第一通道特征进行相加操作(也称为跳连处理)后，进行归一化处理，得到归一化处理后的第一通道特征。将卷积处理后的第一通道特征与归一化处理后的第一通道特征进行点乘操作，再进行3×3的卷积处理后，得到第一空间特征。

本申请实施例以及下文各实施例中，下采样处理是为了扩大感受野，1×3的第二方向卷积处理是为了提取第二方向的信息，3×1的第一方向卷积处理是为了提取第一方向的信息，跳连处理是为了弥补上采样处理所带来的信息损失，归一化处理可以基于Sigmoid函数实现，用于给各空间信息分配权重。

步骤23，提取图像序列的第一时序特征，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域。

本申请实施例不对时序特征(如第一时序特征、下文提及的第二时序特征、样本时序特征等)的提取方式作限定。示例性的，基于时序子模型提取图像序列的时序特征，时序子模型又称为时序不一致性模块(Temporal Inconsistency Module，TIM)，用于通过时序上的注意力机制来提取表征图像序列中相邻图像之间的差异区域的时序特征。

其中，提取图像序列的第一时序特征，包括：基于第二通道特征获取图像序列的第一时序特征。

本申请实施例中，基于第二通道特征，使用时序子模型提取图像序列的第一时序特征。在一种可能的实现方式中，基于第二通道特征获取图像序列的第一时序特征，包括：基于第二通道特征和第一空间特征获取图像序列的第一时序特征。

本申请实施例中，基于第二通道特征和时序子模型、第一空间特征和信息补充子模型获取图像序列的第一时序特征。信息补充子模型又称为信息补充模块(InformationSupplement Module，ISM)，可以有选择性地从空间特征中提取出有用的时序特征。

在一种可能的实现方式中，基于第二通道特征和第一空间特征获取图像序列的第一时序特征，包括：基于第二通道特征，获取图像序列的第一子特征；基于第一空间特征，获取图像序列的第二子特征；将第一子特征和第二子特征进行融合，得到图像序列的第一时序特征。

本申请实施例中，将第二通道特征输入至时序子模型，由时序子模型输出图像序列的第一子特征，将第一空间特征输入至信息补充子模型，由信息补充子模型输出图像序列的第二子特征。之后，将第一子特征和第二子特征进行融合，得到图像序列的第一时序特征。

如图4所述，图4是本申请实施例提供的一种第一时序特征的提取示意图。将第二通道特征输入至时序子模型，时序子模型包括第一方向特征提取部分和第二方向特征提取部分。一方面，第二通道特征经过第一方向特征提取部分得到第一方向特征，另一方面，第二通道特征经过第二方向特征提取部分得到第二方向特征。将第一方向特征与第二方向特征进行相加，将相加后的特征与第二通道特征进行相乘，相乘后的特征经过3×1×1的卷积处理，得到第一子特征，由时序子模型输出该第一子特征。第一空间特征输入至信息补充子模型，由信息补充子模型输出第二子特征。将第一子特征与第二子特征进行相加，相加后经过3×3的卷积处理后，得到第一时序特征。

其中，如图5所示，图5是本申请实施例提供的一种信息补充子模型的结构示意图。第一空间特征输入至信息补充子模型后，信息补充子模型先对第一空间特征进行平均聚合处理，得到全局表示，将该全局表示先单通道方向上的一维卷积处理，再经过归一化处理进行权重分配，之后与第一空间特征进行点乘，将点乘后的特征经过3×1×1的卷积处理，得到第二子特征，由信息补充子模型输出第二子特征。

需要说明的是，本申请实施例中，第一方向特征与第二方向特征进行相加后再与第二通道特征进行相乘，是为将中低层特征与高层特征进行融合，提高特征的准确性。其中，第一方向特征与第二方向特征的特征方向垂直，示例性的，第一方向特征为竖直方向特征，第二方向特征为水平方向特征。

在一种可能的实现方式中，基于第二通道特征，获取图像序列的第一子特征，包括：对第二通道特征进行第一方向的特征处理，得到第一方向特征；对第二通道特征进行第二方向的特征处理，得到第二方向特征；将第一方向特征、第二方向特征以及第二通道特征进行融合，得到图像序列的第一子特征。

本申请实施例中，第二通道特征经过第一方向特征提取部分，由第一方向特征提取部分对第二通道特征进行第一方向的特征处理，得到第一方向特征。示例性的，第一方向为竖直方向。

如图6所示，图6是本申请实施例提供的一种第一方向特征提取部分的结构示意图。第二通道特征在经过第一方向特征提取部分时，可以先通过1×1的卷积处理，降低第二通道特征的通道维度，实现减少参数量、提高运算效率的目的，再对第二通道特征进行重塑(Reshape)操作，也可以直接对第二通道特征进行重塑操作。在“基于通道信息对序列特征进行切分，得到第一通道特征和第二通道特征”的描述中已提及，第二通道特征为[c/2，t，h，w]，重塑操作后的第二通道特征为[w，c/2r，h，t]。

接着，对重塑操作后的第二通道特征进行沿t方向的前向差分处理，得到差分特征，该差分特征为[w，c/2r，h，t-1]，定义t时刻的差分特征为0，此时，差分特征表示为[w，c/2r，h，t]，该差分特征表示图像序列在第一方向的变化情况。

为了更准确的提取图像序列在第一方向的变化情况，一方面，将该差分特征经过3×1的第一方向卷积处理，得到第一方向卷积处理后的差分特征。另一方面，将该差分特征依次经过下采样处理、3×1的第一方向卷积处理和上采样处理，得到上采样处理后的差分特征。将该差分特征、第一方向卷积处理后的差分特征、上采样处理后的差分特征进行相加(即跳连处理)，以融合中低层特征和高层特征，得到相加后的差分特征。将相加后的差分特征依次经过1×1的卷积处理和归一化处理，得到第一方向特征。

其中，c表示图像序列的通道数，t表示图像序列的图像数量，h表示图像序列中图像的高，w表示图像序列中图像的宽，r表示通道压缩率，即通道维度降低的倍数。差分特征经过3×1的第一方向卷积处理，以及依次经过下采样处理、3×1的第一方向卷积处理和上采样处理，是为了提取多尺度的信息。相加后的差分特征经过1×1的卷积处理，将通道维度提升至c/2。

本申请实施例中，第二通道特征经过第二方向特征提取部分，由第二方向特征提取部分对第二通道特征进行第二方向的特征处理，得到第二方向特征。

如图7所示，图7是本申请实施例提供的一种第二方向特征提取部分的结构示意图。第二通道特征在经过第二方向特征提取部分时，可以先通过1×1的卷积处理，降低第二通道特征的通道维度，实现减少参数量、提高运算效率的目的，再对第二通道特征进行重塑操作，也可以直接对第二通道特征进行重塑操作。接着，对重塑操作后的第二通道特征进行沿t方向的前向差分处理，得到差分特征，该差分特征表示图像序列在第二方向的变化情况。

为了更准确的提取图像序列在第二方向的变化情况，一方面，将该差分特征经过1×3的第二方向卷积处理，得到第二方向卷积处理后的差分特征。另一方面，将该差分特征依次经过下采样处理、1×3的第二方向卷积处理和上采样处理，得到上采样处理后的差分特征。将该差分特征、第二方向卷积处理后的差分特征、上采样处理后的差分特征进行相加(即跳连处理)，以融合中低层特征和高层特征，得到相加后的差分特征。将相加后的差分特征依次经过1×1的卷积处理和归一化处理，得到第二方向特征。

第二方向特征提取部分的原理和第一方向特征提取部分的原理相类似，可以见第一方向特征提取部分的相关说明，在此不再赘述。

本申请实施例中，将第一方向特征、第二方向特征以及第二通道特征进行融合，得到图像序列的第一子特征。即“基于第二通道特征，获取图像序列的第一子特征”的相关描述中提及的，将第一方向特征与第二方向特征进行相加，将相加后的特征与第二通道特征进行相乘，相乘后的特征经过3×1×1的卷积处理，得到第一子特征。

得到第一子特征之后，将第一子特征和第二子特征进行融合，也就是说，将第一子特征与第二子特征进行相加，相加后经过3×3的卷积处理后，得到图像序列的第一时序特征。

步骤24，根据第一空间特征和第一时序特征，鉴别图像序列的真实性，真实性用于表征图像序列是否为伪造的图像序列。

本申请实施例中，根据第一空间特征和第一时序特征，鉴别图像序列的真实性的方式不做限定。在一种可能的实现方式中，根据第一空间特征和第一时序特征，鉴别图像序列的真实性，包括：将第一空间特征和第一时序特征进行融合，得到第一融合特征；基于第一融合特征确定图像序列的真实性概率；基于图像序列的真实性概率，确定图像序列的真实性。

将第一空间特征和第一时序特征按照通道信息如通道方向进行拼接，从而实现将第一空间特征和第一时序特征进行融合，得到第一融合特征。在一种可能的实现方式中，第一空间特征和第一时序特征是基于图像序列的序列特征得到的，将第一空间特征和第一时序特征进行融合，得到第一融合特征，包括：将第一空间特征、第一时序特征和序列特征进行融合，得到第一融合特征。

本申请实施例中，将第一空间特征和第一时序特征按照通道信息如通道方向进行拼接，将拼接后的特征与序列特征进行相加，从而实现将第一空间特征、第一时序特征和序列特征进行融合，得到第一融合特征。

接着，基于第一融合特征对图像序列进行分类处理，得到图像序列的真实性概率，该真实性概率用于表征图像序列为伪造的图像序列的概率，真实性概率大于或者等于0，且小于或者等于1。其中，基于第一融合特征确定图像序列的真实性概率的方式不做限定。

在一种可能的实现方式中，将第一融合特征输入至全连接层，由全连接层输出图像序列的真实性概率。

之后，当图像序列的真实性概率大于或者等于目标概率时，确定图像序列的真实性为伪造的图像序列，当图像序列的真实性概率小于目标概率时，确定图像序列的真实性为非伪造的图像序列，目标概率的取值不做限定，根据实际应用场景灵活调整，示例性的，目标概率为0.5。

可以理解的是，真实性概率可以为用于表征图像序列为非伪造的图像序列的概率时，此时，当图像序列的真实性概率大于或者等于目标概率时，确定图像序列的真实性为非伪造的图像序列，当图像序列的真实性概率小于目标概率时，确定图像序列的真实性为伪造的图像序列。

在一种可能的实现方式中，根据第一空间特征对图像序列进行分类处理，得到图像序列的第一真实性概率，根据第一时序特征对图像序列进行分类处理，得到图像序列的第二真实性概率，基于第一真实性概率和第二真实性概率，确定图像序列的真实性。

其中，第一真实性概率和第二真实性概率为不同的真实性概率。可以基于第一真实性概率确定图像序列的真实性，并基于第二真实性概率确定图像序列的真实性，图像序列的真实性的确定方式见有关基于真实性概率确定图像序列的真实性的相关描述，在此不在赘述。

当基于第一真实性概率确定图像序列的真实性为伪造，和/或，基于第二真实性概率确定图像序列的真实性为伪造，此时，图像序列的真实性为伪造。当基于第一真实性概率确定图像序列的真实性为非伪造，且，基于第二真实性概率确定图像序列的真实性为非伪造，此时，图像序列的真实性为非伪造。

在另一种可能的实现方式中，基于第一融合特征确定图像序列的真实性概率，包括：基于通道信息对第一融合特征进行切分，得到第三通道特征和第四通道特征；基于第三通道特征获取图像序列的第二空间特征；基于第四通道特征获取图像序列的第二时序特征；将第二空间特征和第二时序特征进行融合，得到第二融合特征；基于第二融合特征确定图像序列的真实性概率。

本申请实施例中，基于通道信息对第一融合特征进行切分，如将第一融合特征沿着通道方向进行切分，得到第三通道特征和第四通道特征，可见有关对序列特征进行切分，得到第一通道特征和第二通道特征的描述。基于第三通道特征获取图像序列的第二空间特征，可见有关对基于第一通道特征获取图像序列的第一空间特征的描述。基于第四通道特征获取图像序列的第二时序特征，可见有关基于第二通道特征获取图像序列的第一时序特征的相关描述。将第二空间特征和第二时序特征进行融合，得到第二融合特征，可见有关将第一空间特征和第一时序特征进行融合，得到第一融合特征的描述。基于第二融合特征确定图像序列的真实性概率，可见有关基于第一融合特征确定图像序列的真实性概率的描述。上述内容的实现原理相类似，在此不再赘述。

通过对第一融合特征进行特征切分、特征处理、特征融合的方式，使得得到的第二融合特征更加准确，以便于提高图像序列的鉴别准确性。为了使图像序列的鉴别准确性进一步提升，可以多次对第二融合特征进行特征切分、特征处理、特征融合等，在本申请实施例不做限定。

在一种可能的实现方式中，第一空间特征和第一时序特征是基于时空模型提取到的，提取图像序列的第一空间特征之前，还包括：获取样本图像序列和样本图像序列的真实性标注结果，样本图像序列包括至少两张样本图像；提取样本图像序列的样本空间特征，样本空间特征用于表征至少两张样本图像中的各张样本图像中的伪造区域；提取样本图像序列的样本时序特征，样本时序特征用于表征至少两张样本图像中相邻样本图像之间的差异区域；基于样本空间特征和样本时序特征，确定样本图像序列的真实性概率；基于样本图像序列的真实性概率和真实性标注结果，获取时空模型。

本申请实施例中，利用时空模型提取空间特征(包括样本空间特征以及第一空间特征、第二空间特征等)和时序特征(包括样本时序特征以及第一时序特征、第二时序特征等)。在训练时空模型时，从样本视频中获取样本图像序列，并获取样本图像序列的真实性标注结果。获取样本图像序列的方式见步骤21的描述，二者实现原理相同，在此不再赘述。真实性标注结果为伪造或者非伪造。示例性的，以0表示伪造，以1表示非伪造。

示例性的，在构建样本图像序列时，将样本面部视频等间隔采样150帧图像，从150帧图像中筛选出包含面部的目标帧图像，对各张目标帧图像进行图像识别，得到各张目标帧图像中面部所在的区域，将该区域扩大1.2倍得到目标区域，剪切目标区域，使得目标区域包含整个面部及周围的部分背景，以每8张目标区域构建一个样本图像序列的方式，得到多个样本图像序列。

提取样本图像序列的样本空间特征的方式见有关提取图像序列的第一空间特征的描述。提取样本图像序列的样本时序特征的方式见有关提取图像序列的第一时序特征的描述。基于样本空间特征和样本时序特征，确定样本图像序列的真实性概率的方式，见有关将第一空间特征和第一时序特征进行融合，得到第一融合特征，基于第一融合特征确定图像序列的真实性概率的描述。上述内容的实现原理相类似，在此不再赘述。

本申请实施例中，基于样本图像序列的真实性概率和真实性标注结果，计算模型的损失值，使用损失值优化模型参数，以获取到时空模型。损失函数不做限定。示例性的，损失函数为自适应矩估计(Adaptive Moment Estimation，Adam)算法。

本申请实施例提供了一个示例，在训练时空模型时，人工标注样本图像序列的真实性。样本图像序列包含8张图像，设置通道压缩率为16，样本图像序列中图像的尺寸为224*224，采用Adam算法作为损失函数进行网络参数的优化，训练次数为30次，训练次数批尺寸(Batch)等于16，初始学习率为0.0002，且每经过十个循环，学习率减小十分之一，基于若干个方向来翻转图像的方式扩充样本图像序列的数量，若干即为至少一个。示例性的，基于水平方向或垂直方向中的至少一项来翻转图像的方式扩充样本图像序列的数量。

在一种可能的实现方式中，图像序列是基于视频获取到的，根据第一空间特征和第一时序特征，鉴别图像序列的真实性之后，还包括：响应于图像序列的真实性为非伪造，则向用户推荐图像序列所对应的视频；响应于图像序列的真实性为伪造，则过滤掉图像序列所对应的视频。

本申请实施例的所提供的图像序列的鉴别方法可以应用于视频推荐场景。在视频推荐场景中，对于待推荐的每一个视频，基于该视频获取图像序列，按照步骤21-步骤24的方式，鉴别图像序列的真实性。

当图像序列的真实性为非伪造，则向用户推荐图像序列所对应的视频，在推荐页面上显示该视频，当图像序列的真实性为伪造，则过滤掉图像序列所对应的视频，避免在推荐页面上显示图像序列所对应的视频。

示例性的，基于视频A中获取到图像序列a，基于视频B中获取到图像序列b，基于视频C中获取到图像序列c，其中，图像序列a和图像序列c的真实性均为非伪造，图像序列b的真实性为伪造。则向用户推荐视频A和视频C，即在推荐页面上显示视频A和视频C，同时，过滤掉视频B，避免在推荐页面上显示视频B。

在一种可能的实现方式中，图像序列是包含面部的图像序列，获取图像序列，包括：响应于触发的目标请求，获取图像序列，目标请求为支付请求或者身份验证请求；根据第一空间特征和第一时序特征，鉴别图像序列的真实性之后，还包括：响应于图像序列的真实性为非伪造，则获取目标面部，基于图像序列包含的面部和目标面部进行与目标请求相应的操作；响应于图像序列的真实性为伪造，则生成提示信息，提示信息用于提示基于目标请求所进行的操作失败。

本申请实施例的所提供的图像序列的鉴别方法可以应用于支付场景、身份验证场景等。

在支付场景中，当获取到触发的支付请求时，响应于该支付请求，获取面部视频，基于面部视频获取包含面部的图像序列，按照步骤21-步骤24的方式，鉴别图像序列的真实性。

当图像序列的真实性为非伪造，则获取目标面部，目标面部是从某一存储区域中读取到的面部，该存储区域可以是电子设备自身配置的存储区域，也可以是服务器端的存储区域，还可以是身份证等外部存储区域。之后，基于图像序列包含的面部和目标面部进行与支付请求相应的操作。当图像序列包含的面部和目标面部一致时，则进行支付操作，当图像序列包含的面部和目标面部不一致时，则生成支付操作失败的提示信息。

当图像序列的真实性为伪造，则生成支付操作失败的提示信息。

在身份验证场景中，当获取到触发的身份验证请求时，响应于该身份验证请求，获取面部视频，基于面部视频获取包含面部的图像序列，按照步骤21-步骤24的方式，鉴别图像序列的真实性。

当图像序列的真实性为非伪造，则获取目标面部，目标面部是从某一存储区域中读取到的人脸，该存储区域可以是电子设备自身配置的存储区域，也可以是服务器端的存储区域，还可以是身份证等外部存储区域。之后，基于图像序列包含的面部和目标面部进行与身份验证请求相应的操作。当图像序列包含的面部和目标面部一致时，说明身份验证成功，此时生成身份验证成功的提示信息，当图像序列包含的面部和目标面部不一致时，说明身份验证失败，此时生成身份验证失败的提示信息。

当图像序列的真实性为伪造，则生成身份验证失败的提示信息。

本申请实施例提供的技术方案根据图像序列的第一空间特征和第一时序特征鉴别图像序列的真实性，图像序列包括至少两张图像，第一空间特征用于表征各张图像中的伪造区域，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域，实现了综合图像序列中各张图像中的伪造区域和相邻图像之间的差异区域，鉴别图像序列的真实性，提高鉴别结果的准确性。

上述从方法步骤的角度阐述了本申请实施例的图像序列的鉴别方法，下面将结合支付场景进行详细说明。在支付场景中，当获取到触发的支付请求时，响应于该支付请求，获取人脸视频，将人脸视频等间隔分为16段，每一段采样中间的帧图像，作为包含人脸的目标帧图像，对各张目标帧图像进行图像识别，得到各张目标帧图像中人脸所在的区域，将该区域扩大1.2倍得到目标区域，剪切目标区域，使得目标区域包含整个人脸及周围的部分背景，从而得到图像序列，该图像序列包含16张图像。

在鉴别图像序列的真实性时，采用神经网络模型进行鉴别。使用深度残差网络(Deep Residual Network，Resnet)50作为骨架网络，将时空模型作为一个块替换掉Resnet50原本的块，得到本申请实施例所使用的神经网络模型。其中，时空模型也称为时空不一致性学习(Spatial-Temporal Inconsistency Learning，STIL)，用于提取图像序列的第一空间特征和第一时序特征。

如图8所示，图8是本申请实施例提供的一种时空模型的结构示意图，该时空模型包括空间子模型、时序子模型和信息补充子模型，其中，时空模型用于对输入时空模型的特征进行切分，得到输入空间子模型的特征和输入时序子模型的特征。

空间子模型用于提取图像序列的第一空间特征。一方面，通过对输入空间子模型的特征进行卷积处理，得到卷积处理后的特征。另一方面，对输入空间子模型的特征进行两次卷积处理，将两次卷积处理后的特征与输入空间子模型的特征进行相加处理后，得到相加处理后的特征。之后，将相加处理后的特征和卷积处理后的特征进行点乘处理，再进行卷积处理后，得到第一空间特征。详见上述有关步骤22的描述，在此不再赘述。

时序子模型用于提取图像序列的第一子特征。一方面，通过对输入时序子模型的特征进行重塑操作、前向差分处理，得到差分特征，将该差分特征分别进行两种卷积处理，将两种卷积处理后的差分特征和该差分特征进行相加处理，之后经过卷积处理和归一化操作后，得到第一方向特征。另一方面，通过对输入时序子模型的特征进行重塑操作、前向差分处理，得到差分特征，将该差分特征分别进行两种卷积处理，将两种卷积处理后的差分特征和该差分特征进行相加处理，之后经过卷积处理和归一化操作后，得到第二方向特征。将第一方向特征和第二方向特征进行相加处理，将相加操作后的特征与输入时序子模型的特征进行相乘处理后，再经过卷积处理，得到第一子特征。详见上述有关“基于第二通道特征，获取图像序列的第一子特征”的描述，在此不再赘述。

信息补充子模型用于提取图像序列的第二子特征。第一空间特征输入至信息补充子模型后，信息补充子模型先对第一空间特征进行一维卷积处理、归一化处理后，将处理后得到的空间特征与第一空间特征进行点乘处理、卷积处理，得到第二子特征。详见上述有关“基于第一空间特征，获取图像序列的第二子特征”的描述，在此不再赘述。

本申请实施例中，时空模型还用于对第一子特征和第二子特征进行相加处理，对相加处理后的特征进行卷积处理后，得到图像序列的第一时序特征。之后，将第一空间特征、第一时序特征和输入时空模型的特征进行相加处理后，即对第一空间特征、第一时序特征和输入时空模型的特征进行融合，得到第一融合特征，由时空模型输出该第一融合特征。

本申请实施例中，利用一个卷积层对图像序列进行序列特征提取，得到图像序列的序列特征，该序列特征作为输入时空模型的特征，输入至时空模型中。时空模型将序列特征切分为两份，一份特征经过空间子模型得到第一空间特征，另一份特征经过时序子模型得到第一子特征，其中，第一空间特征经过信息补充子模型得到第二子特征。时空模型基于第一子特征、第二子特征和第一空间特征，得到第一融合特征并输出该第一融合特征。之后，将第一融合特征作为输入时空模型的特征，输入至时空模型中，按照上述时空模型的特征处理方式，由时空模型得到第二融合特征并输出该第二融合特征。之后，将第二融合特征作为输入时空模型的特征，输入至时空模型中，按照上述时空模型的特征处理方式，由时空模型得到第三融合特征并输出该第三融合特征等，直至达到目标次数如10次后，将得到的融合特征输入至全连接层，由全连接层输出图像序列的真实性概率，基于图像序列的真实性概率得到图像序列的真实性。

在本申请实施例中，输入至全连接层的融合特征是经过多个时空模型进行特征处理后得到，该融合特征表征了图像序列中各张图像的伪造区域以及相邻图像之间的差异区域，如图9所示，图9是本申请实施例提供的一种融合特征所表征的图像区域的示意图。由图像(1)-(4)构成图像序列，该图像序列输入至神经网络模型，由神经网络模型的最后一个时空模型输出融合特征。其中，图(1)中标号91所示的区域为融合特征中包含的图(1)的伪造区域，图(2)中标号92所示的区域为融合特征中包含的图(2)的伪造区域和图(2)与图(1)之间的差异区域，图(3)中标号93所示的区域为融合特征中包含的图(3)的伪造区域和图(3)与图(2)之间的差异区域，图(4)中标号94所示的区域为融合特征中包含的图(4)的伪造区域和图(4)与图(3)之间的差异区域。

当图像序列的真实性为非伪造的图像序列，则获取目标人脸，基于目标人脸和图像序列包含的人脸进行支付操作，当图像序列的真实性为伪造的图像序列，则生成支付操作失败的提示信息。

有关于基于目标人脸和图像序列包含的人脸进行支付操作的相关信息，详见上述有关“响应于图像序列的真实性为非伪造，则获取目标面部，基于图像序列包含的面部和目标面部进行与目标请求相应的操作；响应于图像序列的真实性为伪造，则生成提示信息，提示信息用于提示基于目标请求所进行的操作失败”的描述，在此不再赘述。

图10所示为本申请实施例提供的一种图像序列的鉴别装置的结构示意图，如图10所示，该装置包括：

获取模块1001，用于获取图像序列，图像序列包括至少两张图像；

提取模块1002，用于提取图像序列的第一空间特征，第一空间特征用于表征至少两张图像中的各张图像中的伪造区域；

提取模块1002，还用于提取图像序列的第一时序特征，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域；

鉴别模块1003，用于根据第一空间特征和第一时序特征，鉴别图像序列的真实性，真实性用于表征图像序列是否为伪造的图像序列。

在一种可能的实现方式中，该装置还包括：

获取模块1001，还用于获取图像序列的序列特征，序列特征用于表征至少两张图像中的各张图像的图像信息；

切分模块，用于基于通道信息对序列特征进行切分，得到第一通道特征和第二通道特征；

提取模块1002，用于基于第一通道特征获取图像序列的第一空间特征；

提取模块1002，用于基于第二通道特征获取图像序列的第一时序特征。

在一种可能的实现方式中，提取模块1002，用于基于第二通道特征和第一空间特征获取图像序列的第一时序特征。

在一种可能的实现方式中，提取模块1002，用于基于第二通道特征，获取图像序列的第一子特征；基于第一空间特征，获取图像序列的第二子特征；将第一子特征和第二子特征进行融合，得到图像序列的第一时序特征。

在一种可能的实现方式中，提取模块1002，用于对第二通道特征进行第一方向的特征处理，得到第一方向特征；对第二通道特征进行第二方向的特征处理，得到第二方向特征；将第一方向特征、第二方向特征以及第二通道特征进行融合，得到图像序列的第一子特征。

在一种可能的实现方式中，鉴别模块1003，用于将第一空间特征和第一时序特征进行融合，得到第一融合特征；基于第一融合特征确定图像序列的真实性概率；基于图像序列的真实性概率，确定图像序列的真实性。

在一种可能的实现方式中，第一空间特征和第一时序特征是基于图像序列的序列特征得到的，鉴别模块1003，用于将第一空间特征、第一时序特征和序列特征进行融合，得到第一融合特征。

在一种可能的实现方式中，鉴别模块1003，用于基于通道信息对第一融合特征进行切分，得到第三通道特征和第四通道特征；基于第三通道特征获取图像序列的第二空间特征；基于第四通道特征获取图像序列的第二时序特征；将第二空间特征和第二时序特征进行融合，得到第二融合特征；基于第二融合特征确定图像序列的真实性概率。

在一种可能的实现方式中，第一空间特征和第一时序特征是基于时空模型提取到的，该装置还包括：

获取模块1001，用于获取样本图像序列和样本图像序列的真实性标注结果，样本图像序列包括至少两张样本图像；

提取模块1002，用于提取样本图像序列的样本空间特征，样本空间特征用于表征至少两张样本图像中的各张样本图像中的伪造区域；

提取模块1002，用于提取样本图像序列的样本时序特征，样本时序特征用于表征至少两张样本图像中相邻样本图像之间的差异区域；

确定模块，用于基于样本空间特征和样本时序特征，确定样本图像序列的真实性概率；

获取模块1001，用于基于样本图像序列的真实性概率和真实性标注结果，获取时空模型。

在一种可能的实现方式中，图像序列是基于视频获取到的，该装置还包括：

推荐模块，用于响应于图像序列的真实性为非伪造，则推荐图像序列所对应的视频；

过滤模块，用于响应于图像序列的真实性为伪造，则过滤掉图像序列所对应的视频。

在一种可能的实现方式中，图像序列是包含面部的图像序列，获取模块1001，用于响应于触发的目标请求，获取图像序列，目标请求为支付请求或者身份验证请求；

该装置还包括：

获取模块1001，还用于响应于图像序列的真实性为非伪造，则获取目标面部，基于图像序列包含的面部和目标面部进行与目标请求相应的操作；

生成模块，用于响应于图像序列的真实性为伪造，则生成提示信息，提示信息用于提示基于目标请求所进行的操作失败。

在一种可能的实现方式中，获取模块1001，用于从视频中提取至少两张目标帧图像，目标帧图像为包含目标对象的图像；基于至少两张目标帧图像获取图像序列。

在一种可能的实现方式中，获取模块1001，用于确定至少两张目标帧图像中的各张目标帧图像中的目标区域，目标区域为包含目标对象的区域；剪切各张目标帧图像中的目标区域，得到图像序列。

在一种可能的实现方式中，获取模块1001，用于对至少两张目标帧图像中的各张目标帧图像进行图像识别，得到各张目标帧图像中目标对象所在的区域信息；按照扩展比例对各张目标帧图像中目标对象所在的区域信息进行扩展，得到各张目标帧图像中的目标区域。

上述装置根据第一空间特征和第一时序特征鉴别图像序列的真实性，图像序列包括至少两张图像，第一空间特征用于表征各张图像中的伪造区域，第一时序特征用于表征至少两张图像中相邻图像之间的差异区域，实现了综合图像序列中各张图像中的伪造区域和相邻图像之间的差异区域，鉴别图像序列的真实性，提高鉴别结果的准确性。

应理解的是，上述图10提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图11示出了本申请一个示例性实施例提供的终端设备1100的结构框图。该终端设备1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端设备1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端设备1100包括有：处理器1101和存储器1102。

处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本申请中方法实施例提供的图像序列的鉴别方法。

在一些实施例中，终端设备1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、显示屏1105、摄像头组件1106、音频电路1107、定位组件1108和电源1109中的至少一种。

外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有采集在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置在终端设备1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端设备1100的不同表面或呈折叠设计；在另一些实施例中，显示屏1105可以是柔性显示屏，设置在终端设备1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode，有机发光二极管)等材质制备。

摄像头组件1106用于采集图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1107可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。

定位组件1108用于定位终端设备1100的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(Global Positioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1109用于为终端设备1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端设备1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。

加速度传感器1111可以检测以终端设备1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111采集的重力加速度信号，控制显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1112可以检测终端设备1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同采集用户对终端设备1100的3D动作。处理器1101根据陀螺仪传感器1112采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1113可以设置在终端设备1100的侧边框和/或显示屏1105的下层。当压力传感器1113设置在终端设备1100的侧边框时，可以检测用户对终端设备1100的握持信号，由处理器1101根据压力传感器1113采集的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在显示屏1105的下层时，由处理器1101根据用户对显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1114用于采集用户的指纹，由处理器1101根据指纹传感器1114采集到的指纹识别用户的身份，或者，由指纹传感器1114根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置在终端设备1100的正面、背面或侧面。当终端设备1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商Logo集成在一起。

光学传感器1115用于采集环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115采集的环境光强度，控制显示屏1105的显示亮度。具体地，当环境光强度较高时，调高显示屏1105的显示亮度；当环境光强度较低时，调低显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115采集的环境光强度，动态调整摄像头组件1106的拍摄参数。

接近传感器1116，也称距离传感器，通常设置在终端设备1100的前面板。接近传感器1116用于采集用户与终端设备1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端设备1100的正面之间的距离逐渐变小时，由处理器1101控制显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端设备1100的正面之间的距离逐渐变大时，由处理器1101控制显示屏1105从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图11中示出的结构并不构成对终端设备1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图12为本申请实施例提供的服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或多个处理器(Central Processing Units，CPU)1201和一个或多个的存储器1202，其中，该一个或多个存储器1202中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器1201加载并执行以实现上述各个方法实施例提供的图像序列的鉴别方法。当然，该服务器1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器1200还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行，以使电子设备实现上述任一种图像序列的鉴别方法。

可选地，上述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-OnlyMemory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品中存储有至少一条计算机指令，该至少一条计算机指令由处理器加载并执行，以使计算机实现上述任一种图像序列的鉴别方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像序列的鉴别方法，其特征在于，所述方法包括：

获取图像序列，所述图像序列包括至少两张图像；

提取所述图像序列的第一空间特征，所述第一空间特征用于表征所述至少两张图像中的各张图像中的伪造区域；

提取所述图像序列的第一时序特征，所述第一时序特征用于表征所述至少两张图像中相邻图像之间的差异区域；

根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性，所述真实性用于表征所述图像序列是否为伪造的图像序列。

2.根据权利要求1所述的方法，其特征在于，所述获取图像序列之后，还包括：

获取所述图像序列的序列特征，所述序列特征用于表征所述至少两张图像中的各张图像的图像信息；

基于通道信息对所述序列特征进行切分，得到第一通道特征和第二通道特征；

所述提取所述图像序列的第一空间特征，包括：

基于所述第一通道特征获取所述图像序列的第一空间特征；

所述提取所述图像序列的第一时序特征，包括：

基于所述第二通道特征获取所述图像序列的第一时序特征。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第二通道特征获取所述图像序列的第一时序特征，包括：

基于所述第二通道特征和所述第一空间特征获取所述图像序列的第一时序特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第二通道特征和所述第一空间特征获取所述图像序列的第一时序特征，包括：

基于所述第二通道特征，获取所述图像序列的第一子特征；

基于所述第一空间特征，获取所述图像序列的第二子特征；

将所述第一子特征和所述第二子特征进行融合，得到所述图像序列的第一时序特征。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第二通道特征，获取所述图像序列的第一子特征，包括：

对所述第二通道特征进行第一方向的特征处理，得到第一方向特征；

对所述第二通道特征进行第二方向的特征处理，得到第二方向特征；

将所述第一方向特征、所述第二方向特征以及所述第二通道特征进行融合，得到所述图像序列的第一子特征。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性，包括：

将所述第一空间特征和所述第一时序特征进行融合，得到第一融合特征；

基于所述第一融合特征确定所述图像序列的真实性概率；

基于所述图像序列的真实性概率，确定所述图像序列的真实性。

7.根据权利要求6所述的方法，其特征在于，所述第一空间特征和所述第一时序特征是基于所述图像序列的序列特征得到的，所述将所述第一空间特征和所述第一时序特征进行融合，得到第一融合特征，包括：

将所述第一空间特征、所述第一时序特征和所述序列特征进行融合，得到第一融合特征。

8.根据权利要求6所述的方法，其特征在于，所述基于所述第一融合特征确定所述图像序列的真实性概率，包括：

基于通道信息对所述第一融合特征进行切分，得到第三通道特征和第四通道特征；

基于所述第三通道特征获取所述图像序列的第二空间特征；

基于所述第四通道特征获取所述图像序列的第二时序特征；

将所述第二空间特征和所述第二时序特征进行融合，得到第二融合特征；

基于所述第二融合特征确定所述图像序列的真实性概率。

9.根据权利要求1-8任一所述的方法，其特征在于，所述第一空间特征和所述第一时序特征是基于时空模型提取到的，所述提取所述图像序列的第一空间特征之前，还包括：

获取样本图像序列和所述样本图像序列的真实性标注结果，所述样本图像序列包括至少两张样本图像；

提取所述样本图像序列的样本空间特征，所述样本空间特征用于表征所述至少两张样本图像中的各张样本图像中的伪造区域；

提取所述样本图像序列的样本时序特征，所述样本时序特征用于表征所述至少两张样本图像中相邻样本图像之间的差异区域；

基于所述样本空间特征和所述样本时序特征，确定所述样本图像序列的真实性概率；

基于所述样本图像序列的真实性概率和真实性标注结果，获取所述时空模型。

10.根据权利要求1-8任一所述的方法，其特征在于，所述图像序列是基于视频获取到的，所述根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性之后，还包括：

响应于所述图像序列的真实性为非伪造，则推荐所述图像序列所对应的视频；

响应于所述图像序列的真实性为伪造，则过滤掉所述图像序列所对应的视频。

11.根据权利要求1-8任一所述的方法，其特征在于，所述图像序列是包含面部的图像序列，所述获取图像序列，包括：

响应于触发的目标请求，获取所述图像序列，所述目标请求为支付请求或者身份验证请求；

所述根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性之后，还包括：

响应于所述图像序列的真实性为非伪造，则获取目标面部，基于所述图像序列包含的面部和所述目标面部进行与所述目标请求相应的操作；

响应于所述图像序列的真实性为伪造，则生成提示信息，所述提示信息用于提示基于所述目标请求所进行的操作失败。

12.根据权利要求1-8任一所述的方法，其特征在于，所述获取图像序列，包括：

从视频中提取至少两张目标帧图像，所述目标帧图像为包含目标对象的图像；

确定所述至少两张目标帧图像中的各张目标帧图像中的目标区域，所述目标区域为包含所述目标对象的区域；

剪切所述各张目标帧图像中的目标区域，得到所述图像序列。

13.一种图像序列的鉴别装置，其特征在于，所述装置包括：

获取模块，用于获取图像序列，所述图像序列包括至少两张图像；

提取模块，用于提取所述图像序列的第一空间特征，所述第一空间特征用于表征所述至少两张图像中的各张图像中的伪造区域；

所述提取模块，还用于提取所述图像序列的第一时序特征，所述第一时序特征用于表征所述至少两张图像中相邻图像之间的差异区域；

鉴别模块，用于根据所述第一空间特征和所述第一时序特征，鉴别所述图像序列的真实性，所述真实性用于表征所述图像序列是否为伪造的图像序列。

14.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以使所述电子设备实现如权利要求1至12任一所述的图像序列的鉴别方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以使计算机实现如权利要求1至12任一所述的图像序列的鉴别方法。

Images