CN112818767A - 数据集生成、伪造检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据集生成、伪造检测方法、装置、电子设备及存储介质，该数据集生成方法包括：获取多种数据格式的参考数据，和多种样本数据伪造方式；按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

Description

数据集生成、伪造检测方法、装置、电子设备及存储介质

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种数据集生成、伪造检测方法、装置、电子设备及存储介质。

背景技术

随着人工智能、深度学习等技术的发展，深度伪造技术应运而生，其中，深度伪造技术为利用样本数据训练后得到的神经网络，使用收集的原始的参考数据，对目标数据进行伪造，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。由于逼真的数据合成技术，使得真实图像和伪造图像之间的边界开始模糊，进而使得数据真伪的辨别较为困难。传统数据集的样本数据的特征较为单一，因此，亟需一种数据集生成方案。

发明内容

有鉴于此，本公开至少提供一种数据集生成、伪造检测方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种数据集生成方法，包括：

获取多种数据格式的参考数据、和多种样本数据伪造方式；

按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

采样上述方法，通过获取多种数据格式的参考数据、和多种样本数据伪造方式，即参考数据的数据格式和样本数据伪造方式的种类较多，在按照多种样本数据伪造方式中每种样本数据伪造方式，基于多种数据格式的参考数据，对原始样本数据进行样本数据伪造，可以得到多个伪造样本数据，使得得到的多个伪造样本数据中包含较为丰富的伪造信息，在基于原始样本数据和多个所述伪造样本数据，生成目标数据集时，可以使得目标数据集中包含的特征信息较丰富，以便利用特征信息较为丰富的目标数据集训练神经网络时，可以提高训练后的神经网络的性能。

一种可能的实施方式中，根据以下步骤获取所述原始样本数据：

获取不同人物属性和/或不同环境下的原始样本数据。

一种可能的实施方式中，所述环境包括以下至少一项：光照、场景；

和/或者，

所述人物属性包括以下至少一项：头部朝向、表情、五官、肤色。

这里，通过获取不同人物属性和/或不同环境下的原始样本数据，增加了原始样本数据的多样性，以丰富生成的目标数据集包含的特征信息。

一种可能的实施方式中，在所述基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造之前，还包括：

将所述原始样本数据进行对齐处理；其中，对齐处理后的原始样本数据中的目标对象的姿态符合预设条件；

按照预设尺寸，从所述对齐处理后的原始样本数据中截取包含所述目标对象的区域作为局部样本数据。

考虑到原始样本数据中的目标对象的姿态可能存在多种情况，为了提高后续生成的伪造样本数据的真实效果，可以先对原始样本数据进行对齐处理。同时，考虑到原始样本数据中包括的对象可能为多个时，为了避免原始样本数据中其他对象对目标对象的干扰，可以按照预设尺寸，从对齐处理后的原始样本数据中截取包含目标对象的区域作为局部样本数据，以提高生成的伪造样本数据的伪造效果。

一种可能的实施方式中，所述按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据，包括：

针对每种数据格式的参考数据，基于与所述参考数据对应的多种特征提取方式，分别对所述原始样本数据和所述参考数据进行特征提取，得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据；

按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据。

上述实施方式中，通过设置多种特征提取方式，进一步增加了确定伪造样本数据的方式，使得伪造样本数据的数量变多，丰富了包含多个伪造样本数据的目标数据集的特征信息。

一种可能的实施方式中，所述按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据，包括：

按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据；

将所述中间伪造样本数据与所述原始样本数据合成，生成所述伪造样本数据。

一种可能的实施方式中，在所述按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据之后，所述方法还包括：

对所述中间伪造样本数据进行反对齐操作，生成反对齐后的中间伪造样本数据；其中，所述反对齐后的中间伪造样本数据中目标对象的姿态、与所述原始样本数据中目标对象的姿态匹配。

一种可能的实施方式中，所述基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集，包括：

对所述伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据；

基于所述原始样本数据、和所述扰动伪造样本数据，生成所述目标数据集；或者，

基于所述原始样本数据、所述伪造样本数据、以及所述扰动伪造样本数据，生成目标数据集。

由于图像在传输、压缩等过程会添加扰动，即在实际应用中神经网络为对存在扰动的待检测图像进行伪造检测。因此，为了使得利用目标数据集训练后的神经网络能够对存在扰动的待检测图像进行较为校准的伪造检测，可以对伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据，并使得目标数据集中包含扰动伪造样本数据，提高目标数据集包含的特征信息的多样性。

一种可能的实施方式中，所述多种样本数据伪造方式包括：身份信息保留的伪造方式和身份信息修改的伪造方式。

一种可能的实施方式中，所述身份信息保留的伪造方式包括：利用所述参考数据，针对所述原始样本数据中以下至少一种与身份信息无关的属性特征进行伪造：

脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

一种可能的实施方式中，所述身份信息修改的伪造方式包括：将所述原始样本数据中与身份信息相关的特征数据替换为所述参考数据中与身份信息相关的特征数据。

一种可能的实施方式中，所述多种样本数据伪造方式还包括：混合伪造方式，所述混合伪造方式包括先采用所述身份信息保留的伪造方式进行样本数据伪造，再采用所述身份信息修改的伪造方式进行样本数据伪造；和/或，先采用所述身份信息修改的伪造方式进行样本数据伪造，再采用所述身份信息保留的伪造方式进行样本数据伪造。

这里，设置了多种样本数据伪造方式，比如，样本数据伪造方式可以包括身份信息保留的伪造方式、身份信息修改的伪造方式、和混合伪造方式；通过设置的多种样本数据，可以生成特征信息较为丰富的多个伪造样本数据。

第二方面，本公开提供了一种伪造检测方法，包括：

获取待检测数据；

利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于第一方面任一所述的数据集生成方法生成的目标数据集训练得到的。

上述方法中，由于目标神经网络为利用第一方面任一所述的数据集生成方法生成的目标数据集训练得到，该目标数据集中包含的特征信息较为丰富，进而使得训练得到的目标神经网络的性能较佳，生成的待检测数据对应的检测结果较准确。

一种可能的实施方式中，根据下述步骤训练所述目标神经网络：

利用生成的所述目标数据集，训练所述目标神经网络；所述目标神经网络用于执行以下任务中的至少一种：

图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

本公开实施方式中，目标神经网络用于执行的任务较为多样，比如，目标神经网络可以执行图像分类任务、伪造空间位置检测的任务等。通过设置多种任务，使得目标神经网络能够较准确、较全面的对待检测图像进行伪造检测。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括所述图像分类和/或所述视频分类的情况下，所述检测结果包括：真实类别、或包含伪造方式的伪造类别；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测图像的情况下，所述检测结果包括：所述待检测图像中伪造的部分图像数据在所述待检测图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图，其中，所述热力图中不同像素位置处的颜色表征对应像素点的调整幅度；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频包含的伪造图像中，伪造的部分图像数据在所述伪造图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图；

在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果，包括：

利用所述目标神经网络，对所述待检测视频中的每帧图像进行特征提取；

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据，生成所述待检测视频对应的置信度图；其中，所述置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度；

基于所述待检测视频对应的置信度图，生成所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。

第三方面，本公开提供了一种数据集生成装置，包括：

第一获取模块，用于获取多种数据格式的参考数据、和多种样本数据伪造方式；

伪造模块，用于按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

生成模块，用于基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

一种可能的实施方式中，所述装置还包括：原始样本数据获取模块，用于根据以下步骤获取所述原始样本数据：

获取不同人物属性和/或不同环境下的原始样本数据。

一种可能的实施方式中，所述环境包括以下至少一项：光照、场景；

和/或者，

所述人物属性包括以下至少一项：头部朝向、表情、五官、肤色。

一种可能的实施方式中，在基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造之前，还包括：对齐模块，用于：

将所述原始样本数据进行对齐处理；其中，对齐处理后的原始样本数据中的目标对象的姿态符合预设条件；

按照预设尺寸，从所述对齐处理后的原始样本数据中截取包含所述目标对象的局部样本数据。

一种可能的实施方式中，所述伪造模块，在按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据时，用于：

针对每种数据格式的参考数据，基于与所述参考数据对应的多种特征提取方式，分别对所述原始样本数据和所述参考数据进行特征提取，得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据；

按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据。

一种可能的实施方式中，所述伪造模块，在按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据时，用于：

按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据；

将所述中间伪造样本数据与所述原始样本数据合成，生成所述伪造样本数据。

一种可能的实施方式中，在所述按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据之后，所述装置还包括：反对齐模块，用于：

对所述中间伪造样本数据进行反对齐操作，生成反对齐后的中间伪造样本数据；其中，所述反对齐后的中间伪造样本数据中目标对象的姿态、与所述原始样本数据中目标对象的姿态匹配。

一种可能的实施方式中，所述生成模块，在基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集时，用于：

对所述伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据；

基于所述原始样本数据、和所述扰动伪造样本数据，生成所述目标数据集；或者，

基于所述原始样本数据、所述伪造样本数据、以及所述扰动伪造样本数据，生成目标数据集。

一种可能的实施方式中，所述多种样本数据伪造方式包括：身份信息保留的伪造方式和身份信息修改的伪造方式。

一种可能的实施方式中，所述身份信息保留的伪造方式包括：利用所述参考数据，针对所述原始样本数据中以下至少一种与身份信息无关的属性特征进行伪造：

脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

一种可能的实施方式中，所述身份信息修改的伪造方式包括：将所述原始样本数据中与身份信息相关的特征数据替换为所述参考数据中与身份信息相关的特征数据。

一种可能的实施方式中，所述多种样本数据伪造方式还包括：混合伪造方式，所述混合伪造方式包括先采用所述身份信息保留的伪造方式进行样本数据伪造，再采用所述身份信息修改的伪造方式进行样本数据伪造；和/或，先采用所述身份信息修改的伪造方式进行样本数据伪造，再采用所述身份信息保留的伪造方式进行样本数据伪造。

第四方面，本公开提供了一种伪造检测装置，包括：

第二获取模块，用于获取待检测数据；

检测模块，用于利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于第一方面任一所述的数据集生成方法生成的目标数据集训练得到的。

一种可能的实施方式中，所述装置还包括：训练模块，用于根据下述步骤训练所述目标神经网络：

利用生成的所述目标数据集，训练所述目标神经网络；所述目标神经网络用于执行以下任务中的至少一种：

图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括所述图像分类和/或所述视频分类的情况下，所述检测结果包括：真实类别、或包含伪造方式的伪造类别；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测图像的情况下，所述检测结果包括：所述待检测图像中伪造的部分图像数据在所述待检测图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图，其中，所述热力图中不同像素位置处的颜色表征对应像素点的调整幅度；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频包含的伪造图像中，伪造的部分图像数据在所述伪造图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图；

在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测模块，在利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果时，用于：

利用所述目标神经网络，对所述待检测视频中的每帧图像进行特征提取；

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据，生成所述待检测视频对应的置信度图；其中，所述置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度；

基于所述待检测视频对应的置信度图，生成所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

第五方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的数据集生成方法的步骤；或执行如上述第二方面所述的伪造检测方法的步骤。

第六方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的数据集生成方法的步骤；或执行如上述第二方面所述的伪造检测方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种数据集生成方法的流程示意图；

图2a示出了本公开实施例所提供的一种数据集生成方法中，草图格式的参考数据的示意图；

图2b示出了本公开实施例所提供的一种数据集生成方法中，掩码图格式的参考数据的示意图；

图3示出了本公开实施例所提供的一种数据集生成方法中，得到多个伪造样本数据的流程示意图；

图4示出了本公开实施例所提供的一种数据集生成方法中，原始样本数据的示意图；

图5示出了本公开实施例所提供的一种伪造检测方法的流程示意图；

图6示出了本公开实施例所提供的一种数据集生成装置的架构示意图；

图7示出了本公开实施例所提供的一种伪造检测装置的架构示意图；

图8示出了本公开实施例所提供的一种电子设备的结构示意图；

图9示出了本公开实施例所提供的另一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

随着人工智能、深度学习等技术的发展，深度伪造技术应用而生，其中，深度伪造技术为利用样本数据训练后得到的神经网络，使用收集的原始的参考数据，对目标数据进行伪造，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。由于逼真的数据合成技术，使得真实图像和伪造图像之间的边界开始模糊，进而使得数据真伪的辨别较为困难。

为了解决上述问题，本公开实施例提供了一种数据集生成方法，由于该数据集生成方法中包括多种样本数据伪造方式、和多种数据格式的参考数据，使得通过该数据集生成方法生成的目标数据集中包含的信息较为丰富，进而利用生成的目标数据集训练神经网络时，可以提高训练后的神经网络的性能。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种数据集生成方法进行详细介绍。本公开实施例所提供的数据集生成方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该数据集生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的数据集生成方法的流程示意图，该方法包括S101-S103，其中：

S101，获取多种数据格式的参考数据、和多种样本数据伪造方式；

S102，按照多种样本数据伪造方式中每种样本数据伪造方式，基于多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

S103，基于原始样本数据、以及按照每种样本数据伪造方式得到的多个伪造样本数据，生成目标数据集。

上述方法中，通过获取多种数据格式的参考数据、和多种样本数据伪造方式，即参考数据的数据格式和样本数据伪造方式的种类较多，在按照多种样本数据伪造方式中每种样本数据伪造方式，基于多种数据格式的参考数据，对原始样本数据进行样本数据伪造，可以得到多个伪造样本数据，使得得到的多个伪造样本数据中包含较为丰富的伪造信息，在基于原始样本数据和多个伪造样本数据，生成目标数据集时，可以使得目标数据集中包含的特征信息较丰富，以便利用特征信息较为丰富的目标数据集训练神经网络时，可以提高训练后的神经网络的性能。

下述对S101-S103进行具体说明。

针对S101：

这里，多种数据格式可以包括：图像、视频、草图、人脸五官对应的掩码图、音频、标签。其中，数据格式的种类可以根据需要进行设置，此处仅为示例性说明，比如，数据格式还可以包括噪声等。

下述对多种数据格式的参考数据的获取过程进行示例性说明。

图像格式的参考数据可以为从公开的数据集中获取的任一图像；或者，图像格式的参考数据可以为使用摄像设备采集的任一图像。视频格式的参考数据可以为从公开的数据集中获取的视频；或者，视频格式的参考数据可以为使用摄像设备采集拍摄的视频；或者，视频格式的参考数据还可以为从任一视频数据中截取的部分视频，或是从多个视频中分别截取部分进行合成所得到的视频等。

可以通过训练后的第一神经网络对获取到的第一图像进行特征提取，生成第一图像对应的草图格式的参考数据。其中，第一图像可以为获取的任一图像。参见图2a所示的一种数据集生成方法中，草图格式的参考数据的示意图。

可以将获取到的第二图像输入至训练后的第二神经网络中，生成第二图像对应的掩码图格式的参考数据；其中，该第二神经网络为用于对人脸的五官轮廓进行检测的神经网络；第二图像可以为获取的任一帧包含人脸的图像。参见图2b所示的一种数据集生成方法中，掩码图格式的参考数据的示意图，该图中包括人脸上五官对应的掩码。

可以从数据集中获取音频格式的参考数据；或者，还可以从任一视频中获取音频格式的参考数据。以及，标签格式的参考数据可以为设备随机生成的；比如，标签格式的参考数据可以为：“大眼睛、黑皮肤”；或者，“微笑、女人”等。以及可以随机生成图像噪声，将生成的图像噪声作为参考数据。

一种可选实施方式中，多种样本数据伪造方式可以包括：身份信息保留的伪造方式和身份信息修改的伪造方式。

这里，身份信息保留的伪造方式，不会更改原始样本数据中包括的目标对象的身份，即生成的伪造样本数据中目标对象的身份不会发生改变；比如，原始样本数据中包括的是目标对象A，伪造样本数据中包括的依然是目标对象A。

身份信息修改的伪造方式，会对原始样本数据中包括的目标对象的身份进行修改，即生成的伪造样本数据中包括的对象与目标对象不同；比如，原始样本数据中包括的是目标对象A，生成的伪造样本数据中包括的是目标对象B，该目标对象B可能是真实存在任一用户，也可能是虚拟生成的用户。

一种可选实施方式中，身份信息保留的伪造方式指的是：利用参考数据，针对原始样本数据中至少一种与身份信息无关的属性特征进行伪造。其中，与身份信息无关的属性特征，可以包括但不限于脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

一般的，原始样本数据和参考数据中包括身份信息相关的特征数据和身份信息无关的特征数据。其中，身份信息无关的特征数据可以为多种与身份信息无关的属性特征对应的特征数据；比如，身份信息无关的特征数据可以为脸部朝向对应的特征数据，嘴部动作对应的特征数据等。身份信息有关的特征数据可以为多种与身份信息有关的属性特征对应的特征数据；比如，身份信息有关的特征数据可以为脸部形状对应的特征数据、眼睛形状对应的特征数据。

示例性的，可以使用训练后的第三神经网络分别对参考数据和原始样本数据进行特征提取，得到参考数据中身份信息无关的特征数据、和原始样本数据中身份信息无关的特征数据；将原始样本数据中身份信息无关的特征数据，替换为参考数据中身份信息无关的特征数据，生成原始样本数据对应的、身份信息保留的伪造样本数据。

这里，身份信息保留的伪造方式可以分为两类，第一，面部动作重现的操作方式；第二，面部编辑的操作方式。

针对第一类，可以将原始数据中目标对象的脸部朝向、嘴部动作、或表情等与面部动作相关的属性特征中的一种或多种，替换为参考数据中参考对象的对应属性特征，完成面部动作重现的操作方式。

比如，针对脸部朝向的属性特征，可以基于参考数据中参考对象的脸部朝向，生成对原始数据中目标对象的脸部朝向进行更改的伪造样本数据，使得生成的伪造样本数据中目标对象的脸部朝向与参考数据中参考对象的脸部朝向相同。

针对嘴部动作、和表情的属性特征，可以基于参考数据中参考对象的嘴部动作和表情，生成对原始数据中目标对象的嘴部动作和表情、分别进行更改的伪造样本数据，使得生成的伪造样本数据中目标对象的嘴部动作和表情、与参考数据中参考对象的嘴部动作和表情相同。

针对第二类，可以将原始数据中目标对象的头发颜色、发型、性别、肤色、年龄、配饰等与面部外部属性相关的属性特征中的一种或多种，替换为参考数据中参考对象的对应属性特征，完成面部编辑的操作方式。

比如，针对肤色的属性特征，基于参考数据中参考对象的肤色，生成对原始数据中目标对象的肤色进行更改的伪造样本数据，使得生成的伪造样本数据中目标对象的肤色与参考数据中参考对象的肤色相同。

针对头发颜色和发型的属性特征，基于参考数据中参考对象的头发颜色和发型，生成对原始数据中目标对象的头发颜色和发型进行更改的伪造样本数据，使得生成的伪造样本数据中目标对象的头发颜色和发型、与参考数据中参考对象的头发颜色和发型相同。

具体实施时，可以基于参考数据，使用神经网络对原始样本数据中的一种或多种属性特征进行修改，生成伪造样本数据。比如，可以使用对嘴部动作进行修改的神经网络，对原始样本数据中的嘴部动作进行修改；其中，对嘴部动作进行修改的神经网络可以为ATVG-Net神经网络。再比如，可以基于参考数据，使用对性别进行修改的神经网络，对原始样本数据中的性别进行修改；其中，用于对性别进行修改的神经网络可以为StarGAN2神经网络。

一种可选实施方式中，身份信息修改的伪造方式包括：将原始样本数据中与身份信息相关的特征数据替换为参考数据中与身份信息相关的特征数据。

示例性说明，使用训练后的第三神经网络分别对参考数据和原始样本数据进行特征提取，得到参考数据中身份信息无关的特征数据和身份信息有关的特征数据，以及原始样本数据中身份信息无关的特征数据和身份信息有关的特征数据。

在得到身份信息相关的特征数据和身份信息无关的特征数据之后，可以根据下述两种方式，得到伪造样本数据：

第一种，可以将原始样本数据中身份信息有关的特征数据，替换为参考数据中身份信息有关的特征数据，以及原始样本数据中身份信息无关的特征数据不进行修改，生成原始样本数据对应的、身份信息修改的伪造样本数据。

第二种，可以将原始样本数据中身份信息有关的特征数据，替换为参考数据中身份信息有关的特征数据，以及将原始样本数据中身份信息无关的特征数据，替换为参考数据中身份信息无关的特征数据，生成原始样本数据对应的、身份信息修改的伪造样本数据。

一种可选实施方式中，多种样本数据伪造方式还包括：混合伪造方式，混合伪造方式包括：第一种，先采用身份信息保留的伪造方式进行样本数据伪造，再采用身份信息修改的伪造方式进行样本数据伪造；第二种，先采用身份信息修改的伪造方式进行样本数据伪造，再采用身份信息保留的伪造方式进行样本数据伪造。

这里，多种样本数据伪造方式还可以包括混合伪造方式，即该混合伪造方式为即使用身份信息保留的伪造方式对原始样本数据进行样本数据伪造，也使用身份信息替换的伪造方式对原始样本数据进行样本数据伪造。

这里，设置了多种样本数据伪造方式，比如，样本数据伪造方式可以包括身份信息保留的伪造方式、身份信息修改的伪造方式、和混合伪造方式；通过设置的多种样本数据，可以生成特征信息较为丰富的多个伪造样本数据。

这里，还可以获取原始样本数据，该原始样本数据可以为原始样本图像、原始样本视频。比如，可以从公开的数据集中获取包含人脸的原始样本图像、原始样本视频；还可以使用摄像设备采集包含人脸的原始样本图像、原始样本视频。

在一种可选实施方式中，可以根据以下步骤获取原始样本数据：获取不同人物属性和/或不同环境下的原始样本数据。其中，环境包括以下至少一项：光照、场景；和/或者，人物属性包括以下至少一项：头部朝向、表情、五官、肤色。

考虑到数据的多样性，这里可以根据人物属性和/或环境，获取原始样本数据。比如，针对环境中的光照维度，可以获取不同光照强度时对应的原始样本数据。针对环境中的场景维度，可以获取不同场景下的原始样本数据，其中，场景类型可以根据需要进行选取，比如，场景可以包括直播场景、教学场景等。

针对人物属性中的头部朝向维度，可以获取不同朝向的目标对象对应的原始样本数据。其中，目标对象的朝向可以使用目标用户的头部的欧拉角进行表示，即获取不同欧拉角下目标对象对应的原始样本数据。针对人物属性中的表情，可以获取不同表情下的原始样本数据，比如，目标对象的表情可以包括微笑的表情、大笑的表情、苦笑的表情、哭泣的表情、难过的表情等。其中，环境和人物属性中包括的内容可以根据需要进行添加，此处仅为示例性说明。比如，人物属性中还可以包括性别、发型等。

这里，通过获取不同人物属性和/或不同环境下的原始样本数据，增加了原始样本数据的多样性，以丰富生成的目标数据集包含的特征信息。

针对S102：

在每种样本数据伪造方式下，针对每种数据格式的参考数据，对原始样本户数进行样本数据伪造，可以得到一个与该种数据格式对应的伪造样本数据。

一种可选实施方式中，参见图3所示，按照多种样本数据伪造方式中每种样本数据伪造方式，基于多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据，包括：

S301，针对每种数据格式的参考数据，基于与参考数据对应的多种特征提取方式，分别对原始样本数据和参考数据进行特征提取，得到原始样本数据和参考数据分别对应的多种中间特征数据；

S302，按照样本数据伪造方式，对多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与第一中间特征数据对应的伪造样本数据。

上述实施方式中，通过设置多种特征提取方式，进一步增加了确定伪造样本数据的方式，使得伪造样本数据的数量变多，丰富了包含多个伪造样本数据的目标数据集的特征信息。

示例性的，在S301中，设置的多种特征提取方式可以包括：面部关键点特征对应的特征提取方式、脸部掩码图对应的特征提取方式、UV贴图对应的特征提取方式、特征向量对应的特征提取方式、三维可变形人脸模型(3D Morphable models，3DMM)参数对应的特征提取方式等。即通过多种特征提取方式生成的中间特征数据可以为：面部关键点对应的二值图像、脸部掩码对应的二值图像、UV贴图、特征向量、3DMM参数。

这里，不同数据格式的参考数据可以对应相同的多种提取方式，或者，不同数据格式的参考数据可以对应不同的多种提取方式。比如，在不同数据格式的参考数据可以对应相同的多种提取方式时，则可以为每种数据格式的参考数据均设置上述五种特征提取方式。在不同数据格式的参考数据可以对应不同的多种提取方式时，在数据格式为图像、视频、草图、掩码图时，多种特征提取方式可以包括上述示例性说明的全部特征提取方式。在数据格式为音频和标签时，特征提取方式可以为特征向量对应的特征提取方式。

其中，面部关键点对应的二值图像可以为：面部关键点对应的像素点的像素信息为第一像素信息(比如，第一像素信息可以为1)，除面部关键点之外的其他像素点的像素信息为第二像素信息(比如，第二像素信息可以为0)的二值图像。示例性的，可以使用训练后的神经网络得到面部关键点对应的二值图像。

脸部掩码对应的二值图像可以为：面部轮廓区域内的像素点的像素信息为第一像素信息(比如，第一像素信息可以为1)，除面部轮廓区域内像素点之外的其他像素点的像素信息为第二像素信息(比如，第二像素信息可以为0)的二值图像。示例性的，脸部掩码对应的二值图像可以使用训练后的神经网络得到。其中，UV贴图和特征向量也可以使用训练后的神经网络生成，以及3DMM参数可以使用图形学算法生成。

以特征提取方式为面部关键点特征对应的特征提取方式为例进行说明，可以将原始样本数据和该种数据格式的参考数据，分别输入至该特征提取方式对应的神经网络中，生成原始样本数据和参考数据分别对应的中间特征数据。其中，中间特征数据为面部关键点对应的二值图像。

进而，可以使用样本数据伪造方式，针对每种中间特征数据进行样本数据伪造处理，得到与该种中间特征数据对应的一个伪造样本数据。

在S302中，可以分别将多种中间特征数据中每个中间特征数据，分别作为第一中间特征数据，按照样本数据伪造方式，对第一中间特征数据进行样本数据伪造处理，得到与第一中间特征数据对应的伪造样本数据，进而得到了多种中间特征数据中每个中间特征数据对应的伪造样本数据。

在一种可选实施方式中，S302的具体实现过程，可以包括：

S3021，按照样本数据伪造方式对第一中间特征数据进行处理，得到中间伪造样本数据；

S3022，将中间伪造样本数据与原始样本数据合成，生成伪造样本数据。

其中，该中间伪造样本数据可以为人脸轮廓图像、包括人脸轮廓的处理后的不规则的前景图像、包括人脸轮廓的图像等。示例性的，中间伪造样本数据的尺寸小于原始样本数据。

示例性的，可以使用颜色直方图匹配的方式，将中间伪造样本数据与原始样本数据合成，生成伪造样本数据。

举例说明，在原始样本数据为图像，参考数据为参考图像时，若数据伪造方式为身份信息保留的伪造方式时，可以生成不改变原始样本数据中目标对象的身份信息的伪造样本图像(伪造样本数据)；若数据伪造方式为身份信息修改的伪造方式时，可以生成原始样本数据中目标对象的身份信息发生改变的伪造样本图像(伪造样本数据)。

在原始样本数据为图像，参考数据为参考视频时，若数据伪造方式为身份信息保留的伪造方式时，可以生成将参考视频中的参考对象替换为原始样本数据中包括的目标对象的伪造样本视频；若数据伪造方式为身份信息修改的伪造方式时，可以生成将原始样本数据中目标对象的身份信息，替换为参考数据中参考对象的与身份信息相关的特征数据的伪造样本图像。

在原始样本数据为图像，参考数据为参考音频时，若数据伪造方式为身份信息保留的伪造方式时，可以生成原始样本数据中目标对象说参考音频对应的内容的伪造样本视频(伪造样本数据)；若数据伪造方式为身份信息修改的伪造方式时，可以先生成原始样本数据中目标对象的身份信息发生改变的伪造样本图像，再生成伪造样本图像中包含的伪造对象说参考音频对应的内容的伪造样本视频(伪造样本数据)。

一种可选实施方式中，在基于多种数据格式的参考数据，对原始样本数据进行样本数据伪造之前，还包括：

步骤一、将原始样本数据进行对齐处理；其中，对齐处理后的原始样本数据中的目标对象的姿态符合预设条件；

步骤二、按照预设尺寸，从对齐处理后的原始样本数据中截取包含目标对象的区域作为局部样本数据。

考虑到原始样本数据中的目标对象的姿态可能存在多种情况，为了提高后续生成的伪造样本数据的真实效果，可以先对原始样本数据进行对齐处理。同时，考虑到原始样本数据中包括的对象可能为多个时，为了避免原始样本数据中其他对象对目标对象的干扰，可以按照预设尺寸，从对齐处理后的原始样本数据中截取包含目标对象的区域作为局部样本数据，以提高生成的伪造样本数据的伪造效果。

将原始样本数据进行对齐处理，比如，可以将原始样本数据进行旋转处理，使得旋转处理后的原始样本数据中的目标对象的姿态符合预设条件，该预设条件可以为：头部姿态为与地面垂直的姿态。比如，参见图4所示的一种原始样本数据的示意图，该图4中包括对齐处理前的原始样本数据41、和对齐处理后的原始样本数据42。

这里考虑到原始样本数据中可能存在多个对象，为了避免其他对象对目标对象造成干扰，可以按照预设尺寸，从对齐处理后的原始样本数据中截取包含目标对象的局部样本数据。示例性的，可以确定目标对象的头部的中心点，将该中心点确定为预设尺寸的截取框的中心点，从对齐处理后的原始样本数据中截取包含目标对象的区域作为局部样本数据。

一种可能的实施方式中，在按照样本数据伪造方式对第一中间特征数据进行处理，得到中间伪造样本数据之后，方法还包括：对中间伪造样本数据进行反对齐操作，生成反对齐后的中间伪造样本数据；其中，反对齐后的中间伪造样本数据中目标对象的姿态、与原始样本数据中目标对象的姿态匹配。

考虑到在对原始样本数据进行伪造处理之前，可能会对原始样本数据进行对齐操作。若在利用原始样本数据生成中间伪造样本时，对原始样本数据进行了对齐操作，则在将中间伪造样本与原始样本数据合成之前，还可以将中间伪造样本进行反对齐操作，比如可以使用仿射变换中的旋转变换、平移变换等基本操作对中间伪造样本进行反对齐操作，再使用颜色直方图匹配的方式，将反对齐操作后的中间伪造样本数据与原始样本数据合成，生成伪造样本数据。

针对S103：

这里，基于原始样本数据、和生成的多个伪造样本数据，生成目标数据集。其中，每个伪造样本数据中可以标注有使用的数据类别、伪造方法、伪造区域在伪造样本数据上的空间位置信息、伪造的图像帧在伪造样本数据上的序列位置等。

一种可选实施方式中，S103中，基于原始样本数据、以及按照每种样本数据伪造方式得到的多个伪造样本数据，生成目标数据集，可以包括：

S1031，对伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据；

S1032，基于原始样本数据、和扰动伪造样本数据，生成目标数据集；或者，基于原始样本数据、伪造样本数据、以及扰动伪造样本数据，生成目标数据集。

由于图像在传输、压缩等过程会添加扰动，即在实际应用中神经网络为对存在扰动的待检测图像进行伪造检测。因此，为了使得利用目标数据集训练后的神经网络能够对存在扰动的待检测图像进行较为校准的伪造检测，可以对伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据，并使得目标数据集中包含扰动伪造样本数据，提高目标数据集包含的特征信息的多样性。

示例性的，可以预设多种扰动方式，多种扰动方式可以分为四类：压缩扰动类别、传输扰动类别、捕获扰动类别、色彩失真扰动类别，每种扰动类别下包含多种扰动方式。

考虑到图像在压缩过程、传输过程、或捕获过程中，会造成压缩后的、传输后的、或捕获到的图像与原始图像之间存在差异，造成图像失真；或者，图像会出现颜色失真的情况，为了使得训练后的目标神经网络能够对上述失真情况下的图像进行较准确的伪造分析，故可以设置压缩扰动类别下的多种扰动方式、传输扰动类别下的多种扰动方式、捕获扰动类别下的多种扰动方式、色彩失真扰动类别下的多种扰动方式。

通过对伪造样本数据进行压缩扰动类别下的扰动处理、传输扰动类别下的扰动处理、捕获扰动类别下的扰动处理、和/或色彩失真扰动类别下的扰动处理，得到扰动处理后的扰动伪造样本数据，以便利用扰动处理后的扰动伪造样本数据训练目标神经网络时，可以使得训练后的目标神经网络能够较准确的对添加有各种扰动的图像进行伪造分析。提高检测的准确度。

具体实施时，可以从至少一类扰动类别中，选取至少一种扰动方式，使用选取的至少一种扰动方式对伪造样本数据进行扰动处理，得到扰动处理后的扰动伪造样本数据。

比如，可以从压缩扰动类别下随机选取一种扰动方式，从传输扰动类别下随机选取一种扰动方式，使用选取的两种扰动方式对伪造样本数据进行扰动处理，得到扰动处理后的扰动伪造样本数据。

再可以基于原始样本数据、和扰动伪造样本数据，生成目标数据集。或者，还可以基于原始样本数据、伪造样本数据、以及扰动伪造样本数据，生成目标数据集。

参见图5所示，为本公开实施例所提供的伪造检测方法的流程示意图，该方法包括S501-S502，其中：

S501，获取待检测数据；

S502，利用用于对数据进行伪造检测的目标神经网络，对待检测数据进行伪造检测，生成待检测数据对应的检测结果；其中，目标神经网络为基于上述实施方式公开的数据集生成方法生成的目标数据集训练得到的。

具体实施时，可以使用生成的目标数据集训练构建的待训练神经网络，得到用于对数据进行伪造检测的目标神经网络。进而，可以将获取的待检测数据输入至训练的目标神经网络中，对待检测数据进行伪造检测，生成待检测数据对应的检测结果。其中，待检测数据可以为待检测图像、或待检测视频。

上述方法中，由于使用目标数据集训练神经网络，使得训练后的神经网络的性能较好，进而使用性能较好的神经网络对待检测数据进行伪造检测，提高了生成的待检测数据对应的检测结果的准确度。

一种可选实施方式中，根据下述步骤训练所述目标神经网络：利用生成的目标数据集，训练目标神经网络；目标神经网络用于执行以下任务中的至少一种：

图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

本公开实施方式中，目标神经网络用于执行的任务较为多样，比如，目标神经网络可以执行图像分类任务、伪造空间位置检测的任务等。通过设置多种任务，使得目标神经网络能够较准确、较全面的对待检测图像进行伪造检测。

其中，在目标神经网络执行的任务中包括图像分类和/或视频分类的情况下，检测结果包括：真实类别、或包含伪造方式的伪造类别。

这里，图像分类对应的检测结果可以包括：真实类别、或包含伪造方式的伪造类别。比如，检测结果可以为下述类别中的一个：真实类别、身份信息保留的伪造类别、和身份信息修改的伪造类别；或者，检测结果可以为下述类别中的一个：真实类别、第一伪造方式的伪造类别、…、第N伪造方式的伪造类别，其中，N为与设置的伪造方式的数量一致的正整数。视频分类对应的检测结果中可以包括每一帧图像对应的图像分类任务下的检测结果。

在目标神经网络执行的任务中包括伪造空间位置检测，且待检测数据为待检测图像的情况下，检测结果包括：待检测图像中伪造的部分图像数据在待检测图像中的位置信息，和/或伪造的部分图像数据对应的热力图，其中，热力图中不同像素位置处的颜色表征对应像素点的调整幅度。

示例性的，在伪造空间位置检测任务对应的检测结果包括：待检测图像中伪造的部分图像数据在检测图像中的位置信息，和伪造的部分图像数据对应的热力图时，若待检测图像中包括的待检测对象的嘴部区域存在伪造时，则伪造空间位置检测的检测结果可以为待检测对象的嘴部区域在待检测图像中的位置信息、和待检测图像的嘴部区域对应的热力图。其中，热力图中每个像素点对应的颜色表征该像素点的调整幅度，例如，红色对应的调整幅度较大，蓝色对应的调整幅度较小等。

在目标神经网络执行的任务中包括伪造空间位置检测，且待检测数据为待检测视频的情况下，检测结果包括：待检测视频包含的伪造图像中，伪造的部分图像数据在伪造图像中的位置信息，和/或伪造的部分图像数据对应的热力图。

在待检测数据为待检测视频时，伪造空间位置检测的检测结果可以为：待检测视频中每一帧伪造图像对应的伪造空间位置检测的检测结果。

在目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，检测结果包括：待检测视频中的伪造图像在待检测视频中的序列位置。

示例性的，伪造图像序列检测的检测结果可以为：待检测视频中的第1帧图像至第5帧图像为真实图像；第6帧图像至第10帧图像为伪造图像。或者，伪造图像序列检测的检测结果可以为：待检测视频中第1秒至第5秒中包括的图像为真实图像；第6秒至第10秒中包括的图像为伪造图像等。

一种可能的实施方式中，在目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，利用用于对数据进行伪造检测的目标神经网络，对待检测数据进行伪造检测，生成待检测数据对应的检测结果，包括：

利用目标神经网络，对待检测视频中的每帧图像进行特征提取；

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据，生成待检测视频对应的置信度图；其中，置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度；

基于待检测视频对应的置信度图，生成待检测视频中的伪造图像在待检测视频中的序列位置。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种数据集生成装置，参见图6所示，为本公开实施例提供的数据集生成装置的架构示意图，包括第一获取模块601、伪造模块602、生成模块603，具体的：

第一获取模块601，用于获取多种数据格式的参考数据、和多种样本数据伪造方式；

伪造模块602，用于按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

生成模块603，用于基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

一种可能的实施方式中，所述装置还包括：原始样本数据获取模块604，用于根据以下步骤获取所述原始样本数据：

获取不同人物属性和/或不同环境下的原始样本数据。

一种可能的实施方式中，所述环境包括以下至少一项：光照、场景；

和/或者，

所述人物属性包括以下至少一项：头部朝向、表情、五官、肤色。

一种可能的实施方式中，在基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造之前，还包括：对齐模块605，用于：

将所述原始样本数据进行对齐处理；其中，对齐处理后的原始样本数据中的目标对象的姿态符合预设条件；

按照预设尺寸，从所述对齐处理后的原始样本数据中截取包含所述目标对象的局部样本数据。

一种可能的实施方式中，所述伪造模块602，在按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据时，用于：

针对每种数据格式的参考数据，基于与所述参考数据对应的多种特征提取方式，分别对所述原始样本数据和所述参考数据进行特征提取，得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据；

按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据。

一种可能的实施方式中，所述伪造模块602，在按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据时，用于：

按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据；

将所述中间伪造样本数据与所述原始样本数据合成，生成所述伪造样本数据。

一种可能的实施方式中，在所述按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据之后，所述装置还包括：反对齐模块606，用于：

对所述中间伪造样本数据进行反对齐操作，生成反对齐后的中间伪造样本数据；其中，所述反对齐后的中间伪造样本数据中目标对象的姿态、与所述原始样本数据中目标对象的姿态匹配。

一种可能的实施方式中，所述生成模块603，在基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集时，用于：

对所述伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据；

基于所述原始样本数据、和所述扰动伪造样本数据，生成所述目标数据集；或者，

基于所述原始样本数据、所述伪造样本数据、以及所述扰动伪造样本数据，生成目标数据集。

一种可能的实施方式中，所述多种样本数据伪造方式包括：身份信息保留的伪造方式和身份信息修改的伪造方式。

一种可能的实施方式中，所述身份信息保留的伪造方式包括：利用所述参考数据，针对所述原始样本数据中以下至少一种与身份信息无关的属性特征进行伪造：

脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

一种可能的实施方式中，所述身份信息修改的伪造方式包括：将所述原始样本数据中与身份信息相关的特征数据替换为所述参考数据中与身份信息相关的特征数据。

一种可能的实施方式中，所述多种样本数据伪造方式还包括：混合伪造方式，所述混合伪造方式包括先采用所述身份信息保留的伪造方式进行样本数据伪造，再采用所述身份信息修改的伪造方式进行样本数据伪造；和/或，先采用所述身份信息修改的伪造方式进行样本数据伪造，再采用所述身份信息保留的伪造方式进行样本数据伪造。

基于相同的构思，本公开实施例还提供了一种伪造检测装置，参见图7所示，为本公开实施例提供的伪造检测装置的架构示意图，包括第二获取模块701、检测模块702，具体的：

第二获取模块701，用于获取待检测数据；

检测模块702，用于利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于本公开实施例公开的数据集生成方法生成的目标数据集训练得到的。

一种可能的实施方式中，所述装置还包括：训练模块703，用于根据下述步骤训练所述目标神经网络：

利用生成的所述目标数据集，训练所述目标神经网络；所述目标神经网络用于执行以下任务中的至少一种：

图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括所述图像分类和/或所述视频分类的情况下，所述检测结果包括：真实类别、或包含伪造方式的伪造类别；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测图像的情况下，所述检测结果包括：所述待检测图像中伪造的部分图像数据在所述待检测图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图，其中，所述热力图中不同像素位置处的颜色表征对应像素点的调整幅度；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频包含的伪造图像中，伪造的部分图像数据在所述伪造图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图；

在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

一种可能的实施方式中，在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测模块702，在利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果时，用于：

利用所述目标神经网络，对所述待检测视频中的每帧图像进行特征提取；

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据，生成所述待检测视频对应的置信度图；其中，所述置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度；

基于所述待检测视频对应的置信度图，生成所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图8所示，为本公开实施例提供的电子设备800的结构示意图，包括处理器801、存储器802、和总线803。其中，存储器802用于存储执行指令，包括内存8021和外部存储器8022；这里的内存8021也称内存储器，用于暂时存放处理器801中的运算数据，以及与硬盘等外部存储器8022交换的数据，处理器801通过内存8021与外部存储器8022进行数据交换，当电子设备800运行时，处理器801与存储器802之间通过总线803通信，使得处理器801在执行以下指令：

获取多种数据格式的参考数据、和多种样本数据伪造方式；

按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图9所示，为本公开实施例提供的另一种电子设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：

获取待检测数据；

利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于本公开实施例任一所述的数据集生成方法生成的目标数据集训练得到的。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据集生成方法、伪造检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据集生成方法、伪造检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (20)

1.一种数据集生成方法，其特征在于，包括：

获取多种数据格式的参考数据、和多种样本数据伪造方式；

按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

2.根据权利要求1所述的方法，其特征在于，根据以下步骤获取所述原始样本数据：

获取不同人物属性和/或不同环境下的原始样本数据。

3.根据权利要求2所述的方法，其特征在于，所述环境包括以下至少一项：光照、场景；

和/或者，

所述人物属性包括以下至少一项：头部朝向、表情、五官、肤色。

4.根据权利要求1～3任一所述的方法，其特征在于，在所述基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造之前，还包括：

将所述原始样本数据进行对齐处理；其中，对齐处理后的原始样本数据中的目标对象的姿态符合预设条件；

按照预设尺寸，从所述对齐处理后的原始样本数据中截取包含所述目标对象的区域作为局部样本数据。

5.根据权利要求1～4任一所述的方法，其特征在于，所述按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据，包括：

针对每种数据格式的参考数据，基于与所述参考数据对应的多种特征提取方式，分别对所述原始样本数据和所述参考数据进行特征提取，得到所述原始样本数据和所述参考数据分别对应的多种中间特征数据；

按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据。

6.根据权利要求5所述的方法，其特征在于，所述按照所述样本数据伪造方式，对所述多种中间特征数据中的第一中间特征数据进行样本数据伪造处理，得到与所述第一中间特征数据对应的伪造样本数据，包括：

按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据；

将所述中间伪造样本数据与所述原始样本数据合成，得到所述伪造样本数据。

7.根据权利要求6所述的方法，其特征在于，在所述按照所述样本数据伪造方式对所述第一中间特征数据进行处理，得到中间伪造样本数据之后，所述方法还包括：

对所述中间伪造样本数据进行反对齐操作，生成反对齐后的中间伪造样本数据；其中，所述反对齐后的中间伪造样本数据中目标对象的姿态、与所述原始样本数据中目标对象的姿态匹配。

8.根据权利要求1～7任一所述的方法，其特征在于，所述基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集，包括：

对所述伪造样本数据进行至少一种扰动方式下的扰动处理，得到扰动处理后的扰动伪造样本数据；

基于所述原始样本数据、和所述扰动伪造样本数据，生成所述目标数据集；或者，

基于所述原始样本数据、所述伪造样本数据、以及所述扰动伪造样本数据，生成目标数据集。

9.根据权利要求1～8任一所述的方法，其特征在于，所述多种样本数据伪造方式包括：身份信息保留的伪造方式和身份信息修改的伪造方式。

10.根据权利要求9所述的方法，其特征在于，所述身份信息保留的伪造方式包括：利用所述参考数据，针对所述原始样本数据中以下至少一种与身份信息无关的属性特征进行伪造：

脸部朝向、嘴部动作、表情、头发颜色、发型、性别、肤色、年龄、配饰。

11.根据权利要求9或10所述的方法，其特征在于，所述身份信息修改的伪造方式包括：将所述原始样本数据中与身份信息相关的特征数据替换为所述参考数据中与身份信息相关的特征数据。

12.根据权利要求9～11任一所述的方法，其特征在于，所述多种样本数据伪造方式还包括：混合伪造方式，所述混合伪造方式包括先采用所述身份信息保留的伪造方式进行样本数据伪造，再采用所述身份信息修改的伪造方式进行样本数据伪造；和/或，先采用所述身份信息修改的伪造方式进行样本数据伪造，再采用所述身份信息保留的伪造方式进行样本数据伪造。

13.一种伪造检测方法，其特征在于，包括：

获取待检测数据；

利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于权利要求1-12任一所述的数据集生成方法生成的目标数据集训练得到的。

14.根据权利要求13所述的方法，其特征在于，根据下述步骤训练所述目标神经网络：

利用生成的所述目标数据集，训练所述目标神经网络；所述目标神经网络用于执行以下任务中的至少一种：

图像分类、视频分类、伪造空间位置检测、伪造图像序列检测。

15.根据权利要求14所述的方法，其特征在于，在所述目标神经网络执行的任务中包括所述图像分类和/或所述视频分类的情况下，所述检测结果包括：真实类别、或包含伪造方式的伪造类别；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测图像的情况下，所述检测结果包括：所述待检测图像中伪造的部分图像数据在所述待检测图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图，其中，所述热力图中不同像素位置处的颜色表征对应像素点的调整幅度；

在所述目标神经网络执行的任务中包括伪造空间位置检测，且所述待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频包含的伪造图像中，伪造的部分图像数据在所述伪造图像中的位置信息，和/或所述伪造的部分图像数据对应的热力图；

在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述检测结果包括：所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

16.根据权利要求15所述的方法，其特征在于，在所述目标神经网络执行的任务中包括伪造图像序列检测、待检测数据为待检测视频的情况下，所述利用用于对数据进行伪造检测的目标神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果，包括：

利用所述目标神经网络，对所述待检测视频中的每帧图像进行特征提取；

基于每帧图像对应的特征数据、以及相邻帧图像之间的特征数据，生成所述待检测视频对应的置信度图；其中，所述置信度图包括所述待检测视频中每帧图像属于伪造类别的置信度；

基于所述待检测视频对应的置信度图，生成所述待检测视频中的伪造图像在所述待检测视频中的序列位置。

17.一种数据集生成装置，其特征在于，包括：

第一获取模块，用于获取多种数据格式的参考数据、和多种样本数据伪造方式；

伪造模块，用于按照所述多种样本数据伪造方式中每种样本数据伪造方式，基于所述多种数据格式的参考数据，对原始样本数据进行样本数据伪造，得到多个伪造样本数据；其中每个伪造样本数据对应一种数据格式的参考数据；

生成模块，用于基于所述原始样本数据、以及按照每种样本数据伪造方式得到的多个所述伪造样本数据，生成目标数据集。

18.一种伪造检测装置，其特征在于，包括：

第二获取模块，用于获取待检测数据；

检测模块，用于利用用于对数据进行伪造检测的神经网络，对所述待检测数据进行伪造检测，生成所述待检测数据对应的检测结果；其中，所述目标神经网络为基于权利要求1-12任一所述的数据集生成方法生成的目标数据集训练得到的。

19.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的数据集生成方法的步骤；或执行如权利要求14至16任一所述的伪造检测方法的步骤。

20.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的数据集生成方法的步骤；或执行如权利要求14至16任一所述的伪造检测方法的步骤。

Images