CN114359811A - 数据鉴伪方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种数据鉴伪方法、装置、电子设备、存储介质以及程序产品，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用人脸识别等场景。具体实现方案为：按照预定帧抽取模式，从视频数据中确定多个视频帧；对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，多个初始鉴伪结果与多个视频帧一一对应；以及根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。

Description

数据鉴伪方法、装置、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用人脸识别等场景。具体涉及数据鉴伪方法、装置、电子设备、存储介质以及程序产品。

背景技术

随着数据源以及数据层次的增长，依靠人工来分析和处理由此产生的海量数据变得越来越困难。计算机视觉技术为解放人力提供潜力。计算机视觉是一门研究如何使用电子设备“看”的科学，即，利用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等的科学技术。计算机视觉技术为公共安全、信息安全、金融安全层面的应用发展提供巨大帮助。

发明内容

本公开提供了一种数据鉴伪方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种数据鉴伪方法，包括：按照预定帧抽取模式，从视频数据中确定多个视频帧；对所述多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，所述多个初始鉴伪结果与所述多个视频帧一一对应；以及根据接收到的与所述视频数据相关的结果类型信息，基于所述多个初始鉴伪结果，确定与所述结果类型信息相匹配的鉴伪结果。

根据本公开的另一方面，提供了一种数据鉴伪装置，包括：第一确定模块，用于按照预定帧抽取模式，从视频数据中确定多个视频帧；第二确定模块，用于对所述多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，所述多个初始鉴伪结果与所述多个视频帧一一对应；以及第三确定模块，用于根据接收到的与所述视频数据相关的结果类型信息，基于所述多个初始鉴伪结果，确定与所述结果类型信息相匹配的鉴伪结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本公开的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如本公开的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如本公开的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用数据鉴伪方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的数据鉴伪方法的流程图；

图3示意性示出了根据本公开另一实施例的数据鉴伪方法的流程图；

图4A示意性示出了根据本公开实施例的确定鉴伪结果的流程图；

图4B示意性示出了根据本公开另一实施例的确定鉴伪结果的流程图；

图5A示意性示出了根据本公开实施例的数据鉴伪模型的网络架构图；

图5B示意性示出了根据本公开实施例的分离注意力单元的网络架构图；

图6示意性示出了根据本公开实施例的数据扩增处理后的样本图像的示意图；

图7示意性示出了根据本公开实施例的数据鉴伪装置的框图；以及

图8示意性示出了根据本公开实施例的适于实现数据鉴伪方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供了一种数据鉴伪方法、装置、电子设备、存储介质以及程序产品。

根据本公开的一个方面，提供了一种数据鉴伪方法，可以包括按照预定帧抽取模式，从视频数据中确定多个视频帧；对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，多个初始鉴伪结果与多个视频帧一一对应；以及根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示意性示出了根据本公开实施例的可以应用数据鉴伪方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用数据鉴伪方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的数据鉴伪方法及装置。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的数据鉴伪方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的数据鉴伪装置也可以设置于终端设备101、102、或103中。

或者，本公开实施例所提供的数据鉴伪方法一般也可以由服务器105执行。相应地，本公开实施例所提供的数据鉴伪装置一般可以设置于服务器105中。本公开实施例所提供的数据鉴伪方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的数据鉴伪装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的数据鉴伪方法的流程图。

如图2所示，该方法包括操作S210～S230。

在操作S210，按照预定帧抽取模式，从视频数据中确定多个视频帧。

在操作S220，对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，多个初始鉴伪结果与多个视频帧一一对应。

在操作S230，根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。

根据本公开的实施例，预定帧抽取模式可以包括：按照预定帧抽取数量、以及预定帧抽取位置，从视频数据中确定多个视频帧的模式。从视频数据中确定多个视频帧，可以包括对视频数据进行拆帧处理，从拆帧得到的视频数据中确定全部视频帧来进行鉴伪处理，但是并不局限于此，还可以包括按照预定帧抽取模式，从拆帧后得到的视频数据中确定部分视频帧来进行鉴伪处理。

根据本公开的实施例，按照预定帧抽取模式，可以在保证鉴伪结果的准确性的同时，降低鉴伪处理的数据量，进而提高处理效率。

根据本公开的实施例，对视频帧进行鉴伪处理，可以包括对视频帧进行是否有伪造的检测处理，由此来确定初始鉴伪结果。

根据本公开的实施例，对视频帧进行鉴伪处理可以包括对视频帧中涉及的目标对象例如人脸、文字等进行鉴伪检测。

需要说明的是，在本公开的实施例中涉及的带有人脸、或者文字等目标对象的视频帧的获取是经过了对应的用户的授权的。

根据本公开的实施例，结果类型信息可以是用户指定的。根据接收到的来自用户的与视频数据相关的结果类型信息，可以基于多个初始鉴伪结果，来确定与结果类型信息相匹配的鉴伪结果。例如，结果类型信息可以包括结果的确定方式的信息。例如，按照结果类型信息确定鉴伪结果，可以包括按照置信度由高到低的顺序对多个初始鉴伪结果进行排序，将排在首位的初始鉴伪结果作为视频数据的鉴伪结果。例如，还可以按照结果类型信息确定鉴伪结果，可以包括将多个初始鉴伪结果中相同结果的数量最大的初始鉴伪结果作为视频数据的鉴伪结果。但是并不局限于此。结果类型信息还可以包括结果的数量的信息。例如，按照结果类型信息确定鉴伪结果，可以包括基于多个初始鉴伪结果，将视频数据作为一个整体，确定视频数据的整体鉴伪结果。例如，还可以按照结果类型信息确定鉴伪结果，可以包括基于多个初始鉴伪结果，得到视频数据中多个视频片段各自的鉴伪结果。

根据本公开的其他实施例，可以对视频数据进行拆帧处理，得到视频数据的全部视频帧或者抽取视频数据的一部分得到多个视频帧，并对多个视频帧进行保存。对每一个视频帧进行鉴伪处理，确定多个初始鉴伪结果。再对所有视频帧的初始鉴伪结果进行融合，确定视频数据的鉴伪结果。

根据本公开的实施例，可以对视频数据进行拆帧处理，得到视频数据的全部视频帧。按照预定帧抽取模式，从视频数据的全部视频帧中确定多个视频帧。对多个视频帧进行并行的鉴伪处理，确定多个初始鉴伪结果。根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。可以在进行鉴伪预测时对视频数据进行拆帧、抽帧、帧级图像鉴伪处理、根据结果类型信息确定鉴伪结果的端到端操作，无需额外存储空间来存放视频数据的视频帧，节省了存储成本，同时使得鉴伪结果的多样化、智能化得到提高。

图3示意性示出了根据本公开另一实施例的数据鉴伪方法的流程图。

如图3所示，该方法包括操作S310、S321、S322、S332、S342、S3521和S3522。

在操作S310，识别待识别数据的数据类型。例如，识别待识别数据的数据类型是否为表征图像的数据类型。

在操作S321，在确定待识别数据的数据类型为表征图像的数据类型的情况下，可以对图像进行鉴伪处理，确定图像的鉴伪结果。

在操作S322，在确定待识别数据的数据类型为用于表征视频数据的数据类型的情况下，可以执行按照预定帧抽取模式，从视频数据中确定多个视频帧的操作。

在操作S332，对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果。

在操作S342，识别接收到的与视频数据相关的结果类型信息。例如，识别结果类型信息是否为用于表征单个结果的结果类型信息。

在操作S3521，在结果类型信息为用于表征单个结果的结果类型信息的情况下，基于多个初始鉴伪结果，确定视频数据的单个鉴伪结果。

在操作S3522，在结果类型信息为用于表征多个结果的结果类型信息的情况下，基于多个初始鉴伪结果，确定多个视频片段各自的鉴伪结果，其中，多个视频片段是基于预定步长，从视频数据中确定的，多个视频片段与多个初始鉴伪结果一一对应。

根据本公开的实施例，数据鉴伪方法可以仅包括操作S322、S332、S342、S3521和S3522，但是并不局限于此，数据鉴伪方法还可以包括操作S310、S321、S322、S332、S342、S3521和S3522。

根据本公开的实施例，结果类型信息可以包括用户指定的结果类型信息，例如，用户指定用于表征单个结果的结果类型信息或者用户指定用于表征多个结果的结果类型信息，但是并不局限于此，结果类型信息还可以包括用户指定用于表征单个结果的结果类型信息和用于表征多个结果的结果类型信息。

根据本公开的实施例，可以在结果类型信息包括用于表征单个结果的结果类型信息和用于表征多个结果的结果类型信息的情况下，同时执行基于多个初始鉴伪结果，确定视频数据的单个鉴伪结果和基于多个初始鉴伪结果，确定多个视频片段各自的鉴伪结果的操作。并向用户发送单个鉴伪结果和多个视频片段各自的鉴伪结果。

根据本公开的实施例，可以根据用户指定的不同的结果类型信息，确定与结果类型信息相对应的鉴伪结果，提高数据鉴伪的智能性，提高用户的个性化体验。

图4A示意性示出了根据本公开实施例的确定鉴伪结果的流程图。

如图4A所示，按照预定步长，将视频数据410拆分为多个按照时序排列的视频片段420。按照预定帧抽取模式，从多个视频片段420中确定至少一个视频帧430，由此得到多个视频帧。对多个视频帧来进行鉴伪处理，得到多个视频帧各自的初始鉴伪结果(Fake/Real)440。在结果类型信息为用于表征单个结果的结果类型信息的情况下，可以将抽取的多个视频帧的初始鉴伪结果440进行融合，得到视频数据的单个鉴伪结果450。

例如，对视频数据410进行拆帧，得到6个视频片段420。首尾两个视频片段步长为2，即首尾两个视频片段分别包括2个视频帧。其它视频片段步长为3，即其它视频片段分别包括3个视频帧。从每个视频片段中抽取一个视频帧，确定6个视频帧430，例如视频帧1、视频帧4、视频帧7、视频帧10、视频帧13和视频帧15。通过鉴伪处理，确定初始鉴伪结果440。如果初始鉴伪结果440中，有大于或者等于预定阈值数目个的初始鉴伪结果为表征伪造(Fake)的鉴伪结果，则确定整个视频数据的鉴伪结果450为表征伪造的单个鉴伪结果。

根据本公开的实施例，预定阈值可以是2，即，在上述示例中，如果6个初始鉴伪结果中有大于或者等于2个初始鉴伪结果是表征伪造的鉴伪结果，则确定该视频数据为用于表征伪造的单个鉴伪结果。但是并不局限于此，预定阈值还可以是大于2的任意整数。可以根据实际情况来确定，在此不再赘述。

图4B示意性示出了根据本公开另一实施例的确定鉴伪结果的流程图。

如图4B所示，可以按照预定步长，将视频数据410拆分为多个按照时序排列的视频片段420。按照预定帧抽取模式，从多个视频片段420中确定至少一个视频帧430，由此得到多个视频帧。对多个视频帧来进行鉴伪处理，得到多个视频帧各自的初始鉴伪结果440。在结果类型信息为用于表征多个结果的结果类型信息的情况下，基于初始鉴伪结果440确定相应步长的视频片段的鉴伪结果450’，由此得到多个鉴伪结果。例如得到视频数据的以时序排列的视频片段的真伪性。

例如，对视频数据410进行拆帧，得到6个视频片段420。首尾两个视频片段步长为2，即首尾两个视频片段分别包括2个视频帧。其它视频片段步长为3，即其它视频片段分别包括3个视频帧。从每个视频片段中抽取一个视频帧，确定6个视频帧430，例如视频帧1、视频帧4、视频帧7、视频帧10、视频帧13和视频帧15。通过鉴伪处理，确定初始鉴伪结果440。对于每个视频片段，可以将每个视频帧的初始鉴伪结果拓展为相应步长的视频片段的鉴伪结果。

例如，1～2视频片段的视频帧以及3～5视频片段的视频帧各自确定的初始鉴伪结果为用于表征伪造的鉴伪结果，其它视频片段各自的视频帧的初始鉴伪结果为用于表征真实的鉴伪结果。则1～2视频片段以及3～5视频片段各自确定的鉴伪结果为用于表征伪造的鉴伪结果，其它视频片段各自的鉴伪结果为用于表征真实的鉴伪结果。但是并不局限于此。还可以将多个视频片段进行进一步整合，确定最终结果为1～5视频片段为用于表征伪造的鉴伪结果、6～16视频片段为用于表征真实的鉴伪结果。

根据本公开的实施例，整个视频数据拆分为多个视频片段的预定步长可以为固定值，例如为步长2或者任一整数，但是并不局限于此，还可以为变值，例如首尾视频片段的步长分别为2、中间视频片段的步长为3。可以根据视频数据的视频帧数来确定，在此不再赘述。

根据本公开的实施例，预定帧抽取模式，可以指按照预定帧抽取数量、以及预定帧抽取位置，从多个视频片段中的每个视频片段中确定至少一个视频帧，得到多个视频帧的模式。按照预定抽帧数量，可以包括从每个视频片段中确定一个视频帧，也可以包括从每个视频片段中确定多个视频帧，例如2或者3、或者视频片段中的全部视频帧。视频帧数量越多，则处理量越大，但是对应的鉴伪结果则越准确。按照预定抽帧位置，可以包括从每个视频片段的固定时序位置来确定视频帧，例如，抽取视频片段的第一个视频帧，但是并不局限于此，还可以从视频片段的不同时序位置来确定视频帧。例如，抽取第一个视频片段的第一个视频帧，抽取第二个视频片段的第二个视频帧等等。可以根据实际情况确定，在此不再赘述。

根据本公开的实施例，多个初始鉴伪结果中的每个初始鉴伪结果包括用于表征与初始鉴伪结果相对应的视频帧为真实的鉴伪结果或者用于表征与初始鉴伪结果相对应的视频帧为伪造的鉴伪结果。但是并不局限于此。在初始鉴伪结果相对应的视频帧为伪造的鉴伪结果的情况下，初始鉴伪结果还可以包括在与初始鉴伪结果相对应的视频帧的伪造类型。

根据本公开的实施例，伪造类型可以包括视频帧的伪造方式，例如，篡改、拼接、遮挡、翻拍等伪造方式。但是并不局限于此。只要是通过合成手段生成的图像的方式即可。

根据本公开的实施例，初始鉴伪结果包括与初始鉴伪结果相对应的视频帧的伪造类型，使得能够提供更为明确、细化的鉴伪结果，提高用户体验。

图5A示意性示出了根据本公开实施例的数据鉴伪模型的网络架构图。

如图5A所示，数据鉴伪模型可以包括依次级联的第一特征提取模块510、第二特征提取模块和分类模块530。

根据本公开的实施例，针对多个视频帧中的每个视频帧，利用第一特征提取模块提取视频帧中的特征，得到特征图520。利用第二特征提取模块对特征图进行处理，得到目标特征图。利用分类模块处理目标特征图，得到初始鉴伪结果。

根据本公开的实施例，可以利用数据鉴伪模型对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果。

根据本公开的实施例，第一特征提取模块可以包括卷积神经网络，例如多个级联的卷积层构成的第一特征提取模块，但是并不局限于此，还可以包括其他用于提取图像的特征的网络架构。

根据本公开的实施例，第二特征提取模块可以包括多分支和分离注意力机制的ResNeSt残差网络，例如ResNeSt50的残差网络。

根据本公开的实施例，分类模块可以包括全连接层和激活函数。但是并不局限于此，还可以包括其他对视频帧中的目标对象的真伪进行分类的网络架构。

如图5A所示，第二特征提取模块可以包括多个并联的基数组(例如基数组Cardinal1、基数组Cardinalk)541。第二特征提取模块还可以包括与多个并联的基数组级联的图组融合单元(Concatenate)542、卷积单元543和跨图组融合单元544。例如，第二特征提取模块可以包括k个并联的基数组，利用k个并联的基数组将特征图拆分为k个小组特征图。针对k个小组特征图中的每个小组特征图，可以利用与小组特征图相对应的基数组进行处理，得到与小组特征图相对应的基数组特征图。进而得到k个基数组特征图。利用图组融合单元对多个基数组特征图进行例如组间融合处理，得到图组融合特征图。利用卷积单元对图组融合特征图进行卷积处理，得到卷积后图组融合特征图。利用跨图组融合单元对卷积后图组融合特征图以及特征图进行例如元素相加的跨图组融合处理，得到目标特征图。

如图5A所示，每个基数组541可以包括多个并联的卷积单元组(例如卷积单元组Split1、卷积单元组Splitr)5411以及分离注意力单元(Split Attention)5412。每个卷积单元组可以包括多个级联的卷积层54111。例如，每个基数组可以包括r个并联的卷积单元组，每个卷积单元组可以包括例如2个级联的卷积层。2个级联的卷积层的卷积核可以分别包括1*1以及3*3。利用多个卷积单元组对与基数组相对应的小组特征图进行拆分，得到多个子小组特征图。针对多个子小组特征图中的每个子小组特征图，利用与子小组特征图相对应的卷积单元组进行卷积处理，得到多个卷积后子小组特征图，其中，多个卷积后子小组特征图与多个子小组特征图一一对应。利用分离注意力单元处理多个卷积后子小组特征图，得到与基数组相对应的基数组特征图，进而得到多个基数组特征图。

根据本公开的实施例，卷积单元可以包括单个卷积层，例如1*1、3*3卷积层或者5*5卷积层。

图5B示意性示出了根据本公开实施例的根据分离注意力单元的网络架构图。

如图5B所示，分离注意力单元5412可以包括依次级联的第一元素相加融合子单元54121、池化子单元(Global pooling)54122、卷积(Dense c)-归一化(BN)-修正线性(ReLU)子单元54123、多个并联的卷积子单元(Dense c)54124、激活子单元(R-Softmax)54125、多个并联的元素相乘融合子单元54126以及第二元素相加融合子单元54127。

根据本公开的实施例，利用第一元素相加融合子单元54121对多个卷积后子小组特征图进行处理，得到元素相加小组特征图。利用池化子单元54122对元素相加小组特征图进行处理，得到池化后小组特征图。该池化后小组特征图表示各个通道的权重。经过卷积-归一化-修正线性子单元54123、多个并联的卷积子单元54124、以及激活子单元54125处理后，对通道的权重进行修正，得到多个权重修正子小组特征图。针对多个权重修正子小组特征图中的每个权重修正子小组特征图，利用与权重修正子小组特征图相对应的元素相乘融合子单元54126对权重修正子小组特征图和与权重修正子小组特征图相对应的卷积后子小组特征图进行元素相乘融合处理，得到多个元素相乘子小组特征图。利用第二元素相加融合子单元54127对多个元素相乘子小组特征图进行元素相加融合处理，得到多个基数组特征图。

利用本公开实施例提供的数据鉴伪模型，该数据鉴伪模型将特征图进行分组，同时分离注意力单元也在分组后的特征图维度上表示，并实现跨图组的特征图的信息交互。利用本公开实施例提供的数据鉴伪模型，不仅保证鉴伪精度高，而且保证预测速度快、调用效率高。

根据本公开的实施例，还提供一种数据鉴伪模型的训练方法。

根据本公开的实施例，数据鉴伪模型的训练方法可以包括以下操作。例如，获取训练样本。利用训练样本训练数据鉴伪模型，得到训练后的数据鉴伪模型。

根据本公开的实施例，训练样本可以包括样本图像和与样本图像相匹配的样本标签。样本标签指示了样本图像的鉴伪结果。

根据本公开的实施例，获取训练样本可以包括如下操作。例如，获取初始训练样本。对初始训练样本进行数据扩增处理，得到训练样本。

根据本公开的实施例，数据扩增也可以称为数据增强，表示在不实质性的增加数据量的情况下，让有限的数据产生等价于更多数据的价值。

根据本公开的实施例，数据扩增可以包括几何变换类的数据扩增，但是并不局限于此，还可以包括颜色变换类的数据扩增，也可以包括多样本的数据扩增、无监督的数据扩增等。几何变换类的数据扩增，例如，可以包括翻转、旋转、裁剪、变形、缩放等。颜色变换类的数据扩增，例如，可以包括噪声、模糊、颜色变换、擦除、填充等。多样本的数据扩增，例如，可以是样本配对(sample pairing)、融合(mix up)等。无监督的数据扩增，例如，可以是生成对抗式的数据扩增、模型自动选择的数据扩增等。

图6示意性示出了根据本公开实施例的数据扩增处理后的样本图像的示意图。

如图6所示，可以样本图像(a)可以包括原样本图像。样本图像(b)可以包括经随机阴影的数据扩增处理后的样本图像。样本图像(c)可以包括经高斯噪声的数据扩增处理后的样本图像。样本图像(d)可以包括经直方图均衡化的数据扩增处理后的样本图像。样本图像(e)可以包括经随机雨滴的数据扩增处理后的样本图像。样本图像(f)可以包括经海报化的数据扩增处理后的样本图像。

利用本公开实施例提供的多种对抗扰动方式的数据扩增处理，可以使得用于训练数据鉴伪模型的训练样本的数据量增加，避免了过拟合问题。此外，还增加了训练样本的多样性，使得利用经过数据扩增处理的训练样本来训练数据鉴伪模型，可以提高训练后的数据鉴伪模型的鲁棒性，进而提高了利用数据鉴伪模型来执行鉴伪任务的扩展性。

需要说明的是，在本公开的实施例中涉及的带有人脸、或者文字等目标对象的样本图像的获取是经过了对应的用户的授权的。

根据本公开的实施例，数据鉴伪模型可以包括依次级联的第一特征提取模块、第二特征提取模块和分类模块。

根据本公开的实施例，针对多个视频帧中的每个视频帧，利用第一特征提取模块提取样本图像中的特征，得到样本特征图。利用第二特征提取模块对样本特征图进行处理，得到目标样本特征图。利用分类模块处理目标样本特征图，得到初始样本鉴伪结果。

根据本公开的实施例，可以利用数据鉴伪模型对多个样本图像进行鉴伪处理，确定多个初始样本鉴伪结果。

根据本公开的实施例，第一特征提取模块可以包括卷积神经网络，例如多个级联的卷积层构成的第一特征提取模块，但是并不局限于此，还可以包括其他用于提取样本图像的特征的网络架构。

根据本公开的实施例，第二特征提取模块可以包括多分支和分离注意力机制的ResNeSt残差网络，例如ResNeSt50的残差网络。

根据本公开的实施例，分类模块可以包括全连接层和激活函数。但是并不局限于此，还可以包括其他对样本图像中的目标对象的真伪进行分类的网络架构。

根据本公开的实施例，第二特征提取模块可以包括多个并联的基数组。第二特征提取模块还可以包括与多个并联的基数组级联的图组融合单元、卷积单元和跨图组融合单元。例如，第二特征提取模块可以包括k个并联的基数组，利用k个并联的基数组将样本特征图拆分为k个小组样本特征图。针对k个小组样本特征图中的每个小组样本特征图，可以利用与小组样本特征图相对应的基数组进行处理，得到与小组样本特征图相对应的基数组样本特征图。进而得到k个基数组样本特征图。利用图组融合单元对多个基数组样本特征图进行例如组间融合处理，得到图组融合样本特征图。利用卷积单元对图组融合样本特征图进行卷积处理，得到卷积后图组融合样本特征图。利用跨图组融合单元对卷积后图组融合样本特征图以及样本特征图进行例如元素相加的跨图组融合处理，得到目标样本特征图。

根据本公开的实施例，每个基数组可以包括多个并联的卷积单元组以及分离注意力单元。每个卷积单元组可以包括多个级联的卷积层。例如，每个基数组可以包括r个并联的卷积单元组，每个卷积单元组可以包括例如2个级联的卷积层。2个级联的卷积层的卷积核可以分别包括1*1以及3*3。利用多个卷积单元组对与基数组相对应的小组样本特征图进行拆分，得到多个子小组样本特征图。针对多个子小组样本特征图中的每个子小组样本特征图，利用与子小组样本特征图相对应的卷积单元组进行卷积处理，得到多个卷积后子小组样本特征图，其中，多个卷积后子小组样本特征图与多个子小组样本特征图一一对应。利用分离注意力单元处理多个卷积后子小组样本特征图，得到与基数组相对应的基数组样本特征图，进而得到多个基数组样本特征图。

根据本公开的实施例，卷积单元可以包括单个卷积层，例如1*1、3*3卷积层或者5*5卷积层。

根据本公开的实施例，分离注意力单元可以包括依次级联的第一元素相加融合子单元、池化子单元、卷积-归一化-修正线性子单元、多个并联的卷积子单元、激活子单元、多个并联的元素相乘融合子单元以及第二元素相加融合子单元。

根据本公开的实施例，利用第一元素相加融合子单元对多个卷积后子小组样本特征图进行处理，得到元素相加小组样本特征图。利用池化子单元对元素相加小组样本特征图进行处理，得到池化后小组样本特征图。该池化后小组样本特征图表示各个通道的权重。经过卷积-归一化-修正线性子单元、多个并联的卷积子单元、以及激活子单元处理后，对通道的权重进行修正，得到多个权重修正子小组样本特征图。针对多个权重修正子小组样本特征图中的每个权重修正子小组样本特征图，利用与权重修正子小组样本特征图相对应的元素相乘融合子单元对权重修正子小组样本特征图和与权重修正子小组样本特征图相对应的卷积后子小组样本特征图进行元素相乘融合处理，得到多个元素相乘子小组样本特征图。利用第二元素相加融合子单元对多个元素相乘子小组样本特征图进行元素相加融合处理，得到多个基数组样本特征图。

根据本公开的实施例，数据鉴伪模型的模型参数量少、计算量低，收敛速度快。

图7示意性示出了根据本公开实施例的数据鉴伪装置的框图。

如图7所示，数据鉴伪装置700可以包括第一确定模块710、第二确定模块720以及第三确定模块730。

第一确定模块710，用于按照预定帧抽取模式，从视频数据中确定多个视频帧。

第二确定模块720，用于对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，多个初始鉴伪结果与多个视频帧一一对应。

第三确定模块730，用于根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。

根据本公开的实施例，第三确定模块可以包括第一确定单元以及第二确定单元。

第一确定单元，用于在结果类型信息为用于表征单个结果的结果类型信息的情况下，基于多个初始鉴伪结果，确定视频数据的单个鉴伪结果。

第二确定单元，用于在结果类型信息为用于表征多个结果的结果类型信息的情况下，基于多个初始鉴伪结果，确定多个视频片段各自的鉴伪结果，其中，多个视频片段是基于预定步长，从视频数据中确定的，多个视频片段与多个初始鉴伪结果一一对应。

根据本公开的实施例，数据鉴伪模型可以包括依次级联的第一特征提取模块、第二特征提取模块和分类模块。

根据本公开的实施例，第二确定模块可以包括第一提取子模块、第二提取子模块以及分类子模块。

第一提取子模块，用于针对多个视频帧中的每个视频帧，利用第一特征提取模块提取视频帧中的特征，得到特征图。

第二提取子模块，用于利用第二特征提取模块对特征图进行处理，得到目标特征图。

分类子模块，用于利用分类模块处理目标特征图，得到与视频帧相对应的初始鉴伪结果。

根据本公开的实施例，第二特征提取模块包括级联的多个并联的基数组、图组融合单元、卷积单元和跨图组融合单元。

根据本公开的实施例，第二提取子模块可以包括基数组处理单元、第一融合单元、卷积单元、第二融合单元。

基数组处理单元，用于利用多个并联的基数组对特征图进行处理，得到多个基数组特征图。

第一融合单元，用于利用图组融合单元对多个基数组特征图进行处理，得到图组融合特征图。

卷积单元，用于利用卷积单元处理图组融合特征图，得到卷积后图组融合特征图。

第二融合单元，用于利用跨图组融合单元对卷积后图组融合特征图和特征图进行处理，得到目标特征图。

根据本公开的实施例，多个并联的基数组中的每个基数组包括多个并联的卷积单元组和分离注意力单元。

根据本公开的实施例，基数组处理单元可以包括第一拆分子单元、第二拆分子单元、卷积子单元和分离注意子单元。

第一拆分子单元，用于利用多个并联的基数组对特征图进行拆分，得到多个小组特征图。

第二拆分子单元，用于针对多个小组特征图中的每个小组特征图，利用与小组特征图相对应的基数组的多个并联的卷积单元组对小组特征图进行拆分，得到多个子小组特征图。

卷积子单元，用于针对多个子小组特征图中的每个子小组特征图，利用与子小组特征图相对应的卷积单元组进行卷积处理，得到多个卷积后子小组特征图，其中，多个卷积后子小组特征图与多个子小组特征图一一对应。

分离注意子单元，用于利用分离注意力单元处理多个卷积后子小组特征图，得到多个基数组特征图。

根据本公开的实施例，第一确定模块可以包括视频拆分单元和抽帧单元。

视频拆分单元，用于按照预定步长，将视频数据拆分为多个视频片段。

抽帧单元，用于按照预定帧抽取模式，从多个视频片段中的每个视频片段中确定至少一个视频帧，得到多个视频帧。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如本公开实施例的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如本公开实施例的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如本公开实施例的方法。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如数据鉴伪方法。例如，在一些实施例中，数据鉴伪方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的数据鉴伪方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据鉴伪方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种数据鉴伪方法，包括：

按照预定帧抽取模式，从视频数据中确定多个视频帧；

对所述多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，所述多个初始鉴伪结果与所述多个视频帧一一对应；以及

根据接收到的与所述视频数据相关的结果类型信息，基于所述多个初始鉴伪结果，确定与所述结果类型信息相匹配的鉴伪结果。

2.根据权利要求1所述的方法，其中，所述根据接收到的与所述视频数据相关的结果类型信息，基于所述多个初始鉴伪结果，确定与所述结果类型信息相匹配的鉴伪结果包括：

在所述结果类型信息为用于表征单个结果的结果类型信息的情况下，基于所述多个初始鉴伪结果，确定所述视频数据的单个鉴伪结果；以及

在所述结果类型信息为用于表征多个结果的结果类型信息的情况下，基于所述多个初始鉴伪结果，确定多个视频片段各自的鉴伪结果，其中，所述多个视频片段是基于预定步长，从所述视频数据中确定的，所述多个视频片段与所述多个初始鉴伪结果一一对应。

3.根据权利要求1或2所述的方法，其中，数据鉴伪模型包括依次级联的第一特征提取模块、第二特征提取模块和分类模块；

所述对所述多个视频帧进行鉴伪处理，确定多个初始鉴伪结果包括：

针对所述多个视频帧中的每个视频帧，利用所述第一特征提取模块提取所述视频帧中的特征，得到特征图；

利用所述第二特征提取模块对所述特征图进行处理，得到目标特征图；以及

利用所述分类模块处理所述目标特征图，得到与所述视频帧相对应的初始鉴伪结果。

4.根据权利要求3所述的方法，其中，所述第二特征提取模块包括级联的多个并联的基数组、图组融合单元、卷积单元和跨图组融合单元；

所述利用所述第二特征提取模块对所述特征图进行处理，得到目标特征图包括：

利用所述多个并联的基数组对所述特征图进行处理，得到多个基数组特征图；

利用所述图组融合单元对所述多个基数组特征图进行处理，得到图组融合特征图；

利用卷积单元处理所述图组融合特征图，得到卷积后图组融合特征图；以及

利用所述跨图组融合单元对所述卷积后图组融合特征图和所述特征图进行处理，得到目标特征图。

5.根据权利要求4所述的方法，其中，所述多个并联的基数组中的每个基数组包括多个并联的卷积单元组和分离注意力单元；

所述利用所述多个并联的基数组对所述特征图进行处理，得到多个基数组特征图包括：

利用多个并联的基数组对所述特征图进行拆分，得到多个小组特征图；

针对所述多个小组特征图中的每个小组特征图，利用与所述小组特征图相对应的基数组的所述多个并联的卷积单元组对所述小组特征图进行拆分，得到多个子小组特征图；

针对所述多个子小组特征图中的每个子小组特征图，利用与所述子小组特征图相对应的卷积单元组进行卷积处理，得到多个卷积后子小组特征图，其中，所述多个卷积后子小组特征图与所述多个子小组特征图一一对应；以及

利用分离注意力单元处理所述多个卷积后子小组特征图，得到所述多个基数组特征图。

6.根据权利要求1至5中任一项所述的方法，其中，所述按照预定帧抽取模式，从视频数据中确定多个视频帧包括：

按照预定步长，将所述视频数据拆分为多个视频片段；以及

按照所述预定帧抽取模式，从所述多个视频片段中的每个视频片段中确定至少一个视频帧，得到所述多个视频帧。

7.一种数据鉴伪装置，包括：

第一确定模块，用于按照预定帧抽取模式，从视频数据中确定多个视频帧；

第二确定模块，用于对所述多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，其中，所述多个初始鉴伪结果与所述多个视频帧一一对应；以及

第三确定模块，用于根据接收到的与所述视频数据相关的结果类型信息，基于所述多个初始鉴伪结果，确定与所述结果类型信息相匹配的鉴伪结果。

8.根据权利要求7所述的装置，其中，所述第三确定模块包括：

第一确定单元，用于在所述结果类型信息为用于表征单个结果的结果类型信息的情况下，基于所述多个初始鉴伪结果，确定所述视频数据的单个鉴伪结果；以及

第二确定单元，用于在所述结果类型信息为用于表征多个结果的结果类型信息的情况下，基于所述多个初始鉴伪结果，确定多个视频片段各自的鉴伪结果，其中，所述多个视频片段是基于预定步长，从所述视频数据中确定的，所述多个视频片段与所述多个初始鉴伪结果一一对应。

9.根据权利要求7或8所述的装置，其中，数据鉴伪模型包括依次级联的第一特征提取模块、第二特征提取模块和分类模块；

所述第二确定模块包括：

第一提取子模块，用于针对所述多个视频帧中的每个视频帧，利用所述第一特征提取模块提取所述视频帧中的特征，得到特征图；

第二提取子模块，用于利用所述第二特征提取模块对所述特征图进行处理，得到目标特征图；以及

分类子模块，用于利用所述分类模块处理所述目标特征图，得到与所述视频帧相对应的初始鉴伪结果。

10.根据权利要求9所述的装置，其中，所述第二特征提取模块包括级联的多个并联的基数组、图组融合单元、卷积单元和跨图组融合单元；

所述第二提取子模块包括：

基数组处理单元，用于利用所述多个并联的基数组对所述特征图进行处理，得到多个基数组特征图；

第一融合单元，用于利用所述图组融合单元对所述多个基数组特征图进行处理，得到图组融合特征图；

卷积单元，用于利用卷积单元处理所述图组融合特征图，得到卷积后图组融合特征图；以及

第二融合单元，用于利用所述跨图组融合单元对所述卷积后图组融合特征图和所述特征图进行处理，得到目标特征图。

11.根据权利要求10所述的装置，其中，所述多个并联的基数组中的每个基数组包括多个并联的卷积单元组和分离注意力单元；

所述基数组处理单元包括：

第一拆分子单元，用于利用多个并联的基数组对所述特征图进行拆分，得到多个小组特征图；

第二拆分子单元，用于针对所述多个小组特征图中的每个小组特征图，利用与所述小组特征图相对应的基数组的所述多个并联的卷积单元组对所述小组特征图进行拆分，得到多个子小组特征图；

卷积子单元，用于针对所述多个子小组特征图中的每个子小组特征图，利用与所述子小组特征图相对应的卷积单元组进行卷积处理，得到多个卷积后子小组特征图，其中，所述多个卷积后子小组特征图与所述多个子小组特征图一一对应；以及

分离注意子单元，用于利用分离注意力单元处理所述多个卷积后子小组特征图，得到所述多个基数组特征图。

12.根据权利要求7至11中任一项所述的装置，其中，所述第一确定模块包括：

视频拆分单元，用于按照预定步长，将所述视频数据拆分为多个视频片段；以及

抽帧单元，用于按照所述预定帧抽取模式，从所述多个视频片段中的每个视频片段中确定至少一个视频帧，得到所述多个视频帧。

13.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。

15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。

Images