CN112597321B - 基于区块链的多媒体处理方法及相关设备 - Google Patents

Abstract

本申请涉及区块链技术领域，具体提供了一种基于区块链的多媒体处理方法及相关设备，该方法包括：对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；从所述区块链中获取已发布多媒体的特征数据；根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果；本方案实现了对多媒体进行查重。

Description

基于区块链的多媒体处理方法及相关设备

技术领域

本申请涉及区块链技术领域，具体而言，涉及一种基于区块链的多媒体处理方法及相关设备。

背景技术

内容平台的兴起为用户分享和传播多媒体提供了平台，从而激发了用户以多媒体为载体的内容创作热情，多媒体例如视频、音频或者融合了图像和音频的音视频等。相关技术中，在内容平台中存在一些多媒体的内容抄袭其他多媒体内容的情况，即存在内容高度相似的多媒体。在该种情况下，为了保护内容创作者的权益，需要对多媒体进行查重。如何对多媒体进行查重是相关技术中亟待解决的技术问题。

发明内容

本申请的实施例提供了一种基于区块链的多媒体处理方法及相关设备，以实现对多媒体进行查重。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种基于区块链的多媒体处理方法，包括：对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；从所述区块链中获取已发布多媒体的特征数据；根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果。

根据本申请实施例的一个方面，提供了一种基于区块链的多媒体处理装置，包括：特征提取模块，用于对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；特征数据获取模块，用于从所述区块链中获取已发布多媒体的特征数据；相似度计算模块，用于根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；查重结果确定模块，用于根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果。

在本申请的一些实施例中，基于前述方案，基于区块链的多媒体处理装置还包括：用户标识获取模块，用于若所述目标多媒体的查重结果指示所述目标多媒体疑似抄袭，则从所述区块链中获取第一多媒体对应的用户标识，所述第一多媒体是所述目标多媒体对应的疑似被抄袭多媒体；第一发送模块，用于将所述目标多媒体发送至所述用户标识对应的目标客户端，以使所述目标客户端所在用户进行侵权确认。

在本申请的一些实施例中，基于前述方案，基于区块链的多媒体处理装置还包括：侵权标记模块，用于若接收到所述目标客户端返回的侵权确认信息，对所述目标多媒体进行侵权标记。

在本申请的一些实施例中，基于前述方案，基于区块链的多媒体处理装置还包括：第二发送模块，用于若接收到所述目标客户端返回的侵权确认信息，向所述目标多媒体的作者所在客户端发送侵权告警信息。

在本申请的一些实施例中，基于前述方案，所述特征数据包括所对应多媒体在至少两个特征维度上的特征信息。

在本申请的一些实施例中，基于前述方案，查重结果确定模块包括：抄袭确定单元，用于对于每一已发布多媒体，若根据在每一特征维度上所述目标多媒体与所述已发布多媒体的相似度，确定存在至少一个特征维度上的相似度超过所述特征维度对应的相似度阈值，则确定所述目标多媒体疑似抄袭所述已发布多媒体；若所述目标多媒体与所述已发布多媒体在每一特征维度上的相似度均不超过所述特征维度对应的相似度阈值，则确定所述目标多媒体与所述已发布多媒体不相似；第一查重结果生成单元，用于若在全部已发布多媒体中存在所述目标多媒体疑似抄袭的已发布多媒体，则生成指示所述目标多媒体疑似抄袭的查重结果；第二查重结果生成单元，用于若所述目标多媒体与全部已发布多媒体均不相似，则生成指示所述目标多媒体未抄袭的查重结果。

在本申请的一些实施例中，基于前述方案，所述特征维度至少包括视频语义维度；所述特征信息包括视频语义信息；特征提取模块包括：视频帧序列获取单元，用于获取所述目标多媒体的视频帧序列；图像识别单元，用于对所述视频帧序列中的每一视频帧进行图像识别，得到所述每一视频帧对应的物体标签；关联单元，用于将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，得到所述目标多媒体的视频语义信息。

在本申请的一些实施例中，基于前述方案，所述特征维度包括至少图像字符维度；所述特征信息包括视频字符信息；特征提取模块包括：视频帧序列获取单元，用于获取所述目标多媒体的视频帧序列；字符识别单元，用于对所述视频帧序列中的每一视频帧进行字符识别，得到每一视频帧中所包括字符的字符信息；组合单元，用于组合所述视频帧序列中每一视频帧对应的字符信息，得到所述目标多媒体的视频字符信息。

在本申请的一些实施例中，基于前述方案，所述特征维度至少包括音频语义维度；所述特征信息包括文本信息；特征提取模块包括：语音数据获取单元，用于获取所述目标多媒体中的音频数据；语音识别单元，用于对所述音频数据进行语音识别，得到所述目标多媒体的文本信息。

在本申请的一些实施例中，基于前述方案，所述特征维度至少包括旋律维度，所述特征信息包括旋律音轨信息；特征提取模块包括：旋律数据获取单元，用于获取所述目标多媒体中的音频数据；旋律识别单元，用于对所述音频数据进行旋律识别，得到所述目标多媒体对应的旋律音轨信息。

在本申请的一些实施例中，基于前述方案，基于区块链的多媒体处理装置还包括：拒绝发布模块，用于若所述查重结果指示所述目标多媒体疑似抄袭，则拒绝针对所述目标多媒体的发布请求。

在本申请的一些实施例中，基于前述方案，基于区块链的多媒体处理装置还包括：上传模块，用于若所述目标多媒体的查重结果指示所述目标多媒体未抄袭，则将所述目标多媒体的特征数据上传到所述区块链。

在本申请的一些实施例中，基于前述方案，特征提取模块包括：上链确认信息接收单元，用于接收针对所述目标多媒体的上链确认信息；特征提取单元，用于根据所述上链确认信息对所述目标多媒体进行提取，得到所述目标多媒体的特征数据。

根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上所述的方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如上所述的方法。

在本申请的方案中，在提取到目标多媒体的特征数据和从区块链中获取已发布多媒体的特征数据后，计算目标多媒体和已发布多媒体的相似度，并根据所计算得到的相似度来确定目标多媒体的查重结果，实现了对目标多媒体进行查重。而且，将已发布多媒体的特征数据存储在区块链中，由于区块链具有去中心化和不可篡改性，因此保证了对目标多媒体进行查重的数据基础（即已发布多媒体的特征数据）的准确性，进而保证了所得到查重结果的准确性。

当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

图2示出了的区块链系统的示意图。

图3示出了区块链中各区块的连接关系示意图。

图4示出了生成一个区块的过程示意图。

图5是根据本申请一实施例示出的基于区块链的多媒体处理方法的流程图。

图6是根据本申请一实施例示出的步骤540之后步骤的流程图。

图7是根据一具体实施例示出的对目标多媒体进行侵权标记的示意图。

图8是根据一具体实施例示出的侵权告警信息的显示示意图。

图9是根据一具体实施例示出的进行特征数据上链提示的示意图。

图10是根据一具体实施例示出了发布视频的流程图。

图11是根据一具体实施例示出的对视频进行查重检测的流程图。

图12是根据本申请一实施例示出的基于区块链的多媒体处理装置的框图。

图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构可以包括终端设备（如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等）、网络104和服务器105。终端设备还可以是可穿戴设备、车载计算机等。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

服务器105可以作为内容平台的服务端，接收用户所上传的多媒体，并将多媒体发布在内容平台上，使得内容平台上的其他用户可以在客户端页面上查看被发布的多媒体。多媒体可以是融合音频和图像的视频，也可以是音频。

作为内容创作者的用户可以通过终端设备为所创作的多媒体向服务器105发送发布请求，从而服务器105在接收到多媒体发布请求后，将对应的多媒体进行存储并发布。

在本申请的方案中，用户将多媒体上传到服务器105之后，由服务器105对多媒体进行特征提取，得到该多媒体的特征数据，进而从区块链中获取已发布多媒体的特征数据来对当前的多媒体进行查重。在一实施例中，服务器可以在一个特征维度上对多媒体进行特征提取，对应的，该多媒体的特征数据包括该多媒体在该特征维度上的特征信息。

在另一些实施例中，服务器105还可以在至少两个特征维度上对多媒体上进行特征提取，得到该多媒体在每一特征维度上的特征信息，对应得到该多媒体的特征数据。

对于融合音频和图像的视频而言，特征维度可以包括视频语义维度、图像字符维度、音频语义维度等，若音频中还集成了旋律，特征维度还可以包括旋律特征维度。对于音频而言，其特征维度可以包括音频语义维度和旋律特征维度等。

在本申请的一些实施例中，可以利用人工智能技术来在每个特征维度上对多媒体进行特征提取。人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

举例来说，可以分别构建在每个特征维度上对多媒体进行特征提取的神经网络模型，然后先对该神经网络模型进行训练，在训练结束后，可以将该神经网络模型用于提取多媒体在对应特征维度上的特征信息。该神经网络模型可以是基于卷积神经网络、循环神经网络等构建的模型。

在本申请的一些实施例中，在对多媒体进行特征提取后，将多媒体的特征数据也上传到区块链中，从而将该特征数据也作为下一待发布多媒体的查重比较对象。在一些实施例中，可以在获得查重结果后对当前的多媒体的特征数据进行特征数据的上链。

在本申请的方案中，可以结合多媒体的查重结果来确定是否将一多媒体的特征数据上传到区块链中，或者是否对该多媒体进行发布。在本申请的一些实施例中，若查重结果指示多媒体疑似抄袭，可以拒绝该多媒体的发布请求，和/或，不将该多媒体的特征数据上传到区块链中；若查重结果指示多媒体未抄袭，则将该多媒体在内容平台中进行发布，和/或，将多媒体的特征数据上传到区块链中。在一些实施例中，还可以不管查重结果如何，均将多媒体在内容平台中均进行发布、以及将多媒体的特征数据上传到区块链中。

在本申请的方案中，服务器105还可以作为区块链系统中的节点，用于对多媒体的特征数据进行上链处理，以及与区块链系统中的其他节点进行交互。

参见图2所示的区块链系统，区块链系统200是指用于进行节点与节点之间数据共享的系统，该区块链系统中可以包括多个节点201，多个节点201可以是区块链系统200中各个客户端。每个节点201在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该区块链系统内的共享数据，具体在本申请的方案中，该共享数据包括多媒体的特征数据。

为了保证区块链系统内的信息互通，区块链系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当区块链系统中的任意节点接收到输入信息（输入信息例如多媒体的特征数据）时，区块链系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得区块链系统中全部节点上存储的数据均一致。

对于区块链系统中的每个节点，均具有与其对应的节点标识，而且区块链系统中的每个节点均可以存储有区块链系统中其他节点的节点标识，以便后续根据其他节点的节点标识，将生成的区块广播至区块链系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为IP（Internet Protocol，网络之间互联的协议）地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。

区块链系统中的每个节点均存储相同的区块链。区块链由多个区块组成，参见图3，区块链由多个区块组成，创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。

在生成区块链中的各个区块时，参见图4，区块链所在的节点在接收到输入信息时，对输入信息进行校验，完成校验后，将输入信息存储至内存池中，并更新其用于记录输入信息的哈希树；之后，将更新时间戳更新为接收到输入信息的时间，并尝试不同的随机数，多次进行特征值计算，使得计算得到的特征值可以满足下述公式：

其中，SHA256为计算特征值所用的特征值算法；version（版本号）为区块链中相关区块协议的版本信息；prev_hash为当前区块的父区块的区块头特征值；merkle_root为输入信息的特征值；ntime为更新时间戳的更新时间；nbits为当前难度，在一段时间内为定值，并在超出固定时间段后再次进行确定；x为随机数；TARGET为特征值阈值，该特征值阈值可以根据nbits确定得到。

这样，当计算得到满足上述公式的随机数时，便可将信息对应存储，生成区块头和区块主体，得到当前区块。随后，区块链所在节点根据区块链系统中其他节点的节点标识，将新生成的区块分别发送给其所在的区块链系统中的其他节点，由其他节点对新生成的区块进行校验，并在完成校验后将新生成的区块添加至其存储的区块链中。

以下对本申请实施例的技术方案的实现细节进行详细阐述：

图5示出了根据本申请的一个实施例示出的基于区块链的多媒体处理方法的流程图，该方法可以由具备处理能力的计算机设备执行，例如服务器等，在此不进行具体限定。参照图5所示，该方法至少包括步骤510至540，详细介绍如下：

步骤510，对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中。

目标多媒体是指待进行查重的多媒体，任一需要进行查重的多媒体均可以作为本申请中的目标多媒体。多媒体可以是融合音频和图像的视频，也可以是音频，还可以是仅包括图像的视频，在此不进行具体限定。

如上所描述，可以在一个特征维度上对目标多媒体进行特征提取，对应的，该目标多媒体的特征数据包括目标多媒体在该特征维度上的特征信息；也可以在至少两个特征维度上对目标多媒体进行特征提取，对应的，该目标多媒体的特征数据包括目标多媒体在该至少两个特征维度上的特征信息。

特征维度可以是视频语义维度、图像字符维度、音频语义维度或旋律特征维度。若在步骤510中，在至少两个特征维度上对目标多媒体进行特征提取，则该至少两个特征维度可以是视频语义维度、图像字符维度、音频语义维度或旋律特征维度中的至少两项。值得一提的是，在目标多媒体是音频的情况下，由于音频中未包含图像信息，因此，至少两项特征维度可以是音频语义维度和旋律特征维度。下面针对以上所列举的特征维度上的特征提取过程进行具体说明。

在本申请的一些实施例中，所述特征维度包括视频语义维度；所述特征信息包括视频语义信息；步骤510，包括：获取所述目标多媒体的视频帧序列；对所述视频帧序列中的每一视频帧进行图像识别，得到所述每一视频帧对应的物体标签；将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，得到所述目标多媒体的视频语义信息。

值得一提的是，在视频语义特征维度上进行特征提取所针对的多媒体是融合了视频的多媒体。目标多媒体的视频帧序列是对目标多媒体中的视频进行分帧和采样得到的按照时间先后顺序所排布的多个视频帧形成的序列，采样频率和分帧的长度可以根据实际需要进行设定，在此不进行具体限定。

在具体实施例中，可以通过构建神经网络模型（为便于区分，将用于进行图像识别的神经网络模型称为第一神经网络模型）来对视频帧进行图像识别，输出该视频帧的物体标签，物体标签用于指示视频帧中所呈现的物体。该神经网络模型可以是卷积神经网络、长短时记忆神经网络、循环神经网络等构建的模型。在其他实施例中，该第一神经网络模型还可以是相关技术中开源的用于进行图像识别的模型。为了保证图像识别的准确度，在进行图像识别之前，还需要对该第一神经网络模型进行训练。

在本申请的一些实施例中，第一神经网络模型的训练数据包括若干样本图像和该样本图像的标签信息，其中，该样本图像的标签信息包括该样本图像中所出现物体的物体标签，还包括该物体标签所指示物体的图块在样本图像中的位置信息。在训练第一神经网络模型的过程中，根据该第一神经网络为样本图像所输出的结果（所输出的结果不仅包括该样本图像中所呈现物体的物体预测标签还包括该物体预测标签所指示物体的图块在样本图像中的位置信息）和该样本图像的标签信息来调整该第一神经网络模型的参数，以使得第一神经网络模型为样本图像所输出的结果与该样本图像的标签信息相符，即不仅预测物体标签与标签信息中的物体标签相符，而且所输出的位置信息与标签信息中的位置信息相符。在训练过程中，根据该第一神经网络模型为样本图像所输出的结果计算该第一神经网络模型的损失函数，如果该损失函数收敛，则结束第一神经网络模型的训练。

训练结束后，该第一神经网络模型可以准确地对视频帧进行图像识别。在本申请的一些实施例中，该第一神经网络模型在输出视频帧对应的物体标签的同时，还进一步输出该物体标签所指示物体视频帧中的位置信息。从而，便于根据所输出的位置信息来判断视频帧帧中多个物体之间的相对位置关系。

视频帧在视频帧序列中的位置信息指示了该视频帧在视频帧序列中的时间排序。将视频帧对应的物体标签与该视频帧在视频帧序列中的位置关系相关联，该视频帧在视频帧序列中的位置关系可以反映该物体标签所指示物体在多媒体中出现的时间顺序。从而，将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，所得到所述目标多媒体的视频语义信息可以完整指示该目标多媒体中在各个时间点中所呈现的物体。

在本申请的一些实施例中，由于在一视频帧中所呈现的物体可能包括多个，在第一神经网络模型可以输出物体在视频帧中的位置信息的情况下，还可以将视频帧的物体标签、物体标签所指示物体在视频帧中的位置信息和该视频帧在视频帧序列中的位置信息三者相关联，得到目标多媒体的视频语义信息，从而，该视频语义信息可以全面表达目标多媒体中的视频内容。

在本申请的一些实施例中，还可以通过目标多媒体的视频语义特征向量来表达目标多媒体的视频语义信息。在本实施例中，还可以通过第一神经网络模型来输出目标多媒体的视频语义特征向量，将目标多媒体的视频帧序列输入第一神经网络模型中，由该第一神经网络模型为该视频帧序列输出对应的视频语义特征向量。由于视频帧序列包含了时间信息，因此，该第一神经网络模型可以通过卷积神经网络来提取视频帧序列中每一视频帧的特征，然后通过长短时记忆神经网络模型来基于每一视频的特征进行上下文关联，进而输出该目标多媒体的视频语义特征向量。

在本申请的一些实施例中，鉴于三维卷积神经网络在时空特征学习的优点，该第一神经网络模型可以包括三维卷积神经网络，通过该三维卷积神经网络来提取视频帧序列的特征，所提取的特征封装了视频帧序列中与对象、场景、动作有关的信息，进而基于所提取的特征来输出该视频的视频语义特征向量。

在通过第一神经网络模型输出目标多媒体的视频语义特征向量的应用场景中，在后续进行相似度计算的过程中，可以直接根据该视频语义特征向量来计算该目标多媒体与每一已发布多媒体在视频语义维度上的相似度。

在本申请的一些实施例中，所述特征维度包括图像字符维度；所述特征信息包括视频字符信息；步骤510包括：获取所述目标多媒体的视频帧序列；对所述视频帧序列中的每一视频帧进行字符识别，得到每一视频帧中所包括字符的字符信息；组合所述视频帧序列中每一视频帧对应的字符信息，得到所述目标多媒体的视频字符信息。

在一些应用场景中，视频帧中包括字符。对于包括字符的视频帧，可以通过对视频帧进行字符识别来获得字符的字符信息。

所进行的字符识别可以是通过光学字符识别（Optical Character Recognition，OCR）来实现。在一些实施例中，为进行字符识别，需要先对视频帧进行字符检测，然后从视频帧中提取出字符区域所在的字符图块，然后再基于字符图块进行字符识别。

在本申请的一些实施例中，可以通过字符识别模型来进行字符识别，即将所提取的字符图块输入至字符识别模型中，由该字符识别模型输出该字符图块中字符的字符信息，即字符识别结果。

该字符识别模型可以是基于神经网络构建的模型，神经网络例如卷积神经网络、长短时记忆神经网络、循环神经网络、卷积循环神经网络（Convolutional RecurrentNeural Network，CRNN）等，将字符图块输入至字符识别模型后，由该字符识别模型对该字符图块进行特征提取，得到该字符图块的特征向量，然后由分类层根据该字符图块的特征向量进行分类，输出字符图块的字符信息。

同样的，为保证字符识别模型的识别准确度，也需要对该字符识别模型进行训练。该字符识别模型的训练数据包括若干样本图像和样本图像的标签，其中，样本图像的标签用于指示该样本图像中的字符。在训练过程中，由字符识别模型根据样本图像输出预测字符信息，如果预测字符信息所指示的字符与该样本图像的标签所指示的字符不同，则调整该字符识别模型的参数，直至二者所指示的字符相同；在该字符识别模型收敛时，则结束该字符识别模型的训练。

在本申请的一些实施例中，所述特征维度包括音频语义维度；所述特征信息包括文本信息；步骤510包括：获取所述目标多媒体中的音频数据；对所述音频数据进行语音识别，得到所述目标多媒体的文本信息。

在本申请的一些实施例中，可以通过语音识别模型来对语音数据进行语音识别。该语音识别模型可以是基于（单向或双向）循环神经网络、长短时记忆神经网络等构建的模型。

同样的，为了保证语音识别模型的识别准确度，需要对该语音识别模型进行训练。该语音识别模型的训练数据包括样本音频和该样本音频对应的文本信息，在训练过程中，先由语音识别模型根据样本音频进行语音识别，输出预测文本信息，然后如果预测文本信息与该样本音频的文本信息不满足设定要求，则调整语音识别模型的参数，直至该语音识别模型针对样本语音所输出的预测文本信息与该样本音频的文本信息满足设定要求。可以按照BPTT(Back Propagation Through Time，随时间反向传播)算法来调整该语音识别模型的参数。

该设定要求例如预测文本信息与该样本音频的文本信息的相似度不低于设定阈值，该设定阈值例如95%，具体可根据实际需要进行设定。训练结束后，该语音识别模型可以根据输入的音频数据输出对应的文本信息。

在本申请的一些实施例中，音频语义维度下的特征信息还可以是音频数据的音频特征向量，该音频特征向量可以用于指示该音频数据的语义。在本申请的一些实施例中，还可以提取音频数据的声纹特征等声学特征，并将该声纹特征添加至音频特征向量中，从而该音频特征向量不仅可以指示该音频数据的文本语义，还可以用于指示该音频数据的声学特点。

在本申请的一些实施例中，所述特征维度包括旋律特征维度，所述特征信息包括旋律音轨信息；步骤510，包括：获取所述目标多媒体中的音频数据；对所述音频数据进行旋律识别，得到所述目标多媒体对应的旋律音轨信息。

在本申请的一些实施例中，可以通过旋律识别模型来对音频数据进行旋律识别，该旋律识别模型可以基于循环神经网络、卷积神经网络、长短时记忆神经网络等构建的模型。

同样的，为保证旋律识别的准确性，需要先对该旋律识别模型进行训练，该旋律识别模型的训练数据包括样本音频和样本音频对应的旋律标签信息，旋律标签信息用于指示该样本音频中的旋律音轨。在训练过程中，将样本音频输入至旋律识别模型中，由该旋律识别模型对该样本音频进行旋律特征提取并进行分类预测，输出预测旋律音轨信息，进而根据所输出的预测旋律音轨信息与该样本音频对应的旋律标签信息调整旋律识别模型的参数，以使预测旋律音轨信息所指示的旋律音轨与旋律标签信息所指示的旋律音轨一致。训练结束后，该旋律识别模型可以准确地对音频数据进行旋律识别，得到对应的旋律音轨信息。

步骤520，从所述区块链中获取已发布多媒体的特征数据。

步骤530，根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度。

步骤540，根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果。

在本申请的一些实施例中，特征数据可以包括在一个特征维度上的特征信息，则在步骤530中，所计算得到目标多媒体与所述已发布多媒体的相似度是该目标多媒体与已发布多媒体在该特征维度上的相似度。

在本申请的一些实施例中，若特征数据包括所对应多媒体在至少两个特征维度上的特征信息，在步骤530中，可以按特征维度来计算目标多媒体与已发布多媒体的相似度。在该实施例中，目标多媒体与已发布多媒体的相似度可以包括目标多媒体与已发布多媒体在至少两个特征维度中每一特征维度上的相似度。

在本申请的一些实施例中，可以先将目标多媒体和已发布多媒体在每一特征维度上的特征信息转换为向量表示，然后在每一特征维度下，基于目标多媒体的特征信息所对应的特征向量和已发布多媒体的特征信息所对应的特征向量计算二者的距离，再根据所计算得到的距离来确定在该特征维度下目标多媒体与已发布多媒体之间的相似度。其中，该距离可以是欧式距离，也可以余弦距离，在此不进行具体限定。

在本申请的一些实施例中，步骤540包括：对于每一已发布多媒体，若根据在每一特征维度上所述目标多媒体与所述已发布多媒体的相似度，确定存在至少一个特征维度上的相似度超过所述特征维度对应的相似度阈值，则确定所述目标多媒体疑似抄袭所述已发布多媒体；若所述目标多媒体与所述已发布多媒体在每一特征维度上的相似度均不超过所述特征维度对应的相似度阈值，则确定所述目标多媒体与所述已发布多媒体不相似；若在全部已发布多媒体中存在所述目标多媒体疑似抄袭的已发布多媒体，则生成指示所述目标多媒体疑似抄袭的查重结果；若所述目标多媒体与全部已发布多媒体均不相似，则生成指示所述目标多媒体未抄袭的查重结果。

其中，每一特征维度对应的相似度阈值可以相同也可以不同，在此不进行具体限定。

可以看出，在本实施例中，不管目标多媒体仅在一个特征维度上与已发布多媒体的相似度超过所对应特征维度上的相似度阈值，还是目标多媒体在至少两个特征维度上与已发布多媒体的相似度均超过所对应特征维度上的相似度阈值，均确定该目标多媒体疑似抄袭该已发布多媒体。在目标多媒体在全部特征维度上与已发布多媒体的相似度均不超过所对应特征维度上的相似度阈值的情况下，才确定该目标多媒体与该已发布多媒体不相似。

在本申请的一些实施例中，该查重结果还可以包括所确定目标多媒体疑似抄袭的已发布多媒体的多媒体标识信息，以便于直接根据查重结果确定该目标多媒体所对应的疑似被抄袭多媒体。

在一些应用场景中，在得到目标多媒体的查重结果后，还可以获取该目标多媒体的授权信息，通过该授权信息来对该目标多媒体的查重结果进行修正。该目标多媒体的授权信息用于指示该目标多媒体被授权使用的多媒体（例如授权使用的音频），从而，如果目标多媒体的疑似被抄袭多媒体中包括该授权信息所指示被授权使用的多媒体，则修正该目标多媒体的查重结果，将该授权信息所指示被授权使用的多媒体不认定为该目标多媒体的疑似被抄袭多媒体。

该目标多媒体的授权信息可以是用户在上传目标多媒体时所上传的授权文件。在一些应用场景中，内容平台可以向用户提供一些被授权使用的多媒体，例如提供一些被授权使用的音乐，在该种情况下，该目标多媒体的授权信息可以用于指示该内容平台中所被授权使用的多媒体。

在本申请的一些实施例中，还可以根据每一特征维度对应的相似度权重，对该目标多媒体与一已发布多媒体在全部特征维度上的相似度进行加权，得到该目标多媒体与该已发布多媒体之间的目标相似度，如果所得到的目标相似度位于第一相似度范围内，则确定该目标多媒体疑似抄袭该已发布多媒体；反之，如果目标相似度不在第一相似度范围内，则确定该目标多媒体与该已发布多媒体不相似。

在本申请的方案中，在提取到目标多媒体的特征数据和从区块链中获取已发布多媒体的特征数据后，计算目标多媒体和已发布多媒体的相似度，并根据所计算得到的相似度来确定目标多媒体的查重结果，实现了对目标多媒体进行查重。而且，将已发布多媒体的特征数据存储在区块链中，由于区块链具有去中心化和不可篡改性，因此保证了对目标多媒体进行查重的数据基础（即已发布多媒体的特征数据）的准确性，进而保证了所得到查重结果的准确性。

在特征数据包括所对应多媒体在至少两个特征维度下的特征信息，并在步骤530中计算目标多媒体与已发布多媒体在每一特征维度下的相似度，并基于此确定目标多媒体的查重结果的实施例中，一方面实现了在多个特征维度下对目标多媒体进行查重，保证了查重的全面性；另一方面所得到的查重结果融合了目标多媒体与已发布多媒体在至少两个特征维度下的相似度，保证了目标多媒体的查重结果的有效性和准确性。

在本申请的一些实施例中，如图6所示，步骤540之后，该方法还包括：

步骤610，若所述目标多媒体的查重结果指示所述目标多媒体疑似抄袭，则从所述区块链中获取第一多媒体对应的用户标识，所述第一多媒体是所述目标多媒体对应的疑似被抄袭多媒体。

第一多媒体对应的用户标识用于标识在内容平台上发布该第一多媒体的用户。在本申请的方案中，第一多媒体是指在认定目标多媒体疑似抄袭的情况下，所认定目标多媒体的被抄袭对象。可以理解的是，对于一目标多媒体而言，其对应的第一多媒体可以是一个也可以是多个，具体视查重结果而定。

在本申请的一些实施例中，查重结果不仅用于指示该目标多媒体是否疑似抄袭，而且还可以指示该目标多媒体的疑似被抄袭对象。

在本申请的实施例中，在将多媒体的特征数据上传到区块链的同时，对应将发布该多媒体的用户所对应用户标识上传到区块链中，从而，便于直接从区块链中获取到用户标识。

步骤620，将所述目标多媒体发送至所述用户标识对应的目标客户端，以使所述目标客户端所在用户进行侵权确认。

目标客户端是指发布第一多媒体的用户所在客户端。通过将目标多媒体发送至目标客户端，从而便于目标客户端的用户对比目标多媒体与第一多媒体，以进一步确认目标多媒体是否存在抄袭第一多媒体的情况。

在本申请的一些实施例中，若目标客户端返回的信息指示目标多媒体未抄袭第一多媒体，可以根据目标客户端所返回的信息对查重结果进行修正，以将该第一多媒体移除该目标多媒体所抄袭多媒体的集合。

在本实施例的方案中在认定目标多媒体疑似抄袭第一多媒体的基础上，将目标多媒体发送至发布第一多媒体的用户所在目标客户端进行侵权确认。如果目标客户端返回的信息也认定目标多媒体抄袭第一多媒体，相当于对所得到查重结果的确认；如果目标客户端返回的信息认定目标多媒体未抄袭第一多媒体，根据目标多媒体返回的信息对查重结果进行修正。因此，通过将目标多媒体发送至目标客户端进行侵权确认，可以保证目标多媒体的查重结果的准确性和可靠性。

在本申请的一些实施例中，步骤620之后，该方法还包括：若接收到所述目标客户端返回的侵权确认信息，对所述目标多媒体进行侵权标记。

目标客户端所返回的侵权确认信息是指目标客户端所返回指示目标多媒体抄袭第一多媒体的信息。

通过对目标多媒体进行侵权标记，可以便于观看该目标多媒体的用户可以明确了解到该目标多媒体是模仿或者抄袭其他多媒体。

在本申请的一些实施例中，在对目标多媒体进行侵权标记之前，还可以获取该目标多媒体的发布状态，若该目标多媒体的发布状态为已发布，则执行对目标多媒体进行侵权标记的步骤；反之，若目标多媒体的发布状态为未发布，则可以拒绝发布该目标多媒体。

图7是根据一具体实施例示出的对目标多媒体进行侵权标记的示意图，如图7所示，在播放“剑仙”这一用户的“新英雄澜简单分析”这一视频的页面中，该页面中被标记了“模仿”字样，该“模仿”字样即为侵权标记，用于指示该视频存在抄袭或者模仿的情况。值得一提的是，图7所示的侵权标记仅仅是示例性举例，侵权标记的形式和标记的位置可以根据实际需要进行设定，例如侵权标记可以是其他指定符号。

在本申请的一些实施例中，步骤620之后，该方法还包括：若接收到所述目标客户端返回的侵权确认信息，向所述目标多媒体的作者所在客户端发送侵权告警信息。

通过向目标多媒体的作者所在客户端发送侵权告警信息，可以直接使该目标多媒体的作者了解到已经在区块链上检索到相似的多媒体，通过该侵权告警信息向目标多媒体的作者指示该目标多媒体存在侵权风险。

图8是根据一具体实施例示出的侵权告警信息的举例，如图8所示，向目标多媒体的作者所在客户端发送的侵权告警信息为“检测到您的视频与他人的视频雷同，系统将自动在右下角打上标签”，该侵权告警信息一方面向目标多媒体的作者指明检测到与该目标多媒体相似度较高的多媒体，另一方面用于向目标多媒体的作者指明将会在该目标多媒体上打上用于指示该目标多媒体存在侵权的标签。当然，图8仅仅是一示例性举例，不能认为是对本方案使用范围的限制。

在本申请的一些实施例中，步骤540之后，该方法还包括：若所述查重结果指示所述目标多媒体疑似抄袭，则拒绝针对所述目标多媒体的发布请求。

在本实施例的方案中，可以在接收到针对目标多媒体的发布请求后，对该目标多媒体进行特征提取和查重处理，然后根据所得到的查重结果来确定是否对该目标多媒体进行发布。即，如果目标多媒体的查重结果指示目标多媒体疑似抄袭，则拒绝针对该目标多媒体的发布请求；反之，如果目标多媒体的查重结果指示目标多媒体未抄袭，则在内容平台上发布该目标多媒体。

通过根据目标多媒体的查重结果确定是否对目标多媒体进行发布，从而可以保证所发布的多媒体均是不存在抄袭情况的多媒体，可以有效保护多媒体的创作者的权益。

在其他实施例中，为了减少多媒体发布的时间，也可以先对目标多媒体进行发布，然后，针对发布的多媒体来按照本申请的方法进行特征提取和查重处理。然后再根据查重结果对目标多媒体进行处理，例如按照上述实施例中对目标多媒体进行侵权标记、或者对目标多媒体进行撤回处理等。

在本申请的一些实施例中，步骤540之后，该方法还包括：若所述目标多媒体的查重结果指示所述目标多媒体未抄袭，则将所述目标多媒体的特征数据上传到所述区块链。

在本实施例中，根据目标多媒体的查重结果来确定是否将目标多媒体的特征数据上传到区块链中，从而区块链中所保存的特征数据均是原创的多媒体的特征数据。在该种情况下，该存在抄袭情况的多媒体实质上是与区块链中其他的一个或者多个多媒体相似度较高，在区块链中不存储存在抄袭情况的多媒体的特征数据，避免在区块链中存储相似度高的多媒体的特征数据，降低了区块链系统中的数据存储压力。

在本申请的一些实施例中，用于存储多媒体的特征数据的区块链可以是联盟链，在该种情况下，联盟链所在的区块链系统又可以称为联盟链系统。节点需要经过授权后才可以加入该联盟链系统，节点申请加入联盟链系统的请求受预选节点控制，在达成共识后，通过该节点的请求并将该节点加入联盟链系统中。

联盟链系统中所配置的共识算法可以是拜占庭共识算法（Practical ByzantineFault Tolerance，PBFT），所配置的拜占庭共识算法可以使该联盟链系统在保证活性和安全性的前提下提供了3f+1的容错性。

联盟链包括多个区块，每个区块包括区块头和区块体。在本申请的一些实施例中，区块头中的内容包括时间戳、发布方的用户标识、上一区块的哈希值和本区块的哈希值。区块体中的内容包括多媒体的哈希值和多媒体的特征数据。

在本申请的一些实施例中，可以通过如下的过程对目标多媒体的特征数据进行上链：将目标视频的特征数据上传到目标区块的区块体中；对目标区块进行共识处理；若目标区块共识通过，则将目标区块记录到区块链上。在该过程中，将目标多媒体的发布方对应的用户标识添加至目标区块的区块头中。

在一实施例中，对目标区块进行共识处理可以进一步包括：向区块链系统中的节点广播所述目标区块；接收各个所述节点返回的验证结果；统计全部节点所返回的验证结果中指示验证通过的第一验证结果的数量和指示验证不通过的第二验证结果的数量；若所述第一验证结果的数量和所述第二验证结果的数量满足目标数量关系，确定所述目标区块共识通过；所述目标数量关系由所述区块链系统中所配置的拜占庭容错机制限定。

基于区块链系统中配置的拜占庭容错机制，当区块链系统中返回第一验证结果的数量与返回第二验证结果的数量满足如下关系：N≥3t+1时（其中N为第一验证结果的数量，t为返回第二验证结果的数量），拜占庭共识机制生效，则视为目标区块共识通过。因此，如上所示返回第一验证结果的数量与返回第二验证结果的数量所满足的关系N≥3t+1即为拜占庭容错机制限定的目标数量关系。

在本申请的方案中，将多媒体的特征数据存储在区块链中，由于区块链具有的不可伪造和可追溯的特点，可以便于对多媒体进行查重，以检测一多媒体是否存在抄袭的情况。

在本申请的一些实施例中，步骤510，包括：接收针对所述目标多媒体的上链确认信息；根据所述上链确认信息对所述目标多媒体进行提取，得到所述目标多媒体的特征数据。

在本申请的一些实施例中，可以在用户需要进行多媒体上传时进行特征数据上链提示。例如，在客户端的界面中显示如图9所示的上链提示信息“是否上传到区块链来保护您的视频创意”，如果用户触发了图9中的“确定”控件，则客户端对应向服务端发送上链确认信息，然后服务端根据该上链确认信息来对目标多媒体进行特征提取、特征数据存储到区块链和发布目标多媒体。

在本实施例中，若服务端未接收到客户端针对目标多媒体发送的上链确认信息，还可以直接对该目标多媒体进行发布，从而，用户可以根据需要确定是否将所创作的目标多媒体的特征数据上传到区块链中。

下面结合一具体实施例对本申请的方案进行具体说明。

图10是根据一具体实施例示出了发布视频的流程图，如图10所示，包括步骤1010-1050，详细说明如下：

步骤1010，上传视频。用户在客户端中制作好视频后，将视频上传到服务端，以等待服务端发布该视频。

步骤1020，提取特征。该步骤1020具体包括步骤1021-1023，其中，步骤1021，调用语音识别服务对视频中的音频进行语音识别，以得到视频的文本信息；步骤1022，调用图像分析服务对视频中的视频帧进行图像识别，以得到视频语义信息；步骤1023，调用文字识别服务对视频中的视频帧进行字符识别，以得到视频字符信息。

步骤1030，上传存证。其中，该存证包括视频的上传日期、发布方的用户标识、以及视频文件的哈希值。步骤1050，上链处理。具体的，将视频的特征数据（文本信息、视频语义信息和视频字符信息）和视频文件的哈希值添加到区块的区块体中，并将日期、发布方的用户标识添加到区块的区块头中，然后将该区块进行共识，并在共识通过后将该区块记录到区块链中，实现数据上链。

步骤1040，发布视频。该视频后被发布，其他客户端的用户可以在该内容平台上查看该视频。

图11是根据一具体实施例示出的对视频进行查重检测的流程图，如图11所示，包括步骤1110-1140，详细说明如下：

步骤1110，分析特征。在需要对一视频，例如新发布的视频，进行查重时，分析该视频的特征，为描述方便，将需要进行查重的视频称为目标视频。其中，该目标视频的特征包括文本信息、视频语义信息和视频字符信息，文本信息、视频语义信息和视频字符信息的获得参照图10中的步骤1021-1023，在此不再赘述。

步骤1120，特征查重。具体的，从区块链中获取已发布视频的特征数据，并将已发布视频的特征数据与目标视频的特征数据进行对比，计算已发布视频和目标视频在每一特征维度下的相似度，进而确定该目标视频是否疑似抄袭该已发布视频。如果确定目标视频疑似抄袭已发布视频，则执行步骤1130。

步骤1130，通知疑似被抄袭视频的作者。其中，通知的方式可以是将目标视频发送给该疑似被抄袭视频的作者所在的客户端，以使疑似被抄袭视频的作者对目标视频进一步确认该目标视频是否抄袭该疑似被抄袭视频。如果疑似被抄袭视频的作者确认该目标视频抄袭疑似被抄袭视频，则执行步骤1140。

步骤1140，侵权告警。具体的，侵权告警可以是向目标视频的发布方所在客户端发送侵权告警信息，该侵权告警信息可以如图8显示的信息。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节，请参照本申请上述方法实施例。

图12是根据一实施例示出的基于区块链的多媒体处理装置的框图，如图12所示，该基于区块链的多媒体处理装置包括：特征提取模块1210，用于对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；特征数据获取模块1220，用于从所述区块链中获取已发布多媒体的特征数据；相似度计算模块1230，用于根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；查重结果确定模块1240，用于根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果。

在本申请的一些实施例中，基于区块链的多媒体处理装置还包括：用户标识获取模块，用于若所述目标多媒体的查重结果指示所述目标多媒体疑似抄袭，则从所述区块链中获取第一多媒体对应的用户标识，所述第一多媒体是所述目标多媒体对应的疑似被抄袭多媒体；第一发送模块，用于将所述目标多媒体发送至所述用户标识对应的目标客户端，以使所述目标客户端所在用户进行侵权确认。

在本申请的一些实施例中，基于区块链的多媒体处理装置还包括：侵权标记模块，用于若接收到所述目标客户端返回的侵权确认信息，对所述目标多媒体进行侵权标记。

在本申请的一些实施例中，基于区块链的多媒体处理装置还包括：第二发送模块，用于若接收到所述目标客户端返回的侵权确认信息，向所述目标多媒体的作者所在客户端发送侵权告警信息。

在本申请的一些实施例中，特征数据包括所对应多媒体在至少两个特征维度上的特征信息。

在本申请的一些实施例中，查重结果确定模块1240包括：抄袭确定单元，用于对于每一已发布多媒体，若根据在每一特征维度上所述目标多媒体与所述已发布多媒体的相似度，确定存在至少一个特征维度上的相似度超过所述特征维度对应的相似度阈值，则确定所述目标多媒体疑似抄袭所述已发布多媒体；若所述目标多媒体与所述已发布多媒体在每一特征维度上的相似度均不超过所述特征维度对应的相似度阈值，则确定所述目标多媒体与所述已发布多媒体不相似；第一查重结果生成单元，用于若在全部已发布多媒体中存在所述目标多媒体疑似抄袭的已发布多媒体，则生成指示所述目标多媒体疑似抄袭的查重结果；第二查重结果生成单元，用于若所述目标多媒体与全部已发布多媒体均不相似，则生成指示所述目标多媒体未抄袭的查重结果。

在本申请的一些实施例中，所述特征维度至少包括视频语义维度；所述特征信息包括视频语义信息；特征提取模块1210包括：视频帧序列获取单元，用于获取所述目标多媒体的视频帧序列；图像识别单元，用于对所述视频帧序列中的每一视频帧进行图像识别，得到所述每一视频帧对应的物体标签；关联单元，用于将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，得到所述目标多媒体的视频语义信息。

在本申请的一些实施例中，所述特征维度至少包括图像字符维度；所述特征信息包括视频字符信息；特征提取模块1210包括：视频帧序列获取单元，用于获取所述目标多媒体的视频帧序列；字符识别单元，用于对所述视频帧序列中的每一视频帧进行字符识别，得到每一视频帧中所包括字符的字符信息；组合单元，用于组合所述视频帧序列中每一视频帧对应的字符信息，得到所述目标多媒体的视频字符信息。

在本申请的一些实施例中，所述特征维度包括至少音频语义维度；所述特征信息包括文本信息；特征提取模块1210包括：语音数据获取单元，用于获取所述目标多媒体中的音频数据；语音识别单元，用于对所述音频数据进行语音识别，得到所述目标多媒体的文本信息。

在本申请的一些实施例中，所述特征维度包括至少旋律维度，所述特征信息包括旋律音轨信息；特征提取模块1210包括：旋律数据获取单元，用于获取所述目标多媒体中的音频数据；旋律识别单元，用于对所述音频数据进行旋律识别，得到所述目标多媒体对应的旋律音轨信息。

在本申请的一些实施例中，基于区块链的多媒体处理装置还包括：拒绝发布模块，用于若所述查重结果指示所述目标多媒体疑似抄袭，则拒绝针对所述目标多媒体的发布请求。

在本申请的一些实施例中，基于区块链的多媒体处理装置还包括：上传模块，用于若所述目标多媒体的查重结果指示所述目标多媒体未抄袭，则将所述目标多媒体的特征数据上传到所述区块链。

在本申请的一些实施例中，特征提取模块1210，包括：上链确认信息接收单元，用于接收针对所述目标多媒体的上链确认信息；特征提取单元，用于根据所述上链确认信息对所述目标多媒体进行提取，得到所述目标多媒体的特征数据。

图13示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图13示出的电子设备的计算机系统1300仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图13所示，计算机系统1300包括中央处理单元（Central Processing Unit，CPU）1301，其可以根据存储在只读存储器（Read-Only Memory，ROM）1302中的程序或者从存储部分1308加载到随机访问存储器（Random Access Memory，RAM）1303中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1303中，还存储有系统操作所需的各种程序和数据。CPU1301、ROM1302以及RAM 1303通过总线1304彼此相连。输入/输出（Input/Output，I/O）接口1305也连接至总线1304。

以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN（Local AreaNetwork，局域网）卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元（CPU）1301执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令，当该计算机可读存储指令被处理器执行时，实现上述任一实施例中的方法。

根据本申请的一个方面，还提供了一种电子设备，其包括：处理器；存储器，存储器上存储有计算机可读指令，计算机可读指令被处理器执行时，实现上述任一实施例中的方法。

根据本申请实施例的一个方面，提供了计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一实施例中的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种基于区块链的多媒体处理方法，其特征在于，包括：

对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；

从所述区块链中获取已发布多媒体的特征数据，所述特征数据包括所对应多媒体在至少两个特征维度上的特征信息，所述特征信息包括视频语义信息以及旋律特征信息，所述视频语义信息包括相关联的视频帧的物体标签、物体标签所指示物体在视频帧中的位置信息和该视频帧在视频帧序列中的位置信息；

根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；

根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果；

所述对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，包括：

获取所述目标多媒体的视频帧序列；

通过神经网络对所述视频帧序列中的每一视频帧进行图像识别，得到所述每一视频帧对应的物体标签；

将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，得到所述目标多媒体的视频语义信息；以及

获取所述目标多媒体中的音频数据；

对所述音频数据进行旋律识别，得到所述目标多媒体对应的旋律音轨信息；

其中，所述视频语义信息为视频语义特征向量，所述旋律音轨信息为旋律音轨特征向量，所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果包括：

根据视频语义特征向量和旋律音轨特征向量来计算目标多媒体与已发布多媒体的相似度，确定所述目标多媒体的查重结果；

所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果之后，所述方法还包括：

若所述目标多媒体的查重结果指示所述目标多媒体疑似抄袭，则从所述区块链中获取第一多媒体对应的用户标识，所述第一多媒体是所述目标多媒体对应的疑似被抄袭多媒体；

将所述目标多媒体发送至所述用户标识对应的目标客户端，以使所述目标客户端所在用户进行侵权确认。

2.根据权利要求1所述的方法，其特征在于，所述将所述目标多媒体发送至所述用户标识对应的目标客户端之后，所述方法还包括：

若接收到所述目标客户端返回的侵权确认信息，对所述目标多媒体进行侵权标记或者向所述目标多媒体的作者所在客户端发送侵权告警信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果，包括：

对于每一已发布多媒体，若根据在每一特征维度上所述目标多媒体与所述已发布多媒体的相似度，确定存在至少一个特征维度上的相似度超过所述特征维度对应的相似度阈值，则确定所述目标多媒体疑似抄袭所述已发布多媒体；若所述目标多媒体与所述已发布多媒体在每一特征维度上的相似度均不超过所述特征维度对应的相似度阈值，则确定所述目标多媒体与所述已发布多媒体不相似；

若在全部已发布多媒体中存在所述目标多媒体疑似抄袭的已发布多媒体，则生成指示所述目标多媒体疑似抄袭的查重结果；

若所述目标多媒体与全部已发布多媒体均不相似，则生成指示所述目标多媒体未抄袭的查重结果。

4.根据权利要求1所述的方法，其特征在于，所述特征维度至少包括图像字符维度；所述特征信息包括视频字符信息；

所述对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，包括：

获取所述目标多媒体的视频帧序列；

对所述视频帧序列中的每一视频帧进行字符识别，得到每一视频帧中所包括字符的字符信息；

组合所述视频帧序列中每一视频帧对应的字符信息，得到所述目标多媒体的视频字符信息。

5.根据权利要求1所述的方法，其特征在于，所述特征维度至少包括音频语义维度；所述特征信息包括文本信息；

所述对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，包括：

获取所述目标多媒体中的音频数据；

对所述音频数据进行语音识别，得到所述目标多媒体的文本信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果之后，所述方法还包括：

若所述查重结果指示所述目标多媒体疑似抄袭，则拒绝针对所述目标多媒体的发布请求。

7.根据权利要求1所述的方法，其特征在于，所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果之后，所述方法还包括：

若所述目标多媒体的查重结果指示所述目标多媒体未抄袭，则将所述目标多媒体的特征数据上传到所述区块链。

8.根据权利要求1所述的方法，其特征在于，所述对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，包括：

接收针对所述目标多媒体的上链确认信息；

根据所述上链确认信息对所述目标多媒体进行提取，得到所述目标多媒体的特征数据。

9.一种基于区块链的多媒体处理装置，其特征在于，包括：

特征提取模块，用于对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，并在特征提取之后，将所述目标多媒体的特征数据上传到区块链中；

特征数据获取模块，用于从所述区块链中获取已发布多媒体的特征数据；所述特征数据包括所对应多媒体在至少两个特征维度上的特征信息，所述特征信息包括视频语义信息以及旋律特征信息，所述视频语义信息包括相关联的视频帧的物体标签、物体标签所指示物体在视频帧中的位置信息和该视频帧在视频帧序列中的位置信息；

相似度计算模块，用于根据所述目标多媒体的特征数据和所述已发布多媒体的特征数据，计算所述目标多媒体与所述已发布多媒体的相似度；

查重结果确定模块，用于根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果；

所述对目标多媒体进行特征提取，得到所述目标多媒体的特征数据，包括：

获取所述目标多媒体的视频帧序列；

通过神经网络对所述视频帧序列中的每一视频帧进行图像识别，得到所述每一视频帧对应的物体标签；

将所述每一视频帧对应的物体标签和所述视频帧在所述视频帧序列中的位置信息相关联，得到所述目标多媒体的视频语义信息；以及

获取所述目标多媒体中的音频数据；

对所述音频数据进行旋律识别，得到所述目标多媒体对应的旋律音轨信息；

其中，所述视频语义信息为视频语义特征向量，所述旋律音轨信息为旋律音轨特征向量，所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果包括：

根据视频语义特征向量和旋律音轨特征向量来计算目标多媒体与已发布多媒体的相似度，确定所述目标多媒体的查重结果；

所述装置还包括：

用户标识获取模块，在所述根据所述目标多媒体与所述已发布多媒体的相似度，确定所述目标多媒体的查重结果之后，用于：若所述目标多媒体的查重结果指示所述目标多媒体疑似抄袭，则从所述区块链中获取第一多媒体对应的用户标识，所述第一多媒体是所述目标多媒体对应的疑似被抄袭多媒体；

第一发送模块，用于将所述目标多媒体发送至所述用户标识对应的目标客户端，以使所述目标客户端所在用户进行侵权确认。

10.一种电子设备，其特征在于，包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1-8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被处理器执行时，实现如权利要求1-8中任一项所述的方法。

Images