CN113886572A - 资源分类方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种资源分类方法、装置、电子设备及存储介质，其中方法通过获取待处理资源的文本特征和图像特征，对文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征，并对融合特征进行第二融合处理，得到待处理资源的目标融合特征，进而基于目标融合特征，确定待处理资源的分类结果。由于最终进行分类处理的目标融合特征是对待处理资源的文本特征和图像特征进行两次融合处理后得到的，使得不同模态下的文本特征和图像特征能够进行深度交互，不仅能够反应待处理资源在各个模态上的特征，还能够体现出不同模态上特征之间的依赖性，因此，经过两次融合后的目标融合特征能够更好的表达待处理资源的特性，从而能够提高分类结果的准确性。

Description

资源分类方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，尤其涉及一种资源分类方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的发展，网络中的资源越来越多，在一些场景中，出于实际需求需要对网络中的资源进行分类。例如，短视频平台需要对上传的视频进行分类，电商平台需要对商家上架的商品进行准确地分类等。

相关技术中，在对资源进行分类的过程中，为了能够充分获取资源的相关特征，一般通过对资源的多个模态特征(如图像特征、文本特征、语音特征等)进行分别提取，然后对分别提取的多个模态特征进行简单堆叠以实现对资源的分类。

然而，目前通过对分别提取的多个模态特征进行简单堆叠的方式，其实质是将资源不同模态上的特征视为相互独立的特征，但是资源在不同模态上的特征可能是相互依赖的，因此，目前的方式没有真正达到多模态的效果，导致得到的分类结果不够准确。

发明内容

本公开提供一种资源分类方法、装置、电子设备及存储介质，以至少解决相关技术中分类结果不准确的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种资源分类方法，包括：

获取待处理资源的文本特征和图像特征；

对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征；

对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征；

基于所述目标融合特征，确定所述待处理资源的分类结果。

在其中一个实施例中，所述对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征，包括：对所述文本特征对应的特征矩阵和所述图像特征对应的特征矩阵在设定方向上进行拼接，得到拼接后的拼接特征矩阵；对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征。

在其中一个实施例中，所述对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征，包括：将所述拼接特征矩阵输入卷积神经网络，通过所述卷积神经网络对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述卷积神经网络的输出，将所述输出作为所述待处理资源的融合特征。

在其中一个实施例中，所述对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征，包括：利用多头注意力机制，获取所述融合特征中的第一特征以及用于表征所述第一特征与上下文关系的第二特征；融合所述第一特征和所述第二特征，得到所述待处理资源的目标融合特征，所述融合特征中包括多个第一特征元素。

在其中一个实施例中，所述对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征，包括：将所述融合特征输入双向传输神经网络，通过所述双向传输神经网络获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征，并对所述第一特征和所述第二特征进行融合，得到所述待处理资源的目标融合特征。

在其中一个实施例中，所述基于所述目标融合特征，确定所述待处理资源的分类结果，包括：对所述目标融合特征进行分类处理，得到所述待处理资源的多个候选分类结果，每个所述候选分类结果具有对应的分类值；将多个候选分类结果中，分类值最高的候选分类结果作为所述待处理资源的分类结果。

在其中一个实施例中，所述获取待处理资源的文本特征和图像特征，包括：获取所述待处理资源的至少一帧图像，对所述至少一帧图像进行编码处理，得到编码后的图像特征；获取所述待处理资源的文本内容，对所述文本内容进行编码处理，得到编码后的文本特征。

在其中一个实施例中，所述对所述至少一帧图像进行编码处理，得到编码后的图像特征，包括：通过图像编码器对所述至少一帧图像进行二维编码，得到编码后的图像特征，所述图像特征具有对应的特征矩阵；所述对所述文本内容进行编码处理，得到编码后的文本特征，包括：通过文本编码器对所述文本内容进行一维编码，得到编码后的一维向量；基于所述图像特征对应的特征矩阵，将所述一维向量转换为对应的二维特征矩阵，将所述二维特征矩阵作为所述文本内容的文本特征。

根据本公开实施例的第二方面，提供一种资源分类装置，包括：

特征获取模块，被配置为执行获取待处理资源的文本特征和图像特征；

第一融合处理模块，被配置为执行对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征；

第二融合处理模块，被配置为执行对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征；

分类结果确定模块，被配置为执行基于所述目标融合特征，确定所述待处理资源的分类结果。

在其中一个实施例中，所述第一融合处理模块包括：拼接单元，被配置为执行对所述文本特征对应的特征矩阵和所述图像特征对应的特征矩阵在设定方向上进行拼接，得到拼接后的拼接特征矩阵；融合单元，被配置为执行对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征。

在其中一个实施例中，所述融合单元被配置为执行：将所述拼接特征矩阵输入卷积神经网络，通过所述卷积神经网络对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述卷积神经网络的输出，将所述输出作为所述待处理资源的融合特征。

在其中一个实施例中，所述第二融合处理模块被配置为执行：利用多头注意力机制，获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征；融合所述第一特征和所述第二特征，得到所述待处理资源的目标融合特征。

在其中一个实施例中，所述第二融合处理模块被配置为执行：将所述融合特征输入双向传输神经网络，通过所述双向传输神经网络获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征，并对所述第一特征和所述第二特征进行融合，得到所述待处理资源的目标融合特征。

在其中一个实施例中，所述分类结果确定模块被配置为执行：对所述目标融合特征进行分类处理，得到所述待处理资源的多个候选分类结果，每个所述候选分类结果具有对应的分类值；将多个候选分类结果中，分类值最高的候选分类结果作为所述待处理资源的分类结果。

在其中一个实施例中，所述特征获取模块包括：图像特征获取单元，被配置为执行获取所述待处理资源的至少一帧图像，对所述至少一帧图像进行编码处理，得到编码后的图像特征；文本特征获取单元，被配置为执行获取所述待处理资源的文本内容，对所述文本内容进行编码处理，得到编码后的文本特征。

在其中一个实施例中，所述图像特征获取单元被配置为执行：通过图像编码器对所述至少一帧图像进行二维编码，得到编码后的图像特征，所述图像特征具有对应的特征矩阵；所述文本特征获取单元被配置为执行：通过文本编码器对所述文本内容进行一维编码，得到编码后的一维向量；基于所述图像特征对应的特征矩阵，将所述一维向量转换为对应的二维特征矩阵，将所述二维特征矩阵作为所述文本内容的文本特征

根据本公开实施例的第三方面，提供一种计算机设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，使得计算机设备执行第一方面的任一项实施例中所述的资源分类方法。

根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行第一方面的任一项实施例中所述的资源分类方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，设备的至少一个处理器从所述可读存储介质读取并执行所述计算机程序，使得设备执行第一方面的任一项实施例中所述的资源分类方法。

本公开的实施例提供的技术方案至少带来以下有益效果：通过获取待处理资源的文本特征和图像特征，对文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征，并对融合特征进行第二融合处理，得到待处理资源的目标融合特征，进而基于目标融合特征，确定待处理资源的分类结果。由于最终进行分类处理的目标融合特征是对待处理资源的文本特征和图像特征进行两次融合处理后得到的，使得不同模态下的文本特征和图像特征能够进行深度交互，不仅能够反应待处理资源在各个模态上的特征，还能够体现出不同模态上特征之间的依赖性，因此，经过两次融合后的目标融合特征能够更好的表达待处理资源的特性，从而能够提高分类结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种资源分类方法的应用环境图。

图2是根据一示例性实施例示出的一种资源分类方法的流程图。

图3是根据一示例性实施例示出的特征获取步骤的示意图。

图4是根据一示例性实施例示出的第一融合处理步骤的示意图。

图5是根据一示例性实施例示出的第二融合处理步骤的示意图。

图6是根据一示例性实施例示出的确定分类结果步骤的示意图。

图7是根据一示例性实施例示出的一种资源分类装置的框图。

图8是根据一示例性实施例示出的一种计算机设备的框图。

图9是根据另一示例性实施例示出的一种计算机设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所提供的资源分类方法，可以应用于如图1所示的应用环境中。其中，计算机设备110获取待处理资源的文本特征和图像特征；并对待处理资源的文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征；进而对融合特征进行第二融合处理，得到待处理资源的目标融合特征；从而基于目标融合特征，确定待处理资源的分类结果。具体地，计算机设备110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，当然，计算机设备110还可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

图2是根据一示例性实施例示出的一种资源分类方法的流程图，如图2所示，该方法用于图1的计算机设备110中，包括以下步骤。

在步骤S210中，获取待处理资源的文本特征和图像特征。

其中，待处理资源是指待进行分类处理的资源。例如，可以是短视频平台中需要进行分类的视频，也可以是电商平台中需要进行分类的商品等。文本特征和图像特征则是基于待处理资源获取的用于描述待处理资源详细内容的特征。具体地，以待处理资源为视频来说，则其对应的图像特征可以是基于视频帧画面获取的图像特征，其对应的文本特征可以是基于视频中的字幕或基于视频中的语音转文字后提取的相关文本特征。以待处理资源为商品来说，则其对应的图像特征可以是基于商品的图片或照片获取的图像特征，其对应的文本特征可以是基于商品的相关描述信息提取的相关文本特征。在本实施例中，当需要对待处理资源进行分类处理时，则首先基于待处理资源的相关内容获取待处理资源的文本特征和图像特征。

在步骤S220中，对文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征。

其中，第一融合处理是基于卷积的融合处理。融合特征是对文本特征和图像特征进行第一融合处理，使得文本特征和图像特征交互融合后的特征。具体地，通过采用卷积的方式对待处理资源的文本特征和图像特征进行第一融合处理，从而得到待处理资源的融合特征。

在步骤S230中，对融合特征进行第二融合处理，得到待处理资源的目标融合特征。

其中，第二融合处理是基于多头注意力机制的融合处理。目标融合特征是基于上述得到的融合特征进行第二融合处理，使得特征更进一步的交互融合后的特征。在本实施例中，通过采用多头注意力机制的方式对上述得到的融合特征进一步进行第二融合处理，从而得到待处理资源的目标融合特征。

在步骤S240中，基于目标融合特征，确定待处理资源的分类结果。

其中，分类结果是指对待处理资源进行分类处理后得到的待处理资源的分类情况，即确定待处理资源属于何种类别。具体地，计算机设备基于上述待处理资源的文本特征和图像特征进行两次融合处理后得到的目标融合特征，进行分类处理，从而得到待处理资源的分类结果。

上述资源分类方法中，通过获取待处理资源的文本特征和图像特征，对文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征，并对融合特征进行第二融合处理，得到待处理资源的目标融合特征，进而基于目标融合特征，确定待处理资源的分类结果。由于最终进行分类处理的目标融合特征是对待处理资源的文本特征和图像特征进行两次融合处理后得到的，使得不同模态下的文本特征和图像特征能够进行深度交互，不仅能够反应待处理资源在各个模态上的特征，还能够体现出不同模态上特征之间的依赖性，因此，经过两次融合后的目标融合特征能够更好的表达待处理资源的特性，从而能够提高分类结果的准确性。

在一示例性实施例中，如图3所示，在步骤S210中，获取待处理资源的文本特征和图像特征，具体可以通过以下步骤实现：

在步骤S212中，获取待处理资源的至少一帧图像，对至少一帧图像进行编码处理，得到编码后的图像特征。

其中，帧图像是指描述待处理资源的图像。以待处理资源为视频来说，帧图像可以是组成该视频的每一帧图像，也可以是基于视频的每一帧图像而抽取的部分帧图像。以待处理资源为商品来说，帧图像则可以是该商品对应的商品图像。图像特征则是基于待处理资源的图像所提取的特征，也即待处理资源在图像模态上的特征。在本实施例中，通过对待处理资源的至少一帧图像进行编码处理，从而得到对该待处理资源进行编码后的图像特征，以实现对待处理资源在图像模态上的特征提取。

在一示例性实施例中，在对待处理资源的帧图像进行编码处理时，具体可以通过图像编码器对输入的帧图像进行二维编码，从而输出对应的二维特征矩阵，则该二维特征矩阵即为对待处理资源进行编码后的图像特征。其中，图像编码器可以基于卷积神经网络(Convolutional Neural Network，简称CNN)或循环神经网络(Recurrent NeuralNetwork,简称RNN)实现。在本实施例中，通过图像编码器可以高效地提取待处理资源的图像特征，进而可以提高资源分类的效率。

在步骤S214中，获取待处理资源的文本内容，对文本内容进行编码处理，得到编码后的文本特征。

其中，文本内容是指描述待处理资源的文本信息。以待处理资源为视频来说，文本内容可以是视频中的字幕或基于视频中的语音转文字后得到的相关文本信息。以待处理资源为商品来说，文本内容则可以是基于商品的相关描述信息提取的相关文本信息，例如，商品名称、商品介绍等。文本特征则是基于待处理资源的文本内容所提取的特征，也即待处理资源在文本模态上的特征。

在本实施例中，通过对待处理资源的至少一帧图像进行编码处理，从而得到对该待处理资源进行编码后的图像特征，通过获取待处理资源的文本内容，并对文本内容进行编码处理，从而得到对该待处理资源进行编码后的文本特征，以实现对待处理资源在图像模态上的特征提取以及在文本模态上的特征提取。

在一示例性实施例中，在对待处理资源的文本内容进行编码处理时，具体可以通过文本编码器对输入的文本内容进行一维编码，以得到编码后的一维向量，并基于图像特征对应的特征矩阵，将一维向量转换为对应的二维特征矩阵，将二维特征矩阵作为文本内容的文本特征。其中，文本编码器可以是基于深度双向编码器模型(BidirectionalEncoder Representations from Transformers，简称BERT)实现。具体地，深度双向编码器模型输出的是一个一维向量，在本实施例中，基于图像特征对应的二维特征矩阵的维数，对文本内容进行编码后的一维向量进行转换，从而得到转换后的与图像特征的维数相同的二维特征矩阵，该转换后的二维特征矩阵即为对待处理资源进行编码后的文本特征。在本实施例中，通过图像编码器可以高效地提取待处理资源的图像特征，通过文本编码器可以高效、全面地提取待处理资源的文本特征，通过将文本内容的一维向量转换为与图像特征的维数相同的二维特征矩阵，从而便于后续对文本特征和图像特征的融合，进而可以提高资源分类的准确度。

在一示例性实施例中，如图4所示，在步骤S220中，对文本特征和图像特征进行第一融合处理，得到待处理资源的融合特征，具体可以通过以下步骤实现：

在步骤S222中，对文本特征对应的特征矩阵和图像特征对应的特征矩阵在设定方向上进行拼接，得到拼接后的拼接特征矩阵。

由于经过上述处理，文本特征对应的特征矩阵和图像特征对应的特征矩阵均为具有相同维数的二维特征矩阵。因此，设定方向是预先设定的特征矩阵的行方向或列方向。例如，若预先设定的拼接方向为行方向，假设对待处理资源进行编码后的图像特征为14×64维的特征矩阵，若对文本内容进行编码后的一维向量为768维，则基于图像特征的维度将文本内容的一维向量转换为对应的二维特征矩阵，即转换为列方向相同的12×64维的二特征矩阵。进而在行方向上将图像特征对应的14×64维的特征矩阵与文本内容对应的12×64维特征矩阵进行拼接，从而得到拼接后的26×64维的拼接特征矩阵。

在步骤S224中，对拼接特征矩阵中的文本特征和图像特征进行交互融合，得到待处理资源的融合特征。

其中，交互融合可以是升维表达和特征融合等处理。融合特征是对拼接特征矩阵中的文本特征和图像特征进行交互融合后得到的融合特征矩阵。在本实施例中，计算机设备可以对上述拼接特征矩阵中的文本特征和图像特征进行交互融合，从而得到待处理资源的融合特征，由于融合特征能够反应待处理资源不同模态上的特征之间关系，因此，能够更好的表达待处理资源的特性。

在一示例性实施例中，上述对拼接特征矩阵中的文本特征和图像特征进行交互融合，具体可以通过卷积神经网络CNN实现。具体地，通过将上述得到的拼接特征矩阵输入卷积神经网络，从而通过卷积神经网络对拼接特征矩阵中的文本特征和图像特征进行交互融合，并得到卷积神经网络的输出，由该输出即为待处理资源的融合特征。在本实施例中，通过卷积神经网络对拼接特征矩阵中的文本特征和图像特征进行交互融合，从而能够提高交互融合的处理速度。

在一示例性实施例中，如图5所示，在步骤S230中，对融合特征进行第二融合处理，得到待处理资源的目标融合特征，具体可以通过以下步骤实现：

在步骤S232中，利用多头注意力机制，获取融合特征中第一特征以及用于表征第一特征与上下文关系的第二特征。

其中，多头注意力机制是基于多个独立的注意力(attention)机制实现。融合特征中第一特征是指融合特征矩阵中的特征元素，第二特征则是用于表征融合特征矩阵中的特征元素与上下文关系的特征。在本实施例中，为了便于说明，通过第一特征和第二特征进行描述。具体地，可以基于多头注意力机制，获取融合特征矩阵中的特征元素以及用于表征特征元素与上下文关系的特征。

在步骤S234中，融合第一特征和第二特征，得到待处理资源的目标融合特征。

其中，目标融合特征是对待处理资源的图像特征和文本特征进行两次融合后得到的用于进行分类的特征。在本实施例中，通过对上述第一特征和第二特征进行融合处理，从而得到待处理资源的目标融合特征。

具体地，计算机设备可以基于注意力机制，对融合特征矩阵中的每一个特征元素进行注意力权重计算，从而得到每一个特征元素与上下文关系的权重，该权重即为对应的第二特征。进而基于权重对相应的特征元素进行加权处理，以对相关度高的特征元素赋予较高的重要性，对相关度低的特征元素赋予较低的重要性，加权处理后的结果即为待处理资源的目标融合特征。由于目标融合特征是经过两次融合后得到的，因此能够更好的表达待处理资源的特性，从而能够提高分类结果的准确性。

在一示例性实施例中，对融合特征进行第二融合处理可以采用双向传输神经网络(Transformer)实现。具体地，通过将上述进行第一融合处理得到的融合特征输入双向传输神经网络，并通过双向传输神经网络获取融合特征中第一特征以及用于表征第一特征与上下文关系的第二特征，并对第一特征和第二特征进行融合后输出，从而得到待处理资源的目标融合特征。在本实施例中，通过双向传输神经网络对融合特征进行第二融合处理，从而能够提高融合处理的速度。

在一示例性实施例中，如图6所示，在步骤S240中，基于目标融合特征，确定待处理资源的分类结果，具体可以通过以下步骤实现：

在步骤S242中，对目标融合特征进行分类处理，得到待处理资源的多个候选分类结果，每个候选分类结果具有对应的分类值。

其中，分类值可以是对应的概率值或分数值。具体地，分类处理可以采用预先训练的分类模型实现。在本实施例中，可以将目标融合特征输入预先训练的分类模型中，从而得到分类模型输出的待处理资源的多个候选分类结果，即得到待处理资源属于每一类别的分类值。

在步骤S244中，将多个候选分类结果中，分类值最高的候选分类结果作为待处理资源的分类结果。

具体地，在本实施例中，基于上述得到的多个候选分类结果，将分类值最高的候选分类结果作为待处理资源的最终分类结果，即将分类值最高的类别作为待处理资源的最终类别。

上述实施例中，对目标融合特征进行分类处理，得到待处理资源的多个候选分类结果，并分类值最高的候选分类结果作为待处理资源的分类结果，由于进行分类处理的目标融合特征是经过两次融合后得到的，从而能够更好的表达待处理资源的特性，因此，有利于提高分类结果的准确性。

应该理解的是，虽然图1-图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图6中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

图7是根据一示例性实施例示出的一种资源分类装置框图。参照图7，该装置包括特征获取模块702，第一融合处理模块704，第二融合处理模块706和分类结果确定模块708。

特征获取模块702，被配置为执行获取待处理资源的文本特征和图像特征；

第一融合处理模块704，被配置为执行对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征；

第二融合处理模块706，被配置为执行对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征；

分类结果确定模块708，被配置为执行基于所述目标融合特征，确定所述待处理资源的分类结果。

在一示例性实施例中，所述第一融合处理模块包括：拼接单元，被配置为执行对所述文本特征对应的特征矩阵和所述图像特征对应的特征矩阵在设定方向上进行拼接，得到拼接后的拼接特征矩阵；融合单元，被配置为执行对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征。

在一示例性实施例中，所述融合单元被配置为执行：将所述拼接特征矩阵输入卷积神经网络，通过所述卷积神经网络对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述卷积神经网络的输出，将所述输出作为所述待处理资源的融合特征。

在一示例性实施例中，所述第二融合处理模块被配置为执行：利用多头注意力机制，获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征；融合所述第一特征和所述第二特征，得到所述待处理资源的目标融合特征。

在一示例性实施例中，所述第二融合处理模块被配置为执行：将所述融合特征输入双向传输神经网络，通过所述双向传输神经网络获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征，并对所述第一特征和所述第二特征进行融合，得到所述待处理资源的目标融合特征。

在一示例性实施例中，所述分类结果确定模块被配置为执行：对所述目标融合特征进行分类处理，得到所述待处理资源的多个候选分类结果，每个所述候选分类结果具有对应的分类值；将多个候选分类结果中，分类值最高的候选分类结果作为所述待处理资源的分类结果。

在一示例性实施例中，所述特征获取模块包括：图像特征获取单元，被配置为执行获取所述待处理资源的至少一帧图像，对所述至少一帧图像进行编码处理，得到编码后的图像特征；文本特征获取单元，被配置为执行获取所述待处理资源的文本内容，对所述文本内容进行编码处理，得到编码后的文本特征。

在一示例性实施例中，所述图像特征获取单元被配置为执行：通过图像编码器对所述至少一帧图像进行二维编码，得到编码后的图像特征，所述图像特征具有对应的特征矩阵；所述文本特征获取单元被配置为执行：通过文本编码器对所述文本内容进行一维编码，得到编码后的一维向量；基于所述图像特征对应的特征矩阵，将所述一维向量转换为对应的二维特征矩阵，将所述二维特征矩阵作为所述文本内容的文本特征。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图8是根据一示例性实施例示出的一种用于资源分类的设备Z00的框图。例如，设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图8，设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。

处理组件Z02通常控制设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。

存储器Z04被配置为存储各种类型的数据以支持在设备Z00的操作。这些数据的示例包括用于在设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。

电源组件Z06为设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为设备Z00生成、管理和分配电力相关联的组件。

多媒体组件Z08包括在所述设备Z00和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括一个前置摄像头和/或后置摄像头。当设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括一个麦克风(MIC)，当设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括一个扬声器，用于输出音频信号。

I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件Z14包括一个或多个传感器，用于为设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为设备Z00的显示器和小键盘，传感器组件Z14还可以检测设备Z00或设备Z00一个组件的位置改变，用户与设备Z00接触的存在或不存在，设备Z00方位或加速/减速和设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件Z16被配置为便于设备Z00和其他设备之间有线或无线方式的通信。设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备Z00可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由设备Z00的处理器Z20执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得设备执行上述的资源分类方法。

图9是根据一示例性实施例示出的一种用于资源分类的设备S00的框图。例如，设备S00可以为一服务器。参照图9，设备S00包括处理组件S20，其进一步包括一个或多个处理器，以及由存储器S22所代表的存储器资源，用于存储可由处理组件S20的执行的指令，例如应用程序。存储器S22中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件S20被配置为执行指令，以执行上述资源分类方法。

设备S00还可以包括一个电源组件S24被配置为执行设备S00的电源管理，一个有线或无线网络接口S26被配置为将设备S00连接到网络，和一个输入输出(I/O)接口S28。设备S00可以操作基于存储在存储器S22的操作系统，例如Windows Server，Mac OS X，Unix，Linux，FreeBSD或类似。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器S22，上述指令可由设备S00的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质，例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序存储在可读存储介质中，设备的至少一个处理器从可读存储介质读取并执行计算机程序，使得设备执行上述的资源分类方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种资源分类方法，其特征在于，包括：

获取待处理资源的文本特征和图像特征；

对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征；

对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征；

基于所述目标融合特征，确定所述待处理资源的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征，包括：

对所述文本特征对应的特征矩阵和所述图像特征对应的特征矩阵在设定方向上进行拼接，得到拼接后的拼接特征矩阵；

对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述待处理资源的融合特征，包括：

将所述拼接特征矩阵输入卷积神经网络，通过所述卷积神经网络对所述拼接特征矩阵中的文本特征和图像特征进行交互融合，得到所述卷积神经网络的输出，将所述输出作为所述待处理资源的融合特征。

4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征，包括：

利用多头注意力机制，获取所述融合特征中的第一特征以及用于表征所述第一特征与上下文关系的第二特征，所述融合特征中包括多个第一特征元素；

融合所述第一特征和所述第二特征，得到所述待处理资源的目标融合特征。

5.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征，包括：

将所述融合特征输入双向传输神经网络，通过所述双向传输神经网络获取所述融合特征中第一特征以及用于表征所述第一特征与上下文关系的第二特征，并对所述第一特征和所述第二特征进行融合，得到所述待处理资源的目标融合特征。

6.根据权利要求1所述的方法，其特征在于，所述基于所述目标融合特征，确定所述待处理资源的分类结果，包括：

对所述目标融合特征进行分类处理，得到所述待处理资源的多个候选分类结果，每个所述候选分类结果具有对应的分类值；

将多个候选分类结果中，分类值最高的候选分类结果作为所述待处理资源的分类结果。

7.一种资源分类装置，其特征在于，包括：

特征获取模块，被配置为执行获取待处理资源的文本特征和图像特征；

第一融合处理模块，被配置为执行对所述文本特征和图像特征进行第一融合处理，得到所述待处理资源的融合特征；

第二融合处理模块，被配置为执行对所述融合特征进行第二融合处理，得到所述待处理资源的目标融合特征；

分类结果确定模块，被配置为执行基于所述目标融合特征，确定所述待处理资源的分类结果。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的资源分类方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的资源分类方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的资源分类方法。

Images