CN108763325B - 一种网络对象处理方法及装置 - Google Patents

Abstract

本发明提供了一种网络对象处理方法及装置，属于计算机技术领域。本发明实施例中，可以先从目标对象中提取至少两种模态信息，然后计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，最后基于融合特征向量，对目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

Description

一种网络对象处理方法及装置

技术领域

本发明属于计算机技术领域，特别是涉及一种网络对象处理方法及装置。

背景技术

随着计算机技术的不断发展，网络系统中的对象越来越多。每个网络对象都会包含信息，例如，一个图片会包括图像信息，一个文本会包括文本信息，等等。由于网络对象所包含的信息能够体现网络对象的特性，因此，在对网络对象进行分类时，往往会基于网络对象所包含的信息来确定该网络对象所属的类别。实际场景中，存在大量的包括多种模态信息的网络对象，例如，视频会同时包括图像信息、文本信息以及语音信息等等，在对这些网络对象进行处理时，往往需要综合每种模态信息。

现有技术中，通常是基于每种模态信息分别确定网络对象所属的类别，然后再基于每种模态信息的重要性以及确定出来的多个类别，确定出一个最终的类别。例如，在对视频进行分类时，需要分别基于视频中的图像信息确定一个该视频所属的类别、基于视频中的文本信息确定一个该视频所属的类别、基于视频中的语音信息确定一个该视频所属的类别，最后再基于视频中的图像信息、语音信息、文本信息以及确定出来的多个类别，确定该视频所属的最终类别，整个分类过程较为繁琐，成本较高。

发明内容

本发明提供了一种网络对象处理方法及装置，以便解决分类过程较为繁琐，成本较高的问题。

依据本发明的第一方面，提供了一种网络对象处理方法，该方法包括：

从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象；

计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量；

基于所述融合特征向量，对所述目标对象进行分类；

其中，所述模态信息为文本、语音或图像。

可选的，所述目标对象为目标视频；

所述从目标对象中提取至少两种模态信息的步骤，包括:

提取所述目标视频中的语音信息对应的语谱图，得到第一图像；

从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像；

获取所述目标视频的描述文本，得到第一文本；

将所述目标视频中的语音信息转换为文本，得到第二文本。

可选的，所述计算每种模态信息对应的特征向量的步骤，包括：

对所述第一文本信息进行分词处理，得到多个第一分词，以及对所述第二文本信息进行分词处理，得到多个第二分词；

计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量；

对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量；

利用预设的神经网络模型提取所述第一图像信息对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

可选的，所述将每种模态信息对应的特征向量融合，得到融合特征向量的步骤，包括：

将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数；

将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量；

计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量；

将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

可选的，所述基于所述融合特征向量，对所述目标对象进行分类的步骤，包括：

将所述融合特征向量作为分类依据，输入至预设的分类模型中；

利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

依据本发明的第二方面，提供了一种网络对象处理装置，该装置包括：

提取模块，用于从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象；

计算模块，用于计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量；

分类模块，用于基于所述融合特征向量，对所述目标对象进行分类；

其中，所述模态信息为文本、语音或图像。

可选的，所述目标对象为目标视频；

所述提取模块，用于:

提取所述目标视频中的语音信息对应的语谱图，得到第一图像；

从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像；

获取所述目标视频的描述文本，得到第一文本；

将所述目标视频中的语音信息转换为文本，得到第二文本。

可选的，所述计算模块，用于：

对所述第一文本信息进行分词处理，得到多个第一分词，以及对所述第二文本信息进行分词处理，得到多个第二分词；

计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量；

对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量；

利用预设的神经网络模型提取所述第一图像信息对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

可选的，所述计算模块，用于：

将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数；

将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量；

计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量；

将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

可选的，所述分类模块，包括：

输入子模块，用于将所述融合特征向量作为分类依据，输入至预设的分类模型中；

分类子模块，用于利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

依据本发明的第三方面，提供了一种移动终端，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的网络对象处理程序，所述网络对象处理程序被所述处理器执行时实现如上述第一方面所述的网络对象处理方法中的步骤。

依据本发明的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有网络对象处理程序，所述网络对象处理程序被处理器执行时实现如上述第一方面所述的网络对象处理方法中的步骤。

针对在先技术，本发明具备如下优点：

可以先从目标对象中提取至少两种模态信息，然后计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，最后基于融合特征向量，对目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明实施例一提供的一种网络对象处理方法的步骤流程图；

图2是本发明实施例二提供的一种网络对象处理方法的步骤流程图；

图3是本发明实施例三提供的一种网络对象处理装置的框图；

图4是本发明实施例四提供的一种网络对象处理装置的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

实施例一

图1是本发明实施例一提供的一种网络对象处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、从目标对象中提取至少两种模态信息。

本发明实施例中，目标对象可以为具有多模态信息的对象。示例的，目标对象可以为视频，带有文字内容的幻灯片文件等等。进一步地，模态信息可以为文本、语音或图像，等等。

步骤102、计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量。

本发明实施例中，终端通过计算每种模态信息对应的特征向量，然后进行特征融合，获取融合特征向量，使得后续步骤中，终端可以直接基于该融合特征向量进行分类，进而简化了分类操作。

步骤103、基于所述融合特征向量，对所述目标对象进行分类。

本发明实施例中，由于该融合特征向量是基于每种模态信息对应的特征向量融合得到的，因此可以代表目标对象的整体特征，这样，终端基于该融合特征向量对目标对象进行分类时，可以利用充分利用到目标对象的信息特征，同时，相较于现有技术中分别基于目标对象的每种模态信息进行分类，得到多个类别，然后基于所得到的多个类别，确定目标对象最终的所属类别的方式，可以简化分类过程，降低分类成本。

综上所述，本发明实施例一提供的网络对象处理方法，可以先从目标对象中提取至少两种模态信息，然后计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，最后基于融合特征向量，对目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

实施例二

图2是本发明实施例二提供的一种网络对象处理方法的步骤流程图，如图2所示，该方法可以包括：

步骤201、从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象。

本步骤中，该目标对象可以为目标视频，相应地，步骤201可以通过下述子步骤(1)～子步骤(4)实现：

子步骤(1)：提取所述目标视频中的语音信息对应的语谱图，得到第一图像。

本步骤中，目标视频中的语音信息指的是目标视频中包含的音频，语谱图指的是该音频的频谱图。具体的，终端可以先提取目标视频中的音频，然后将该音频分为多个帧，接着通过快速傅氏变换(Fast Fourier Transformation，FFT)计算每帧语音对应的频谱，然后绘制每帧语音的频谱，得到语谱图，该语谱图即为第一图像。

子步骤(2)：从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像。

本步骤中，可以随机选择一帧图像，也可以选择目标视频所包括的所有帧图像，本发明实施例对此不作限定。具体的，在目标视频的时长较短时，此时目标视频中各帧图像的内容差异较小，因此，仅选择一张图像即可较完全的代表目标视频的整体内容，同时也能节省终端的处理成本。示例的，可以选择目标视频的第一帧图像。

进一步地，在目标视频的时长较长时，此时目标视频中各帧图像的内容差异较大，因此，可以选择多张图像，以便于能够尽可量多的代表目标视频的整体内容。

子步骤(3)：获取所述目标视频的描述文本，得到第一文本。

一般，目标视频往往是用户上传的视频，而实际应用场景中，用户在上传目标视频时，往往会基于个人对目标视频的感受，为目标视频添加一段文本描述。由于该描述文本与目标视频具有一定的关联性，因此，本步骤中，终端通过获取该描述文本，能够更加全面的提取到目标视频的信息，进而提高后续步骤中基于模态信息进行分类的准确性。

子步骤(4)：将所述目标视频中的语音信息转换为文本，得到第二文本。

具体的，终端可以提取该目标视频中的音频的声纹特征，然后计算提取的声纹特征符合各个预设声纹模型的概率，并将符合概率最大的预设声纹模型确定为提取的声纹特征所对应的预设声纹模型，进而从存储的预设声纹模型与文字之间的对应关系中，确定提取的声纹特征符合的预设声纹模型所对应的文字，从而实现将目标视频中的音频转化为文字，得到第二文本。

需要说明的是，由于直接对语音信息进行处理来提取特征的难度较大，因此，本发明实施例中，通过提取语音信息对应的语谱图以及将语音信息转换为文本，简化提取语音信息的特征的难度，当然，实际应用中，也可以采取直接对语音信息进行处理来提取语音信息的特征的方式，本发明实施例对此不作限定。

步骤202、计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量。

具体的，终端先通过下述子步骤(5)～子步骤(8)实现计算每种模态信息对应的特征向量：

子步骤(5)：对所述第一文本进行分词处理，得到多个第一分词，以及对所述第二文本进行分词处理，得到多个第二分词。

本步骤中，分词处理指的是将连续的字序列按照一定的规范重新组合成词序列的过程。在进行分词时，可以采用基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法，等等，本发明实施例对此不作限定。

示例的，在对第一文本进行分词的时候，可以通过常用分词库，例如，常见的词典等，进行逐词遍历，将常见分词库中的所有词按照排列顺序分别在第一文本中遍历匹配，若匹配成功则将当前词，确定为第一文本的分词，如此循环，直至常见分词库中的所有词都被匹配一遍，确定出第一文本的多个第一分词。相应地，在对第二文本进行分词的时候，可以通过常用分词库，例如，常见的词典等，进行逐词遍历，将常见分词库中的所有词按照排列顺序分别在第二文本中遍历匹配，若匹配成功则将当前词，确定为第二文本的分词，如此循环，直至常见分词库中的所有词都被匹配一遍，确定出第二文本的多个第二分词。

子步骤(6)：计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量。

本步骤中，终端可以基于词频来生成词向量，具体的，终端可以将统计每个第一词语的词频，最后根据每个第一词语的词频，生成第一词向量，统计每个第二词语的词频，最后根据每个第二词语的词频，生成第二词向量。当然，也可以采取其他方式来生成词向量，比如，终端可以直接将第一分词输入预设的嵌入神经网络，得到每个第一分词的词向量，将第二分词输入预设的嵌入神经网络，得到每个第二分词的词向量，本发明实施例对此不作限定。

子步骤(7)：对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量。

本步骤中，终端可以计算每个第一词向量中对应维度的向量平均值，得到X维的第一文本特征向量，其中，X所表示的具体值由第一文本本身的原始信息决定。进一步地，可以计算每个第二词向量中对应维度的向量平均值，得到Y维的第二文本特征向量、其中，Y所表示的具体值由第二文本本身的原始信息决定。进一步地，也可以将第一词向量输入预设的循环神经网络中进行向量拟合，计算第一文本特征向量，将第二词向量输入预设的循环神经网络中进行向量拟合，计算第二文本特征向量。当然，也可以采用其他方式进行向量拟合，本发明实施例对此不作限定。

子步骤(8)：利用预设的神经网络模型提取所述第一图像对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

本步骤中，该预设的神经网络模型可以为卷积神经网络模型。具体的，可以将第一图像作为第一矩阵，该第一矩阵中的每个元素为第一图像中的每个像素，然后利用卷积神经网络中卷积核，示例的，该卷积核可以为一个3*3的矩阵，与该第一图像的第一矩阵做卷积运算，进而得到Z维的第一图像特征向量，其中，Z所表示的具体值由第一图像本身的原始信息决定。相应地，可以分别将每个第二图像作为第二矩阵，该第二矩阵中的每个元素为第二图像中的每个像素，然后利用卷积神经网络中卷积核与该第二图像的第二矩阵做卷积运算，进而得到W维的第二图像特征向量，其中，W所表示的具体值由第二图像本身的原始信息决定。当然，也可以采用其他方式来计算图像特征向量，本发明实施例对此不作限定。

进一步地，终端可以通过下述子步骤(9)～子步骤(12)实现计算将每种模态信息对应的特征向量融合：

子步骤(9)：将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数。

实际应用中，第一文本特征向量的维数X、第二文本特征向量的维数Y、第一图像特征向量的维数Z以及第二图像特征向量的维数W可能不同，为了实现特征融合，本步骤中，终端可以使用深度神经网络将X、Y、Z、W转换为相同维数，即就是将第一文本特征向量、第二文本特征向量、第一图像特征向量以及第二图像特征向量映射到相同维度的语义空间。

具体在实现时，可以预先定义深度神经网络中预设神经元的个数M，比如，可以定义512个预设神经元，然后将第一文本特征向量中的每个特征分别与这512个预设神经元中的每个预设神经元连接，得到512维的特征向量输出，这512维的特征向量即为维度转换后的第一文本特征向量，以相同的方式分别对第二文本特征向量、第一图像特征向量以及每个第二图像特征向量进行处理，可以得到512维的第二文本特征向量、512维的第一图像特征向量以及至少一个512维的第二图像特征向量。当然，512仅为示意性说明，实际应用中，可以根据实际需求来设置具体个数，本发明实施例对此不作限定。

子步骤(10)：将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量。

具体的，可以将第一文本特征向量与第二文本特征向量的对应位置相加，示例的，可以将第一文本特征向量的第1维特征向量与第二文本特征向量的第1维特征向量相加，将第一文本特征向量的第2维特征向量与第二文本特征向量的第2维特征向量相加，…，将第一文本特征向量的第512维特征向量与第二文本特征向量的第512维特征向量相加，得到融合文本特征向量。相应的，可以将第一图像特征向量与每个第二图像特征向量的对应位置相加，示例的，可以将第一图像特征向量的第1维特征向量与每个第二图像特征向量的第1维特征向量相加，将第一图像特征向量的第2维特征向量与每个第二图像特征向量的第2维特征向量相加，…，将第一图像特征向量的第512维特征向量与每个第二图像特征向量的第512维特征向量相加，得到融合文本特征向量。

子步骤(11)：计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量。

具体的，在计算距离特征向量时，可以利用融合文本特征向量中的特征向量减去融合图像特征向量中的对应位置的特征向量，示例的，可以利用融合文本特征向量的第1维特征向量减去融合图像特征的第1维特征向量，利用融合文本特征向量的第2维特征向量减去融合图像特征的第2维特征向量，…，利用融合文本特征向量的第512维特征向量减去融合图像特征的第512维特征向量，得到距离特征向量。当然，实际应用中，也可以利用融合图像特征向量中的特征向量减去融合文本特征向量中的对应位置的特征向量，本发明实施例对此不作限定。

进一步地，在计算内积特征向量时，可以将融合文本特征向量与融合图像特征向量的对应位置相乘，示例的，可以利用融合文本特征向量的第1维特征向量乘以融合图像特征的第1维特征向量，利用融合文本特征向量的第2维特征向量乘以融合图像特征的第2维特征向量，…，利用融合文本特征向量的第512维特征向量乘以融合图像特征的第512维特征向量，得到内积特征向量。

子步骤(12)：将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

具体的，可以将距离特征向量以及内积特征向量组合一个向量，得到融合特征向量。在组合时，可以将距离特征向量放在前边，也可以将内积特征向量放在前边，或者随机设置距离特征向量中的各个特征向量以及内积特征向量中的各个特征向量在组合后的向量中的位置，只要保证组合后的向量中包括距离特征向量中的所有特征向量以及内积特征向量中的所有特征向量即可，本发明实施例对此不作限定。

步骤203、将所述融合特征向量作为分类依据，输入至预设的分类模型中。

本步骤中，该预设的分类模型可以基于样本预先训练的，该分类模型可以为二分类模型，也可以为多分类模型，本发明实施例对此不作限定。

步骤204、利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

本发明实施例中，由于该融合特征向量是基于每种模态信息对应的特征向量融合得到的，因此可以代表目标对象的整体特征，这样，终端基于该融合特征向量对目标对象进行分类时，可以利用充分利用到目标对象的信息特征，同时，相较于现有技术中分别基于目标对象的每种模态信息进行分类，得到多个类别，然后基于所得到的多个类别，确定目标对象最终的所属类别的方式，可以简化分类过程，降低分类成本。

综上所述，本发明实施例二提供的网络对象处理方法，可以先从目标对象中提取至少两种模态信息，然后计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，接着，将融合特征向量作为分类依据，输入至预设的分类模型中，最后利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

实施例三

图3是本发明实施例三提供的一种网络对象处理装置的框图，如图3所示，该装置30可以包括：

提取模块301，用于从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象。

计算模块302，用于计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量。

分类模块303，用于基于所述融合特征向量，对所述目标对象进行分类；

其中，所述模态信息为文本、语音或图像。

综上所述，本发明实施例三提供的界面处理装置，提取模块可以先从目标对象中提取至少两种模态信息，然后计算模块可以计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，最后分类模块可以基于融合特征向量，对目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

实施例四

图4是本发明实施例四提供的一种网络对象处理装置的框图，如图4所示，该装置40可以包括：

提取模块401，用于从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象。

计算模块402，用于计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量。

分类模块403，用于基于所述融合特征向量，对所述目标对象进行分类。

其中，所述模态信息为文本、语音或图像。

可选的，上述目标对象为目标视频。

上述提取模块401，用于:

提取所述目标视频中的语音信息对应的语谱图，得到第一图像。

从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像。

获取所述目标视频的描述文本，得到第一文本。

将所述目标视频中的语音信息转换为文本，得到第二文本。

可选的，上述计算模块402，用于：

对所述第一文本信息进行分词处理，得到多个第一分词，以及对所述第二文本信息进行分词处理，得到多个第二分词。

计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量。

对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量。

利用预设的神经网络模型提取所述第一图像信息对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

可选的，上述计算模块402，用于：

将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数。

将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量。

计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量。

将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

可选的，上述分类模块403，包括：

输入子模块4031，用于将所述融合特征向量作为分类依据，输入至预设的分类模型中。

分类子模块4032，用于利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

综上所述，本发明实施例四提供的界面处理装置，可以提取模块可以先从目标对象中提取至少两种模态信息，然后计算模块可以计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量，接着，输入子模块可以将融合特征向量作为分类依据，输入至预设的分类模型中，最后分类子模块可以利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。由于融合特征向量能够代表每种模态信息对应的特征，因此，本发明实施例中，终端可以在基于目标对象的所有信息特征对目标对象进行分类的同时，简化了分类过程，降低了分类成本。

根据本发明的一个实施例，提供了一种移动终端，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的网络对象处理程序，所述网络对象处理程序被所述处理器执行时实现如上述任一个实施例所述的网络对象处理方法中的步骤。

根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有网络对象处理程序，所述网络对象处理程序被处理器执行时实现如上述任一个实施例所述的网络对象处理方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的网络对象处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网络对象处理方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种网络对象处理方法，其特征在于，所述方法包括：

从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象；

计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量；

基于所述融合特征向量，对所述目标对象进行分类；

其中，所述模态信息为文本、语音或图像；

其中，所述目标对象为目标视频；

所述从目标对象中提取至少两种模态信息的步骤，包括:

提取所述目标视频中的语音信息对应的语谱图，得到第一图像；

从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像；

获取所述目标视频的描述文本，得到第一文本；

将所述目标视频中的语音信息转换为文本，得到第二文本；

其中，所述将所述目标视频中的语音信息转换为文本，得到第二文本，包括：

提取所述目标视频中的声纹特征；

分别计算所述声纹特征符合多个预设声纹模型的概率；

将符合概率最大的预设声纹模型确定为所述声纹特征所对应的预设声纹模型；

根据预设声纹模型与文字之间的对应关系，确定所述声纹特征对应的所述预设声纹模型对应的文字。

2.根据权利要求1所述的方法，其特征在于，所述计算每种模态信息对应的特征向量的步骤，包括：

对所述第一文本信息进行分词处理，得到多个第一分词，以及对所述第二文本信息进行分词处理，得到多个第二分词；

计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量；

对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量；

利用预设的神经网络模型提取所述第一图像信息对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

3.根据权利要求2所述的方法，其特征在于，所述将每种模态信息对应的特征向量融合，得到融合特征向量的步骤，包括：

将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数；

将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量；

计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量；

将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

4.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征向量，对所述目标对象进行分类的步骤，包括：

将所述融合特征向量作为分类依据，输入至预设的分类模型中；

利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

5.一种网络对象处理装置，其特征在于，所述装置包括：

提取模块，用于从目标对象中提取至少两种模态信息；所述目标对象为具有多模态信息的对象；

计算模块，用于计算每种模态信息对应的特征向量，并将每种模态信息对应的特征向量融合，得到融合特征向量；

分类模块，用于基于所述融合特征向量，对所述目标对象进行分类；

其中，所述模态信息为文本、语音或图像；

其中，所述目标对象为目标视频；

所述提取模块，用于:

提取所述目标视频中的语音信息对应的语谱图，得到第一图像；

从所述目标视频包括的至少一帧图像中选择至少一帧图像，得到至少一个第二图像；

获取所述目标视频的描述文本，得到第一文本；

将所述目标视频中的语音信息转换为文本，得到第二文本；

其中，所述提取模块，具体用于：

提取所述目标视频中的声纹特征；

分别计算所述声纹特征符合多个预设声纹模型的概率；

将符合概率最大的预设声纹模型确定为所述声纹特征所对应的预设声纹模型；

根据预设声纹模型与文字之间的对应关系，确定所述声纹特征对应的所述预设声纹模型对应的文字。

6.根据权利要求5所述的装置，其特征在于，所述计算模块，用于：

对所述第一文本信息进行分词处理，得到多个第一分词，以及对所述第二文本信息进行分词处理，得到多个第二分词；

计算每个第一分词的词向量，得到多个第一词向量，计算每个第二分词的词向量，得到多个第二词向量；

对所述多个第一词向量进行拟合，得到所述第一文本信息对应的X维的第一文本特征向量，对所述多个第二词向量进行拟合，得到所述第二文本信息对应的Y维的第二文本特征向量；

利用预设的神经网络模型提取所述第一图像信息对应的特征向量，得到Z维的第一图像特征向量，利用预设的神经网络模型提取每个第二图像信息对应的特征向量，得到至少一个W维的第二图像特征向量。

7.根据权利要求6所述的装置，其特征在于，所述计算模块，用于：

将所述第一文本特征向量的维数、所述第二文本特征向量的维数、所述第一图像特征向量的维数以及每个第二图像特征向量的维数转换为相同维数；

将所述第一文本特征向量与所述第二文本特征向量相加，得到融合文本特征向量，以及，将所述第一图像特征向量与每个第二图像特征向量相加，得到融合图像特征向量；

计算所述融合文本特征向量与所述融合图像特征向量之间的距离特征向量以及内积特征向量；

将所述距离特征向量以及所述内积特征向量拼接，得到所述目标视频的融合特征向量。

8.根据权利要求5所述的装置，其特征在于，所述分类模块，包括：

输入子模块，用于将所述融合特征向量作为分类依据，输入至预设的分类模型中；

分类子模块，用于利用所述预设的分类模型，基于所述融合特征向量对所述目标对象进行分类。

9.一种移动终端，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的网络对象处理程序，所述网络对象处理程序被所述处理器执行时实现如权利要求1至4中任一项所述的网络对象处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有网络对象处理程序，所述网络对象处理程序被处理器执行时实现如权利要求1至4中任一项所述的网络对象处理方法中的步骤。