CN114328807A

CN114328807A - 一种文本处理方法、装置、设备及存储介质

Info

Publication number: CN114328807A
Application number: CN202110978569.5A
Authority: CN
Inventors: 黄剑辉
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-08-24
Filing date: 2021-08-24
Publication date: 2022-04-12

Abstract

本申请公开了一种文本处理方法、装置、设备及存储介质，方法包括：获取待预测文本的第一语义向量，待预测文本为多媒体数据的标题文本；采用优化后的层次分类模型，基于第一语义向量预测待预测文本的一级类目，得到一个或多个一级预测类目；将第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征；采用优化后的层次分类模型，基于一个或多个第一匹配特征和一个或多个一级预测类目，从一个或多个二级类目中确定待预测文本的目标二级类目；根据预先建立的二级类目和一级类目的对应关系，获取目标二级类目对应的目标一级类目；生成待预测文本的类目信息，可提升预测到的类目信息的准确度。

Description

一种文本处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本处理方法、装置、设备及存储介质。

背景技术

文本内容的类目信息(如：一级类目信息、二级类目信息等)在信息检索领域有着至关重要的作用。对于需要提供的数据搜索业务的应用程序来说，准确地提取出与搜索文本匹配的类目信息，可以提升该应用程序输出的搜索结果的准确性，进而可以使得该应用程序的搜索效率得到提升。然而，传统的文本处理方法无法准确地确定出文本内容的类目信息，因此，如何准确地提取文本内容的类目信息成了当下的研究热点。

发明内容

本申请实施例提供了一种文本处理方法、装置、设备及存储介质，可以提升预测得到的类目信息的准确率。

一方面，本申请实施例提供了一种文本处理方法，包括：

获取待预测文本的第一语义向量，并采用优化后的层次分类模型，基于所述第一语义向量预测所述待预测文本的一级类目，得到一个或多个一级预测类目；

将所述第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征，所述预设词向量集包括：一个或多个二级类目，以及所述一个或多个二级类目中每个二级类目的词向量；

采用所述优化后的层次分类模型，基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目；

根据预先建立的二级类目和一级类目的对应关系，获取所述目标二级类目对应的目标一级类目；

生成所述待预测文本的类目信息，所述类目信息包含所述目标一级类目和所述目标二级类目。

一方面，本申请实施例提供了一种文本处理装置，包括：

第一预测单元，用于获取待预测文本的第一语义向量，并采用优化后的层次分类模型，基于所述第一语义向量预测所述待预测文本的一级类目，得到一个或多个一级预测类目；

匹配处理单元，用于将所述第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征，所述预设词向量集包括：一个或多个二级类目，以及所述一个或多个二级类目中每个二级类目的词向量；

第二预测单元，用于采用所述优化后的层次分类模型，基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目；

处理单元，用于根据预先建立的二级类目和一级类目的对应关系，获取所述目标二级类目对应的目标一级类目；

生成单元，用于生成所述待预测文本的类目信息，所述类目信息包含所述目标一级类目和所述目标二级类目。

一方面，本申请提供了一种文本处理设备，包括：

处理器，适于实现一条或多条计算机程序；

计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行：

获取待预测文本的第一语义向量，并采用优化后的层次分类模型，基于所述第一语义向量预测所述待预测文本的一级类目，得到一个或多个一级预测类目；将所述第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征，所述预设词向量集包括：一个或多个二级类目，以及所述一个或多个二级类目中每个二级类目的词向量；采用所述优化后的层次分类模型，基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目；根据预先建立的二级类目和一级类目的对应关系，获取所述目标二级类目对应的目标一级类目；生成所述待预测文本的类目信息，所述类目信息包含所述目标一级类目和所述目标二级类目。

一方面，本申请提供了一种存储介质，该存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行：

一方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；文本处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得文本处理设备执行：

在本申请实施例中，文本处理设备基于多种不同的匹配特征，构建二级类目的词向量与待预测文本的语义向量之间的第一匹配特征，使得层次分类模型预测得到的目标二级类目的准确度更高；此外，由于文本处理设备是基于各个二级类目的词向量，确定出的第一匹配特征，可以使得文本处理设备更好的利用二级类目的语义信息，从而进一步提升了类目信息的准确度。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种训练样本的示意图；

图2是本申请实施例提供的一种层次分类模型的优化方法示意图；

图3是本申请实施例提供的一种层次分类模型的结构示意图；

图4是本申请实施例提供的一种文本处理方法的流程示意图；

图5是本申请实施例提供的一种文本处理装置的架构示意图；

图6是本申请实施例提供的一种文本处理设备的架构示意图。

具体实施方式

本申请基于自然语言处理技术提出了一种文本处理方法，采用该文本处理方法可以生成待预测文本的类目信息，从而使得应用该文本处理方法的各个业务方可以基于该类目信息，对待预测文本对应的数据内容进行分类处理。其中，待预测文本可以包括但不限于：标题文本(如：视频标题、音乐标题、文档标题等)、搜索文本(如：搜索栏中的关键词)，那么，待预测文本对应的数据内容可以包括但不限于：视频数据、音乐数据、文档数据等；此外，上述提及的类目信息包括但不限于：一级类目、二级类目、三级类目等，需要说明的是，各级类目信息之间存在上下级关系，且上级类目是下级类目的父级，越往下级，类目粒度越细；如：一级类目是二级类目的父级，二级类目的粒度要细于一级类目；二级类目是三级类目的父级，三级类目的粒度要细于二级类目。

其中，上述提及的类目可以理解为：类别，那么，一级类目可以理解为：含义广泛的类目，该类目涵盖的信息较多，示例性地，一级类目可以包括：游戏、数码商品、家电、生活用品、服装等；二级类目和一级类目之间存在层级关系，具体地，二级类目是一级类目的子类目，基于上述描述，不难理解，二级类目的划分比一级类目的划分更加精细，那么，每个二级类目涵盖的信息可以是该二级类目对应一级类目所涵盖的信息的部分信息，例如：对于上述一级类目“游戏”来说，其子类目(即：二级类目)可以如：“小程序游戏”、“单机游戏”、“手游”、“端游”等；进一步地，假设“手游”包括的信息为：手游A、手游B，“端游”包括的信息为：端游a和端游b，那么，“游戏”这一类目包括的信息可以是：手游A、手游B，以及端游a、端游b，不难看出，“手游”这一类目包括的信息是“游戏”这一类目包括的信息的一部分。三级类目的理解可参见“二级类目”，本申请在此不再赘述。

需要说明的是，上述提及的自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向，自然语言处理主要是研究能实现人与计算机之间用自然语言(即人们日常使用的语言)进行有效通信的各种理论和方法。总的来说，自然语言处理是一门融语言学、计算机科学、数学于一体的科学，主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文OCR(Optical Character Recognition，光学字符识别)等方面，本申请主要应用了自然语言处理中关于文本分类以及文本语义对比的相关技术。

本申请充分利用了上述提及的自然语言处理技术，提出了一种文本处理方案，该方案可以由文本处理设备来执行，以下对该方案的大致原理进行阐述：文本处理设备采用优化后的层次分类模型，基于待预测文本的语义向量确定待预测文本的一级预测类目，并采用该优化后的层次分类模型，构建预设词向量集中各个二级类目的词向量与该语义向量的多匹配特征，进而使得文本处理设备可以根据构建得到的各个多匹配特征，来确定待预测文本的目标二级类目，那么，也就进一步地使得文本处理设备可以根据目标二级类目回溯得到待预测文本的目标一级类目，从而生成待预测文本的类目信息，可以理解，该类目信息包括确定出的目标二级类目和目标一级类目。

其中，上述提及的预设词向量集是预先存储至该文本处理设备中的，可选地，该预设词向量集还可以包括：一个或多个二级类目，该一个或多个二级类目中每个二级类目均与其父级类目(即：一级类目)建立有对应关系，以支持该文本处理设备根据目标二级类目回溯得到目标一级类目，从而支持文本处理设备生成完整的类目信息。举例来说，二级类目“手游”可以与一级类目“游戏”建立对应关系，二级类目“端游”也可以与一级类目“游戏”建立对应关系，那么，当文本处理设备确定出的目标二级类目为“端游”或“手游”时，可以根据“端游”与“游戏”之间的对应关系，或根据“手游”与“游戏”之间的对应关系，回溯得到目标一级类目“游戏”。那么，基于上述描述，也就是说，预设词向量集可以包括：一个或多个二级类目，以及一个或多个二级类目中各个二级类目的词向量，可以理解的是，这一个或多个一级类目(或一个或多个二级类目)指的是：该文本处理设备可以输出的类目，或者理解为：该文本处理设备可以预测出来的类目。举例来说：假设自然语言处理技术中总共包括3个一级类目(一级类目A、一级类目B、一级类目C)，而文本处理设备中存储的仅有一级类目A、一级类目B，那么，对于任意的待预测文本，该文本处理设备对该待预测文本进行文本处理后，确定出的目标一级类目只能为一级类目A和一级类目B中的一个，而不可能确定出一级类目C。通常来说，文本处理设备中存储的类目为自然语言处理技术包括的所有类目，当然，在当本申请应用于某个特定领域的类目预测时，文本处理设备中也可以只存储与该特定领域相关的各个类目，这种处理方式可以在一定程度上提升该文本处理设备的处理效率。

在实际应用中，文本处理设备对标题文本进行了上述的文本处理，可以认为是该文本处理设备完成了对标题文本的解析，那么，该文本处理设备可以基于解析结果(即：生成的类目信息)，强化对该标题文本对应多媒体数据(如：图片、视频、文本、语音等)的语义信息的理解，在一定程度上可以有效提升语义理解的效率和准确度。举例来说，在视频播放应用程序中，基于视频标题确定出该视频标题对应视频的基本主题类别，以及建模完成标题词权重任务，都是该视频播放应用需要具备的理解视频内容的基础能力。那么，视频播放应用可以应用上述文本处理方法，对视频标题进行文本处理，并将生成的类目信息作为该视频标题对应视频的视频语义信息，此种方式可以在一定程度上提升视频播放应用的视频理解效率，此外，由于类目信息包括该视频的视频标题的类目信息，那么，也就使得视频播放应用程序可以基于该类目信息中的目标一级类目和目标二级类目，精准、快速地对该视频进行分类，进而使得该视频播放应用程序在检测到针对目标一级类目和/或目标二级类目的检索时，可以迅速从该视频播放应用程序对应的数据库中查找到该视频，可以有效地提升视频检索的效率和准确度。

在一个实施例中，上述文本处理方法可以在同一文本处理设备中完成应用，其中，该文本处理设备可以是服务器，也可以是终端设备。那么，以文本处理设备为服务器为例，该服务器可以先获取待预测文本的语义向量，然后利用优化后的层次分类模型，基于该语义向量对该待预测文本进行文本处理，以得到该预测文本对应的类目信息。

在另一个实施例中，上述文本处理方法也可以在不同的文本处理设备中完成应用，如：可以在第一文本处理设备中完成待预测文本的语义向量的获取，在第二文本处理设备中，采用优化后的层次分类模型基于该语义向量对该待预测文本进行层次分类处理，以得到该预测文本对应的类目信息，其中，第一文本处理设备可以是：终端设备，第二文本处理设备可以是与第一处理设备建立由通信连接的服务器。

需要说明的是，上述提及的服务器可以包括但不限于：独立的物理服务器，或多个物理服务器构成的服务器集群或者分布式系统，或提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器等。上述提及的终端设备可以包括但不限于：智能手机、电脑(如笔记本电脑、平板电脑、台式电脑)、智能手表、智能家电、车载终端等。

在实际应用过程中，当文本处理设备应用上述提及的文本处理方法之前，本申请还可以利用深度学习算法，通过模型优化设备基于训练样本来对层次分类模型进行模型优化，以得到上述提及的优化后的层次分类模型。其中，模型优化设备和文本处理设备可以是同一设备，也可以是不同设备，本申请对此不做具体限制；用于模型优化的训练样本可以包括N(N为正整数)个训练文本，以及该N个训练文本中每个训练文本对应的标准一级类目和标准二级类目，那么，也就是说，训练样本可以包括：N个训练文本、N个标准一级类目，以及N个标准二级类目。示例性地，训练文本可以是标题文本；其中，标准一级类目可以理解为：该标题文本对应的正确的一级类目，同理地，标准二级类目可以理解为：该标题文本对应的正确的二级类目。示例性地，如图1所示，假设一级类目“游戏”对应有二级类目“手游”、“小游戏”和“端游”，那么，若将图1中的手游视频100的标题文本作为训练文本，该训练文本的标准一级类目即为：游戏；该训练文本的标准二级类目即为：手游。那么，也就可以理解，在文本处理设备对该标题文本进行文本处理时，期望文本处理设备生成包括目标一级类目为“游戏”、目标二级类目为“手游”的类目信息。

在一个实施例中，上述提及的模型优化设备(一个或多个模型优化设备)和文本处理设备(一个或多个文本处理设备)可组成为一区块链，该模型优化设备和文本处理设备中的任意一个处理设备均为区块链上的节点。区块链是指：一个分布式的共享账本和数据库；其具有去中心化、不可篡改、全程留痕、可以追溯、集体维护、公开透明等特点。那么，基于此可以理解，由模型优化设备和文本处理设备组成的区块链上，任意一个节点均可获取该区块链上存储的数据(如：训练样本、类目信息等)。

为了便于说明，本申请以文本处理设备和模型优化设备为同一设备为例进行阐述，此外，无特殊说明的情况下，以下均以类目信息包括一级类目和二级类目为例，来对本申请提供的文本处理方法进行详细阐述。在此情况下，示例性地，一级类目可以为44个主题性粗粒度类目，具体可以包括：体育、游戏、娱乐等；此外，44个一级类目中每个一级类目还细分有细粒度类目，即：一个或多个二级类目，具体地，一个或多个二级类目的数量可以为305个，如：体操、乒乓球、篮球、手游、端游、唱歌、阅读等。

请参见图2，图2是本申请实施例提供的一种层次分类模型的优化方法示意图，该方法由上述提及的文本处理设备来执行，如图2所示，该方法包括步骤S201-S206。

S201，获取训练样本。

其中，训练样本可以由一级类目、二级类目，以及训练文本组成。在层次分类模型的优化过程中，训练样本中的一级类目可以称为标准一级类目，标准一级类目表示：期望被层次分类模型作为目标一级类目的一级类目。那么，对应地，训练样本中的二级类目可以称为标准二级类目，标准二级类目表示：期望被层次分类模型作为目标二级类目的二级类目。需要说明的是，标准二级类目是标准一级类目的下属类目，即：标准二级类目的粒度要细于标准一级类目，其中，所谓的粒度是指：数据库的数据单位中保存数据的细化程度或综合程度的级别；具体地，数据的细化程度越高，该数据的粒度级就越小，那么，对应地，数据的细化程度越低，该数据的粒度级就越大。

示例性地，本申请使用的训练样本可以参见训练样本表，该训练样本表可以如表1所示。

表1

训练文本	标准一级类目	标准二级类目
			文本A	游戏	小游戏
文本B	舞蹈	广场舞
			文本C	科技	手机
...	...	...
			文本N	一级类目M	二级类目m

基于表1不难看出，用于优化层次分类模型的训练文本可以有N个，N为正整数，但在实际应用中，为了得到性能更加稳定、准确率更高的层次分类模型，N通常可以取数值较大的正整数(如：5000、10000等)。

需要说明的是，为了更好地对本申请提出的层次分类模型的优化方法进行理解，以下步骤S202-步骤S205中，均以N＝1为例，也就是说，以训练样本包括：一个训练文本，以及该训练文本对应的标准一级类目和标准二级类目为例，来对本申请提出的层次分类模型的模型优化方法进行详细阐述。

S202，对训练文本进行解码处理，得到训练文本的第二语义向量。

实际应用中，文本处理设备可以采用以下多种解码方式中的任意一种，来对训练文本进行解码处理，进而得到该训练文本的第二语义向量。

可选地，第一种解码方式可以为：文本处理设备采用LSTM(Long Short-TermMemory，长短期记忆网络)+Attention(注意力机制)技术，来实现对训练文本的解码处理，从而得到该训练文本的第二语义向量。那么，在此情况下，文本处理设备可以先将训练文本向量化，然后使用LSTM网络分别对词语(即：训练文本中的词语)和句子(即：训练文本对应的句子)进行序列信息提取，进一步地，文本处理设备可以在词语级别以及句子级别后的LSTM网络后面加入注意力机制层，以得到该训练文本的特征向量，即：第二语义向量。不难理解，通过此种方式，文本处理设备可以有效地提取出训练文本中词语与词语之间，以及句子与句子之间的语义结构特征信息，那么，也就是说，文本处理设备采用本申请提出的解码方式，可以得到较为准确的第二语义向量。

可选地，第二种解码方式可以为：文本处理设备采用CNN(Convolutional NeuralNetwork，卷积神经网络)来实现对训练文本进行解码处理，以得到该训练文本的第二语义向量。所谓的卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一，卷积神经网络具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类。

可选地，第三种解码方式可以为：文本处理设备采用LSTM网络来实现对训练文本进行解码处理，以得到该训练文本的第二语义向量。所谓的LSTM网络可以理解为：一种时间递归神经网络；该LSTM网络适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。那么，基于此可以理解，本申请若基于LSTM构建特征提取模块，可以准确地提取出训练文本的第二语义向量。

需要说明的是，在其他实施例中，文本处理设备当然也可以采用其他的解码方式来对训练文本进行解码处理，进而提取该训练文本的第二语义向量，本申请在此不对其他方式进行一一列举。

S203，采用层次分类模型，基于第二语义向量确定标准一级类目的第二预测概率。

其中，标准一级类目的第二预测概率可以用于指示：文本处理设备将该标准一级类目作为目标一级类目的概率。实际应用中，文本处理设备可以采用层次分类模型来对训练文本的一级类目进行预测处理，示例性地，层次分类模型的结构可以参见图3。如图3所示，该层次分类模型包括一级类目预测结构31，以及二级类目预测结构32，可见，本申请中采用的一级类目预测结构31可以是常规的多分类结构，那么，文本处理设备在通过一级类目预测结构31对训练文本进行一级类目预测时，可以具体包括如下步骤：文本处理设备先将训练文本输入至一级类目预测结构31中的编码器，然后可以得到该训练文本对应的语义向量(如：第二语义向量)，进一步地，文本处理设备可以将该语义向量输入至分类器中进行多分类处理，从而得到各个一级类目的预测概率，也就进一步可以得到标准一级类目的第二预测概率。

具体地，若层次分类模型中存储有44个一级类目，那么，文本处理设备在采用层次分类模型对训练文本的一级类目进行预测处理时，可以通过如下方式实现：文本处理设备通过调用该一级类目预测结构，来根据训练文本的第二语义向量进行训练文本的一级类目预测处理。在预测过程中，该一级类目预测结构31中的分类器会根据第二语义向量，确定出上述提及的44个一级类目中各个一级类目的预测概率，不难理解，这44个一级类目包括标准一级类目，那么也就是说，44个一级类目中各个一级类目的预测概率，包括：标准一级类目的第二预测概率。那么，结合上述对标准一级类目的第二预测概率的描述，显而易见的是，每个一级类目的预测概率可以用于指示：文本处理设备将该一级类目作为目标一级类目的概率。

可选地，文本处理设备可以进一步地基于各个一级类目的预测概率，确定出一个或多个一级预测类目，然后文本处理设备可以对该一个或多个一级预测类目进行向量化处理，以得到一个或多个一级预测类目向量。其中，该一个或多个一级预测类目向量可以用于：辅助二级类目预测模块32确定目标二级类目。

在一个实施例中，得到的一个或多个一级预测类目可以是上述提及的44个一级类目中的部分一级类目，如：将各个预测概率由高至低排序后，排列前3位的预测概率中各个预测概率对应的一级类目。当然，在其他实施例中，得到的一个或多个一级预测类目也可以是上述提及的44个一级类目中的全部一级类目，本申请对此不作具体限制。

S204，将第二语义向量与一个或多个二级类目中每个二级类目的词向量进行匹配处理，以得到一个或多个第二匹配特征。

其中，每个二级类目的词向量可以是文本处理设备基于通用语料训练得到的，语料指的是：一定数量和规模的文本资源集合；那么，通用语料则可以理解为：在各个领域都能被理解、以及被使用的文本资源。第二匹配特征是指：第二语义向量与二级类目的词向量之间的匹配特征。那么，基于此，不难理解的是：一个或多个第二匹配特征的数量与一个或多个二级类目的数量相同。那么，也就是说，对于一个或多个二级类目中的任一二级类目，文本处理设备可以将该任一二级类目的词向量与第二语义向量进行匹配处理，进而得到一个第二匹配特征。

具体实施例中，通用语料可以是技术人员预先从各项业务中获取的，如：通过从游戏业务中获取得到与游戏相关的二级类目，通过从音乐播放业务中获取得到与音乐相关的二级类目，等等。可以理解，本申请中的通用语料主要指的是各个领域都适用的二级类目，那么，为了便于后续对训练文本进行二级类目预测处理，本申请可以通过Word2vector(将词语转换为向量)的方式将各个二级类目转换为词向量，并基于转换后的词向量生成预设词向量集，那么，在将该预设词向量集存储至层次分类模型之后，文本处理设备可以通过将预设词向量集中各个二级类目的词向量与第二语义向量进行匹配处理，得到一个或多个第二匹配特征。

其中，文本处理设备可以基于多匹配机制来构建第二匹配特征，所谓的多匹配机制可以理解为：文本处理设备基于多种匹配处理方式，来确定二级类目的词向量与第二语义向量之间的第二匹配特征。示例性地，上述提及的多种匹配处理方式可以包括但不限于：向量匹配处理、交互式匹配处理、语义匹配处理等，其中，向量匹配处理可以通过二级类目预测模块中的匹配模块1实现，交互式匹配处理可以通过二级类目预测模块中的匹配模块2实现，语义匹配处理可以通过二级类目预测模块中的匹配模块3实现。

需要说明的是，文本处理设备基于多匹配机制构建第二匹配特征的相关原理，可以参见后续步骤S403的相关描述，本申请在此不再赘述。

S205，采用层次分类模型，基于一个或多个第二匹配特征确定标准二级类目的第三预测概率。

实际应用中，文本处理设备可以基于第二匹配特征，确定出该第二匹配特征对应的二级类目的预测概率，其中，二级类目的预测概率用于指示：文本处理设备将该二级类目作为目标二级类目的概率；举例来说，假设一个或多个第二匹配特征包括第二匹配特征A，且该第二匹配特征A是基于二级类目B的词向量b和训练文本的第二语义向量确定的；那么，文本处理设备可以根据第二匹配特征A确定出二级类目B的预测概率。那么，基于此也就可以理解，文本处理设备可以基于一个或多个第二匹配特征，确定出一个或多个二级类目中各个二级类目的预测概率；又由于标准二级类目也包含于层次分类模型中存储的一个或多个一级类目中，那么，也就使得文本处理设备可以基于一个或多个二级类目中各个二级类目的预测概率，确定出标准二级类目的第三预测概率。

S206，基于第二预测概率以及第三预测概率，确定目标损失值，并按照减小目标损失值的方向，优化层次分类模型的模型参数，以得到优化后的层次分类模型。

在一个实施例中，当N＝1时，第二预测概率的数量为一个，第三预测概率的数量也为一个。那么，在此情况下，文本处理设备可以通过如下方式确定出目标损失值：文本处理设备基于第二预测概率和第三预测概率，确定出第一损失值，并基于第二预测概率确定出第二损失值，以及，基于第三预测概率确定出第三损失值；进一步地，文本处理设备可以对第一损失值、第二损失值和第三损失值进行调和处理，以得到目标损失函数。示例性地，调和处理可以具体指：加权求和处理。那么，也就是说，文本处理设备可以通过对第一损失值、第二损失值和第三损失值进行加权求和处理，来得到目标损失值。

具体应用中，第一损失值可以是基于第一损失函数计算得到的，如果预测得到的二级类目的预测概率，大于该二级类目对应一级类目的概率，则层次分类模型的损失就会增大，那么，为了减少模型的损失值，就需要避免出现二级类目的预测概率大于该二级类目对应的一级类目的预测概率的情况。那么，也就可以理解，本申请中，为了保证处理结果(即：一级类目预测结果和二级类目预测结果)的一致性，可以假设粗粒度的一级类目的预测，总是易于细粒度的二级类目的预测，也就是：保证二级类目的预测概率小于该二级类目对应一级类目的预测概率。那么，示例性地，第一损失函数可以是合页损失函数，该第一损失函数可以用于表示：一级分类结果和二级分类结果的差异值，那么，也就可以理解，引用合页损失函数的目的是：希望层次分类模型预测出的二级类目对应的预测概率，要比预测出的该二级类目对应一级类目的预测概率更大。其中，示例性地，合页损失函数的表达式可以参见式1：

loss_h＝max(0，λ+l2_score-l1_score) 式1

其中，loss_h表示第一损失值，λ为超参数，l2_score表示第三预测概率(即：标准二级类目的预测概率)，l1_score表示第二预测概率(即：标准一级类目的预测概率)。

具体应用中，第二损失值可以是基于第二损失函数计算得到的，且该第二损失值可以用于表示：一级类目预测模块的损失值。示例性地，第二损失函数可以是负对数损失函数，该负对数损失函数的表达式可以参见式2：

其中，Loss_cls1表示第二损失值，n表示层次分类模型中存储的一级类目的数量，n表示层次分类模型中存储的一级类目的数量，n为正整数，示例性地，n可以为44；i表示第i个一级类目，i为正整数，y_i表示第i个一级类目的真实值，a_i表示第i个一级类目的预测概率。示例性地，标准一级类目对应的真实值可以为1，除标准一级类目以外的其他一级类目的真实值均可以为0，那么，可以理解，当第i个一级类目为标准一级类目时，y_i＝1，a_i为上述第二预测概率。

具体应用中，第三损失值可以是基于第三损失函数确定的，且该第三损失值可以用于指示：二级类目预测模块的损失值。示例性地，第三损失函数可以是如式3所示的负对数损失函数：

其中，Loss_cls2表示第三损失值，m表示层次分类模型中存储的二级类目的数量，m为正整数，示例性地，m可以为305；j表示第j个二级类目，j为正整数，y_j表示第j个二级类目的真实值，a_j表示第j个二级类目的预测概率。示例性地，标准二级类目对应的真实值可以为1，m个二级类目中，除标准二级类目以外的其他二级类目的真实值均可以为0，那么，可以理解，当第j个二级类目为标准二级类目时，y_j＝1，a_j为上述第三预测概率。

那么，基于上述描述，文本处理设备可以通过如式4所示的方式，对第一损失值、第二损失值以及第三损失值进行调和处理，以得到目标损失值。

Loss＝λ₁Loss_cls1+λ₂Loss_cls2+λ₃loss_h 式4

其中，Loss表示目标损失值，Loss_cls1表示第二损失值，λ₁为第二损失值所占权重、Loss_cls2表示第三损失值，λ₂为第三损失值所占权重，loss_h表示第一损失值，λ₃为第一损失值所占权重，且λ₁+λ₂+λ₃＝1。需要说明的是，λ₁、λ₂、λ₃可以根据实际需求进行设置，如：将参考价值较高的损失值的权重设置为较大的值，将参考值较小的损失值的权重设置为较小的值，只要满足λ₁+λ₂+λ₃＝1即可。

在又一个实施例中，当N大于1时，不难理解，文本处理设备确定出的第二预测概率可以包括：N个第二预测概率；该N个第二预测概率包括N个训练文本中，每个训练文本的标准一级类目的第二预测概率；对应地，可以理解，文本处理设备确定出的第三预测概率可以包括：N个第三预测概率；该N个第三预测概率包括N个训练文本中，每个训练文本的标准二级类目的第三预测概率。其中，每个训练文本的标准一级类目的第二预测概率是：文本处理设备基于每个训练文本的第二语义向量确定的；每个训练文本的标准二级类目的第三预测概率是：文本处理设备基于每个训练文本对应的一个或多个第二匹配特征确定的。

又由前述实施例不难理解，N个第二预测概率与N个第三预测概率一一对应，也就是说：一个第二预测概率对应一个第三预测概率，且这两个具有对应关系的预测概率均是针对同一训练文本得到的预测概率；举例来说，若训练文本A的标准一级类目为a，标准二级类目为b，那么，可以理解，a对应的第二预测概率和b对应的第三预测概率具有对应关系。那么，在此情况下，文本处理设备可以通过如下方式来基于第二预测概率和第三预测概率，确定目标损失值：文本处理设备基于N个第二预测概率和N个第三预测概率，得到第一损失值，并基于N个训练文本中任一训练文本的标准一级类目的第二预测概率，来确定第二损失值；以及，基于该任一训练文本的标准二级类目的第三预测概率，来确定第三损失值；那么，进一步地，文本处理设备可以对第一损失值、第二损失值以及第三损失值进行调和处理，最终得到目标损失值。

具体地，文本处理设备可以通过如式5所示的损失函数，来计算得到N个第二预测概率和N个第三预测概率对应的第一损失值。

其中，N为训练文本的数量；k表示第k个训练文本，k为正整数；l2_score_k表示第k个训练文本的标准二级类目的第三预测概率；

表示第k个训练文本的标准一级类目的第二预测概率，λ为超参数。

此外，文本处理设备在基于N个训练文本中任一训练文本的标准一级类目的第二预测概率，确定第二损失值，以及基于任一训练文本的标准二级类目的第三预测概率确定第三损失值时，可以具体通过如下方式：文本处理设备基于该任一训练文本的标准一级类目，确定该任一训练文本的标准一级类目的第一真实值；示例性地，标准一级类目的真实值可以为1。进一步地，文本处理设备可以根据第一真实值，以及该任一训练文本的标准一级类目的第二预测概率，确定第二损失值，文本处理设备确定第二损失值时，采用的损失函数可具体参见上述式2的相关描述，本申请在此不再赘述，基于上述式2的相关描述可见，第二损失值与该任一训练文本的标准一级类目的第二预测概率呈负相关关系。那么，同理地，文本处理设备可以基于任一训练文本的标准二级类目，确定该任一训练文本的标准二级类目的第二真实值；并进一步地根据第二真实值，以及该任一训练文本的标准二级类目的第三预测概率，确定第三损失值。文本处理设备在确定第三损失值时，采用的损失函数可以参见上述式2的相关描述，本申请在此不再赘述，基于上述式2的相关描述可见，第三损失值与该任一训练文本的标准二级类目的第三预测概率呈负相关关系。

基于上述描述，不难理解的是，文本处理设备可以基于N个训练文本，确定出N个目标损失值，那么，也就是说，文本处理设备可以对层次分类模型进行N次模型优化处理，或者说，文本处理设备可以对层次分类模型进行N次参数调整，每次参数调整所依赖的目标损失值是基于不同的训练文本确定出来的。其中，需要说明的是，由于不同的训练文本对应的标准一级类目的第二预测概率和标准二级类目的第三预测概率可能不相同，那么，也就使得文本处理设备在确定每个目标损失值时所用第二损失值和第三损失值可能不同；同时，又由于第一损失值是基于N个第二预测概率和N个第三预测概率确定出的，那么，也就使得文本处理设备在确定每个目标损失值时所用的第一损失值相同。

本申请中，文本处理设备在对层次分类模型进行优化时，是通过参考第一损失值、第二损失值以及第三损失值的加权求和结果来进行的。那么，由于第一损失值是基于训练文本的标准二级类目的第三概率值，以及该训练文本的标准一级类目的第二概率值确定出的，而标准二级类目和标准一级类目之间又存在层级关系，那么，可见，文本处理设备采用本申请提供的模型优化方法对层次分类模型进行优化处理，可以使得该层次分类模型在进行文本处理时，充分利用上级类目(如一级类目)和下级类目(如二级类目)之间的层级关系，从而使得优化后的层次分类模型预测出的一级类目和二级类目的一致性可以得到有效的提升，进而提升了优化后的层次分类模型在进行文本处理时的准确率。

基于上述描述，在文本处理设备完成模型优化处理，得到优化后的层次分类模型之后，可以采用该优化后的层次分类模型对待预测文本进行文本处理(如：层次分类处理)。具体地，请参见图4，图4是本申请实施例提供的一种文本处理方法，该文本处理方法可以由上述提及的文本处理设备执行，如图4所示，该方法包括：

S401，获取待预测文本的第一语义向量。

在一个实施例中，步骤S401的具体实施方式可以参见步骤S201中相关描述，本申请在此不作赘述。

S402，将第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征。

具体应用中，该一个或多个第一匹配特征中的每个第一匹配特征，都是基于多个不同的匹配特征融合得到的，那么，也就是说，文本处理设备可以通过多匹配机制来构建第一匹配特征。示例性地，上述提及的多个不同的匹配特征可以包括：语义差异特征、向量相似特征、交互特征。其中，语义差异特征可以用于指示：待预测文本的语义与二级类目的语义之间的差异度；向量相似特征可以用于指示：待预测文本与二级类目之间的相似度；交互特征用于指示：待预测文本与二级类目之间的相关性。具体地，交互特征可以指：第一语义向量与二级类目的词向量之间进行交互式匹配后得到的特征。所谓的交互式匹配可以理解为：对于A、B两个文本内容(如：句子、词语等)，在文本处理设备提取文本内容A的第一个字符的特征的时候，可以将该第一个字符对应的词向量与文本内容B中每个单词的词向量进行对比，从而提取出第一个字符与文本内容B的相关性，进而使得文本处理设备可以基于相关性确定出交互特征。

又由前述可知，预设词向量集包括：一个或多个二级类目，以及一个或多个二级类目中每个二级类目的词向量。那么，基于此，文本处理设备可以通过如下方式得到一个或多个第一匹配特征：文本处理设备先遍历预设词向量集中的一个或多个二级类目，并将当前遍历的二级类目的词向量和第一语义向量进行向量匹配处理，以得到向量相似特征；然后，文本处理设备可以将当前遍历的二级类目的词向量与第一语义向量进行交互式匹配处理，得到交互特征；以及，文本处理设备可以将当前遍历的二级类目的词向量与第一语义向量进行语义匹配处理，得到语义差异特征；那么，当文本处理设备得到向量相似特征、交互特征和语义差异特征之后，进一步地，该文本处理设备可以对向量相似特征、交互特征以及语义差异特征进行特征融合处理，得到当前遍历的二级类目对应的第一匹配特征；示例性地，文本处理设备可以通过对向量相似特征、交互特征以及语义差异特征进行点乘或者相加，来实现对向量相似特征、交互特征以及语义差异特征的特征融合处理。那么，可以理解，通过此种方式，当文本处理设备遍历预设词向量集结束之后，便可以得到上述提及的一个或多个第一匹配特征。

为了便于更好的理解本申请提供的文本处理方法，以下结合各个匹配特征的具体计算方式，来对本申请中，文本处理设备确定一个或多个第一匹配特征中任一第一匹配特征的方式进行详细说明。

具体实现中，向量相似特征可以是余弦相似度，那么，文本处理设备可以通过式6所示的计算方式，计算得到向量相似特征：

其中，Logits1表示余弦相似度，L1_emb表示第一语义向量，其属于向量空间R^m*1(m和1用于表示向量空间的维度)，f_{l2_cls_emb}表示一个二级类目的词向量，其属于向量空间R^l2 ^_num*d(l2_num表示二级类目的总数，d表示每个二级类目的词向量的维度，通常取值为200-500)；

可以理解为一种双线性分解方式；U和V均为参数映射矩阵，U∈R^m*l2_num，V∈R^d*1。那么，基于此，(U*L1_emb)和(V*f_{l2_cls_emb})可以理解为两个维度为l2_num*1的向量；(U*L1_emb)*(V*f_{l2_cls_emb})^T可以理解为哈达玛乘积。

可选地，上述提及的交互特征可以通过文本处理设备采用如式7所示的计算方式计算得到：

Logits2＝L1_emb*W*f_{l2_cls_emb} 式7

其中，Logits2表示交互特征，L1_emb表示第一语义向量，其属于向量空间R^m*1(m和1用于表示向量空间的维度)，f_{l2_cls_emb}表示一个二级类目的词向量，其属于向量空间R^l2_num*d(l2_num表示二级类目的总数，d表示每个二级类目的词向量的维度，通常取值为200-500)；W为参数矩阵。

可选地，上述提及的语义差异特征，可以通过文本处理设备对第一语义向量和二级类目的词向量进行向量做差处理得到。具体地，文本处理设备可以采用如式8所示的计算方式得到语义差异特征：

S403，采用优化后的层次分类模型，基于一个或多个第一匹配特征和一个或多个一级预测类目，从一个或多个二级类目中确定待预测文本的目标二级类目。

在具体实现中，文本处理设备可以基于一个或多个第一匹配特征和一个或多个一级预测类目，确定一个或多个二级类目中每个二级类目的第一预测概率，其中，一个或多个一级预测类目主要用于：辅助该文本处理设备确定各个二级类目的预测概率，具体地，基于该一个或多个一级预测类目，可以使得文本处理设备确定出的预测概率较高的二级类目，集中在一个或多个一级预测类目对应的各个二级类目中；此外，任一二级类目的第一预测概率用于指示：优化后的层次分类模型，将任意一个二级类目作为待预测文本的目标二级类目的概率；那么，进一步地，文本处理设备可以基于一个或多个二级类目中每个二级类目的第一预测概率，从一个或多个二级类目中确定待预测文本的目标二级类目。其中，目标二级类目的第一预测概率大于一个或多个二级类目中，除目标二级类目以外的任意二级类目的第一预测概率。那么，也就是说，目标二级类目的第一预测概率，是这一个或多个二级类目对应的各个第一预测概率中最大的第一预测概率。

S404，根据预先建立的二级类目和一级类目的对应关系，获取目标二级类目对应的目标一级类目。

又由前述可知，每个二级类目都有对应的一级类目，也就是说，任一二级类目和其对一个的一级类目之间都具备对应关系，那么，也就不难理解，文本处理设备可以根据这种对应关系，确定出目标二级类目对应的一级类目，并进一步将该确定出的一级类目作为目标一级类目。

S405，生成待预测文本的类目信息。

其中，类目信息包含目标一级类目和目标二级类目。

基于上述步骤S401-S405的相关描述，在一个实施例中，待预测文本可以是文本处理设备基于数据查询请求解析得到的文本；那么，具体地，当本申请应用于数据查询场景中时，文本处理设备可以先获取数据查询请求，该数据查询请求携带查询信息，示例性地，查询信息可以是任意的多媒体信息，如：语音信息、视频信息等；然后，文本处理设备可以对该查询信息进行解析处理，以得到待预测文本，可以理解的是，查询信息与待预测文本指示的查询关键词相同，也就是说：当查询信息是语音信息时，文本处理设备可以对该语音信息进行语音识别，以得到该语音信息对应的文本信息，该文本信息即可以作为待预测文本；当查询信息是视频信息时，文本处理设备可以对该视频信息进行视频理解，以得到该视频信息对应的视频语义信息，该视频语义信息可以是文本内容，那么该文本内容即可以作为待预测文本。那么基于此，进一步地，文本处理设备可以按照上述步骤S401-S405生成该待预测文本的类目信息；在文本处理设备得到该类目信息之后，还可以基于该类目信息，在数据库中查找与类目信息包括的目标一级类目匹配，且与该类目信息包括的目标二级类目也匹配的数据内容，并可以在查找成功之后输出匹配到的数据内容。那么，由于生成的类目信息较为准确，因此对于发起数据查询请求的用户(或设备)来说，可以更快地接收到需要查询的数据内容，那么，可见，采用本申请提供的文本处理方法，在一定程度上可以提升数据查询效率和用户体验。

基于上述描述不难理解，本申请可以适用于所有需要提取文本的类目信息的业务场景中，如：搜索场景中的搜索内容分类处理，网购场景中各个电商系统的商品标题分类，视频播放场景中各个视频内容的分类处理等等，其应用原理和上述数据查询场景类似，本申请在此不再一一举例说明。

在本申请中，文本处理设备通过采用多匹配机制来构建多角度的匹配特征，从而基于该多角度的匹配特征确定出第一匹配特征，强化了第一语义向量与二级类目的词向量之间的交互，从而使得该文本处理设备可以捕捉到待预测文本和各个二级类目之间更深层次的语义信息，进一步使得文本处理设备采用优化后的层次分类模型，可以预测得到更加准确的类目信息。此外，由于二级类目本身也是具有语义信息的，那么，本申请通过对第一语义向量和二级类目的词向量进行匹配处理，还可以增强层次分类模型的识别语义信息的能力。

基于上述文本处理方法的相关描述，本申请还公开了一种文本处理装置，该文本处理装置可以是运行与上述所提及的文本处理设备中的一个计算机程序(包括程序代码)。该文本处理装置可以执行如图2和图4所示的文本处理方法，请参见图5，该文本处理装置至少可以包括：第一预测单元501、匹配处理单元502、第二预测单元503、处理单元504，以及生成单元505。其中：

第一预测单元501，用于获取待预测文本的第一语义向量，并采用优化后的层次分类模型，基于所述第一语义向量预测所述待预测文本的一级类目，得到一个或多个一级预测类目；

匹配处理单元502，用于将所述第一语义向量与预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征，所述预设词向量集包括：一个或多个二级类目，以及所述一个或多个二级类目中每个二级类目的词向量；

第二预测单元503，用于采用所述优化后的层次分类模型，基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目；

处理单元504，用于根据预先建立的二级类目和一级类目的对应关系，获取所述目标二级类目对应的目标一级类目；

生成单元505，用于生成所述待预测文本的类目信息，所述类目信息包含所述目标一级类目和所述目标二级类目。

在一种实施方式中，匹配处理单元502可以具体用于：

遍历所述预设词向量集中的一个或多个二级类目，将当前遍历的二级类目的词向量和所述第一语义向量进行向量匹配处理，得到向量相似特征，所述向量相似特征用于指示：所述待预测文本与所述当前遍历的二级类目之间的相似度；

将所述当前遍历的二级类目的词向量与所述第一语义向量进行交互式匹配处理，得到交互特征，所述交互特征用于指示：所述待预测文本与所述当前遍历的二级类目之间的相关性；

将所述当前遍历的二级类目的词向量与所述第一语义向量进行语义匹配处理，得到语义差异特征，所述语义差异特征用于指示：所述待预测文本的语义与所述当前遍历的二级类目的语义之间的差异度；

对所述向量相似特征、所述交互特征以及所述语义差异特征进行特征融合处理，得到所述当前遍历的二级类目对应的第一匹配特征，以在遍历结束之后得到所述一个或多个第一匹配特征。

在又一种实施方式中，所述文本处理装置还包括：模型优化单元506，该模型优化单元506可以用于执行：

获取训练样本，所述训练样本包括:训练文本，以及所述训练文本的标准一级类目和标准二级类目；

对所述训练文本进行解码处理，得到所述训练文本的第二语义向量；

采用层次分类模型，基于所述第二语义向量确定所述标准一级类目的第二预测概率，所述第二预测概率用于指示：所述层次分类模型输出所述标准一级类目的概率；

将所述第二语义向量与所述一个或多个二级类目中每个二级类目的词向量进行匹配处理，以得到一个或多个第二匹配特征；

采用所述层次分类模型，基于所述一个或多个第二匹配特征确定所述标准二级类目的第三预测概率，所述第三预测概率用于指示：所述层次分类模型输出所述标准二级类目的概率；

基于所述第二预测概率以及所述第三预测概率，确定目标损失值，并按照减小所述目标损失值的方向，优化所述层次分类模型的模型参数，以得到所述优化后的层次分类模型。

在又一种实施方式中，所述训练样本包括：N个训练文本，以及所述N个训练文本中每个训练文本的标准一级类目和标准二级类目，N为正整数，且N＞1；

确定的第二预测概率包括N个第二预测概率，所述N个第二预测概率包括所述N个训练文本中，每个训练文本的标准一级类目的第二预测概率，所述每个训练文本的标准一级类目的第二预测概率是基于所述每个训练文本的第二语义向量确定的；

确定的第三预测概率包括N个第三预测概率，所述N个第三预测概率包括所述N个训练文本中，每个训练文本的标准二级类目的第三预测概率，所述每个训练文本的标准二级类目的第三预测概率是基于所述每个训练文本对应的一个或多个第二匹配特征确定的；

所述模型优化单元506，还用于执行：

基于所述N个第二预测概率和N个第三预测概率，得到第一损失值；

基于所述N个训练文本中任一训练文本的标准一级类目的第二预测概率，确定第二损失值，并基于所述任一训练文本的标准二级类目的第三预测概率确定第三损失值；

基于所述第一损失值、所述第二损失值以及所述第三损失值，确定所述目标损失值。

在又一种实施方式中，所述模型优化单元506还用于执行：

基于所述任一训练文本的标准一级类目，确定所述任一训练文本的标准一级类目的第一真实值；

根据所述第一真实值，以及所述任一训练文本的标准一级类目的第二预测概率，确定所述第二损失值，所述第二损失值与所述任一训练文本的标准一级类目的第二预测概率呈负相关关系；

基于所述任一训练文本的标准二级类目，确定所述任一训练文本的标准二级类目的第二真实值；

根据所述第二真实值，以及所述任一训练文本的标准二级类目的第三预测概率，确定所述第三损失值，所述第三损失值与所述任一训练文本的标准二级类目的第三预测概率呈负相关关系。

在又一种实施方式中，第二预测单元503还用于执行：

基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，确定所述一个或多个二级类目中每个二级类目的第一预测概率，任一二级类目的第一预测概率用于指示：所述优化后的层次分类模型将所述任一二级类目作为所述待预测文本的目标二级类目的概率；

基于所述一个或多个二级类目中每个二级类目的第一预测概率，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目，所述目标二级类目的第一预测概率大于所述一个或多个二级类目中，除所述目标二级类目以外的任意二级类目的第一预测概率。

在又一种实施方式中，所述处理单元504还可以用于执行：

获取数据查询请求，所述数据查询请求携带查询信息；

对所述查询信息进行解析处理，得到所述待预测文本，所述查询信息与所述待预测文本指示的查询关键词相同；

在所述生成单元505生成所述待预测文本的类目信息之后，所述处理单元504还可以用于：

查找与所述目标一级类目匹配，且与所述目标二级类目匹配的数据内容；

输出匹配到的数据内容。

根据本申请的一个实施例，图2和图4所示的方法所涉及各个步骤可以是由图5所示的文本处理装置中的各个单元来执行的。例如，图2所示的步骤S201至步骤S206均可由图5所示的文本处理装置中的模型优化单元506来执行。再如，图4所示的步骤S401可由图5所示的文本处理装置中的第一预测单元501来执行；步骤S402可由图5所示的文本处理装置中的匹配处理单元502来执行，步骤S403可由图5所示的文本处理装置中的第二预测单元503来执行，步骤S404可由图5所示的文本处理装置中的处理单元504来执行，步骤S405可由图5所示的文本处理装置中的生成单元505来执行。

根据本申请的另一个实施例，图5所示的文本处理装置中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。在本申请的其它实施例中，上述基于文本处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4所示的方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图5中所示的文本处理装置，以及来实现本申请实施例的文本处理方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例以及装置实施例的相关描述，本申请实施例还提供了一种文本处理设备，请参见图6。该文本处理设备至少包括处理器601和计算机存储介质602，且文本处理设备的处理器601和计算机存储介质602可通过总线或其他方式连接。

其中，上述提及的计算机存储介质602是文本处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质602既可以包括文本处理设备中的内置存储介质，当然也可以包括文本处理设备所支持的扩展存储介质。计算机存储介质602提供存储空间，该存储空间存储了文本处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器601加载并执行的一条或多条的计算机程序，这些计算机程序可以是一个或一个以上的程序代码。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。所述处理器601(或称CPU(CentralProcessing Unit，中央处理器))是文本处理设备的计算核心以及控制核心，其适于实现一条或多条计算机程序，具体适于加载并执行一条或多条计算机程序从而实现相应方法流程或相应功能。

在一个实施例中，可由处理器601加载并执行计算机存储介质602中存放的一条或多条计算机程序，以实现上述有关图2和图4所示的方法实施例中的相应方法步骤；具体实现中，计算机存储介质602中的一条或多条计算机程序由处理器601加载并执行如下步骤：

在一种实施方式中，处理器601可以具体用于加载并执行：

在又一种实施方式中，所述处理器601可以具体用于加载并执行：

所述处理器601还可以具体用于加载并执行：

在又一种实施方式中，所述处理器601还可以具体用于加载并执行：

获取数据查询请求，所述数据查询请求携带查询信息；

在所述处理器601具体用于加载并执行：生成所述待预测文本的类目信息之后，所述处理器601还可以具体用于加载并执行：

输出匹配到的数据内容。

本申请还提供了一种存储介质，该存储介质中存储了上述文本处理方法的计算机程序，该计算机程序包括程序指令，当一个或多个处理器加载并执行该程序指令，可以实现实施例中对文本处理方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，程序指令可以被部署在一个或多个能够相互通信的设备上执行。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。文本处理设备中的处理器从计算机可读存储介质读取该计算机指令，然后执行该计算机指令，进而使得该文本处理设备能够执行上述图2和图4所示的文本处理方法实施例方面的各种可选方式中提供的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述文本处理方法的实施例的流程。其中，所述的计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims

1.一种文本处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述将所述第一语义向量与所述预设词向量集中的每个二级类目的词向量进行匹配处理，以得到一个或多个第一匹配特征，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练样本，所述训练样本包括：训练文本，以及所述训练文本的标准一级类目和标准二级类目；

4.根据权利要求3所述的方法，其特征在于，所述训练样本包括：N个训练文本，以及所述N个训练文本中每个训练文本的标准一级类目和标准二级类目，N为正整数，且N＞1；

所述基于所述第二预测概率以及所述第三预测概率，确定目标损失值，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述N个训练文本中任一训练文本的标准一级类目的第二预测概率，确定第二损失值，并基于所述任一训练文本的标准二级类目的第三预测概率确定第三损失值；包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述一个或多个第一匹配特征和所述一个或多个一级预测类目，从所述一个或多个二级类目中确定所述待预测文本的目标二级类目，包括：

7.根据权利要求1所述的方法，其特征在于，所述获取待预测文本的第一语义向量之前，还包括：

获取数据查询请求，所述数据查询请求携带查询信息；

所述生成所述待预测文本的类目信息之后，还包括：

输出匹配到的数据内容。

8.一种文本处理装置，其特征在于，包括：

9.一种文本处理设备，其特征在于，包括：

处理器，适于实现一条或多条计算机程序；

计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如权利要求1-7中任一项所述的文本处理方法。

10.一种存储介质，所述存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由处理器加载并执行如权利要求1-7中任一项所述的文本处理方法。