CN110781305A - 基于分类模型的文本分类方法及装置，以及模型训练方法 - Google Patents

Abstract

本公开是关于一种基于分类模型的文本分类方法及装置以及模型训练方法。其中基于分类模型的文本分类方法，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，方法包括：输入文本，文本包括语句，语句包括词，形成每个语句的词向量表示；通过词编码器层的第一双向编码网络，得到每个语句的词级特征向量；通过词拼接层得到每个语句的语句向量，形成文本的语句向量表示；通过语句编码器层的第二双向编码网络，得到文本的句级特征向量；通过语句拼接层，得到文本的文本向量；通过输出层，得到文本的类别置信度。通过将词级特征和语句级特征进行组合并且应用多头注意力机制，提高了特征准确性，保证了结果可靠性，改善了用户体验。

Description

基于分类模型的文本分类方法及装置，以及模型训练方法

技术领域

本公开涉及智能语义识别领域，尤其涉及基于分类模型的文本分类方法及装置，以及分类模型的模型训练方法。

背景技术

随着语音识别技术的发展，通过用户语音提供指令的人工智能产品逐渐增多。由于语言的复杂性，许多单实体信息含有多种含义，譬如“黄鹤楼”有可能是景点、小区，也有可能是香烟名称，“书香园”有可能是个小区、宾馆或者小学。

针对这种问题，目前一些技术是通过建立知识图谱，然后利用实体词及其上下文信息构造相关词袋或语义特征，通过词典或检索排序获取该实体的候选实体词，然后利用该实体及其上下文判断与候选实体的相似度，通过相似度打分排序，得到相似度最高的目标实体。

但是实际语音交互应用中，往往用户输入的文本很短，实体词缺少上下文信息，多歧义实体词缺乏泛在环境知识，同时上述技术依赖于开放的百科类数据，这类数据缺乏相应的垂域知识，不满足实际应用时对数据的需求，导致语音交互过程中识别准确率低。

发明内容

为克服相关技术中存在的问题，本公开提供一种基于分类模型的文本分类方法及装置，以及分类模型的模型训练方法。

根据本公开实施例的第一方面，提供一种基于分类模型的文本分类方法，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，方法包括：输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示；通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量；通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示；通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量；通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量；通过输出层，基于文本向量，得到文本的类别置信度。

在一实施例中，通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示，包括：基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；将多个单头语句向量表示进行拼接，得到文本的语句向量表示。

在一实施例中，通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量，包括：基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；将多个单头文本向量拼接，得到文本的文本向量。

在一实施例中，第一双向编码网络和/或第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。

在一实施例中，通过输出层，基于文本向量，得到文本的类别置信度，包括：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。

根据本公开实施例的第二方面，提供一种分类模型的模型训练方法，其中分类模型用于第一方面的文本分类方法进行文本分类，方法包括：通过搜索，获取搜索信息；将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识；将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。

在一实施例中，通过搜索，获取搜索信息包括：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。

根据本公开实施例的第三方面，提供一种基于分类模型的文本分类装置，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，装置包括：获取单元，用于输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示；词编码单元，用于通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量；词拼接单元，用于通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示；语句编码单元，用于通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量；语句拼接单元，用于通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量；类别判别单元，用于通过输出层，基于文本向量，得到文本的类别置信度。

在一实施例中，词拼接单元包括：语句注意力识别单元，用于基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；语句向量拼接单元，用于将多个单头语句向量表示进行拼接，得到文本的语句向量表示。

在一实施例中，语句拼接单元包括：文本注意力识别单元，用于基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；文本向量拼接单元，用于将多个单头文本向量拼接，得到文本的文本向量。

在一实施例中，第一双向编码网络和/或第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。

在一实施例中，类别判别单元还用于：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。

根据本公开实施例的第四方面，提供一种分类模型的模型训练装置，其中分类模型用于第一方面的文本分类方法进行文本分类，装置包括：搜索单元，用于通过搜索，获取搜索信息；结构化单元，用于将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；标识单元，用于对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识；训练反馈单元，用于将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。

在一实施例中，搜索单元还用于：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。

根据本公开实施例的第五方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的基于分类模型的文本分类方法或第二方面的分类模型的模型训练方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的基于分类模型的文本分类方法或第二方面的分类模型的模型训练方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过正反向的特征提取，提高获取的特征的准确性，多头注意力机制能够有效提高获取结果的可靠性，同时，通过引入搜索引擎数据，方便的扩充了训练文本，提高了模型训练效果和效率，使得模型能够对各领域的文本分类都能进行准确识别。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种语音服务场景示意图。

图2是根据一示例性实施例示出的一种基于分类模型的文本分类方法的流程示意图。

图3是根据一示例性实施例示出的另一种基于分类模型的文本分类方法的流程示意图。

图4是根据一示例性实施例示出的另一种基于分类模型的文本分类方法的流程示意图。

图5是根据一示例性实施例示出的一种文本分类模型架构示意图。

图6是根据一示例性实施例示出的一种分类模型的模型训练方法的流程示意图。

图7是根据一示例性实施例示出的一种文本类别分类装置的示意框图。

图8是根据一示例性实施例示出的一种分类模型的模型训练装置的示意框图。

图9是根据一示例性实施例示出的一种装置的示意框图。

图10是根据一示例性实施例示出的一种电子装置的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

为了能够更准确的提供人工智能语音服务，本公开实施例提供了一种基于分类模型的文本分类方法10和一种分类模型的模型训练方法20，图1示出了一种常见的语音服务场景，如图1所示，可以包括语言服务终端和云端服务器，其中，语言服务终端可以是智能音箱、手机等设备，主要用于语音的采集，接收用户的语音信息，并上传云端服务器，云端服务器根据获取的语音通过分类模型对文本分类判断语义，并根据结果给终端发送相应的指令。而在训练模型时，可以通过搜索引擎从外部数据库获取大量训练样本。

图2是根据一示例性实施例示出的一种基于分类模型的文本分类方法10，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，包括步骤S11-S16，以下对各个步骤进行详细说明：

S11，输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示。

获取需要判断类别的文本，文本通过分词器或其他手段，将文本分为语句，每个语句分为词。在一些场景中，如智能音箱接收用户的语音指令，可以在本地或在云端服务器将语音转换为文字,通过文字从已构造好的语料库中获取该文字在搜索引擎的检索结果，即文本内容。根据得到的词，可以通过预先训练好的词向量矩阵将词向量化，得到每个词对应的词向量，语句的词向量表示是由该语句的每个词对应的词向量按序排列组成的，其不仅代表每个词的向量而且还代表之间的顺序关系。

S12，通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量。

词编码器层可以包括第一双向编码网络，如长短期记忆网络(LSTM)能够更好地捕捉较长距离的依赖关系，表达出词在整个语句中的关系，而本公开实施例采用双向编码网络，如正向和反向的长短期记忆网络，可以获取从前到后、从后到前两个方面的信息，因此可以更好地捕捉该词在语句中双向的语义依赖，在自然语言处理任务中，能够更好的获取上下文信息。通过正向长短期记忆网络和反向长短期记忆网络，得到每个词的正向词特征和反向词特征。

将通过正向和反向长短期记忆网络得到的词特征进行拼接(concat)，得到每个词的词特征向量，形成每个语句的词级特征向量。其中，语句的词级特征向量是由该语句的每个词的词特征向量按序排列组成的，通过正反两个方向的特征提取，能够更好的表达词在语句中的作用，该种方式得到的语句的词级特征向量更加准确。

S13，通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示。

对每个语句的词级特征向量中的词向量进行拼接即得到了对应语句的语句向量，通过该种方式，得到文本中每个语句的语句向量，同时，每个语句向量根据语句在文本中的顺序进行排列形成了文本的语句向量表示。

在一实施例中，如图3所示，步骤S13包括：步骤S131，基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；步骤S132，将多个单头语句向量表示进行拼接，得到文本的语句向量表示。由于在文本分类任务中，各个词对句子本身的语义的贡献程度不同，引入多头注意力机制(Multi-head Attention)能够很好地区分各个词语对句子语义的不同贡献，从而调整不同词语的权重形成更有侧重点的词向量信息，另通过多头注意力机制，并行的多次进行判断和表达，并将多次得到的单头向量进行拼接，调整输入文本的语句向量表示，从而获得更准确的结果。

通过利用多头注意力机制，调整词向量，从而获得的更新后的词向量更加准确和收敛。多头注意力机制的公式表达为：

u_i＝tanh(W_wh_i+b_w)

s_i＝∑_ta_ih_i

s_iconcat＝[s_i1,s_i2,s_i3,s_i4]

其中h_i为通过第一双向网络，如Bi-LSTM，获取的词向量，首先通过单层感知获得h_i的隐藏向量u_i，随后通过计算u_i与其上下文向量u_w之间的相似度，其中，u_w通过随机初始化获取初始值，并通过训练学习。通过softmax函数获取归一化的词重要性权重系数a_i，得到一层的s_i，相应根据同样原理得到多层的语句分向量，然后进行拼接，最后得到语句向量s_iconcat。本公开中多头注意力机制能够有效地学习到不同侧重点的语义信息。

S14，通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量。

语句编码器层可以包括第二双向编码网络，如正向长短期记忆网络和反向长短期记忆网络，分别对每个语句向量进行正向特征提取和反向特征提取，分别得到语句向量的正向语句特征和反向语句特征；将正向语句特征和反向语句特征进行拼接，得到每个语句特征向量。与词进行特征提取类似的，语句也可以通过正向和反向的长短期记忆网络进行提取，从而根据语句在整个文本中的位置和作用，得到语句更准确的语句特征向量。并将语句向量按照语句在文本中的顺序，形成文本的句级特征向量，其不仅代表每个语句的向量而且还代表之间的顺序关系。

S15，通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量。

一段文本中，将文本全部语句的语句特征向量进行拼接，即得到了该文本的文本向量。

在一实施例中，如图4所示，步骤S15包括：步骤S151，基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；步骤S152，将多个单头文本向量拼接，得到文本的文本向量。与得到语句向量类似的，通过多头注意力机制得到文本向量，并行的多次进行判断和表达，得到多个单头文本向量，再对单头文本向量进行拼接，得到该文本的文本向量，因此通过多头注意力机制能够有效地学习到不同侧重点的语义信息，得到更加准确的文本向量。

S16，通过输出层，基于文本向量，得到文本的类别置信度。

根据得到的文本向量，进行分类判断，得到文本的类别置信度。在一实施例中，步骤S16可以包括：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。可以通过全连接层(FC)和归一化函数(softmax)对得到的文本向量进行分类，得到各分类的置信度。

通过上述任一实施例，能够使得文本中的词、句更准确的进行向量表达，从而得到更准确的文本特征，使得分类结果更加可靠，从而保证了在有多义词的文本中，语义理解的准确性。

在语音交互服务领域，如智能音箱或手机等终端设备获取用户的语音指令后，通过上述方式在云端进行分类，对句子很短的语音转化为文字，并进一步获取其搜索文本，通过将实体消岐问题转换为文本分类问题，用文本分类模型进行识别和判断，有效地获取了多垂域词表的垂域概率置信度，有效解决了多歧义实体的误召回问题。

基于上述发明构思，本公开提供一种文本分类模型，文本分类模型可以用于前述任一例的文本类别分类方法对文本进行分类，图5示出了一种文本分类模型的架构，上述实施例中，可以根据实际需要采用其中任意多层或全部层。如图5所示，文本分类模型可以包括，词编码器层、词拼接层、语句编码器层、语句拼接层和输出层。

基于上述实施例的文本类别分类方法，通过构建并训练好的文本分类模型，能够高效准确的获取文本分类信息，进而能够获取准确的文本语义信息，保证了在语音人工智能应用中用户的体验。

基于同一个发明构思，本公开还提供一种分类模型的模型训练方法20，如图6所示，模型训练方法20包括：步骤S21-S24，以下对各个步骤进行详细说明：

S21，通过搜索，获取搜索信息。

可以通过对词进行搜索，从网页、服务器等地获取搜索的结果，作为训练素材。可以建立实体词表，并且根据实际领域需求，对实体词以领域分类，如视频、音乐、房产、旅游等相关垂域的实体词表，根据词表中的词进行搜索。

在一实施例中，通过搜索，获取搜索信息包括：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。通过搜索引擎进行搜索，能够很容易的获取大量的素材，保证了训练模型的样本数量。

S22，将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集。

将搜索得到的内容进行加工，可以将标题信息、描述信息进行结构化提取，提取得到文本格式的多个用于训练的文本，形成训练文本集。

S23，对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识。

可以通过人工标注的方式或其他已训练好的分类模型进行初步标识再核对的方式，将获取的文本进行标识，标识好的文本即为训练样本。可以基于建立的实体词表的分类作为分类体系，对文本进行分类。

S24，将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。

通过将标识好的文本输入分类模型，根据分类模型输出的分类与之前标注的标准分类标识进行比较，根据比较结果，可以通过损失函数进行反馈，从而调整分类模型参数，达到分类模型训练的目的。当分类模型的输出结果准确性高于一个预设阈值时，可以停止训练。

通过以上实施例的模型训练方法，能够方便高效的获取大量的文本素材，从而提高了训练效果，保证了模型在实际应用中输出结果的准确性。通过引入搜索引擎的数据有效利用了用户对多歧义实体的认知和评价，能够有效地表征多歧义实体在用户泛在知识环境中的认知，能够高效、可扩展地实现多种类别的垂域实体的置信度评价。

基于同一个发明构思，图7示出了一种基于分类模型的文本分类装置100，分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，如图7所示，文本分类装置100包括：获取单元110，用于输入文本，文本包括至少一个语句，每个语句包括至少一个词，对每个词进行向量化得到词向量，形成每个语句的词向量表示；词编码单元120，用于通过词编码器层的第一双向编码网络，分别对每个语句的词向量表示进行正向特征提取和反向特征提取，得到每个语句的词级特征向量；词拼接单元130，用于通过词拼接层，分别对每个语句的词级特征向量进行拼接，得到每个语句的语句向量，形成文本的语句向量表示；语句编码单元140，用于通过语句编码器层的第二双向编码网络，分别对文本中的语句向量表示进行正向特征提取和反向特征提取，得到文本的句级特征向量；语句拼接单元150，用于通过语句拼接层，对文本的句级特征向量进行拼接，得到文本的文本向量；类别判别单元160，用于通过输出层，基于文本向量，得到文本的类别置信度。

在一实施例中，词拼接单元130包括：语句注意力识别单元，用于基于每个语句对应的词级特征向量，利用多头注意力机制施加词向量权重，得到语句调整词特征权重后的多个单头语句向量表示；语句向量拼接单元，用于将多个单头语句向量表示进行拼接，得到文本的语句向量表示。

在一实施例中，语句拼接单元150包括：文本注意力识别单元，用于基于文本的句级特征向量，利用多头注意力机制施加语句向量权重，得到文本调整句特征权重后的多个单头文本向量；文本向量拼接单元，用于将多个单头文本向量拼接，得到文本的文本向量。

在一实施例中，第一双向编码网络和/或第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。

在一实施例中，类别判别单元160还用于：基于文本向量，通过全连接层和归一化函数，得到文本的类别置信度。

关于上述实施例中的基于分类模型的文本类别分类装置100，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于同一个发明构思，图8示出了一种分类模型的模型训练装置200，其中分类模型用于前述任一实施例的文本分类方法进行文本分类，如图8所示，模型训练装置200包括：搜索单元210，用于通过搜索，获取搜索信息；结构化单元220，用于将搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；标识单元230，用于对每个训练文本进行分类，得到与每个训练文本对应的标准分类标识；训练反馈单元240，用于将训练文本集输入分类模型，并通过标准分类标识对分类模型输出的分类结果进行监督，根据监督结果调整分类模型的参数。

在一实施例中，搜索单元210还用于：通过搜索引擎进行搜索，获取搜索信息，其中搜索信息包括搜索的结果中的标题信息和描述信息。

关于上述实施例中的模型训练装置200，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图9是根据一示例性实施例示出的前述任一实施例装置的示意框图。例如，装置300可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图9，装置300可以包括以下一个或多个组件：处理组件302，存储器304，电力组件306，多媒体组件308，音频组件310，输入/输出(I/O)的接口312，传感器组件314，以及通信组件316。

处理组件302通常控制装置300的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件302可以包括一个或多个模块，便于处理组件302和其他组件之间的交互。例如，处理组件302可以包括多媒体模块，以方便多媒体组件308和处理组件302之间的交互。

存储器304被配置为存储各种类型的数据以支持在装置300的操作。这些数据的示例包括用于在装置300上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件306为装置300的各种组件提供电力。电力组件306可以包括电源管理系统，一个或多个电源，及其他与为装置300生成、管理和分配电力相关联的组件。

多媒体组件308包括在所述装置300和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件310被配置为输出和/或输入音频信号。例如，音频组件310包括一个麦克风(MIC)，当装置300处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中，音频组件310还包括一个扬声器，用于输出音频信号。

I/O接口312为处理组件302和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件314包括一个或多个传感器，用于为装置300提供各个方面的状态评估。例如，传感器组件314可以检测到装置300的打开/关闭状态，组件的相对定位，例如所述组件为装置300的显示器和小键盘，传感器组件314还可以检测装置300或装置300一个组件的位置改变，用户与装置300接触的存在或不存在，装置300方位或加速/减速和装置300的温度变化。传感器组件314可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件314还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件316被配置为便于装置300和其他设备之间有线或无线方式的通信。装置300可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件316还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器304，上述指令可由装置300的处理器320执行以完成上述方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图10是根据一示例性实施例示出的一种电子装置400的框图。例如，装置400可以被提供为一服务器。参照图10，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述方法。

装置400还可以包括一个电源组件426被配置为执行装置300的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入输出(I/O)接口458。装置400可以操作基于存储在存储器432的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种基于分类模型的文本分类方法，其特征在于，所述分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，所述方法包括：

输入文本，所述文本包括至少一个语句，每个语句包括至少一个词，对每个所述词进行向量化得到词向量，形成每个所述语句的词向量表示；

通过所述词编码器层的第一双向编码网络，分别对每个所述语句的所述词向量表示进行正向特征提取和反向特征提取，得到每个所述语句的词级特征向量；

通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示；

通过所述语句编码器层的第二双向编码网络，分别对所述文本中的所述语句向量表示进行正向特征提取和反向特征提取，得到所述文本的句级特征向量；

通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量；

通过所述输出层，基于所述文本向量，得到所述文本的类别置信度。

2.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示，包括：

基于每个所述语句对应的所述词级特征向量，利用多头注意力机制施加词向量权重，得到所述语句调整词特征权重后的多个单头语句向量表示；

将多个所述单头语句向量表示进行拼接，得到所述文本的所述语句向量表示。

3.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量，包括：

基于所述文本的所述句级特征向量，利用多头注意力机制施加语句向量权重，得到所述文本调整句特征权重后的多个单头文本向量；

将多个所述单头文本向量拼接，得到所述文本的所述文本向量。

4.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述第一双向编码网络和/或所述第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。

5.根据权利要求1所述的基于分类模型的文本分类方法，其特征在于，所述通过所述输出层，基于所述文本向量，得到所述文本的类别置信度，包括：

基于所述文本向量，通过全连接层和归一化函数，得到所述文本的所述类别置信度。

6.一种分类模型的模型训练方法，其中所述分类模型用于如权利要求1-5任一项所述的文本分类方法进行文本分类，其特征在于，所述方法包括：

通过搜索，获取搜索信息；

将所述搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；

对每个所述训练文本进行分类，得到与每个所述训练文本对应的标准分类标识；

将所述训练文本集输入所述分类模型，并通过所述标准分类标识对所述分类模型输出的分类结果进行监督，根据监督结果调整所述分类模型的参数。

7.根据权利要求6所述的分类模型的模型训练方法，其特征在于，所述通过搜索，获取搜索信息包括：通过搜索引擎进行搜索，获取所述搜索信息，其中所述搜索信息包括所述搜索的结果中的标题信息和描述信息。

8.一种基于分类模型的文本分类装置，其特征在于，所述分类模型至少包括词编码器层、词拼接层、语句编码器层、语句拼接层和输出层，所述装置包括：

获取单元，用于输入文本，所述文本包括至少一个语句，每个语句包括至少一个词，对每个所述词进行向量化得到词向量，形成每个所述语句的词向量表示；

词编码单元，用于通过所述词编码器层的第一双向编码网络，分别对每个所述语句的所述词向量表示进行正向特征提取和反向特征提取，得到每个所述语句的词级特征向量；

词拼接单元，用于通过所述词拼接层，分别对每个所述语句的所述词级特征向量进行拼接，得到每个所述语句的语句向量，形成所述文本的语句向量表示；

语句编码单元，用于通过所述语句编码器层的第二双向编码网络，分别对所述文本中的所述语句向量表示进行正向特征提取和反向特征提取，得到所述文本的句级特征向量；

语句拼接单元，用于通过所述语句拼接层，对所述文本的所述句级特征向量进行拼接，得到所述文本的文本向量；

类别判别单元，用于通过所述输出层，基于所述文本向量，得到所述文本的类别置信度。

9.根据权利要求8所述的基于分类模型的文本分类装置，其特征在于，所述词拼接单元包括：

语句注意力识别单元，用于基于每个所述语句对应的所述词级特征向量，利用多头注意力机制施加词向量权重，得到所述语句调整词特征权重后的多个单头语句向量表示；

语句向量拼接单元，用于将多个所述单头语句向量表示进行拼接，得到所述文本的所述语句向量表示。

10.根据权利要求8所述的基于分类模型的文本分类装置，其特征在于，所述语句拼接单元包括：

文本注意力识别单元，用于基于所述文本的所述句级特征向量，利用多头注意力机制施加语句向量权重，得到所述文本调整句特征权重后的多个单头文本向量；

文本向量拼接单元，用于将多个所述单头文本向量拼接，得到所述文本的所述文本向量。

11.根据权利要求8所述的基于分类模型的文本分类装置，其特征在于，所述第一双向编码网络和/或所述第二双向编码网络包括：正向长短期记忆网络和反向长短期记忆网络。

12.根据权利要求8所述的基于分类模型的文本分类装置，其特征在于，所述类别判别单元还用于：基于所述文本向量，通过全连接层和归一化函数，得到所述文本的所述类别置信度。

13.一种分类模型的模型训练装置，其中所述分类模型用于如权利要求1-5任一项所述的文本分类方法进行文本分类，其特征在于，所述装置包括：

搜索单元，用于通过搜索，获取搜索信息；

结构化单元，用于将所述搜索信息进行结构化解析，得到多个训练文本，形成训练文本集；

标识单元，用于对每个所述训练文本进行分类，得到与每个所述训练文本对应的标准分类标识；

训练反馈单元，用于将所述训练文本集输入所述分类模型，并通过所述标准分类标识对所述分类模型输出的分类结果进行监督，根据监督结果调整所述分类模型的参数。

14.根据权利要求13所述的分类模型的模型训练装置，其特征在于，所述搜索单元还用于：通过搜索引擎进行搜索，获取所述搜索信息，其中所述搜索信息包括所述搜索的结果中的标题信息和描述信息。

15.一种电子装置，其特征在于，包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1至5中任一项所述的基于分类模型的文本分类方法或如权利要求6至7任一项所述的分类模型的模型训练方法。

16.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至5中任一项所述的基于分类模型的文本分类方法或如权利要求6至7任一项所述的分类模型的模型训练方法。

Images