CN113360660A - 文本类别识别方法、装置、电子设备和存储介质 - Google Patents

文本类别识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113360660A
CN113360660A CN202110849917.9A CN202110849917A CN113360660A CN 113360660 A CN113360660 A CN 113360660A CN 202110849917 A CN202110849917 A CN 202110849917A CN 113360660 A CN113360660 A CN 113360660A
Authority
CN
China
Prior art keywords
sentence
text
sub
sequence
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110849917.9A
Other languages
English (en)
Inventor
马玉昆
卜英桐
程大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202110849917.9A priority Critical patent/CN113360660A/zh
Publication of CN113360660A publication Critical patent/CN113360660A/zh
Priority to PCT/CN2022/108224 priority patent/WO2023005968A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Abstract

本公开提供一种文本类别识别方法、装置、电子设备和存储介质，通过将待识别文本进行拆分得到子文本序列，将子文本序列中每个子文本进行拆分得到对应的句子序列；对于每个子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；对于子文本序列中的每个子文本，执行第一计算操作以计算该子文本相对于待识别文本的注意力特征向量；拼接子文本序列中子文本相对于待识别文本的注意力特征向量，得到待识别文本对应的待识别文本特征向量；将待识别文本特征向量输入预先训练的分类模型，得到待识别文本属于预设类别文本的概率值。从而，实现了自动对待识别文本进行分类，降低了对文本分类的人工成本。

Description

文本类别识别方法、装置、电子设备和存储介质
技术领域
本公开的实施例涉及信息处理技术领域，具体涉及文本类别识别方法、装置、电子设备和存储介质。
背景技术
文本类别识别是指对于一段文本指出该文本是否属于预设类别，或者给出该文本属于预设类别的概率值。例如，电商平台需要对电商上传的产品介绍文本进行审核，以确定产品介绍文本是否符合要求，是否存在不适合的表述。又例如，文学作品平台需要对用户上传的文学小说文本内容进行审核，以确定小说文本内容是否包括低俗不雅内容等。
发明内容
本公开的实施例提出了文本类别识别方法、装置、电子设备和存储介质。
第一方面，本公开的实施例提供了一种文本类别识别方法，该方法包括：
将待识别文本进行拆分得到子文本序列，将所述子文本序列中每个子文本进行拆分得到对应的句子序列；
对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；
对于所述子文本序列中的每个子文本，执行以下第一计算操作：对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量；基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于所述待识别文本的注意力特征向量；
拼接所述子文本序列中子文本相对于所述待识别文本的注意力特征向量，得到所述待识别文本对应的待识别文本特征向量；
将所述待识别文本特征向量输入预先训练的分类模型，得到所述待识别文本属于预设类别文本的概率值。
在一些可选的实施方式中，所述特征提取模型和所述分类模型通过如下训练步骤预先训练得到：
确定初始特征提取模型和初始分类模型；
获取训练样本集合，其中，所述训练样本包括样本文本和用于表征该样本文本是否属于预设类别文本的样本标签；
对于所述训练样本集合中的训练样本，执行以下参数调整操作直到满足预设训练结束条件：对该训练样本中的样本文本进行拆分得到样本子文本序列，将所述样本子文本序列中每个子文本进行拆分得到对应的句子序列；对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量；对于所述样本子文本序列中的每个样本子文本，执行第二计算操作以得到该样本子文本相对于所述样本文本的注意力特征向量：基于该样本子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该样本子文本的注意力特征向量；基于每个句子相对于该样本子文本的注意力特征向量，计算该样本子文本相对于所述样本文本的注意力特征向量；拼接所述样本子文本序列中样本子文本相对于该样本文本的注意力特征向量，得到该样本文本对应的样本文本特征向量；将所得到的样本文本特征向量输入所述初始分类模型，得到该样本文本属于所述预设类别文本的概率值；基于所得到的概率值与该训练样本中的样本标签之间的差异，调整所述初始特征提取模型和所述初始分类模型的模型参数；
将训练得到的所述初始特征提取模型和所述初始分类模型确定为预先训练的所述特征提取模型和所述分类模型。
在一些可选的实施方式中，所述特征提取模型包括词向量特征提取模型和句向量特征提取模型；以及
所述对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量，包括：
对于每个所述子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，所述词向量特征提取模型包括以下至少一项：长短期记忆网络、翻译模型。
在一些可选的实施方式中，所述句向量特征提取模型包括以下至少一项：卷积神经网络、双向长短期记忆网络。
在一些可选的实施方式中，所述对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量，包括：
对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，在所述组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵之前，所述训练步骤还包括：
对该句子对应的分词序列中每个分词，响应于确定该分词与预设文本类别关键词集合中的关键词匹配，将该分词对应的词向量设置为预设词向量。
在一些可选的实施方式中，所述方法还包括：
确定所述概率值是否大于预设概率阈值；
响应于确定大于，生成用于指示所述待识别文本为预设文本类别的第一识别结果信息。
在一些可选的实施方式中，所述方法还包括：
响应于确定不大于，生成用于指示所述待识别文本不是预设文本类别的第二识别结果信息。
在一些可选的实施方式中，所述方法还包括：
对于所述子文本序列中的每个子文本对应的句子序列中每个句子，基于该句子相对于该子文本的注意力特征向量，计算该句子属于所述预设文本类别的概率值，根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子。
在一些可选的实施方式中，所述方法还包括：
对于所述子文本序列中的每个子文本，基于该子文本相对于所述待识别文本的注意力特征向量，计算该子文本属于所述预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本。
第二方面，本公开的实施例提供了一种文本类别识别装置，该装置包括：
拆分单元，被配置成将待识别文本进行拆分得到子文本序列，将所述子文本序列中每个子文本进行拆分得到对应的句子序列；
特征提取单元，被配置成对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；
计算单元，被配置成对于所述子文本序列中的每个子文本，执行以下第一计算操作：对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量；基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于所述待识别文本的注意力特征向量；
拼接单元，被配置成拼接所述子文本序列中子文本相对于所述待识别文本的注意力特征向量，得到所述待识别文本对应的待识别文本特征向量；
识别单元，被配置成将所述待识别文本特征向量输入预先训练的分类模型，得到所述待识别文本属于预设类别文本的概率值。
在一些可选的实施方式中，所述特征提取模型和所述分类模型通过如下方式预先训练得到：
确定初始特征提取模型和初始分类模型；
获取训练样本集合，其中，所述训练样本包括样本文本和用于表征该样本文本是否属于预设类别文本的样本标签；
对于所述训练样本集合中的训练样本，执行以下参数调整操作直到满足预设训练结束条件：对该训练样本中的样本文本进行拆分得到样本子文本序列，将所述样本子文本序列中每个子文本进行拆分得到对应的句子序列；对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量；对于所述样本子文本序列中的每个样本子文本，执行第二计算操作以得到该样本子文本相对于所述样本文本的注意力特征向量：基于该样本子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该样本子文本的注意力特征向量；基于每个句子相对于该样本子文本的注意力特征向量，计算该样本子文本相对于所述样本文本的注意力特征向量；拼接所述样本子文本序列中样本子文本相对于该样本文本的注意力特征向量，得到该样本文本对应的样本文本特征向量；将所得到的样本文本特征向量输入所述初始分类模型，得到该样本文本属于所述预设类别文本的概率值；基于所得到的概率值与该训练样本中的样本标签之间的差异，调整所述初始特征提取模型和所述初始分类模型的模型参数；
将训练得到的所述初始特征提取模型和所述初始分类模型确定为预先训练的所述特征提取模型和所述分类模型。
在一些可选的实施方式中，所述特征提取模型包括词向量特征提取模型和句向量特征提取模型；以及
所述特征提取单元进一步被配置成：
对于每个所述子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，所述词向量特征提取模型包括以下至少一项：长短期记忆网络、翻译模型。
在一些可选的实施方式中，所述句向量特征提取模型包括以下至少一项：卷积神经网络、双向长短期记忆网络。
在一些可选的实施方式中，所述对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量，包括：
对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，在所述组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵之前，所述训练步骤还包括：
对该句子对应的分词序列中每个分词，响应于确定该分词与预设文本类别关键词集合中的关键词匹配，将该分词对应的词向量设置为预设词向量。
在一些可选的实施方式中，所述装置还包括：
确定单元，被配置成确定所述概率值是否大于预设概率阈值；
第一生成单元，被配置成响应于确定大于，生成用于指示所述待识别文本为预设文本类别的第一识别结果信息。
在一些可选的实施方式中，所述装置还包括：
第二生成单元，被配置成响应于确定不大于，生成用于指示所述待识别文本不是预设文本类别的第二识别结果信息。
在一些可选的实施方式中，所述装置还包括：
第一呈现单元，被配置成对于所述子文本序列中的每个子文本对应的句子序列中每个句子，基于该句子相对于该子文本的注意力特征向量，计算该句子属于所述预设文本类别的概率值，根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子。
在一些可选的实施方式中，所述装置还包括：
第二呈现单元，被配置成对于所述子文本序列中的每个子文本，基于该子文本相对于所述待识别文本的注意力特征向量，计算该子文本属于所述预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本。
第三方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法。
目前，在对长文本(例如，长度超过5000字的文本)进行类别识别(比如，指出某段长文本内容是否涉及特定类别)时，大多采用以下方式：1、人工标记；2、通过关键词筛选；3、将长文本拆分为短句或段落，再由人工对短句或者段落进行标记；4、利用机器学习模型直接对长文本建模，但方法局限于词袋模型等简单模型，若需要使用深度语义模型，则需要对长文本进行截断操作。其中，1、人工标记的方法人力成本较高；2、通过关键词筛选的方式可能会造成误伤和漏放，效率较低；3、长文本拆为短文本后，文本量级将成几十倍上百倍的增加，同样会造成大量的人工损耗；4、而使用词袋模型直接对长文本建模仅仅基于长文本中的词语出现频率的统计信息进行建模，无法给出长文本中具体哪些内容更涉及特定类别的概率值，无法满足更加丰富的业务需求；而若使用深度语义模型，则需要进行截断，此时能覆盖的文本范围较小，同样可能会造成漏放。
为了提高对长文本进行分类的准确性，减少人工成本以及减少漏放等，本公开的实施例提供的文本类别识别方法、装置、电子设备和存储介质，通过将待识别文本拆分子文本，将子文本拆分成句子，再通过对句子生成句子特征向量，再生成每个句子对所属子文本的注意力特征向量以及每个子文本对待识别文本的注意力特征向量，并拼接每个子文本相对于待识别文本的注意力特征向量，得到待识别文本特征向量。最后，将待识别文本特征向量输入预先训练的分类模型，得到待识别文本属于预设类别文本的概率值。即，通过句子相对子文本的注意力特征向量和子文本相对待识别文本的注意力特征向量实现建立句子、子文本和待识别文本之间的层次注意力关系，进而生成待识别文本特征向量计算属于预设文本类别的概率值，实现了自动对待识别文本进行分类，降低了对文本分类的人工成本；并且，可选地，还可以通过利用句子相对于该子文本的注意力特征向量，计算该句子属于预设文本类别的概率值，并根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子，继而实现对具有不同的属于预设文本类别概率值的句子按照相应方式进行呈现，以供人工标记时参考，减少漏放可能。或者，可选地，还可以通过利用子文本相对于待识别文本的注意力特征向量，计算该子文本属于预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本，继而实现对具有不同的属于预设文本类别概率值的子文本按照相应方式进行呈现，以供人工标记时参考，减少漏放可能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的文本类别识别方法的一个实施例的流程图；
图3是根据本公开的文本类别识别方法的一个应用场景的示意图；
图4是根据本公开的文本类别识别方法的又一个实施例的流程图；
图5是根据本公开的文本类别识别装置的一个实施例的结构示意图；
图6是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的文本类别识别方法、装置、电子设备和存储介质的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如文本类别识别类应用、语音识别类应用、短视频社交类应用、音视频会议类应用、视频直播类应用、文档编辑类应用、输入法类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的终端设备中。其可以实现成多个软件或软件模块(例如用来提供文本类别识别服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
在一些情况下，本公开所提供的文本类别识别方法可以由终端设备101、102、103执行，相应地，文本类别识别装置可以设置于终端设备101、102、103中。这时，系统架构100也可以不包括服务器105。
在一些情况下，本公开所提供的文本类别识别方法可以由终端设备101、102、103和服务器105共同执行，例如，“获取待识别文本”的步骤可以由终端设备101、102、103执行，“对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量”等步骤可以由服务器105执行。本公开对此不做限定。相应地，文本类别识别装置也可以分别设置于终端设备101、102、103和服务器105中。
在一些情况下，本公开所提供的文本类别识别方法可以由服务器105执行，相应地，文本类别识别装置也可以设置于服务器105中，这时，系统架构100也可以不包括终端设备101、102、103。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本公开的文本类别识别方法的一个实施例的流程200，该文本类别识别方法包括以下步骤：
步骤201，将待识别文本进行拆分得到子文本序列，将子文本序列中每个子文本进行拆分得到对应的句子序列。
在本实施例中，文本类别识别方法的执行主体(例如图1所示的服务器105)可以首先本地或者远程地从与上述执行主体网络连接的其他电子设备(例如，图1所示的终端设备101、102、103)获取待识别文本。
这里，待识别文本可以由同一种语言的字符组成的，也可以由多于一种语言的字符所组成的，本公开对此不做具体限定。
待识别文本可以是各种情况下的文本，本公开对此不做具体限定。
在一些可选的实施方式中，待识别文本可以是以下任一项：新闻正文文本的一部分、小说文本的部分章节等。
待识别文本的可以是长度相对较长的长文本，例如待识别文本可以包括至少400个句子。
然后，上述执行主体可以采用各种实现方式将待识别文本进行拆分得到子文本序列。
在一些可选的实施方式中，上述执行主体可以将待识别文本拆分成第一预设数目(例如，20)个子文本，其中，每个子文本中的句子数量可以是预设数量范围(例如，大于等于20小于等于25)内的随机数。在拆分时，相邻两子文本之间可以有重叠，这样可以在后续过程中保持子文本之间的连续语义信息。
将拆分得到的各子文本按照该子文本在待识别文本中的位置进行排列，即可得到子文本序列。
最后，再将子文本序列中每个子文本进行拆分得到对应的句子序列。实践中，例如可以按照子文本内的标点符号进行拆分得到句子序列。
步骤202，对于每个子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量。
在本实施例中，上述执行主体可以对于步骤201中得到的子文本序列中的每个子文本，将该子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量。其中，特征提取模型用于表征语句和语句对应的特征向量之间的对应关系。
在一些可选的实施方式中，特征提取模型可以包括词向量特征提取模型和句向量特征提取模型。基于此，步骤202可以如下执行：对于每个子文本对应的句子序列中的每个句子，首先，对该句子对应的分词序列中每个分词按照词向量特征提取模型进行特征提取得到对应的词向量，再组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，最后，对该句子对应的句子特征矩阵按照句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
其中，可以采用各种现在已知或者未来开发的分词处理方法对句子进行分词处理，以得到句子对应的分词序列，在此不再赘述。
其中，词向量特征提取模型用于表征词语和词语对应的词向量之间的对应关系，即词向量特征提取模型用于将词语映射到词向量。作为示例，词向量特征提取模型可以为词袋模型(BAW，Bag Of Words)。可选地，词向量特征提取模型可以包括以下至少一项：长短期记忆(LSTM，Long Short-Term Memory)网络、翻译(Transformer)模型(例如，BERT模型，ALBERT模型)。
而，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，可以是按照各分词在分词序列中的所在位置进行顺序组合。例如，每个分词对应的词向量可以为V维向量，其中V为正整数，而句子对应的分词序列可以包括W个分词，而组合该句子对应的分词序列中各分词对应的词向量，可以得到W*V的矩阵，其中，每一行对应一个分词的词向量。但为了保证各个句子对应的句子特征矩阵为相同大小的矩阵，可以将所得到的矩阵扩充到U行，U大于等于W，对于大于W的各行，可以用padding方式进行补充，例如可以将大于W的各行矩阵元素均置为0。这样，即对于各个句子对应的句子特征矩阵均为U*V的矩阵。
其中，句向量特征提取模型用于表征句子特征矩阵和句子对应的句子特征向量之间的对应关系，即句向量特征提取模型用于将句子特征矩阵映射到句子特征向量。可选地，句向量特征提取模型可以包括以下至少一项：卷积神经网络(CNN，Convolutional NeuralNetworks)、双向长短期记忆网络(BiLSTM，Bi-directional Long Short-Term Memory)。
通过利用词向量特征提取模型和句向量特征提取模型，可以提取得到该句子对应的句子特征向量，由于先对句子中各分词分别进行词向量提取，再按照分词所在位置进行组合得到句子特征矩阵，再对句子特征矩阵进行特征提取得到句子特征向量，所提取得到的句子特征向量中既可以表征句子中词语信息，也可以表征句子中词语间的上下文，即语义信息，更利于后续过程的文本类别识别。
步骤203，对于子文本序列中的每个子文本，执行第一计算操作。
这里，上述执行主体可以对于步骤201得到的子文本序列中的每个子文本，执行第一计算操作。
这里，第一计算操作可以包括子步骤2031和子步骤2032：
子步骤2031，对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量。
这里，假设经过步骤202，每个句子对应的句子特征向量为M维向量，而假设每个子文本中句子数量最多为S(例如，32)个句子，则该子文本对应的句子序列中各个句子对应的句子特征向量可以组成大小为S×M的矩阵F，该矩阵F可以认为是该子文本对应的子文本特征矩阵。而，计算该子文本中每个句子相对于该子文本的注意力特征向量可以表示如下：
假设对于该子文本对应的句子序列中的第i个句子，其中，i为1到S之间的正整数，第i个句子对应的句子特征向量Fi为M维向量，也可以认为是1*M的矩阵Fi。而第i个句子相对于该子文本的注意力特征向量为矩阵Bi，则矩阵Fi与矩阵Bi的笛卡尔乘积应为矩阵F，具体可以用公式表示如下：
Fi×Bi＝F公式(1)
从上述公式可以看出，矩阵Bi为S*1的矩阵，其中，矩阵Bi中第j行第1列的元素Bi,j,1用于表示该子文本对应的句子序列中第i个句子和第j个句子之间的相关度、重要程度或者注意程度，j为1到S之间的正整数。
在具体计算上述矩阵Bi时，即可通过已知的矩阵F和矩阵Fi进行计算得到该子文本对应的句子序列中第i个句子相对于该子文本的注意力特征向量矩阵Bi，由于矩阵Bi为S*1的矩阵，也可认为矩阵Bi即为该子文本对应的句子序列中第i个句子相对于该子文本的注意力特征向量。
子步骤2032，基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于待识别文本的注意力特征向量。
这里，经过子步骤2012，已经得到该子文本对应的句子序列中每个句子相对于该子文本的注意力特征向量，继续沿用上述假设，即假设该子文本对应的句子序列中第i个句子相对于该子文本的注意力特征向量Bi为S*1的矩阵，其中，矩阵Bi中第j行第1列的元素Bi,j,1用于表示该子文本对应的句子序列中第i个句子和第j个句子之间的相关度、重要程度或者注意程度。并且假设该子文本中包括S个句子，则按照该子文本对应的句子序列中句子在句子系列中的所在位置，用每个句子相对于该子文本的注意力特征向量Bi进行组合，可以得到针对该子文本的大小为S*S的注意力表示矩阵B，该注意力表示矩阵中的元素Bi,j用于表示该子文本中的第i个句子与第j个句子之间的重要程度、相关程度或者注意程度。
而，计算该子文本相对于待识别文本的注意力特征向量，可以表示如下：
假设待识别文本对应的子文本序列中有P个子文本。P为正整数。其中，每个子文本对应的注意表示矩阵为大小为S*S的矩阵。假设对于子文本序列中第p个子文本，该第p个子文本对应的注意力表示矩阵为Cp，Cp为S*S的矩阵。按照子文本序列中每个子文本在子文本序列中的位置，组合每个子文本对应的注意力特征矩阵Cp可以得到P*S*S的三维矩阵C。假设第p个子文本相对于待识别文本的注意力特征向量为矩阵Ep，则第p个子文本的注意力特征矩阵Cp与第p个子文本相对于待识别文本的注意力特征矩阵Ep的笛卡尔乘积应为矩阵C，具体可以用公式表示如下：
Cp×Ep＝C公式(2)
从上述公式可以看出，矩阵Ep为P*1的矩阵，其中，矩阵Ep中第q行第1列的元素Ep,q,1用于表示待识别文本中第p个子文本和第q个子文本之间的相关度、重要程度或者注意程度。
在具体计算上述矩阵Ep时，即可通过已知的矩阵C和矩阵Cp进行计算得到待识别文本对应的子文本序列中第p个子文本相对于待识别文本的注意力特征矩阵Ep，由于矩阵Ep为P*1的矩阵，也可认为矩阵Ep即为待识别文本对应的子文本序列中第p个子文本相对于待识别文本的注意力特征向量。
步骤204，拼接子文本序列中子文本相对于待识别文本的注意力特征向量，得到待识别文本对应的待识别文本特征向量。
在本实施例中，上述执行主体例如可以按照子文本序列中子文本在在文本序列中的位置，拼接子文本序列中子文本相对于待识别文本的注意力特征向量，得到待识别文本对应的待识别文本特征向量。
这里，继续沿用上述举例，拼接子文本序列中的P个子文本中每个子文本相对于待识别文本的注意力特征向量Ep可以得到待识别文本特征向量E，待识别文本特征向量E的维度为P*P。
步骤205，将待识别文本特征向量输入预先训练的分类模型，得到待识别文本属于预设类别文本的概率值。
在本实施例中，上述执行主体可以将步骤204中计算得到的维度为P*P的待识别文本特征向量输入预先训练的分类模型，得到待识别文本属于预设类别文本的概率值。其中，分类模型用于表征文本特征向量与文本属于预设类别文本的概率值之间的对应关系。
在一些可选的实施方式中，特征提取模型和分类模型可以是通过如图3所示的训练步骤300预先训练得到的，训练步骤300可以包括以下步骤301到步骤：
步骤301，确定初始特征提取模型和初始分类模型。
这里，训练步骤的执行主体可以与文本类别识别方法的执行主体相同或者不同。如果相同，则训练步骤的执行主体可以在训练得到特征提取模型和分类模型后将训练好的特征提取模型和分类模型的模型结构信息和模型参数的参数值存储在本地。如果不同，则训练步骤的执行主体可以在训练得到特征提取模型和分类模型后将训练好的特征提取模型和分类模型的模型结构信息和模型参数的参数值发送给文本类别识别方法的执行主体。
这里，由于初始特征提取模型和初始分类模型可以包括各种类型的计算模型，对于不同类型的计算模型，所需要确定的模型结构信息也不相同。
然后，可以初始化初始特征提取模型和初始分类模型的模型参数。实践中，可以将初始特征提取模型和初始分类模型的各个模型参数用一些不同的小随机数进行初始化。“小随机数”用来保证模型不会因权重过大而进入饱和状态，从而导致训练失败，“不同”用来保证模型可以正常地学习。
可选地，初始分类模型可以为Softmax分类器。
步骤302，获取训练样本集合。
这里，训练样本集合中的训练样本包括样本文本和用于表征该样本文本是否属于预设类别文本的样本标签。实践中，样本标签可以是由人工标注得到。
步骤303，对于训练样本集合中的训练样本，执行参数调整操作直到满足预设训练结束条件。
这里，参数调整操作可以包括：
步骤3031，对该训练样本中的样本文本进行拆分得到样本子文本序列，将样本子文本序列中每个子文本进行拆分得到对应的句子序列。实践中，可以按照步骤201中相同或类似方法进行。
步骤3032，对于样本子文本序列中每个样本子文本对应的句子序列中的每个句子，按照初始特征提取模型进行特征提取得到该句子对应的句子特征向量。
步骤3033，对于样本子文本序列中的每个样本子文本，执行第二计算操作以得到该样本子文本相对于样本文本的注意力特征向量。其中，第二计算操作包括如下第一步到第四步：
第一步，基于该样本子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该样本子文本的注意力特征向量。
第二步，基于每个句子相对于该样本子文本的注意力特征向量，计算该样本子文本相对于样本文本的注意力特征向量。
这里第一步和第二步的具体操作分别与步骤2031和步骤2032的操作基本相同，在此不再赘述。
第三步，拼接样本子文本序列中样本子文本相对于该样本文本的注意力特征向量，得到该样本文本对应的样本文本特征向量。
这里，第三步的具体操作与步骤204的操作基本相同，在此不再赘述。
第四步，将所得到的样本文本特征向量输入初始分类模型，得到该样本文本属于预设类别文本的概率值。
步骤3034，基于所得到的概率值与该训练样本中的样本标签之间的差异，调整初始特征提取模型和所述初始分类模型的模型参数。
这里，可以采用各种实现方式基于所得到的概率值与该训练样本中的样本标签之间的差异，调整初始特征提取模型和所述初始分类模型的模型参数。例如，可以采用随机梯度下降(SGD，Stochastic Gradient Descent)、牛顿法(Newton's Method)、拟牛顿法(Quasi-Newton Methods)、共轭梯度法(Conjugate Gradient)、启发式优化方法以及其他现在已知或者未来开发的各种优化算法。
步骤304，将训练得到的初始特征提取模型和初始分类模型确定为预先训练的特征提取模型和分类模型。
在一些可选的实施方式中，初始特征提取模型可以包括词向量特征提取模型和句向量特征提取模型。相应地，步骤3032，对于样本子文本序列中每个样本子文本对应的句子序列中的每个句子，按照初始特征提取模型进行特征提取得到该句子对应的句子特征向量，可以如下执行：
对于样本子文本序列中每个样本子文本对应的句子序列中的每个句子，首先，对该句子对应的分词序列中每个分词按照词向量特征提取模型进行特征提取得到对应的词向量，再组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，最后对该句子对应的句子特征矩阵按照句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。具体可以参考步骤202中关于词向量特征提取模型和句向量特征提取模型的相应可选方式的描述，在此不再赘述。
基于上述可选实施方式，可选地，在组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵之前，训练步骤的执行主体还可以：对该句子对应的分词序列中每个分词，响应于确定该分词与预设文本类别关键词集合中的关键词匹配，将该分词对应的词向量设置为预设词向量。作为示例，预设词向量可以为各个向量分量均为0的词向量。这样，通过将与预设文本类别关键词集合中的关键词匹配的词语对应的词向量进行特殊指定，可以提升特征提取模型和分类模型对于预设文本类别的文本的识别能力。
这里，预设文本类别关键词集合可以是采用机器学习或数据挖掘算法从大量语料中动态学习的，也可以是由技术人员根据具体应用场景的需要及经验而人工制定的，预设文本类别关键词集合也可以同时包括动态学习得到的关键词和人工指定的关键词。
采用图3所示的训练步骤，可以实现自动训练得到特征提取模型和分类模型。
经过步骤201到步骤205，可以得到待识别文本属于预设类别文本的概率值。
在一些可选的实施方式中，上述执行主体还可以在步骤205后执行以下步骤206：
步骤206，确定概率值是否大于预设概率阈值。
如果确定大于，转到步骤207执行。
步骤207，生成用于指示待识别文本为预设文本类别的第一识别结果信息。
这样，可以通过上述第一识别结果信息，以确定待识别文本属于文本类别。
在一些可选的实施方式中，上述执行主体还可以在步骤206中确定不大于的情况下，转到步骤208执行。
步骤208，生成用于指示待识别文本不是预设文本类别的第二识别结果信息。
这样，可以通过上述第一识别结果信息，确定待识别文本不属于文本类别。
在一些可选的实施方式中，上述执行主体还可以在步骤2031之后的其他时间点，例如，可以在步骤204之前，或者步骤205之前，或者步骤205之后，执行以下步骤209：
步骤209，对于子文本序列中的每个子文本对应的句子序列中每个句子，基于该句子相对于该子文本的注意力特征向量，计算该句子属于预设文本类别的概率值，根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子。
继续沿用步骤2031中的举例，即假设某个句子相对于所属子文本的注意力特征向量为矩阵Bi，矩阵Bi为S*1的矩阵，其中，矩阵Bi中第j行第1列的元素Bi,j,1用于表示该子文本对应的句子序列中第i个句子和第j个句子之间的相关度、重要程度或者注意程度，j为1到S之间的正整数。则，基于该句子相对于该子文本的注意力特征向量Bi，计算该句子属于预设文本类别的概率值，例如可以是：
计算Bi的各元素之和，或者，计算的各元素平方之和，作为该句子属于预设文本类别的概率值。
而根据计算得到的概率值确定该句子对应的呈现方式，例如，可以通过预先设定不同的概率值范围与相应呈现方式的对应关系，然后在计算得到的概率值属于相应概率值范围时，将相应概率值范围对应的呈现方式确定为该句子对应的呈现方式。例如，当概率值大于0.8，呈现方式为采用红色字体。当概率值大于0.5且小于0.8，呈现方式为采用粉红色字体。
在一些可选的实施方式中，上述执行主体还可以在步骤2032之后的其他时间点，例如，可以在步骤204之前，或者步骤205之前，或者步骤205之后，执行以下步骤210：
步骤210，对于子文本序列中的每个子文本，基于该子文本相对于待识别文本的注意力特征向量，计算该子文本属于预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本。
继续沿用步骤2032中的举例，即假设某个子文本相对待识别文本的注意力特征向量为P*1的矩阵Ep，其中，矩阵Ep中第q行第1列的元素Ep,q,1用于表示待识别文本中第p个子文本和第q个子文本之间的相关度、重要程度或者注意程度。则，基于该子文本相对于待识别文本的注意力特征向量Ep，计算该子文本属于预设文本类别的概率值，例如可以是：
计算Ep的各元素之和，或者，计算的各元素平方之和，作为该子文本属于预设文本类别的概率值。
而根据计算得到的概率值确定该子文本对应的呈现方式，例如，可以通过预先设定不同的概率值范围与相应呈现方式的对应关系，然后在计算得到的概率值属于相应概率值范围时，将相应概率值范围对应的呈现方式确定为该文本对应的呈现方式。例如，当概率值大于0.9，呈现方式为采用粗体字体。当概率值大于0.6且小于0.9，呈现方式为采用正常字体。
继续参见图4，图4是根据本实施例的文本类别识别方法的应用场景的一个示意图。在图4的应用场景中，首先服务器41从终端设备42获取待识别文本43。然后服务器41，将待识别文本43进行拆分得到子文本序列44，将子文本序列44中子文本441、442和443进行拆分得到对应的句子序列451、452和453，句子序列451中包括句子45101到句子45120，句子序列452中包括句子45201到句子45222，句子序列453中包括句子45201到句子45325。服务器41再对于45101到句子45120，句子45201到句子45222，句子45301到句子45325中的每个句子，按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量46101到句子特征向量46120，句子特征向量46201到句子特征向量46222，句子特征向量46201到句子特征向量46225。而后，服务器41对于子文本序列44中子文本441、442和443，分别执行第一计算操作，并分别得到441、442和443相对于待识别文本43的注意力特征向量471、472和473。
接着，服务器41拼接注意力特征向量471、472和473，得到待识别文本对应的待识别文本特征向量48。最后，将待识别文本特征向量48输入预先训练的分类模型49，得到待识别文本属于预设类别文本的概率值50。
本公开的上述实施例提供的文本类别识别方法，通过句子相对子文本的注意力特征向量和子文本相对待识别文本的注意力特征向量实现建立句子、子文本和待识别文本之间的层次注意力关系，进而生成待识别文本特征向量计算属于预设文本类别的概率值，实现了自动对待识别文本进行分类，降低了对文本分类的人工成本。
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种文本类别识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的文本类别识别装置500包括：拆分单元501、特征提取单元502、计算单元503、拼接单元504和识别单元505。其中，拆分单元501，被配置成将待识别文本进行拆分得到子文本序列，将所述子文本序列中每个子文本进行拆分得到对应的句子序列；特征提取单元502，被配置成对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；计算单元503，被配置成对于所述子文本序列中的每个子文本，执行以下第一计算操作：对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量；基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于所述待识别文本的注意力特征向量；拼接单元504，被配置成拼接所述子文本序列中子文本相对于所述待识别文本的注意力特征向量，得到所述待识别文本对应的待识别文本特征向量；识别单元505，被配置成将所述待识别文本特征向量输入预先训练的分类模型，得到所述待识别文本属于预设类别文本的概率值。
在本实施例中，文本类别识别装置500的拆分单元501、特征提取单元502、计算单元503、拼接单元504和识别单元505的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203、步骤204和步骤205的相关说明，在此不再赘述。
在一些可选的实施方式中，所述特征提取模型和所述分类模型可以通过如下方式预先训练得到：
确定初始特征提取模型和初始分类模型；
获取训练样本集合，其中，所述训练样本包括样本文本和用于表征该样本文本是否属于预设类别文本的样本标签；
对于所述训练样本集合中的训练样本，执行以下参数调整操作直到满足预设训练结束条件：对该训练样本中的样本文本进行拆分得到样本子文本序列，将所述样本子文本序列中每个子文本进行拆分得到对应的句子序列；对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量；对于所述样本子文本序列中的每个样本子文本，执行第二计算操作以得到该样本子文本相对于所述样本文本的注意力特征向量：基于该样本子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该样本子文本的注意力特征向量；基于每个句子相对于该样本子文本的注意力特征向量，计算该样本子文本相对于所述样本文本的注意力特征向量；拼接所述样本子文本序列中样本子文本相对于该样本文本的注意力特征向量，得到该样本文本对应的样本文本特征向量；将所得到的样本文本特征向量输入所述初始分类模型，得到该样本文本属于所述预设类别文本的概率值；基于所得到的概率值与该训练样本中的样本标签之间的差异，调整所述初始特征提取模型和所述初始分类模型的模型参数；
将训练得到的所述初始特征提取模型和所述初始分类模型确定为预先训练的所述特征提取模型和所述分类模型。
在一些可选的实施方式中，所述特征提取模型可以包括词向量特征提取模型和句向量特征提取模型；以及
所述特征提取单元502可以进一步被配置成：
对于每个所述子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，所述词向量特征提取模型可以包括以下至少一项：长短期记忆网络、翻译模型。
在一些可选的实施方式中，所述句向量特征提取模型可以包括以下至少一项：卷积神经网络、双向长短期记忆网络。
在一些可选的实施方式中，所述对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量，可以包括：
对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
在一些可选的实施方式中，在所述组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵之前，所述训练步骤还可以包括：
对该句子对应的分词序列中每个分词，响应于确定该分词与预设文本类别关键词集合中的关键词匹配，将该分词对应的词向量设置为预设词向量。
在一些可选的实施方式中，所述装置500还可以包括：
确定单元506，被配置成确定所述概率值是否大于预设概率阈值；
第一生成单元507，被配置成响应于确定大于，生成用于指示所述待识别文本为预设文本类别的第一识别结果信息。
在一些可选的实施方式中，所述装置500还可以包括：
第二生成单元508，被配置成响应于确定不大于，生成用于指示所述待识别文本不是预设文本类别的第二识别结果信息。
在一些可选的实施方式中，所述装置500还可以包括：
第一呈现单元509，被配置成对于所述子文本序列中的每个子文本对应的句子序列中每个句子，基于该句子相对于该子文本的注意力特征向量，计算该句子属于所述预设文本类别的概率值，根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子。
在一些可选的实施方式中，所述装置500还可以包括：
第二呈现单元510，被配置成对于所述子文本序列中的每个子文本，基于该子文本相对于所述待识别文本的注意力特征向量，计算该子文本属于所述预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本。
需要说明的是，本公开的实施例提供的文本类别识别装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明，在此不再赘述。
下面参考图6，其示出了适于用来实现本公开的电子设备的计算机系统600的结构示意图。图6示出的计算机系统600仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有计算机系统600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许计算机系统600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备的计算机系统600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现如图2所示的实施例及其可选实施方式示出的文本类别识别方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待识别文本的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种文本类别识别方法，包括：
将待识别文本进行拆分得到子文本序列，将所述子文本序列中每个子文本进行拆分得到对应的句子序列；
对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；
对于所述子文本序列中的每个子文本，执行以下第一计算操作：对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量；基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于所述待识别文本的注意力特征向量；
拼接所述子文本序列中子文本相对于所述待识别文本的注意力特征向量，得到所述待识别文本对应的待识别文本特征向量；
将所述待识别文本特征向量输入预先训练的分类模型，得到所述待识别文本属于预设类别文本的概率值。
2.根据权利要求1所述的方法，其中，所述特征提取模型和所述分类模型通过如下训练步骤预先训练得到：
确定初始特征提取模型和初始分类模型；
获取训练样本集合，其中，所述训练样本包括样本文本和用于表征该样本文本是否属于预设类别文本的样本标签；
对于所述训练样本集合中的训练样本，执行以下参数调整操作直到满足预设训练结束条件：对该训练样本中的样本文本进行拆分得到样本子文本序列，将所述样本子文本序列中每个子文本进行拆分得到对应的句子序列；对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量；对于所述样本子文本序列中的每个样本子文本，执行第二计算操作以得到该样本子文本相对于所述样本文本的注意力特征向量：基于该样本子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该样本子文本的注意力特征向量；基于每个句子相对于该样本子文本的注意力特征向量，计算该样本子文本相对于所述样本文本的注意力特征向量；拼接所述样本子文本序列中样本子文本相对于该样本文本的注意力特征向量，得到该样本文本对应的样本文本特征向量；将所得到的样本文本特征向量输入所述初始分类模型，得到该样本文本属于所述预设类别文本的概率值；基于所得到的概率值与该训练样本中的样本标签之间的差异，调整所述初始特征提取模型和所述初始分类模型的模型参数；
将训练得到的所述初始特征提取模型和所述初始分类模型确定为预先训练的所述特征提取模型和所述分类模型。
3.根据权利要求2所述的方法，其中，所述特征提取模型包括词向量特征提取模型和句向量特征提取模型；以及
所述对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量，包括：
对于每个所述子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
4.根据权利要求3所述的方法，其中，所述词向量特征提取模型包括以下至少一项：长短期记忆网络、翻译模型。
5.根据权利要求3所述的方法，其中，所述句向量特征提取模型包括以下至少一项：卷积神经网络、双向长短期记忆网络。
6.根据权利要求3所述的方法，其中，所述对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子按照所述初始特征提取模型进行特征提取得到该句子对应的句子特征向量，包括：
对于所述样本子文本序列中每个样本子文本对应的句子序列中的每个句子，对该句子对应的分词序列中每个分词按照所述词向量特征提取模型进行特征提取得到对应的词向量，组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵，对该句子对应的句子特征矩阵按照所述句向量特征提取模型进行特征提取得到该句子对应的句子特征向量。
7.根据权利要求6所述的方法，其中，在所述组合该句子对应的分词序列中各分词对应的词向量以形成该句子对应的句子特征矩阵之前，所述训练步骤还包括：
对该句子对应的分词序列中每个分词，响应于确定该分词与预设文本类别关键词集合中的关键词匹配，将该分词对应的词向量设置为预设词向量。
8.根据权利要求1所述的方法，其中，所述方法还包括：
确定所述概率值是否大于预设概率阈值；
响应于确定大于，生成用于指示所述待识别文本为预设文本类别的第一识别结果信息。
9.根据权利要求8所述的方法，其中，所述方法还包括：
响应于确定不大于，生成用于指示所述待识别文本不是预设文本类别的第二识别结果信息。
10.根据权利要求1所述的方法，其中，所述方法还包括：
对于所述子文本序列中的每个子文本对应的句子序列中每个句子，基于该句子相对于该子文本的注意力特征向量，计算该句子属于所述预设文本类别的概率值，根据计算得到的概率值确定该句子对应的呈现方式，以及按照所确定的呈现方式呈现该句子。
11.根据权利要求1所述的方法，其中，所述方法还包括：
对于所述子文本序列中的每个子文本，基于该子文本相对于所述待识别文本的注意力特征向量，计算该子文本属于所述预设文本类别的概率值，根据计算得到的概率值确定该子文本对应的呈现方式，以及按照所确定的呈现方式呈现该子文本。
12.一种文本类别识别装置，包括：
拆分单元，被配置成将待识别文本进行拆分得到子文本序列，将所述子文本序列中每个子文本进行拆分得到对应的句子序列；
特征提取单元，被配置成对于每个所述子文本对应的句子序列中的每个句子按照预先训练的特征提取模型进行特征提取得到该句子对应的句子特征向量；
计算单元，被配置成对于所述子文本序列中的每个子文本，执行以下第一计算操作：对于该子文本中的每个句子，基于该子文本对应的句子序列中每个句子对应的句子特征向量，计算该句子相对于该子文本的注意力特征向量；基于每个句子相对于该子文本的注意力特征向量，计算该子文本相对于所述待识别文本的注意力特征向量；
拼接单元，被配置成拼接所述子文本序列中子文本相对于所述待识别文本的注意力特征向量，得到所述待识别文本对应的待识别文本特征向量；
识别单元，被配置成将所述待识别文本特征向量输入预先训练的分类模型，得到所述待识别文本属于预设类别文本的概率值。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-11中任一所述的方法。
CN202110849917.9A 2021-07-27 2021-07-27 文本类别识别方法、装置、电子设备和存储介质 Pending CN113360660A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110849917.9A CN113360660A (zh) 2021-07-27 2021-07-27 文本类别识别方法、装置、电子设备和存储介质
PCT/CN2022/108224 WO2023005968A1 (zh) 2021-07-27 2022-07-27 文本类别识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110849917.9A CN113360660A (zh) 2021-07-27 2021-07-27 文本类别识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113360660A true CN113360660A (zh) 2021-09-07

Family

ID=77540362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110849917.9A Pending CN113360660A (zh) 2021-07-27 2021-07-27 文本类别识别方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN113360660A (zh)
WO (1) WO2023005968A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005968A1 (zh) * 2021-07-27 2023-02-02 北京有竹居网络技术有限公司 文本类别识别方法、装置、电子设备和存储介质
WO2023045184A1 (zh) * 2021-09-26 2023-03-30 平安科技（深圳）有限公司 一种文本类别识别方法、装置、计算机设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536654A (zh) * 2018-04-13 2018-09-14 科大讯飞股份有限公司 识别文本展示方法及装置
CN109710940A (zh) * 2018-12-28 2019-05-03 安徽知学科技有限公司 一种文章立意的分析及文章评分方法、装置
CN111339288A (zh) * 2020-02-25 2020-06-26 北京字节跳动网络技术有限公司 用于展示文本的方法、装置、设备和计算机可读介质
CN111984791A (zh) * 2020-09-02 2020-11-24 南京信息工程大学 一种基于注意力机制的长文分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209806B (zh) * 2018-06-05 2023-09-12 腾讯科技（深圳）有限公司 文本分类方法、文本分类装置及计算机可读存储介质
CN109145112B (zh) * 2018-08-06 2021-08-06 北京航空航天大学 一种基于全局信息注意力机制的商品评论分类方法
US11010561B2 (en) * 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
CN111143550B (zh) * 2019-11-27 2022-05-03 浙江大学 一种基于层次注意力神经网络模型的争议焦点自动识别方法
CN113360660A (zh) * 2021-07-27 2021-09-07 北京有竹居网络技术有限公司 文本类别识别方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536654A (zh) * 2018-04-13 2018-09-14 科大讯飞股份有限公司 识别文本展示方法及装置
CN109710940A (zh) * 2018-12-28 2019-05-03 安徽知学科技有限公司 一种文章立意的分析及文章评分方法、装置
CN111339288A (zh) * 2020-02-25 2020-06-26 北京字节跳动网络技术有限公司 用于展示文本的方法、装置、设备和计算机可读介质
CN111984791A (zh) * 2020-09-02 2020-11-24 南京信息工程大学 一种基于注意力机制的长文分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023005968A1 (zh) * 2021-07-27 2023-02-02 北京有竹居网络技术有限公司 文本类别识别方法、装置、电子设备和存储介质
WO2023045184A1 (zh) * 2021-09-26 2023-03-30 平安科技（深圳）有限公司 一种文本类别识别方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
WO2023005968A1 (zh) 2023-02-02

Similar Documents

Publication Publication Date Title
CN107491534B (zh) 信息处理方法和装置
CN107491547B (zh) 基于人工智能的搜索方法和装置
KR20210070891A (ko) 번역품질 평가 방법 및 장치
CN107861954B (zh) 基于人工智能的信息输出方法和装置
KR20210092147A (ko) 텍스트의 엔티티 포커스의 마이닝 방법 및 장치
CN109740167B (zh) 用于生成信息的方法和装置
CN111382228B (zh) 用于输出信息的方法和装置
US10579655B2 (en) Method and apparatus for compressing topic model
WO2023005968A1 (zh) 文本类别识别方法、装置、电子设备和存储介质
CN108121699B (zh) 用于输出信息的方法和装置
CN111368548A (zh) 语义识别方法及装置、电子设备和计算机可读存储介质
CN109933217B (zh) 用于推送语句的方法和装置
CN111582360B (zh) 用于标注数据的方法、装置、设备和介质
US11651015B2 (en) Method and apparatus for presenting information
CN111930792B (zh) 数据资源的标注方法、装置、存储介质及电子设备
CN115982376B (zh) 基于文本、多模数据和知识训练模型的方法和装置
CN111866610A (zh) 用于生成信息的方法和装置
CN112926308B (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN113434683A (zh) 文本分类方法、装置、介质及电子设备
US11687711B2 (en) Method and apparatus for generating commentary
CN110245334B (zh) 用于输出信息的方法和装置
CN114817478A (zh) 基于文本的问答方法、装置、计算机设备及存储介质
CN112633004A (zh) 文本标点符号删除方法、装置、电子设备和存储介质
US11036996B2 (en) Method and apparatus for determining (raw) video materials for news
CN112651231B (zh) 口语信息处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination