CN115599921B - 文本分类、文本分类模型训练方法、装置和存储介质 - Google Patents
文本分类、文本分类模型训练方法、装置和存储介质 Download PDFInfo
- Publication number
- CN115599921B CN115599921B CN202211496638.XA CN202211496638A CN115599921B CN 115599921 B CN115599921 B CN 115599921B CN 202211496638 A CN202211496638 A CN 202211496638A CN 115599921 B CN115599921 B CN 115599921B
- Authority
- CN
- China
- Prior art keywords
- category
- text
- leaf
- root
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种文本分类方法、装置、计算机设备、存储介质和计算机程序产品。该方法包括：提取待分类文本的文本语义表征；提取文本语义表征的根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；提取文本语义表征的叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度；基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应目标根类别和目标根类别对应的目标叶子类别。采用本方法能够提高文本分类的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种文本分类、文本分类模型训练方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着自然语言处理技术的发展，出现了文本分类技术，目前在进行文本多分类时，通常是将文本类别看作同一级别的类别进行多分类，然而，文本的类别通常是具有层级结构，比如，文本类别可以是划分为多个大类，每个大类可以包括多个小类别，每个小类别还可以再划分为更小的类别。目前，在进行文本多层级的分类时，通常是建立多个文本分类模型来对不同层级的类别进行分类。然而，这种通常不同的文本分类模型来对不同层级的类别进行分类识别会存在分类存在文本分类不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高文本层级分类准确性的文本分类、文本分类模型训练方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
一方面，本申请提供了一种文本分类方法。所述方法包括：
获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
另一方面，本申请还提供了一种文本分类装置。所述装置包括：
语义表征模块，用于获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
根分类模块， 用于将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
叶子分类模块，用于将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
类别得到模块，用于基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
上述文本分类方法、装置、计算机设备、存储介质和计算机程序产品，通过将文本语义表征进行根层级深度特征提取，得到根层级深度特征，然后在进行根层级分类，得到各个根类别对应的文本类别确定度。再将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，通过将根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，再使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，能够利用根层级的深度特征来对叶子层级进行分类识别，由于叶子类别对应的类别精细度大于根类别对应的类别精细度，即能够考虑类别的层级结构，从而使得到的各个叶子类别对应的文本类别确定度提高了准确性，然后再使用各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别，从而提高了得到的文本类别的准确性，即提高了分类准确性。
一方面，本申请提供了一种文本分类模型训练方法。所述方法包括：
获取训练文本和对应的文本层级类别标签；
将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
另一方面，本申请还提供了一种文本分类模型训练装置。所述装置包括：
获取模块，用于获取训练文本和对应的文本层级类别标签；
训练表征模块，用于将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
训练根分类模块，用于通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
训练叶子分类模块，用于通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
损失计算模块，用于计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
迭代模块，用于基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
另一方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取训练文本和对应的文本层级类别标签；
将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
另一方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取训练文本和对应的文本层级类别标签；
将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
另一方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取训练文本和对应的文本层级类别标签；
将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
上述文本分类模型训练方法、装置、计算机设备、存储介质和计算机程序产品，通过将训练文本输入到第一初始文本分类模型中对训练文本进行语义表征提取，得到训练语义表征，将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度，将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度。通过在训练的过程中使用训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，然后再进行叶子层级分类，由于叶子类别对应的类别精细度大于根类别对应的类别精细度，从而在训练的过程中能够学习到类别的层级结构，然后计算根类别损失信息和叶子类别损失信息，使用根类别损失信息和叶子类别损失信息进行迭代训练，直到达到训练完成条件时，得到第一目标文本分类模型，从而提高了得到的第一目标文本分类模型准确性。
附图说明
图1为一个实施例中文本分类方法的应用环境图；
图2为一个实施例中文本分类方法的流程示意图；
图3为一个实施例中确定文本类别的流程示意图；
图4为一个实施例中确定各个层级路径确定度的流程示意图；
图5为一个实施例中第一目标文本分类模型进行文本分类的流程示意图；
图6为另一个实施例中第一目标文本分类模型进行文本分类的流程示意图；
图7为一个具体实施例中第一目标文本分类模型的架构示意图；
图8为一个实施例中得到文本类别的流程示意图；
图9为一个实施例中第二目标文本分类模型进行文本分类的流程示意图；
图10为一个具体实施例中第二目标文本分类模型的架构示意图；
图11为一个实施例中文本分类模型训练方法的流程示意图；
图12为一个实施例中第二目标文本分类模型训练的流程示意图；
图13为一个具体实施例中文本分类方法的流程示意图；
图14为一个实施例中文本分类装置的结构框图；
图15为一个实施例中文本分类模型训练装置的结构框图；
图16为一个实施例中计算机设备的内部结构图；
图17为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
自然语言处理(Nature Language processing, NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
本申请实施例提供的方案涉及人工智能的文本处理等技术，具体通过如下实施例进行说明:
本申请实施例提供的文本分类方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他服务器上。服务器104可以从终端102获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；服务器104将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；服务器104将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；服务器104基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别，服务器104可以将待分类文本对应的文本类别返回到终端102进行展示。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
在一个实施例中，如图2所示，提供了一种文本分类方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤202，获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征。
其中，待分类文本是指需要进行分类的文本，该待分类文本可以是各种语言类型的文本，比如，可以是中文文本、英文文本、日文文本、俄文文本、方言文本等等。待分类文本可以是长文本，也可以是短文本，该长文本和短文本可以根据预设文本长度阈值进行划分，超过预设文本长度阈值的文本为长文本，未超过该预设文本长度阈值的文本为短文本。待分类文本可以是通过语音转换得到的文本，也可以是通过图像中文本识别得到的文本。文本语义表征用于表征待分类文本的语义信息。
具体地，服务器可以从数据库中获取到待分类文本，服务器获取到终端上传的待分类文本，服务器还可以获取到业务方发送的待分类文本，服务器还可以从提供数据服务的服务方获取到待分类文本。然后服务器对待分类文本进行语义表征提取，得到文本语义表征。其中，服务器可以将待分类文本进行划分，得到各个划分后的文本，再对各个划分后的文本进行语义表征提取，得到各个划分后文本的语义表征，然后根据各个划分后文本的语义表征，得到文本语义表征，其中，可以对待分类文本按照字进行划分，得到各个字文本，也可以按照词进行划分，得到各个词文本。
步骤204，将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度。
其中，根层级是指文本类别中精细度最小类别所在的层级，文本类别中精细度最小类别所属的文本范围最大。预先将各个文本类别划分为不同的层级，可以得到树结构的文本类别层级，则该根层级就是树结构的文本类别层级中根节点类别所在的层级。该树结构的文本类别层级中层级越接近根层级，该层级的文本类别精细度就越小，层级越远离根层级，该层级的文本类别精细度就越增大。可以根据不同的根类别建立不同的树结构的文本类别层级，每个根类别都对应有树结构的文本类别层级，每个树结构的文本类别层级的数量可以是相同的，也可以是不同的。根层级深度特征是指使用根层级对应的深度神经网络提取得到的特征，该根层级深度特征是用于对根层级对应的文本类别进行识别。根类别是指树结构的文本类别层级中根层级对应的文本类别，可以包括有多个。文本类别确定度用于表征对应的类别为待分类文本对应类别的确定程度，该文本类别确定度越高，表征对应的类别为待分类文本对应类别的可能性就越高。根类别对应的文本类别确定度用于表征对应根类别为待分类文本对应类别的确定程度，确定程度越高，待分类文本对应类别为该根类别的可能性就越高。
具体地，服务器可以使用根层级对应的深度神经网络提取文本语义表征的深度特征，得到根层级深度特征。然后对根层级深度特征使用根层级分类参数进行根层级分类，得到各个根类别对应的文本类别确定度，其中，根层级分类可以是二分类，也可以是多分类，即根类别至少有两个。
步骤206，将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度。
其中，叶子层级是指文本类别中精细度最大的类别所在的层级，文本类别中精细度最大类别所属的文本范围最小。该叶子层级可以是树结构的文本类别层级中叶子节点类别所在的层级。叶子层级深度特征是指使用叶子层级对应的深度神经网络提取得到的特征，树结构的文本类别层级中不同的层级可以设置有不同的深度神经网络进行深度特征提取。该叶子层级深度特征是用于对叶子层级对应的文本类别进行识别。叶子融合特征将根层级深度特征和叶子层级深度特征融合后得到的，用于在进行叶子层级的分类识别时能够考虑到根层级的信息，从而使叶子层级的分类更加准确。叶子类别是指树结构的文本类别层级中叶子层级对应的文本类别，可以包括有多个。类别精细度用于表征文本类别与文本的信息的相似程度，类别精细度越高说明该文本类别越细，与文本所表达的信息相似程度越高，类别精细度越小说明该文本类别越粗，与文本所表达的信息相似程度越低，树结构的文本类别层级中同一层级文本类别的类别精细度一致。叶子层级中叶子类别对应的类别精细度大于根层级中根类别对应的类别精细度。叶子类别对应的文本类别确定度用于表征对应叶子类别为待分类文本对应类别的确定程度，确定程度越高，待分类文本对应类别为该叶子类别的可能性就越高。
具体地，服务器使用叶子层级的深度神经网络对文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征。然后将根层级深度特征和叶子层级深度特征进行拼接，得到拼接特征，然后再对拼接特征进行特征提取，得到叶子融合特征。最后使用叶子层级分类参数对叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
步骤208，基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
其中，目标根类别是指待分类文本对应的树结构的文本类别层级中根层级的类别。目标叶子类别是指待分类文本对应的树结构的文本类别层级中叶子层级的类别。该目标根类别和目标叶子类别是同一树结构的文本类别层级中的类别，即目标叶子类别所在节点对应的根节点的类别是目标根类别。
具体地，服务器根据预先设置好的文本类别层级即树结构的文本类别层级确定从根节点对应的根类别到叶子节点对应的叶子类别的分支路径，计算每个分支路径上根类别对应的文本类别确定度与叶子类别对应的文本类别确定度的乘积，得到每个分支路径的文本类别确定度，然后选取最大文本类别确定度的分支路径，将最大文本类别确定度的分支路径中包括的根类别和叶子类别作为目标根类别和目标根类别对应的目标叶子类别，即得到待分类文本对应的文本类别。
在一个实施例中，服务器可以直接从各个根类别对应的文本类别确定度中选取最大文本类别确定度对应的根类别，得到目标根类别，然后再根据预先设置好的文本类别层级获取目标根类别对应的叶子类别，然后从目标根类别对应的各个叶子类别的文本类别确定度中选取最大文本类别确定度对应的叶子类别，得到目标叶子类别。
上述文本分类方法、装置、计算机设备、存储介质和计算机程序产品，通过将文本语义表征进行根层级深度特征提取，得到根层级深度特征，然后在进行根层级分类，得到各个根类别对应的文本类别确定度。再将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，通过将根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，再使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，能够利用根层级的深度特征来对叶子层级进行分类识别，由于叶子类别对应的类别精细度大于根类别对应的类别精细度，即能够考虑类别的层级结构，从而使得到的各个叶子类别对应的文本类别确定度提高了准确性，然后再使用各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别，从而提高了得到的文本类别的准确性，即提高了分类准确性。
在一个实施例中，步骤206，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，包括步骤：
将根层级深度特征和叶子层级深度特征进行拼接，得到拼接特征；基于拼接特征和叶子层级深度特征进行残差特征提取，得到残差特征，并将残差特征进行标准化，得到叶子融合特征。
其中，拼接特征是将根层级深度特征和叶子层级深度特征首尾拼接后得到的，其中，可以将根层级深度特征作为首部，将叶子层级深度特征作为尾部进行拼接，得到拼接特征，也可以将根层级深度特征作为尾部，将叶子层级深度特征作为首部进行拼接，得到拼接特征。残差特征是指使用残差神经网络提取得到的特征，该残差神经网络能够通过增加相当的深度来提高准确率，通过在内部的残差块中使用跳跃链接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
具体地，服务器将根层级深度特征和叶子层级深度特征进行首尾拼接，得到拼接特征。然后使用残差神经网络对拼接特征和叶子层级深度特征进行残差特征提取，得到残差特征，并使用标准化算法将残差特征进行标准化，得到叶子融合特征，其中，标准化算法用于将残差特征调整在合适的范围，很大程度避免了梯度消失、梯度爆炸问题，标准化算法可以是层标准化算法。残差网络的网络结构可以是ResNet（一种残差网络）的网络结构。
在一个实施例中，基于拼接特征和叶子层级深度特征进行残差特征提取，得到残差特征，包括步骤：
使用预设残差参数对拼接特征进行映射变换，得到映射变换特征，并计算映射变换特征与叶子层级深度特征的特征和，得到残差特征。
其中，预设残差参数是指预先训练好进行残差计算的参数，可以包括权值参数和偏置参数。映射变换特征是指对拼接特征进行映射变换后得到的特征，可以是进行非线性映射，也可以是进行线性映射。
具体地，服务器使用预设残差参数中权值参数对拼接特征进行加权，得到加权后的特征，然后再计算加权后的特征与预设残差参数中偏置参数的和，得到映射变换特征。然后再将映射变换特征与叶子层级深度特征进行相加，得到残差特征。
上述实施例中，通过将根层级深度特征和叶子层级深度特征进行拼接，得到拼接特征，基于拼接特征和叶子层级深度特征进行残差特征提取，得到残差特征，并将残差特征进行标准化，得到叶子融合特征，从而提高了得到的叶子融合特征的准确性，并且能够缓解梯度消失的问题。
在一个实施例中，如图3所示，步骤208，基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，包括：
步骤302，获取文本类别层级信息。
步骤304，基于文本类别层级信息将各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度。
其中，文本类别层级信息是指预先设置好的各个文本类别的层级的信息，不同的文本类别可以属于同一文本类别层级，也可以属于不同的文本类别层级。比如，文本类别层级可以包括一级、二级、三级等等，一级的文本类别包括有各个二级的文本类别，二级的文本类别包括有三级的文本类别。该文本类别层级信息也可以是根据树结构的文本类别层级得到的。层级路径确定度用于表征待分类文本对应的文本类别为该层级路径中包括的文本类别的可能性。该层级路径可以是指树结构的文本类别层级中从根类别到叶子类别的分支路径。即从根节点的文本类别到叶子节点的文本类别的路径为一个分支路径。
具体地，服务器可以从数据库中获取文本类别层级信息，也可以获取到终端上传的文本类别层级信息，也可以是从提供数据服务的服务方获取到文本类别层级信息，还可以是从提供业务服务的服务方获取到文本类别层级信息。然后服务器使用文本类别层级信息将各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度中属于同一层级路径上的根类别和叶子类别的文本类别确定度进行融合，得到各个层级路径确定度。
步骤306，从各个层级路径确定度中确定目标层级路径确定度，基于目标层级路径确定度确定待分类文本对应的文本类别。
具体地，服务器比较各个层级路径确定度的大小，将最大的层级路径确定度，作为目标层级路径确定度，将目标层级路径确定度对应层级路径中的根类别和叶子类别作为待分类文本对应的文本类别。
在上述实施例中，通过使用获取文本类别层级信息将各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度。然后从各个层级路径确定度中确定目标层级路径确定度，基于目标层级路径确定度确定待分类文本对应的文本类别，从而使得到的待分类文本对应的文本类别能够具有准确的层级结构，避免出现文本类别中根类别和叶子类别不属于同一层级路径的问题。
在一个实施例中，如图4所示，步骤304，基于文本类别层级信息将各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度，包括：
步骤402，从各个根类别对应的文本类别确定度中选取当前根类别对应的文本类别确定度。
步骤404，基于文本类别层级信息获取当前根类别对应的当前叶子类别，并从各个叶子类别对应的文本类别确定度中确定当前叶子类别对应的文本类别确定度。
其中，当前根类别是指当前要进行融合计算的根类别。当前叶子类别是指当前根类别对应的所有叶子类别中要与根类别进行融合计算的叶子类别。
具体地，服务器可以依次从各个根类别中选取当前根类别，并从各个根类别对应的文本类别确定度中获取到当前根类别对应的文本类别确定度。然后使用文本类别层级信息获取到当前根类别所包括的所有叶子类别，然后可以依次将叶子类别作为当前叶子类别，并从各个叶子类别对应的文本类别确定度中获取当前叶子类别对应的文本类别确定度。
步骤406，计算当前根类别对应的文本类别确定度和当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度。
步骤408，遍历各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度，得到各个层级路径确定度。
其中，当前层级路径确定度是指当前根类别和当前叶子类别为待分类文本对应文本类别的可能性。
具体地，服务器将当前根类别对应的文本类别确定度与当前叶子类别对应的文本类别确定度进行相乘，得到当前层级路径确定度。服务器将每个层级路径上的根类别对应的文本类别确定度与叶子类别对应的文本类别确定度进行相乘，得到各个层级路径确定度。
在一个具体的实施例中，文本类别层级信息中有2个根类别A和根类别B，每个根类别都有3个叶子类别，包括叶子类别A1、叶子类别A2、叶子类别A3、叶子类别B1、叶子类别B2、叶子类别B3，此时，层级路径包括有6条，其中，可以先将A和A1作为当前根类别和当前叶子类别进行计算，然后遍历所有的根类别和叶子类别，直到计算完成B和B3对应的层级路径确定度时，得到6条层级路径确定度，然后从6条层级路径确定度中选取最大层级路径确定度，将该最大层级路径确定度对应的层级路径中的文本类别，比如可以是A和A1作为待分类文本对应的文本类别。
在上述实施例中，通过基于文本类别层级信息获取当前根类别对应的当前叶子类别，然后计算当前根类别对应的文本类别确定度和当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度。最后遍历各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度，得到各个层级路径确定度，从而提高了得到的各个层级路径确定度的准确性。
在一个实施例中，如图5所示，文本分类方法还包括：
步骤502，将待分类文本输入到第一目标文本分类模型中；
步骤504，通过第一目标文本分类模型对待分类文本进行语义表征提取，得到文本语义表征。
其中，目标文本分类模型是指预先训练好的用于进行文本多层级分类的神经网络模型，即该多层级分类至少是两层级的分类。第一目标文本分类模型是指包括根层级分类和叶子层级分类的目标文本分类模型。
具体地，服务器获取到训练样本，使用训练样本训练得到第一目标文本分类模型，然后将第一目标文本分类模型进行部署。当检测到需要进行文本分类时，将获取到的待分类文本作为第一目标文本分类模型的输入，第一目标文本分类模型首先对待分类文本进行语义表征提取，得到文本语义表征，其中，可以使用语义表征的神经网络来进行语义表征提取，即可以对待分类文本进行分字或者词，得到各个字或者各个词，然后将各个字或者各个词进行向量化，得到各个字向量或者各个词向量，基于各个字向量或者各个词向量得到文本语义表征。
步骤506，通过第一目标文本分类模型将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
步骤508，通过第一目标文本分类模型将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
具体地，服务器通过第一目标文本分类模型提取得到文本语义表征时，然后进行双分支的根层级分类和叶子层级分类。其中，可以将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度。然后再将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
在上述实施例中，通过使用第一目标文本分类模型来对待识别文本进行多层级的分类识别，得到各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度，提高了分类识别的效率。
在一个实施例中，第一目标文本分类模型包括语义表征提取网络、根层级分类网络和叶子层级分类网络；
如图6所示，步骤502，将待分类文本输入到第一目标文本分类模型中，包括：
步骤602，将待分类文本输入到语义表征提取网络中进行语义表征提取，得到文本语义表征。
步骤604，将文本语义表征输入到根层级分类网络中，通过根层级分类网络对文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根类别确定度计算，得到各个根类别对应的文本类别确定度；
步骤606，将文本语义表征和根层级深度特征输入到叶子层级分类网络中，通过叶子层级分类网络对文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子类别确定度计算，得到各个叶子类别对应的文本类别确定度。
其中，语义表征提取网络是用于进行语义表征提取的深度神经网络，该语义表征提取网络是进行分类时的主干网络，该语义表征提取网络可以是各种向量化模型，比如，可以是BERT（Bidirectional Encoder Representations from Transformer，语言表征模型）网络模型，也可以是LSTM（Long short-term memory，长短期记忆）网络或者GRU（GatedRecurrent Unit，门控循环单元）网络等等。根层级分类网络用于对各个预先设置好的根类别进行分类识别的分支网络，可以是使用深度神经网络建立的。叶子层级分类网络用于对各个预先设置好的叶子类别进行分类识别的分支网络，是使用深度神经网络建立的。
具体地，服务器可以先通过语义表征提取网络进行语义表征提取，然后将文本语义表征输入到两个分支网络中，即输入到根层级分类网络和叶子层级分类网络，并且叶子层级分类网络在进行分类时还需要获取到根层级分类网络提取得到的根层级深度特征。然后将根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，再使用叶子融合特征进行分类识别。
在上述实施例中，通过语义表征提取网络提取得到文本语义标注后再通过根层级分类网络和叶子层级分类网络进行分类识别，可以提取分类识别的效率和准确性。
在一个实施例中，叶子层级分类网络包括叶子层级深度特征提取子网络、特征融合子网络和叶子层级分类子网络；
步骤606，将文本语义表征和根层级深度特征输入到叶子层级分类网络中，包括步骤：
将文本语义表征输入到叶子层级深度特征提取子网络中进行叶子层级深度特征提取，得到叶子层级深度特征；将根层级深度特征和叶子层级深度特征输入到特征融合子网络中进行特征融合，得到叶子融合特征；并将叶子融合特征输入到叶子层级分类子网络中进行叶子类别确定度计算，得到各个叶子类别对应的文本类别确定度。
其中，叶子层级深度特征提取子网络用于进行叶子层级深度特征的提取，该叶子层级深度特征提取子网络可以是使用深度神经网络提取得到的，该深度神经网络可以是Dense（稠密神经网络）网络。特征融合子网络是用于将不同层级的神经特征进行融合的神经网络。叶子层级分类子网络是用于对各个叶子类别进行分类识别的网络。
具体地，服务器使用叶子层级深度特征提取子网络来提取叶子层级深度特征，然后将叶子层级深度特征与根层级深度特征通过特征融合子网络进行融合，得到叶子融合特征，然后再通过叶子层级分类子网络进行叶子类别分类识别，从而提高了得到的各个叶子类别对应的文本类别确定度的准确性。
在一个具体的实施例中，如图7所示，为第一目标文本分类模型的模型架构示意图，具体来说：获取到待分类文本，将待分类文本拆分成字符，然后在前后分别两个特殊的字符即起始字符“CLS”和终止字符“SEP”，得到字符序列。然后将字符序列输入到BERT网络中进行序列转换，得到各个字符对应的语义表征向量，然后可以将起始字符对应的语义表征向量作为文本语义表征，也可以将各个文本字符对应的语义表征向量进行平均计算，得到文本语义表征。然后将文本语义表征输入到根层级深度特征提取网络（Dense1）中，得到输出的根层级深度特征，其中可以使用如下所示的公式（1）进行深度特征提取，得到根层级深度特征。
其中，
是指根层级深度特征，可以用各个根层级类别的logits分数来表示。/>
表示文本语义表征。/>
和/>
是Dense1网络的网络参数即网络权重和网络偏置。然后再使用根层级深度特征进行分类识别，得到各个根类别对应的文本类别确定度。其中，可以使用如下所示的公式（2）进行分类识别。
其中，Probs1是指各个根类别对应的文本类别确定度。softmax1是指根层级的分类网络。同时将文本语义表征输入到叶子层级深度特征提取网络（Dense2）中，得到输出的叶子层级深度特征，其中可以使用如下所示的公式（3）进行深度特征提取，得到叶子层级深度特征。
其中，
是指叶子层级深度特征，可以用各个叶子层级类别的logits分数来表示。
表示文本语义表征。/>
和/>
是Dense2网络的网络参数即网络权重和网络偏置。然后再将根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征。其中，可以使用如下所示的公式（4）和公式（5）进行特征融合，得到叶子融合特征。
其中，
是指拼接特征，/>
是指叶子融合特征。/>
是指融合时的权重参数，
是指融合时的偏置参数。/>
是指层标准化。然后再使用叶子融合特征进行分类识别，得到各个叶子类别对应的文本类别确定度。其中，可以使用如下所示的公式（6）进行分类识别。
其中，Probs2是指各个叶子类别对应的文本类别确定度。softmax2是指叶子层级的分类网络。
是指叶子层级分类时的权重参数，/>
是指叶子层级分类时的偏置参数。最终得到各个叶子类别对应的文本类别确定度和各个根类别对应的文本类别确定度，然后确定待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别，从而提高了得到的文本类别的准确性。
在一个实施例中，如图8所示，文本分类方法，还包括：
步骤802，将文本语义表征进行中间层级深度特征提取，得到中间层级深度特征。
步骤804，基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，基于中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度。
其中，中间层级是指预先设置好的文本类别的层级，该层级是处于根层级和叶子层级之间的层级。该中间层级可以包括多个，可以根据需求设置，比如，可以包括第一个中间层级、第二个中间层级等等。中间层级深度特征是指使用中间层级对应的深度神经网络提取得到的特征，该中间层级深度特征是用于对中间层级对应的文本类别进行识别。中间融合特征是指将根层级深度特征和中间层级深度特征进行融合后得到的特征，使在进行中间层级的分类识别时能够考虑到上一层级的特征信息。当有一个中间层级时，上一层级是根层级。当有多个中间层级时，上一层级可以是根层级，也可以是上一中间层级。中间类别是指文本类别层级中在根层级和叶子层级之间的层级对应的文本类别，可以包括有多个。
具体地，服务器可以使用中间层级深度调整提取参数来提取文本语义表征的深度特征，得到中间层级深度特征。然后将根层级深度特征和中间层级深度特征进行特征拼接，得到拼接后的特征，然后再将拼接后的特征进行特征提取，得到中间融合特征。最后再使用中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度。
步骤806，将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度，叶子类别对应的类别精细度大于中间类别对应的类别精细度，中间类别对应的类别精细度大于根类别对应的类别精细度。
其中，目标叶子融合特征是指存在中间层级时，将根层级深度特征、中间融合特征和叶子层级深度特征进行融合后得到的特征，该目标叶子融合特征中包括有根层级、中间层级和叶子层级进行分类的特征信息。中间类别对应的类别精细度小于叶子类别对应的类别精细度，但大于根类别对应的类别精细度，即中间类别对应的类别精细度在根类别的类别精细度和叶子类别的类别精细度之间。
具体地，当在中间层级的文本分类识别后，对叶子层级进行文本分类识别时，需要使用根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，才能得到叶子层级对应的目标叶子融合特征，其中，可以将根层级深度特征、中间融合特征和叶子层级深度特征进行拼接，然后再对拼接后的特征进行残差特征提取，然后再对残差特征进行标准化，得到目标叶子融合特征。然后使用目标叶子融合特征进行叶子层级的分类识别，其中，可以使用多分类参数进行分类识别，得到各个叶子类别对应的目标文本类别确定度。通过使用目标叶子融合特征进行叶子层级的分类识别，由于叶子层级在进行分类识别时融合了根层级和中间层级进行分类的特征信息，从而提高叶子层级分类识别的准确性。
步骤808，基于各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的目标文本类别确定度得到待分类文本对应的目标文本类别，目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别。
其中，目标中间类别是指待分类文本对应的树结构的文本类别层级的中间层级的类别。
具体地，服务器根据预先设置好的文本类别层级即树结构的文本类别层级确定从根节点对应的根类别到中间节点对应的中间类别，再到叶子节点对应的叶子类别的分支路径，计算每个分支路径上根类别对应的文本类别确定度、中间类别对应的文本类别确定度与叶子类别对应的文本类别确定度的乘积，得到每个分支路径的文本类别确定度，然后选取最大文本类别确定度的分支路径，将最大文本类别确定度的分支路径中包括的根类别、中间类别和叶子类别作为目标根类别、目标根类别对应的目标中间类别以及目标中间类别对应的目标叶子类别，即得到待分类文本对应的目标文本类别。
在一个实施例中，在一个实施例中，服务器可以直接从各个根类别对应的文本类别确定度中选取最大文本类别确定度对应的根类别，得到目标根类别，然后再根据预先设置好的文本类别层级获取目标根类别对应的各个中间类别，然后从目标根类别对应的各个中间类别文本类别确定度中选取最大文本类别确定度对应的中间类别，得到目标中间类别。然后再根据预先设置好的文本类别层级获取目标中间类别对应的各个叶子类别，然后从目标根类别对应的各个叶子类别的文本类别确定度中选取最大文本类别确定度对应的叶子类别，得到目标叶子类别。
在上述实施例中，通过使用文本语义表征进行中间层级的分类识别，从而使得到的目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别，从而提高了得到的目标文本类别的准确性。
在一个实施例中，步骤804，基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，包括步骤：
将根层级深度特征和中间层级深度特征进行拼接，得到中间拼接特征；基于中间拼接特征和叶子层级深度特征进行残差特征提取，得到中间残差特征，并将中间残差特征进行标准化，得到中间融合特征。
其中，中间拼接特征是指将根层级深度特征和中间层级深度特征进行首尾拼接后得到的，是中间层级在进行特征融合时得到的拼接特征。中间残差特征是指中间层级在进行特征融合时提取得到的残差特征。中间融合特征是指中间层级在进行特征融合时提取得到的融合特征。
具体地，服务器将根层级深度特征和中间层级深度特征进行首尾拼接，得到中间拼接特征。然后使用残差神经网络对中间拼接特征和中间层级深度特征进行残差特征提取，得到中间残差特征，并使用标准化算法将中间残差特征进行标准化，得到中间融合特征，其中，标准化算法用于将中间残差特征调整在合适的范围，很大程度避免了梯度消失、梯度爆炸问题，标准化算法可以是层标准化算法。中间残差网络的网络结构可以是ResNet（一种残差网络）的网络结构。其中，在进行残差特征提取时，可以是将中间拼接特征进行非线性映射，得到中间层级的映射变换特征，然后计算中间层级的映射变换特征与中间层级深度特征的特征和，得到中间残差特征。
在上述实施例中，通过在进行中间层级的分类识别时，将根层级深度特征与中间层级的深度特征进行融合后再进行中间层级的分类识别，从而可以提高中间层级的分类准确性。
在一个实施例中，步骤806，将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，包括步骤：
将根层级深度特征、中间融合特征和叶子层级深度特征进行拼接，得到目标拼接特征；基于目标拼接特征和叶子层级深度特征进行残差特征提取，得到目标残差特征，并将目标残差特征进行标准化，得到目标叶子融合特征。
其中，目标拼接特征是指存在中间层级时将根层级深度特征、中间融合特征和叶子层级深度特征进行拼接得到的，即目标拼接特征是叶子层级在进行特征融合时得到的拼接特征。目标残差特征是指存在中间层级时叶子层级在进行特征融合时提取得到的残差特征。目标融合特征是指存在中间层级时叶子层级在进行特征融合时提取得到的融合特征。
具体地，服务器将根层级深度特征、中间层级深度特征和叶子层级深度特征依次进行拼接，得到目标拼接特征，其中，可以将根层级深度特征在首部，叶子层级深度特征在尾部进行拼接，也可以将根层级深度特征在尾部，叶子层级深度特征在首部进行拼接。然后使用残差神经网络对目标拼接特征和叶子层级深度特征进行残差特征提取，得到目标残差特征，并使用标准化算法将目标残差特征进行标准化，得到目标叶子融合特征，标准化算法可以是层标准化算法。残差网络的网络结构可以是ResNet（一种残差网络）的网络结构。
在上述实施例中，通过在进行叶子层级分类识别时，将所有层级的深度特征进行融合，得到目标叶子融合特征，提高了得到的目标叶子融合特征的准确性，然后再使用目标叶子融合特征进行叶子层级的分类识别，提高了叶子层级的分类准确性。
在一个实施例中，如图9所示，文本分类方法，还包括：
步骤902，将待分类文本输入到第二目标文本分类模型中；通过第二目标文本分类模型对待分类文本进行语义表征提取，得到文本语义表征。
步骤904，通过第二目标文本分类模型将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度。
其中，第二目标文本分类模型是指包括根层级分类、中间层级分类和叶子层级分类的目标文本分类模型。在一个实施例中，目标文本分类模型中可以包括有根层级分类、至少两个中间层级分类和叶子层级分类。第二目标文本分类模型中进行根层级分类的分类参数可以与第一目标文本分类模型中进行根层级分类的分类参数相同，也可以不同，其中，当预先设置好的根层级的文本类别一致时，第二目标文本分类模型中进行根层级分类的分类参数可以与第一目标文本分类模型中进行根层级分类的分类参数相同，当预先设置好的根层级的文本类别未一致时，第二目标文本分类模型中进行根层级分类的分类参数可以与第二目标文本分类模型中进行根层级分类的分类参数不相同。
具体地，服务器通过第二目标文本分类模型进行根层级的分类识别，即通过根层级的深度特征提取神经网络来提取根层级深度特征，然后使用根层级的分类神经网络进行通过根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度。
步骤906，通过第二目标文本分类模型将文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，并基于中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度。
具体地，服务器通过第二目标文本分类模型进行中间层级的分类识别，即通过中间层级的深度特征提取神经网络来提取中间层级深度特征，然后通过中间层级的特征融合网络将根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，然后再使用中间层级的分类神经网络通过中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度。
步骤908，通过第二目标文本分类模型将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度。
具体地，服务器通过第二目标文本分类模型进行叶子层级的分类识别，即通过叶子层级的深度特征提取神经网络来提取叶子层级深度特征，然后通过叶子层级的特征融合网络将根层级深度特征、中间层级深度特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，然后再使用叶子层级的分类神经网络通过目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
步骤910，基于各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的目标文本类别确定度得到待分类文本对应的目标文本类别，目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别。
具体地，服务器也可以使用第二目标文本分类模型对各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的目标文本类别确定度进行层级路径文本类别确定度的计算，得到各个层级路径的文本类别确定度，然后选取最大文本类别确定度对应的层级路径中的根类别、中间类别和叶子类别，得到第二目标文本分类模型输出的待识别文本的文本类别，即目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别，通过使用第二目标文本分类模型能够进一步提高分类识别的准确性。
在一个具体的实施例中，如图10所示，为第二目标文本分类模型的模型架构示意图，具体来说：取到待分类文本，将待分类文本拆分成字符，然后在前后分别两个特殊的字符即起始字符“CLS”和终止字符“SEP”，得到字符序列。然后将字符序列输入到BERT网络中进行序列转换，得到各个字符对应的语义表征向量，然后可以将起始字符对应的语义表征向量作为文本语义表征，也可以将各个文本字符对应的语义表征向量进行平均计算，得到文本语义表征。然后将文本语义表征输入到根层级深度特征提取网络（Dense1）中，通过公式（1）提取得到输出的根层级深度特征。然后再使用根层级深度特征通过公式（2）进行分类识别，得到各个根类别对应的文本类别确定度。同时将文本语义表征输入到中间层级深度特征提取网络（Dense3）中，得到输出的中间层级深度特征，其中可以使用如下所示的公式（7）进行深度特征提取，得到中间层级深度特征。
其中，
是指中间层级深度特征，可以用各个中间层级类别的logits分数来表示。
表示文本语义表征。/>
和/>
是Dense3网络的网络参数即网络权重和网络偏置。然后再将根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征。其中，可以使用如下所示的公式（8）和公式（9）进行特征融合，得到中间融合特征。
其中，
是指将根层级深度特征和中间层级深度特征进行拼接后得到的拼接特征，/>
是指中间融合特征。/>
是指第二目标文本分类模型中融合时的权重参数，/>
是指第二目标文本分类模型中融合时的偏置参数。/>
是指层标准化。然后再使用中间融合特征进行分类识别，得到各个中间类别对应的文本类别确定度。其中，可以使用如下所示的公式（10）进行分类识别。
其中，Probs3是指各个中间类别对应的文本类别确定度。softmax3是指中间层级的分类网络。
是指中间层级分类时的权重参数，/>
是指中间层级分类时的偏置参数。
同时将文本语义表征输入到叶子层级深度特征提取网络（Dense4）中，得到输出的叶子层级深度特征，其中可以使用如下所示的公式（11）进行深度特征提取，得到目标叶子层级深度特征。
其中，
是指目标叶子层级深度特征，可以用各个目标叶子层级类别的logits分数来表示。/>
表示文本语义表征。/>
和/>
是Dense4网络的网络参数即网络权重和网络偏置。然后再将根层级深度特征、中间层级深度特征和目标叶子层级深度特征进行特征融合，得到目标叶子融合特征。其中，可以使用如下所示的公式（12）和公式（13）进行特征融合，得到目标叶子融合特征。
其中，
是指将根层级深度特征、中间层级深度调整和目标叶子层级深度特征进行拼接后得到的拼接特征，/>
是指目标叶子融合特征。/>
是指第二目标文本分类模型中叶子层级融合时的权重参数，/>
是指第二目标文本分类模型中叶子层级融合时的偏置参数。/>
是指层标准化。然后再使用目标叶子融合特征进行分类识别，得到各个目标叶子类别对应的文本类别确定度。其中，可以使用如下所示的公式（14）进行分类识别。
其中，Probs4是指各个目标叶子类别对应的文本类别确定度。softmax4是指第二目标文本分类模型中叶子层级的分类网络。
是指第二目标文本分类模型中叶子层级分类时的权重参数，/>
是指第二目标文本分类模型中叶子层级分类时的偏置参数。
最后使用各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个目标叶子类别对应的文本类别确定度确定待分类文本对应的文本类别，包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别，使用第二目标文本分类模型机械能分类识别，能够进一步提高文本分类的准确性。
在一个实施例中，如图11所示，提供了一种文本分类模型训练方法，以该方法应用于图1中的服务器为例进行说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤1102，获取训练文本和对应的文本层级类别标签；将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征。
其中，训练文本是指训练时使用的文本，文本层级类别标签是指具有层级的文本类别的标签，该文本层级类别标签中包括根类别标签和对应的叶子类别标签。比如，训练文本可以是“某款手机13”，文本层级类别是两个层级时，则对应的文本层级类别标签可以是“商品-手机”，根类别标签是“商品”，叶子类别标签是“手机”。第一初始文本分类模型是指模型参数初始化的第一文本分类模型，该第一文本分类模型是包括根层级分类和叶子层级分类的文本分类模型。训练语义表征是指训练文本对应的语义表征。
具体地，服务器可以从数据库中获取到训练文本和对应的文本层级类别标签。服务器也可以是从提供数据服务的服务方获取到训练文本和对应的文本层级类别标签。服务器也可以是获取到终端上传的训练文本和对应的文本层级类别标签。然后将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型中的语义表征网络对训练文本进行语义表征提取，得到训练语义表征。该语义表征网络可以是预训练的Bert模型。
步骤1104，通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度。
其中，训练根层级深度特征是指训练时得到的根层级深度特征。训练文本类别确定度是指训练时得到的对应类别为训练文本对应类别的可能性。
具体地，服务器通过第一初始文本分类模型中的根层级分类网络进行根层级的分类识别，该根层级分类网络中包括深度特征提取层以及分类层，使用深度特征提取层以及分类层进行分类识别，得到各个根类别对应的训练文本类别确定度。
步骤1106，通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度。
其中，训练叶子层级深度特征是指训练时得到的叶子层级深度特征。训练叶子融合特征是指第一初始文本分类模型在训练时得到的融合特征。
具体地，服务器通过第一初始文本分类模型中的叶子层级分类网络进行叶子层级的分类识别，该叶子层级分类网络中包括深度特征提取层、特征融合层以及分类层，使用深度特征提取层、特征融合层以及分类层进行分类识别，得到各个叶子类别对应的训练文本类别确定度。
步骤1108，计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息。
其中，根类别损失信息用于表征训练得到的根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的误差。叶子类别损失信息用于表征训练得到的叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的误差。
具体地，服务器使用分类损失函数计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息。其中，分类损失函数可以是交叉熵损失函数，也可以是对数损失函数等。
步骤1110，基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
其中，训练完成条件是指训练得到第一目标文本分类模型的条件，可以是训练迭代次数达到最大阈值、训练损失信息达到预设阈值以及模型参数不再发生变换等等。第一目标文本分类模型是指训练好的用于进行文本多层级分类的神经网络模型。
具体地，服务器计算根类别损失信息和叶子类别损失信息的损失信息总和，然后判断训练是否达到训练完成条件，比如，判断损失信息总和是否小于预设阈值，当未达到训练完成条件，服务器使用损失信息总和反向更新第一初始文本分类模型，得到更新后的第一初始文本分类模型，然后将更新后的第一初始文本分类模型作为第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。然后就可以将第一目标文本分类模型进行部署并进行多层级的文本分类模型。
上述文本分类模型训练方法、装置、计算机设备、存储介质和计算机程序产品，通过将训练文本输入到第一初始文本分类模型中对训练文本进行语义表征提取，得到训练语义表征，将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度，将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度。通过在训练的过程中使用训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，然后再进行叶子层级分类，由于叶子类别对应的类别精细度大于根类别对应的类别精细度，从而在训练的过程中能够学习到类别的层级结构，然后计算根类别损失信息和叶子类别损失信息，使用根类别损失信息和叶子类别损失信息进行迭代训练，直到达到训练完成条件时，得到第一目标文本分类模型，从而提高了得到的第一目标文本分类模型准确性。
在一个实施例中，如图12所示，文本分类模型训练方法，还包括：
步骤1202，将训练文本输入到第二初始文本分类模型中，通过第二初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征。
其中，第二初始文本分类模型是指模型参数初始化的第二文本分类模型，该第二文本分类模型是包括根层级分类、中间层级分类和叶子层级分类的文本分类模型。
具体地，服务器将训练文本输入到第二初始文本分类模型中，通过第二初始文本分类模型中的语义表征网络对训练文本进行语义表征提取，得到训练语义表征，该语义表征网络也可以是预先训练好的向量化模型。
步骤1204，通过第二初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度。
步骤1206，通过第二初始文本分类模型将训练文本语义表征进行中间层级深度特征提取，得到训练中间层级深度特征，基于训练根层级深度特征和训练中间层级深度特征进行特征融合，得到训练中间融合特征，基于训练中间融合特征进行中间层级分类，得到各个中间类别对应的训练文本类别确定度。
其中，训练中间层级深度特征是指训练第二初始文本分类模型时得到的中间层级深度特征。训练中间融合特征是指在进行中间层级的训练时得到的融合特征。
具体地，服务器通过第二初始文本分类模型中的中间层级分类网络进行中间类别的分类识别。该中间层级分类网络中包括深度特征提取层、特征融合层以及分类层，使用该中间层级分类网络包括的深度特征提取层、特征融合层以及分类层进行中间层级的文本类别的识别，得到各个中间类别对应的训练文本类别确定度。其中，特征融合层可以是将输入的特征进行拼接后再通过残差网络进行残差特征提取后得到输出的融合特征。
步骤1208，通过第二初始文本分类模型将训练根层级深度特征、训练中间融合特征和训练叶子层级深度特征进行特征融合，得到训练目标叶子融合特征，并使用训练目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练目标文本类别确定度，叶子类别对应的类别精细度大于中间类别对应的类别精细度，中间类别对应的类别精细度大于根类别对应的类别精细度。
其中，训练目标叶子融合特征是指在训练第二初始文本分类模型时得到的目标叶子融合特征。
具体地，服务器通过第二初始文本分类模型中的叶子层级分类网络进行叶子类别的分类识别。该叶子层级分类网络中包括深度特征提取层、特征融合层以及分类层，使用该叶子层级分类网络包括的深度特征提取层、特征融合层以及分类层进行叶子层级的文本类别的识别，得到各个叶子类别对应的训练文本类别确定度。其中，特征融合层可以是将输入的特征进行拼接后再通过残差网络进行残差特征提取后得到输出的融合特征。
步骤1210，计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，计算各个中间类别对应的训练文本类别确定度与文本层级类别标签中中间类别标签之间的损失，得到中间类别损失信息，并计算各个叶子类别对应的训练目标文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别目标损失信息。
其中，文本层级类别标签中包括有中间层级类别对应的标签。比如，训练文本可以是“某篮球体育比赛队伍进入决赛！某队员2场60分，4大纪录人生到达巅峰”，文本层级类别是三个层级时，则对应的文本层级类别标签可以是“体育-篮球-赛事战报”，根类别标签是“体育”，中间类别标签是“篮球”，叶子类别标签是“赛事战报”。中间类别损失信息用于表征训练得到的中间类别对应的训练文本类别确定度与文本层级类别标签中中间类别标签之间的误差。
具体地，服务器使用分类损失函数计算根类别损失信息、中间类别损失信息和叶子类别损失信息。其中，分类损失函数可以是交叉熵损失函数，也可以是对数损失函数等。比如，可以使用如下所示的公式（15）来计算损失。
其中，probs为训练文本类别确定度，可以是根类别对应的训练文本类别确定度，也可以是中间类别对应的训练文本类别确定度，也可以是叶子类别对应的训练文本类别确定度。Loss为损失信息，可以是根类别损失信息、中间类别损失信息和叶子类别损失信息。
步骤1212，基于根类别损失信息、中间类别损失信息和叶子类别目标损失信息更新第二初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第二目标文本分类模型。
具体地，服务器计算根类别损失信息、中间类别损失信息和叶子类别目标损失信息的总和，然后判断是否达到训练完成条件，当未达到训练完成条件，使用损失信息的总和更新第二初始文本分类模型，得到更新后的第二初始文本分类模型，然后将更新后的第二初始文本分类模型作为第二初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第二目标文本分类模型。然后将第二目标文本分类模型进行部署并进行多层级的文本分类。
在一个实施例中，第二文本分类模型也可以是包括根层级分类、至少两个中间层级分类和叶子层级分类的文本分类模型。然后训练得到的第二目标文本分类模型在对待识别文本进行分类识别时，可以进行根层级分类、至少两个中间层级分类和叶子层级分类，最终得到目标根类别、目标根类别对应的至少两个中间层级分类的目标中间类别，以及最后一个目标中间类别对应的目标叶子类别。
在上述实施例中，通过计算根类别损失信息、中间类别损失信息和叶子类别损失信息，然后使用根类别损失信息、中间类别损失信息和叶子类别损失信息来更新第二初始文本分类模型，并不断循环迭代，直到达到训练完成条件时，得到第二目标文本分类模型，从而提高了得到的第二目标文本分类模型的准确性。
在一个具体的实施例中，如图13所示，提高一种文本分类方法，具体包括以下步骤：
步骤1302，获取待分类文本，将待分类文本输入到第二目标文本分类模型中，通过第二目标文本分类模型中的语义表征提取网络对待分类文本进行语义表征提取，得到文本语义表征。
步骤1304，通过第二目标文本分类模型中的根层级分类网络将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度。
步骤1306，通过第二目标文本分类模型中的中间级分类网络将文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，并基于中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度。
步骤1308，通过第二目标文本分类模型中的叶子层级分类网络将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度。
步骤1310，获取文本类别层级信息；从各个根类别对应的文本类别确定度中选取当前根类别对应的文本类别确定度，基于文本类别层级信息获取当前根类别对应的当前中间类别，并获取当前中间类别对应的当前叶子类别。
步骤1312，从各个中间类别对应的文本类别确定度中确定当前中间类别对应的文本类别确定度，并从各个叶子类别对应的目标文本类别确定度中确定当前叶子类别对应的文本类别确定度。计算当前根类别对应的文本类别确定度、当前中间类别对应的文本类别确定度和当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度。
步骤1314，遍历各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度，得到各个层级路径确定度。从各个层级路径确定度中确定目标层级路径确定度，基于目标层级路径确定度确定待分类文本对应的目标文本类别，目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别。
在一个具体的实施例中，该文本分类方法应用于信息搜索平台中，具体来说：使用者在使用信息搜索平台时，服务器从获取到使用者输入信息搜索平台中的待搜索文本，然后可以将待搜索文本输入到第一目标文本分类模型中或者第二目标文本分类模型中进行多层级的文本分类，得到输出到文本层级类别。然后根据文本层级类别从最后一个层级类别对应的信息中获取到待搜索文本对应的搜索内容，然后将搜索内容返回到信息搜索平台中并进行显示，从而可以提高信息搜索的准确性，让使用者能够搜索到与待搜索文本相同类别的信息，从而提升使用者的体验。
在一个具体的实施例中，该文本分类方法应用于信息推送平台中，具体来说：服务器获取到要向使用信息推送平台的使用者推送的信息，即都得到大量待推送文本信息，然后将各个待推送文本信息分别输入到第一目标文本分类模型中或者第二目标文本分类模型中进行多层级的文本分类，得到输出到文本层级类别。然后根据文本层级类别判断待推送文本信息是否属于拒绝推送的文本类别，当待推送文本信息属于拒绝推送的文本类别时，该待推送的文本信息拒绝推送到使用者的终端中，从而可以提高文本信息推送的准确性，避免存在异常的文本信息被推送到使用者的终端，提升了使用者的体验。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的文本分类方法的文本分类装置以及文本分类模型训练方法的文本分类模型训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个文本分类装置或者文本分类模型训练装置实施例中的具体限定可以参见上文中对于文本分类方法或者文本分类模型训练方法的限定，在此不再赘述。
在一个实施例中，如图14所示，提供了一种文本分类装置1400，包括：语义表征模块1402、根分类模块1404、叶子分类模块1406和类别得到模块1408，其中：
语义表征模块1402，用于获取待分类文本，对待分类文本进行语义表征提取，得到文本语义表征；
根分类模块1404， 用于将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
叶子分类模块1406，用于将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
类别得到模块1408，用于基于各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度得到待分类文本对应的文本类别，文本类别包括目标根类别和目标根类别对应的目标叶子类别。
在一个实施例中，叶子分类模块1406还用于将根层级深度特征和叶子层级深度特征进行拼接，得到拼接特征；基于拼接特征和叶子层级深度特征进行残差特征提取，得到残差特征，并将残差特征进行标准化，得到叶子融合特征。
在一个实施例中，叶子分类模块1406还用于使用预设残差参数对拼接特征进行映射变换，得到映射变换特征，并计算映射变换特征与叶子层级深度特征的特征和，得到残差特征。
在一个实施例中，类别得到模块1408还用于获取文本类别层级信息；基于文本类别层级信息将各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度；从各个层级路径确定度中确定目标层级路径确定度，基于目标层级路径确定度确定待分类文本对应的文本类别。
在一个实施例中，类别得到模块1408还用于从各个根类别对应的文本类别确定度中选取当前根类别对应的文本类别确定度；基于文本类别层级信息获取当前根类别对应的当前叶子类别，并从各个叶子类别对应的文本类别确定度中确定当前叶子类别对应的文本类别确定度；计算当前根类别对应的文本类别确定度和当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度；遍历各个根类别对应的文本类别确定度和各个叶子类别对应的文本类别确定度，得到各个层级路径确定度。
在一个实施例中，文本分类装置1400还包括：
第一模型分类模块，用于将待分类文本输入到第一目标文本分类模型中通过第一目标文本分类模型对待分类文本进行语义表征提取，得到文本语义表征；通过第一目标文本分类模型将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；通过第一目标文本分类模型将文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
在一个实施例中，第一目标文本分类模型包括语义表征提取网络、根层级分类网络和叶子层级分类网络；第一模型分类模块还用于将待分类文本输入到语义表征提取网络中进行语义表征提取，得到文本语义表征；将文本语义表征输入到根层级分类网络中，通过根层级分类网络对文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根类别确定度计算，得到各个根类别对应的文本类别确定度；将文本语义表征和根层级深度特征输入到叶子层级分类网络中，通过叶子层级分类网络对文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于根层级深度特征和叶子层级深度特征进行特征融合，得到叶子融合特征，并使用叶子融合特征进行叶子类别确定度计算，得到各个叶子类别对应的文本类别确定度。
在一个实施例中，叶子层级分类网络包括叶子层级深度特征提取子网络、特征融合子网络和叶子层级分类子网络；第一模型分类模块还用于将文本语义表征输入到叶子层级深度特征提取子网络中进行叶子层级深度特征提取，得到叶子层级深度特征；将根层级深度特征和叶子层级深度特征输入到特征融合子网络中进行特征融合，得到叶子融合特征；并将叶子融合特征输入到叶子层级分类子网络中进行叶子类别确定度计算，得到各个叶子类别对应的文本类别确定度。
在一个实施例中，文本分类装置1400还包括：
中间层级分类模块，用于将文本语义表征进行中间层级深度特征提取，得到中间层级深度特征；基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，基于中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度，叶子类别对应的类别精细度大于中间类别对应的类别精细度，中间类别对应的类别精细度大于根类别对应的类别精细度；基于各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的目标文本类别确定度得到待分类文本对应的目标文本类别，目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别。
在一个实施例中，中间层级分类模块还用于将根层级深度特征和中间层级深度特征进行拼接，得到中间拼接特征；基于中间拼接特征和叶子层级深度特征进行残差特征提取，得到中间残差特征，并将中间残差特征进行标准化，得到中间融合特征。
在一个实施例中，中间层级分类模块还用于将根层级深度特征、中间融合特征和叶子层级深度特征进行拼接，得到目标拼接特征；基于目标拼接特征和叶子层级深度特征进行残差特征提取，得到目标残差特征，并将目标残差特征进行标准化，得到目标叶子融合特征。
在一个实施例中，文本分类装置1400还包括：
第二模型分类模块，用于将待分类文本输入到第二目标文本分类模型中；通过第二目标文本分类模型对待分类文本进行语义表征提取，得到文本语义表征；通过第二目标文本分类模型将文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；通过第二目标文本分类模型将文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于根层级深度特征和中间层级深度特征进行特征融合，得到中间融合特征，并基于中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；通过第二目标文本分类模型将根层级深度特征、中间融合特征和叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度；基于各个根类别对应的文本类别确定度、各个中间类别对应的文本类别确定度和各个叶子类别对应的目标文本类别确定度得到待分类文本对应的目标文本类别，目标文本类别包括目标根类别、目标根类别对应的目标中间类别和目标中间类别对应的目标叶子类别。
在一个实施例中，如图15所示，提供了一种文本分类模型训练装置1500，包括：获取模块1502、训练表征模块1504、训练根分类模块1506、训练叶子分类模块1508、损失计算模块1510和迭代模块1512，其中：
获取模块1502，用于获取训练文本和对应的文本层级类别标签；
训练表征模块1504，用于将训练文本输入到第一初始文本分类模型中，通过第一初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；
训练根分类模块1506，用于通过第一初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
训练叶子分类模块1508，用于通过第一初始文本分类模型将训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于训练根层级深度特征和训练叶子层级深度特征进行特征融合，得到训练叶子融合特征，并使用训练叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练文本类别确定度，叶子类别对应的类别精细度大于根类别对应的类别精细度；
损失计算模块1510，用于计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，并计算各个叶子类别对应的训练文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
迭代模块1512，用于基于根类别损失信息和叶子类别损失信息更新第一初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第一目标文本分类模型。
在其中一个实施例中，文本分类模型训练装置1500，还包括：
第二模型训练模块，用于将训练文本输入到第二初始文本分类模型中，通过第二初始文本分类模型对训练文本进行语义表征提取，得到训练语义表征；通过第二初始文本分类模型将训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；通过第二初始文本分类模型将训练文本语义表征进行中间层级深度特征提取，得到训练中间层级深度特征，基于训练根层级深度特征和训练中间层级深度特征进行特征融合，得到训练中间融合特征，基于训练中间融合特征进行中间层级分类，得到各个中间类别对应的训练文本类别确定度；通过第二初始文本分类模型将训练根层级深度特征、训练中间融合特征和训练叶子层级深度特征进行特征融合，得到训练目标叶子融合特征，并使用训练目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练目标文本类别确定度，叶子类别对应的类别精细度大于中间类别对应的类别精细度，中间类别对应的类别精细度大于根类别对应的类别精细度；计算各个根类别对应的训练文本类别确定度与文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，计算各个中间类别对应的训练文本类别确定度与文本层级类别标签中中间类别标签之间的损失，得到中间类别损失信息，并计算各个叶子类别对应的训练目标文本类别确定度与文本层级类别标签中叶子类别标签之间的损失，得到叶子类别目标损失信息；基于根类别损失信息、中间类别损失信息和叶子类别目标损失信息更新第二初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第二目标文本分类模型。
上述文本分类装置以及文本分类模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图16所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储训练样本数据、待分类文本以及文本层级信息等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本分类方法或者文本分类模型训练方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图17所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种文本分类方法或者文本分类模型训练方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图16或者图17中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，使用者可以拒绝或可以便捷拒绝广告推送信息等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (26)
1.一种文本分类方法，其特征在于，所述方法包括：
获取待分类文本，对所述待分类文本进行语义表征提取，得到文本语义表征；
将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
将所述文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，基于所述中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；
将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用所述目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度，所述叶子类别对应的类别精细度大于所述中间类别对应的类别精细度，所述中间类别对应的类别精细度大于所述根类别对应的类别精细度；
基于所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度得到所述待分类文本对应的目标文本类别，所述文本类别包括目标根类别、所述目标根类别对应的目标中间类别和所述目标中间类别对应的目标叶子类别。
2.根据权利要求1所述的方法，其特征在于，所述基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，包括：
将所述根层级深度特征和所述中间层级深度特征进行拼接，得到中间拼接特征；
基于所述中间拼接特征和所述叶子层级深度特征进行残差特征提取，得到中间残差特征，并将所述中间残差特征进行标准化，得到所述中间融合特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述中间拼接特征和所述叶子层级深度特征进行残差特征提取，得到中间残差特征，包括：
使用预设残差参数对所述中间拼接特征进行映射变换，得到映射变换特征，并计算所述映射变换特征与所述叶子层级深度特征的特征和，得到所述中间残差特征。
4.根据权利要求1所述的方法，其特征在于，所述基于所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度得到所述待分类文本对应的目标文本类别，包括：
获取文本类别层级信息；
基于所述文本类别层级信息将所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度；
从所述各个层级路径确定度中确定目标层级路径确定度，基于所述目标层级路径确定度确定所述待分类文本对应的目标文本类别。
5.根据权利要求4所述的方法，其特征在于，所述基于所述文本类别层级信息将所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度，包括：
从所述各个根类别对应的文本类别确定度中选取当前根类别对应的文本类别确定度；
基于所述文本类别层级信息获取所述当前根类别对应的当前中间类别，并获取所述当前中间类别对应的当前叶子类别，并从所述各个中间类别对应的文本类别确定度中确定所述当前中间类别对应的文本类别确定度，从所述各个叶子类别对应的文本类别确定度中确定所述当前叶子类别对应的文本类别确定度；
计算所述当前根类别对应的文本类别确定度、所述当前中间类别对应的文本类别确定度和所述当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度；
遍历所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度，得到所述各个层级路径确定度。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述待分类文本输入到第一目标文本分类模型中；
通过所述第一目标文本分类模型对所述待分类文本进行语义表征提取，得到文本语义表征；
通过所述第一目标文本分类模型将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
通过所述第一目标文本分类模型将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征和所述叶子层级深度特征进行特征融合，得到叶子融合特征，并使用所述叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
7.根据权利要求6所述的方法，其特征在于，所述第一目标文本分类模型包括语义表征提取网络、根层级分类网络和叶子层级分类网络；
所述将所述待分类文本输入到第一目标文本分类模型中，包括：
将所述待分类文本输入到所述语义表征提取网络中进行语义表征提取，得到文本语义表征；
将所述文本语义表征输入到所述根层级分类网络中，通过所述根层级分类网络对所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根类别确定度计算，得到所述各个根类别对应的文本类别确定度；
将所述文本语义表征和所述根层级深度特征输入到所述叶子层级分类网络中，通过所述叶子层级分类网络对所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征和所述叶子层级深度特征进行特征融合，得到叶子融合特征，并使用所述叶子融合特征进行叶子类别确定度计算，得到所述各个叶子类别对应的文本类别确定度。
8.根据权利要求7所述的方法，其特征在于，所述叶子层级分类网络包括叶子层级深度特征提取子网络、特征融合子网络和叶子层级分类子网络；
所述将所述文本语义表征和所述根层级深度特征输入到所述叶子层级分类网络中，包括：
将所述文本语义表征输入到所述叶子层级深度特征提取子网络中进行叶子层级深度特征提取，得到所述叶子层级深度特征；
将所述根层级深度特征和所述叶子层级深度特征输入到所述特征融合子网络中进行特征融合，得到叶子融合特征；
并将所述叶子融合特征输入到所述叶子层级分类子网络中进行叶子类别确定度计算，得到所述各个叶子类别对应的文本类别确定度。
9.根据权利要求1所述的方法，其特征在于，所述基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，包括：
将所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行拼接，得到目标拼接特征；
基于所述目标拼接特征和所述叶子层级深度特征进行残差特征提取，得到目标残差特征，并将所述目标残差特征进行标准化，得到所述目标叶子融合特征。
10.根据权利要求1所述的方法，其特征在于，所述方法，还包括：
将所述待分类文本输入到第二目标文本分类模型中；
通过所述第二目标文本分类模型对所述待分类文本进行语义表征提取，得到文本语义表征；
通过所述第二目标文本分类模型将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
通过所述第二目标文本分类模型将所述文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，并基于所述中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；
通过所述第二目标文本分类模型将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用所述目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度；
基于所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的目标文本类别确定度得到所述待分类文本对应的目标文本类别，所述目标文本类别包括目标根类别、所述目标根类别对应的目标中间类别和所述目标中间类别对应的目标叶子类别。
11.根据权利要求10所述的方法，其特征在于，所述第二目标文本分类模型包括语义表征提取网络、根层级分类网络、中间层级分类网络和叶子层级分类网络；
所述将所述待分类文本输入到第二目标文本分类模型中，包括：
将所述待分类文本输入到所述语义表征提取网络中进行语义表征提取，得到文本语义表征；
将所述文本语义表征输入到所述根层级分类网络中，通过所述根层级分类网络对所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根类别确定度计算，得到所述各个根类别对应的文本类别确定度；
将所述文本语义表征输入到所述中间层级分类网络中，通过所述中间层级分类网络对所述文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，基于所述中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；
将所述文本语义表征、所述中间融合特征和所述根层级深度特征输入到所述叶子层级分类网络中，通过所述叶子层级分类网络对所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用所述目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度。
12.根据权利要求11所述的方法，其特征在于，所述叶子层级分类网络包括叶子层级深度特征提取子网络、特征融合子网络和叶子层级分类子网络；
所述将所述文本语义表征、所述中间融合特征和所述根层级深度特征输入到所述叶子层级分类网络中，包括：
将所述文本语义表征输入到所述叶子层级深度特征提取子网络中进行叶子层级深度特征提取，得到所述叶子层级深度特征；
将所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征输入到所述特征融合子网络中进行特征融合，得到目标叶子融合特征；
并将所述目标叶子融合特征输入到所述叶子层级分类子网络中进行叶子类别确定度计算，得到所述各个叶子类别对应的目标文本类别确定度。
13.一种文本分类模型训练方法，其特征在于，所述方法包括：
获取训练文本和对应的文本层级类别标签；
将所述训练文本输入到第二初始文本分类模型中，通过所述第二初始文本分类模型对所述训练文本进行语义表征提取，得到训练语义表征；
通过所述第二初始文本分类模型将所述训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于所述训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；
通过所述第二初始文本分类模型将所述训练文本语义表征进行中间层级深度特征提取，得到训练中间层级深度特征，基于所述训练根层级深度特征和所述训练中间层级深度特征进行特征融合，得到训练中间融合特征，基于所述训练中间融合特征进行中间层级分类，得到各个中间类别对应的训练文本类别确定度；
通过所述第二初始文本分类模型将所述训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于所述训练根层级深度特征、所述训练中间融合特征和所述训练叶子层级深度特征进行特征融合，得到训练目标叶子融合特征，并使用所述训练目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练目标文本类别确定度，所述叶子类别对应的类别精细度大于所述中间类别对应的类别精细度，所述中间类别对应的类别精细度大于所述根类别对应的类别精细度；
计算所述各个根类别对应的训练文本类别确定度与所述文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，计算所述各个中间类别对应的训练文本类别确定度与所述文本层级类别标签中中间类别标签之间的损失，得到中间类别损失信息，并计算所述各个叶子类别对应的训练目标文本类别确定度与所述文本层级类别标签中叶子类别标签之间的损失，得到叶子类别目标损失信息；
基于所述根类别损失信息、所述中间类别损失信息和所述叶子类别目标损失信息更新所述第二初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第二目标文本分类模型。
14.一种文本分类装置，其特征在于，所述装置包括：
语义表征模块，用于获取待分类文本，对所述待分类文本进行语义表征提取，得到文本语义表征；
根分类模块，用于将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；
中间层级分类模块，将所述文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，基于所述中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；
叶子分类模块，用于将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用所述目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度，所述叶子类别对应的类别精细度大于所述中间类别对应的类别精细度，所述中间类别对应的类别精细度大于所述根类别对应的类别精细度；
类别得到模块，用于基于所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度得到所述待分类文本对应的目标文本类别，所述文本类别包括目标根类别、所述目标根类别对应的目标中间类别和所述目标中间类别对应的目标叶子类别。
15.根据权利要求14所述的装置，其特征在于，所述中间层级分类模块还用于将所述根层级深度特征和所述中间层级深度特征进行拼接，得到中间拼接特征；基于所述中间拼接特征和所述叶子层级深度特征进行残差特征提取，得到中间残差特征，并将所述中间残差特征进行标准化，得到所述中间融合特征。
16.根据权利要求15所述的装置，其特征在于，所述中间层级分类模块还用于使用预设残差参数对所述中间拼接特征进行映射变换，得到映射变换特征，并计算所述映射变换特征与所述叶子层级深度特征的特征和，得到所述中间残差特征。
17.根据权利要求14所述的装置，其特征在于，所述类别得到模块还用于获取文本类别层级信息；基于所述文本类别层级信息将所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度进行融合，得到各个层级路径确定度；从所述各个层级路径确定度中确定目标层级路径确定度，基于所述目标层级路径确定度确定所述待分类文本对应的目标文本类别。
18.根据权利要求17所述的装置，其特征在于，所述类别得到模块还用于从所述各个根类别对应的文本类别确定度中选取当前根类别对应的文本类别确定度；基于所述文本类别层级信息获取所述当前根类别对应的当前中间类别，并获取所述当前中间类别对应的当前叶子类别，并从所述各个中间类别对应的文本类别确定度中确定所述当前中间类别对应的文本类别确定度，从所述各个叶子类别对应的文本类别确定度中确定所述当前叶子类别对应的文本类别确定度；计算所述当前根类别对应的文本类别确定度、所述当前中间类别对应的文本类别确定度和所述当前叶子类别对应的文本类别确定度的乘积，得到当前层级路径确定度；遍历所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的文本类别确定度，得到所述各个层级路径确定度。
19.根据权利要求14所述的装置，其特征在于，所述装置还包括：
第一模型分类模块，用于将所述待分类文本输入到第一目标文本分类模型中；通过所述第一目标文本分类模型对所述待分类文本进行语义表征提取，得到文本语义表征；通过所述第一目标文本分类模型将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；通过所述第一目标文本分类模型将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征和所述叶子层级深度特征进行特征融合，得到叶子融合特征，并使用所述叶子融合特征进行叶子层级分类，得到各个叶子类别对应的文本类别确定度。
20.根据权利要求19所述的装置，其特征在于，所述第一目标文本分类模型包括语义表征提取网络、根层级分类网络和叶子层级分类网络；
所述第一模型分类模块还用于将所述待分类文本输入到所述语义表征提取网络中进行语义表征提取，得到文本语义表征；将所述文本语义表征输入到所述根层级分类网络中，通过所述根层级分类网络对所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根类别确定度计算，得到所述各个根类别对应的文本类别确定度；将所述文本语义表征和所述根层级深度特征输入到所述叶子层级分类网络中，通过所述叶子层级分类网络对所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征和所述叶子层级深度特征进行特征融合，得到叶子融合特征，并使用所述叶子融合特征进行叶子类别确定度计算，得到所述各个叶子类别对应的文本类别确定度。
21.根据权利要求20所述的装置，其特征在于，所述叶子层级分类网络包括叶子层级深度特征提取子网络、特征融合子网络和叶子层级分类子网络；
所述第一模型分类模块还用于将所述文本语义表征输入到所述叶子层级深度特征提取子网络中进行叶子层级深度特征提取，得到所述叶子层级深度特征；将所述根层级深度特征和所述叶子层级深度特征输入到所述特征融合子网络中进行特征融合，得到叶子融合特征；并将所述叶子融合特征输入到所述叶子层级分类子网络中进行叶子类别确定度计算，得到所述各个叶子类别对应的文本类别确定度。
22.根据权利要求14所述的装置，其特征在于，所述中间层级分类模块还用于将所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行拼接，得到目标拼接特征；基于所述目标拼接特征和所述叶子层级深度特征进行残差特征提取，得到目标残差特征，并将所述目标残差特征进行标准化，得到所述目标叶子融合特征。
23.根据权利要求14所述的装置，其特征在于，所述装置，还包括：
第二模型分类模块，用于将所述待分类文本输入到第二目标文本分类模型中；通过所述第二目标文本分类模型对所述待分类文本进行语义表征提取，得到文本语义表征；通过所述第二目标文本分类模型将所述文本语义表征进行根层级深度特征提取，得到根层级深度特征，并基于所述根层级深度特征进行根层级分类，得到各个根类别对应的文本类别确定度；通过所述第二目标文本分类模型将所述文本语义表征进行中间层级深度特征提取，得到中间层级深度特征，基于所述根层级深度特征和所述中间层级深度特征进行特征融合，得到中间融合特征，并基于所述中间融合特征进行中间层级分类，得到各个中间类别对应的文本类别确定度；通过所述第二目标文本分类模型将所述文本语义表征进行叶子层级深度特征提取，得到叶子层级深度特征，基于所述根层级深度特征、所述中间融合特征和所述叶子层级深度特征进行特征融合，得到目标叶子融合特征，并使用所述目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的目标文本类别确定度；基于所述各个根类别对应的文本类别确定度、所述各个中间类别对应的文本类别确定度和所述各个叶子类别对应的目标文本类别确定度得到所述待分类文本对应的目标文本类别，所述目标文本类别包括目标根类别、所述目标根类别对应的目标中间类别和所述目标中间类别对应的目标叶子类别。
24.一种文本分类模型训练装置，其特征在于，所述装置包括：
获取模块，用于获取训练文本和对应的文本层级类别标签；
训练表征模块，用于将所述训练文本输入到第二初始文本分类模型中，通过所述第二初始文本分类模型对所述训练文本进行语义表征提取，得到训练语义表征；
训练根分类模块，用于通过所述第二初始文本分类模型将所述训练语义表征进行根层级深度特征提取，得到训练根层级深度特征，基于所述训练根层级深度特征进行根层级分类，得到各个根类别对应的训练文本类别确定度；通过所述第二初始文本分类模型将所述训练文本语义表征进行中间层级深度特征提取，得到训练中间层级深度特征，基于所述训练根层级深度特征和所述训练中间层级深度特征进行特征融合，得到训练中间融合特征，基于所述训练中间融合特征进行中间层级分类，得到各个中间类别对应的训练文本类别确定度；
训练叶子分类模块，用于通过所述第二初始文本分类模型将所述训练语义表征进行叶子层级深度特征提取，得到训练叶子层级深度特征，基于所述训练根层级深度特征、所述训练中间融合特征和所述训练叶子层级深度特征进行特征融合，得到训练目标叶子融合特征，并使用所述训练目标叶子融合特征进行叶子层级分类，得到各个叶子类别对应的训练目标文本类别确定度，所述叶子类别对应的类别精细度大于所述中间类别对应的类别精细度，所述中间类别对应的类别精细度大于所述根类别对应的类别精细度；
损失计算模块，用于计算所述各个根类别对应的训练文本类别确定度与所述文本层级类别标签中根类别标签之间的损失，得到根类别损失信息，计算所述各个中间类别对应的训练文本类别确定度与所述文本层级类别标签中中间类别标签之间的损失，得到中间类别损失信息，并计算所述各个叶子类别对应的训练文本类别确定度与所述文本层级类别标签中叶子类别标签之间的损失，得到叶子类别损失信息；
迭代模块，用于基于所述根类别损失信息、所述中间类别损失信息和所述叶子类别损失信息更新所述第二初始文本分类模型，并返回获取训练文本和对应的文本层级类别标签的步骤迭代执行，直到达到训练完成条件时，得到第二目标文本分类模型。
25.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496638.XA CN115599921B (zh) | 2022-11-28 | 2022-11-28 | 文本分类、文本分类模型训练方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496638.XA CN115599921B (zh) | 2022-11-28 | 2022-11-28 | 文本分类、文本分类模型训练方法、装置和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115599921A CN115599921A (zh) | 2023-01-13 |
| CN115599921B true CN115599921B (zh) | 2023-03-31 |
Family
ID=84852142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211496638.XA Active CN115599921B (zh) | 2022-11-28 | 2022-11-28 | 文本分类、文本分类模型训练方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115599921B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444344A (zh) * | 2020-03-27 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 实体分类方法、装置、计算机设备和存储介质 |
| US11216620B1 (en) * | 2020-07-17 | 2022-01-04 | Alipay (Hangzhou) Information Technology Co., Ltd. | Methods and apparatuses for training service model and determining text classification category |
| CN114881174A (zh) * | 2022-06-02 | 2022-08-09 | 北京三快在线科技有限公司 | 内容分类方法、装置、可读存储介质及电子设备 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111309919B (zh) * | 2020-03-23 | 2024-04-16 | 智者四海（北京）技术有限公司 | 文本分类模型的系统及其训练方法 |
| CN112199501B (zh) * | 2020-10-13 | 2024-03-19 | 华中科技大学 | 一种科技信息文本分类方法 |
| CN113268592B (zh) * | 2021-05-06 | 2022-08-05 | 天津科技大学 | 基于多层次交互注意力机制的短文本对象情感分类方法 |
| CN114357151A (zh) * | 2021-08-10 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 文本类目识别模型的处理方法、装置、设备及存储介质 |
| CN114706987B (zh) * | 2022-06-06 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 文本类目预测方法、装置、设备、存储介质和程序产品 |
| CN115018059B (zh) * | 2022-08-09 | 2022-11-18 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
-
2022
- 2022-11-28 CN CN202211496638.XA patent/CN115599921B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444344A (zh) * | 2020-03-27 | 2020-07-24 | 腾讯科技（深圳）有限公司 | 实体分类方法、装置、计算机设备和存储介质 |
| US11216620B1 (en) * | 2020-07-17 | 2022-01-04 | Alipay (Hangzhou) Information Technology Co., Ltd. | Methods and apparatuses for training service model and determining text classification category |
| CN114881174A (zh) * | 2022-06-02 | 2022-08-09 | 北京三快在线科技有限公司 | 内容分类方法、装置、可读存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| Yinglong Ma et al.Hybrid embedding-based text representation for hierarchical multi-label text classifcation.《Expert Systems With Applications》.2022,第第187卷卷第1-11页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115599921A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110737801B (zh) | 内容分类方法、装置、计算机设备和存储介质 | |
| CN110347835B (zh) | 文本聚类方法、电子装置及存储介质 | |
| Semberecki et al. | Deep learning methods for subject text classification of articles | |
| KR101999152B1 (ko) | 컨벌루션 신경망 기반 영문 텍스트 정형화 방법 | |
| CN111737474A (zh) | 业务模型的训练和确定文本分类类别的方法及装置 | |
| CN110598206A (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN113011186B (zh) | 命名实体识别方法、装置、设备及计算机可读存储介质 | |
| CN111582409A (zh) | 图像标签分类网络的训练方法、图像标签分类方法及设备 | |
| WO2020205049A1 (en) | N-ary relation prediction over text spans | |
| CN111159367B (zh) | 一种信息处理方法及相关设备 | |
| CN114332680A (zh) | 图像处理、视频搜索方法、装置、计算机设备和存储介质 | |
| CN116580257A (zh) | 特征融合模型训练及样本检索方法、装置和计算机设备 | |
| CN109614611B (zh) | 一种融合生成非对抗网络与卷积神经网络的情感分析方法 | |
| CN116226785A (zh) | 目标对象识别方法、多模态识别模型的训练方法和装置 | |
| CN114357151A (zh) | 文本类目识别模型的处理方法、装置、设备及存储介质 | |
| CN112749737A (zh) | 图像分类方法及装置、电子设备、存储介质 | |
| CN112131345A (zh) | 文本质量的识别方法、装置、设备及存储介质 | |
| CN109359198A (zh) | 一种文本分类方法及装置 | |
| CN109271624A (zh) | 一种目标词确定方法、装置及存储介质 | |
| CN115062134A (zh) | 知识问答模型训练及知识问答方法、装置和计算机设备 | |
| CN115017879A (zh) | 文本对比方法、计算机设备及计算机存储介质 | |
| CN113254687B (zh) | 图像检索、图像量化模型训练方法、装置和存储介质 | |
| CN114817633A (zh) | 视频分类方法、装置、设备及存储介质 | |
| CN113536784A (zh) | 文本处理方法、装置、计算机设备和存储介质 | |
| CN114119191A (zh) | 风控方法、逾期预测方法、模型训练方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079094 Country of ref document: HK |