CN116795990A - 文本分类方法、装置、计算机设备和存储介质 - Google Patents
文本分类方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116795990A CN116795990A CN202310817810.5A CN202310817810A CN116795990A CN 116795990 A CN116795990 A CN 116795990A CN 202310817810 A CN202310817810 A CN 202310817810A CN 116795990 A CN116795990 A CN 116795990A
- Authority
- CN
- China
- Prior art keywords
- text
- sample
- positive
- classifier
- negative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 137
- 238000013145 classification model Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 31
- 230000006870 function Effects 0.000 claims description 126
- 238000013507 mapping Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000005065 mining Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 230000000452 restraining effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002040 relaxant effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种文本分类方法、装置、计算机设备和存储介质。该方法包括：将各样本文本输入至待训练的文本多分类模型，得到文本特征向量；针对文本多分类模型中每个文本二分类器，将目标类别的样本文本作为正样本，将非目标类别的样本文本作为负样本，并分类器权重向量和正负样本各自的文本特征向量归一化到单位超球面；确定角度特征损失函数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入角度特征损失函数中，得到文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。采用本方法能够提高模型分类准确性。
Description
技术领域
本申请涉及自然语言处理技术领域，特别是涉及一种文本分类方法、装置、计算机设备和存储介质。
背景技术
文本分类作为解决意图识别任务的主要方法，是自然语言处理最重要且最基础的任务之一。通过计算机自动学习文本特征，使分类过程自动化，减少了人工分类中不必要人力资源的浪费。
随着深度学习技术的发展，越来越多的深度模型应用于文本分类领域。传统深度学习方法，是通过线性计算，基于预测结果与标签之间的差异来确定损失，以对分类模型进行优化训练。这种方式在训练多分类任务的文本分类模型时，会导致训练的文本分类模型的分类判别性能比较低，影响文本分类的准确性。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高文本分类准确性的文本分类方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种文本分类方法。所述方法包括：
获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；
将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；
将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；
基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
在其中一个实施例中，所述角度特征损失函数还包括基于角度变量构建的相似度计算函数；所述相似度计算函数用于计算归一化到单位超球面的文本特征向量和分类器权重向量之间的余弦相似度；所述角度变量用于表征文本特征向量和分类器权重向量之间的角度；
所述将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值，包括：
将归一化到单位超球面的文本特征向量和分类器权重向量之间的角度代入所述相似度计算函数中，计算得到各正负样本分别对应的余弦相似度；
根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值；
根据所述正负样本分别对应的损失值和所述正负样本平衡参数，得到所述文本二分类器对应的子损失值。
在其中一个实施例中，所述角度特征损失函数还包括相似度映射函数；所述相似度计算函数为所述相似度映射函数的子函数；
所述根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：
通过所述相似度映射函数对计算得到的所述余弦相似度进行映射，得到正负样本分别对应的映射结果；
基于正负样本分别对应的映射结果，确定正负样本分别对应的损失值。
在其中一个实施例中，所述相似度映射函数中还包括相似度调整参数；所述相似度调整参数用于约束正负样本分别对应的余弦相似度分布之间的重叠程度。
在其中一个实施例中，所述角度特征损失函数中包括第一角边距参数和第二角边距超参数；所述第一角边距参数用于控制正样本的角边距大小；所述第二角边距超参数用于控制负样本的角边距大小；
所述根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：
针对正样本，根据所述正样本对应的余弦相似度和所述第一角边距参数确定所述正样本对应的损失值；
针对负样本，根据所述负样本对应的余弦相似度和所述第二角边距超参数确定所述负样本对应的损失值。
在其中一个实施例中，所述将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值，包括：
将正负样本分别对应的归一化后的文本特征向量和分类器权重向量之间的角度代入所述角度特征损失函数中，得到正负样本分别对应的损失值；
将所述正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到所述文本二分类器对应的子损失值；
其中，所述正负样本分别对应的权重是根据所述角度特征损失函数中的所述正负样本平衡参数确定的；正样本对应的权重大于负样本对应的权重。
在其中一个实施例中，所述角度特征损失函数中还包括困难样本挖掘参数；
所述方法还包括：
根据所述角度特征损失函数中的所述正负样本平衡参数和所述困难样本挖掘参数，确定所述正负样本分别对应的权重。
第二方面，本申请还提供了一种文本分类装置。所述装置包括：
特征提取模块，用于获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
归一化模块，用于针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
优化模块，用于确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；
将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；
将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；
基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；
将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；
将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；
基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；
将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；
将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；
基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
上述文本分类方法、装置、计算机设备、存储介质和计算机程序产品，将各样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；针对待训练的文本多分类模型中每个文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。通过将多分类任务转化为多个二分类任务，并将文本特征向量和分类器权重归一化到超球面上，在单位超球面上基于角度特征损失函数进行分类训练，能够使分类器学习到超球面上更具区分度的角度特征，从而增强文本二分类器对文本的判别能力。而且，基于正负样本平衡参数优化了损失函数，能够在训练过程中，增大对少数的正样本的关注，实现了正负样本平衡化调整，进一步提高了文本分类准确性。
附图说明
图1为一个实施例中文本分类方法的流程示意图；
图2为一个实施例中压缩正样本空间，放宽负样本空间限制的示意图；
图3为一个实施例中文本分类方法的原理简图；
图4为一个实施例中文本分类装置的结构框图；
图5为一个实施例中计算机设备的内部结构图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种文本分类方法，以该方法应用于计算机设备为例进行说明，该计算机设备可以为终端或服务器，该方法可以由终端或服务器自身实现，也可以通过终端和服务器之间的交互来实现，具体包括以下步骤：
步骤102，获取样本文本集；样本文本集中包括多个预设类别的样本文本。
可以理解，因为本申请是要训练出能够执行多分类任务的文本多分类模型，所以用于训练该文本多分类模型所使用的样本文本集中则包括多个预设类别的样本文本。
在一些实施例中，样本文本集中的样本文本可以是电信对话工单文本，每个电信对话工单文本对应有意图类别标签。文本分类模型所进行的分类任务即为识别文本中的意图类别。
为了便于理解，在表1中列出电信对话工单文本进行示意说明。
表1
| 电信对话工单文本 | 意图类别标签 |
| 查询一下手机话费月扣详细 | 余额及欠费疑义 |
| 看一下月消费多少现在欠费89块钱 | 余额及欠费疑义 |
| 99块钱额外套餐费是指什么 | 增值费用疑义 |
| 问一下手机号码多少 | 查询呼入号码 |
| 帮查一下199元畅想套餐月付270多块钱 | 套餐月费疑义 |
在一些实施例中，通过本申请的方法训练出的文本多分类模型用在电信客服多轮对话业务背景，智能判断用户的意图类别标签。即，使用文本多分类模型基于与用户对话的对话文本，预测识别用户的意图类别。
步骤104，将各样本文本输入至待训练的文本多分类模型，以提取各样本文本的文本特征向量；待训练的文本多分类模型中包括多个待训练的文本二分类器；每个文本二分类器与多个预设类别的其中一个目标类别对应。
其中，文本二分类器，是用于执行二分类任务的文本分类器。待训练的文本多分类模型中包括多个待训练的文本二分类器，每个文本二分类器具有一个对应的目标类别，该目标类别是多个预设类别中的其中一个，文本二分类器对应的目标类别是指该文本二分类器用于识别的预设类别。
可以理解，本申请相当于将多分类任务拆分为多个二分类任务，通过本申请的方法，对多个文本二分类器进行训练，从而完成对整个文本多分类模型的训练。比如，文本多分类模型用于识别K个预设类别，那么，拆分为K个二分类任务，则具有K个待训练的文本二分类器，每个文本二分类器用于识别其中一个预设类别。
示例性地，文本多分类模型中具有特征提取层，将各样本文本输入至待训练的文本多分类模型后，可以通过特征提取层提取各样本文本的文本特征向量。
示例性地，特征提取层中包括bert-base编码模型(即，一种基于transformer架构的双向编码器)，可以将预处理后的bert-base编码模型进行编码处理，从模型最后一层隐藏层中得到向量xi作为每个字对应的词向量，其表达式如下：
xi＝BERT(CLS，tl，t2...，tN，SEP)
可以理解，样本文本中每个字的词向量构成该样本文本的文本特征向量。
在一些实施例中，计算机设备可以对样本文本集中的样本文本进行数据预处理，并将预处理后的文本输入至待训练的文本多分类模型。示例性地，计算机设备以字为单位对样本文本进行分词，并在样本文本开头处加入一个表示该文本开始的字符“[CLS]”，在样本文本末尾处加入一个表示文本结束的特殊字符“[SEP]”，以完成数据预处理，得到样本文本。以样本文本“查询一下手机话费月扣详细”为例，预处理后的文本为[“[CLS]”,“查”,“询”,“一”,“下”,“手”，“机”,“话”,“费”,“月”,“扣”,“详”,“细”,“[SEP]”]。
步骤106，针对每个文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于目标类别的样本文本作为负样本，并将文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面。
需要说明的是，由于每个文本二分类器对应的目标类别不同，即所要识别的预设类别不同，所以，不同文本二分类器的正负样本的划分不同。针对每个文本二分类器，确定该文本二分类器对应的目标类别，将样本文本集中属于该目标类别的样本文本作为正样本(即添加正样本标签)，将属于其他类别(即除该目标类别之外的预设类别)的样本文本作为负样本(即添加负样本标签)。
计算机设备可以对该文本二分类器的分类器权重向量和其所对应的正负样本各自对应的文本特征向量归一化到单位超球面，以基于单位超球面进行后续的分类判别处理，即，将后续的分类判别优化过程约束到单位超球面上。在文本二分类器中，将分类器参数Wi T和文本向量特征xi归一化得到|Wi T|＝|xi|＝1。
单位超球面是一个几何上均匀分布的流形。将分类器权重向量和正负样本的文本特征向量归一化到单位超球面，能够使得不同样本之间的距离更为平衡，可以更好地捕捉数据的内在结构，基于单位超球面进行分类训练，可以增强文本二分类器对文本的判别能力。
步骤108，确定角度特征损失函数；角度特征损失函数中包括正负样本平衡参数。
可以理解，通过将分类器权重向量和文本特征向量归一化到单位超球面，使得分类器的分类判别优化过程约束在单位超球面上，能够使模型的优化训练只与角度特征有关，该角度特征包括分类器权重向量和文本特征向量在超球面的特征空间中的角度。所以可以构建角度特征损失函数。该角度特征损失函数是通过角度特征来体现分类预测结果与标签之间差异，以通过角度特征来迭代优化训练文本二分类器。
角度特征损失函数中包括的正负样本平衡参数，用于对数量不均衡的正负样本进行关注度的调整，以实现对正负样本关注度的平衡。可以理解，对于文本二分类器来说，只有属于该文本二分类器对应的目标类别的样本文本才是正样本，其余类别的都是负样本，即，K个预设类别的样本文本中，只有一个预设类别的样本文本是正样本，其余的K-1预设类别的样本文本皆为负样本。所以，会导致负样本的数量居多，从而影响训练结果，所以，可以通过加入正负样本平衡参数λ，为少数的正样本赋予更大的权重，为占多数的负样本赋予更少的权重，以减少对负样本的关注度，从而实现对正负样本关注度的平衡。
步骤110，将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入角度特征损失函数中，得到文本二分类器对应的子损失值。
在一些实施例中，步骤110包括：将正负样本分别对应的归一化后的文本特征向量和分类器权重向量之间的角度代入所述角度特征损失函数中，得到正负样本分别对应的损失值；将所述正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到所述文本二分类器对应的子损失值。
其中，所述正负样本分别对应的权重是根据所述角度特征损失函数中的所述正负样本平衡参数确定的；正样本对应的权重大于负样本对应的权重。
示例性地，角度特征损失函数中包括用于计算正样本的损失值的第一损失函数和用于计算负样本损失值的第二损失函数，在计算每个文本二分类器对应的子损失值时，计算机设备可以确定该文本二分类器的正样本对应的归一化后的文本特征向量与该文本二分类器的分类器权重向量之间的角度，得到正样本对应的角度，以及确定该文本二分类器的负样本对应的归一化后的文本特征向量与该文本二分类器的分类器权重向量之间的角度，得到负样本对应的角度。计算机设备可以将正样本对应的角度代入角度特征损失函数中的第一损失函数，得到正样本对应的损失值，并将负样本对应的角度代入到角度特征损失函数中的第二损失函数，得到负样本对应的损失值。进而，计算机设备可以将正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到文本二分类器对应的子损失值。
在一些实施例中，角度特征损失函数中还包括困难样本挖掘参数。该方法还包括：根据角度特征损失函数中的正负样本平衡参数和困难样本挖掘参数，确定正负样本分别对应的权重。可以理解，困难样本的损失值相比简单样本更高且更敏感，所以引入困难样本挖掘参数r，由于正负样本中每个样本文本的权重都考虑到了困难样本挖掘参数r，所以能够使得文本二分类器对困难样本的关注度更高，以提升整体收敛性和泛化性。
步骤112，基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
多个文本二分类器通过上述步骤106至步骤110，皆得到对应的子损失值。计算机设备可以基于各待训练的文本二分类器对应的子损失值确定一个总的目标损失值。该目标损失值即为文本多分类模型的整体的损失值，朝着最小化目标损失值的方向迭代优化训练，得到训练后的文本多分类模型进行调参，以迭代进行模型优化训练，在满足训练结束条件后，得到训练后的文本多分类模型。
可以理解，优化训练可以是多轮的，那么，在每一轮训练中，都可以执行步骤106至步骤112，进行模型参数调整，在完成一轮训练后，可以迭代地执行下一轮，直至满足训练结束条件。
需要说明的是，由于目标损失值是在角度特征损失函数中代入文本特征向量与分类器权重向量之间的角度计算得到的，所以，通过最小化文本特征向量与分类器权重向量之间的角度，来使目标损失值最小化，以实现模型优化训练。
上述实施例中，将各样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；针对待训练的文本多分类模型中每个文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。通过将多分类任务转化为多个二分类任务，并将文本特征向量和分类器权重归一化到超球面上，在单位超球面上基于角度特征损失函数进行分类训练，能够使分类器学习到超球面上更具区分度的角度特征，从而增强文本二分类器对文本的判别能力。而且，基于正负样本平衡参数优化了损失函数，能够在训练过程中，增大对少数的正样本的关注，实现了正负样本平衡化调整，进一步提高了模型分类准确性。
在一些实施例中，角度特征损失函数还包括基于角度变量构建的相似度计算函数。本实施例中，步骤110包括：将归一化到单位超球面的文本特征向量和分类器权重向量之间的角度代入相似度计算函数中，计算得到各正负样本分别对应的余弦相似度；根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值；根据正负样本分别对应的损失值和正负样本平衡参数，得到文本二分类器对应的子损失值。
其中，相似度计算函数用于计算归一化到单位超球面的文本特征向量和分类器权重向量之间的余弦相似度。角度变量用于表征文本特征向量和分类器权重向量之间的角度。
示例性地，计算机设备可以确定正负样本各自归一化后的文本特征向量和分类器权重向量之间的角度，在计算正负样本中的每个样本文本对应的损失值时，将该样本文本归一化后的文本特征向量和分类器权重向量之间的角度赋值给相似度计算函数中的角度变量，以计算得到该样本文本对应的余弦相似度，进而根据该样本文本对应的余弦相似度确定该样本文本对应的损失值。可以理解，在针对正负样本中每个样本文本都执行上述处理后，即可以得到各正负样本分别对应的损失值。计算机设备则可以根据正负样本分别对应的损失值和正负样本平衡参数，得到文本二分类器对应的子损失值。示例性地，计算机设备可以将正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到所述文本二分类器对应的子损失值。正负样本分别对应的权重是根据正负样本平衡参数确定的。
示例性地，正负样本分别对应的余弦相似度可以是余弦相似度。多分类下的角度特征损失函数的公式如下：
其中，λ为正负样本平衡参数，λ∈[0，1]；θ是分类器权重向量和文本特征向量之间的角度。θy是分类器权重向量和属于目标类别y的正样本的文本特征向量之间的角度；θi是分类器权重向量和属于非目标类别i的负样本的文本特征向量之间的角度，其中，i是K个预设类别中除目标类别y之外的预设类别。K个预设类别是文本多分类模型需要能够识别的类别。cos(θ)是余弦相似度；cos(θy)是正样本对应的余弦相似度，cos(θi)是负样本对应的余弦相似度。log(1+exp(-cos(θy)))是用于计算正样本的损失值的子函数；是用于计算负样本的损失值的子函数。
上述实施例中，在单位超球面上，基于角度计算余弦相似度以确定损失值，相当于将模型优化目标变为最小角度，使得训练过程更加的便捷以及使得训练结果更加的准确性，从而提高了效率及分类准确性。
在一些实施例中，角度特征损失函数中包括第一角边距参数和第二角边距超参数。本申请实施例中，根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：针对正样本，根据正样本对应的余弦相似度和第一角边距参数确定正样本对应的损失值；针对负样本，根据负样本对应的余弦相似度和第二角边距超参数确定负样本对应的损失值。
其中，第一角边距参数用于控制正样本的角边距大小；第二角边距超参数用于控制负样本的角边距大小。即，第一角边距参数能够控制正样本之间的角边距不断缩小，以使正样本的类内差距不断缩小；第二角边距超参数用于控制负样本的角边距不断缩小，以使负样本的类内差距不断缩小，从而，不断地增大类间差距，以获得更分离的决策区域，达到更好的分类效果。
示例性地，计算机设备可以在计算正样本的损失值时，考虑到第一角边距参数，以根据正样本对应的余弦相似度和第一角边距参数确定正样本对应的损失值。在计算负样本的损失值时，考虑到第二角边距超参数，以根据负样本对应的余弦相似度和第二角边距超参数确定负样本对应的损失值。由于在计算正负样本的损失值时考虑了各自的角边距超参数，所以在模型训练的过程中，能够不断地缩小类内差距，以优化模型的分类能力。
在一些实施例中，由于文本二分类器中具有固定的分类阈值，所以，过多的负类样本被压缩在固定角空间中，这会导致训练的困难，因为负类样本之间也是有类别之分的，强行压缩这些负样本数据，就等于让不同类别的数据压缩到某个区域内，这与优化分类效果的目标有冲突。因此，角度特征损失函数中还可以加入偏置超参数b，来改变决策边界，相当于起到优化角边距的作用，以压缩正样本空间，放宽负样本的空间限制。
在一些实施例中，角度特征损失函数如下：
其中，mp是第一角边距参数，mn是第二角边距参数。by是针对正样本设置的偏置超参数，bi是针对负样本设置的偏置超参数。λ为正负样本平衡参数，r为困难样本挖掘参数。
在一些实施例中，mp＝mn＝0.4。
为了便于理解，现结合图2进行举例说明。图2为一个实施例中压缩正样本空间，放宽负样本空间限制的示意图。应当理解，因为一个文本二分类器中除了目标类别的样本文本是正样本以外，其余类别的样本文本都是负样本，所以，负样本所占的空间理应比正类要多得多，但是由于文本二分类器中正样本具有固定的分类阈值，则会出现图2中(a)所示的情况，即，正样本占据的空间与负样本占据的空间一样，从而导致很多负类样本被压缩在固定的角空间。所以，可以加入偏置超参数b，来改变决策边界。如图2中(a)的决策边界为r·cos(θ)＝0，通过加入偏置超参数b，则决策边界改变为r·cos(θ)+b＝0，此时正类别样本的角边距为负类别样本的角边距为/>即，如图2中的(b)所示，达到了压缩正样本空间，放宽负样本空间限制的效果。
在一些实施例中，角度特征损失函数还包括相似度映射函数。本实施例中，根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：通过相似度映射函数对计算得到的余弦相似度进行映射，得到正负样本分别对应的映射结果；基于正负样本分别对应的映射结果，确定正负样本分别对应的损失值。
相似度映射函数中嵌套有相似度计算函数，即相似度计算函数为相似度映射函数的子函数。相似度映射函数用于对相似度计算函数计算出的余弦相似度进行映射，以将余弦相似度映射到更大的范围空间中，从而使得余弦相似度不同的样本对之间的差异能够更加显著。
示例性地，在相似度计算函数基于文本特征向量和分类器权重向量之间的角度计算出正负样本各自对应的余弦相似度后，计算机设备可以通过相似度映射函数可以对计算得到的余弦相似度进行映射，得到正负样本分别对应的映射结果。进而，则可以基于正负样本分别对应的映射结果，确定正负样本分别对应的损失值。
在一些实施例中，相似度映射函数中还包括相似度调整参数；相似度调整参数用于约束正负样本分别对应的余弦相似度分布之间的重叠程度，以避免正负样本分别对应的余弦相似度分布之间的重叠程度过大。即，相似度调整参数起到减小正负样本分别对应的余弦相似度分布之间的重叠程度，也能对提高分类判别准确性起到一定作用。
在一些实施例中，角度特征损失函数的表达公式具体如下：
其中，g(cos(θ))是相似度映射函数，用于对余弦相似度函数计算的余弦相似度进行映射。
在一些实施例中，相似度映射函数的具体表达式如下：
其中，z代表cos(θ)，即为余弦相似度；t为相似度调整参数。
图3为一个实施例中文本分类方法的原理示意图。参见图3，计算机设备先对样本文本集中的进行预处理(即数据预处理)，再基于BERT模型对样本文本进行编码(即BERT文本编码)，得到文本特征向量。然后，基于文本特征向量和文本二分类器的分类器权重向量进行归一化，以将分类过程约束到单位超球面(即超球面分类器)。然后，再基于单位超球面，将多分类任务转化为多个二分类任务，根据正负样本均衡策略、困难样本挖掘策略、角边距调整策略以及相似度调整策略等超球面优化策略，进行损失函数的优化，从而训练出能够分类更准确的文本多分类模型。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的文本分类方法的文本分类装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个文本分类装置实施例中的具体限定可以参见上文中对于文本分类方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种文本分类装置，包括：特征提取模块402、归一化模块404和优化模块406，其中：
特征提取模块402，用于获取样本文本集；样本文本集中包括多个预设类别的样本文本；将各样本文本输入至待训练的文本多分类模型，以提取各样本文本的文本特征向量；待训练的文本多分类模型中包括多个待训练的文本二分类器；每个文本二分类器与多个预设类别的其中一个目标类别对应。
归一化模块404，用于针对每个文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于目标类别的样本文本作为负样本，并将文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面。
优化模块406，用于确定角度特征损失函数；角度特征损失函数中包括正负样本平衡参数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入角度特征损失函数中，得到文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
在一些实施例中，角度特征损失函数还包括基于角度变量构建的相似度计算函数；相似度计算函数用于计算归一化到单位超球面的文本特征向量和分类器权重向量之间的余弦相似度；角度变量用于表征文本特征向量和分类器权重向量之间的角度。优化模块406还用于将归一化到单位超球面的文本特征向量和分类器权重向量之间的角度代入相似度计算函数中，计算得到各正负样本分别对应的余弦相似度；根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值；根据正负样本分别对应的损失值和正负样本平衡参数，得到文本二分类器对应的子损失值。
在一些实施例中，角度特征损失函数还包括相似度映射函数；相似度计算函数为相似度映射函数的子函数。优化模块406还用于通过相似度映射函数对计算得到的余弦相似度进行映射，得到正负样本分别对应的映射结果；基于正负样本分别对应的映射结果，确定正负样本分别对应的损失值。
在一些实施例中，相似度映射函数中还包括相似度调整参数；相似度调整参数用于约束正负样本分别对应的余弦相似度分布之间的重叠程度。
在一些实施例中，角度特征损失函数中包括第一角边距参数和第二角边距超参数；第一角边距参数用于控制正样本的角边距大小；第二角边距超参数用于控制负样本的角边距大小。优化模块406还用于针对正样本，根据正样本对应的余弦相似度和第一角边距参数确定正样本对应的损失值；针对负样本，根据负样本对应的余弦相似度和第二角边距超参数确定负样本对应的损失值。
在一些实施例中，优化模块406还用于将正负样本分别对应的归一化后的文本特征向量和分类器权重向量之间的角度代入角度特征损失函数中，得到正负样本分别对应的损失值；将正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到文本二分类器对应的子损失值；其中，正负样本分别对应的权重是根据角度特征损失函数中的正负样本平衡参数确定的；正样本对应的权重大于负样本对应的权重。
在一些实施例中，角度特征损失函数中还包括困难样本挖掘参数。优化模块406还用于根据角度特征损失函数中的正负样本平衡参数和困难样本挖掘参数，确定正负样本分别对应的权重。
上述文本分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本文本集。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文本分类方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种文本分类方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5和图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施例中的各个步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的各个步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述实施例中的各个步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种文本分类方法，其特征在于，所述方法包括：
获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；
将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；
将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；
基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
2.根据权利要求1所述的方法，其特征在于，所述角度特征损失函数还包括基于角度变量构建的相似度计算函数；所述相似度计算函数用于计算归一化到单位超球面的文本特征向量和分类器权重向量之间的余弦相似度；所述角度变量用于表征文本特征向量和分类器权重向量之间的角度；
所述将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值，包括：
将归一化到单位超球面的文本特征向量和分类器权重向量之间的角度代入所述相似度计算函数中，计算得到各正负样本分别对应的余弦相似度；
根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值；
根据所述正负样本分别对应的损失值和所述正负样本平衡参数，得到所述文本二分类器对应的子损失值。
3.根据权利要求2所述的方法，其特征在于，所述角度特征损失函数还包括相似度映射函数；所述相似度计算函数为所述相似度映射函数的子函数；
所述根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：
通过所述相似度映射函数对计算得到的所述余弦相似度进行映射，得到正负样本分别对应的映射结果；
基于正负样本分别对应的映射结果，确定正负样本分别对应的损失值。
4.根据权利要求3所述的方法，其特征在于，所述相似度映射函数中还包括相似度调整参数；所述相似度调整参数用于约束正负样本分别对应的余弦相似度分布之间的重叠程度。
5.根据权利要求2所述的方法，其特征在于，所述角度特征损失函数中包括第一角边距参数和第二角边距超参数；所述第一角边距参数用于控制正样本的角边距大小；所述第二角边距超参数用于控制负样本的角边距大小；
所述根据各正负样本分别对应的余弦相似度，确定正负样本分别对应的损失值，包括：
针对正样本，根据所述正样本对应的余弦相似度和所述第一角边距参数确定所述正样本对应的损失值；
针对负样本，根据所述负样本对应的余弦相似度和所述第二角边距超参数确定所述负样本对应的损失值。
6.根据权利要求1所述的方法，其特征在于，所述将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值，包括：
将正负样本分别对应的归一化后的文本特征向量和分类器权重向量之间的角度代入所述角度特征损失函数中，得到正负样本分别对应的损失值；
将所述正负样本分别对应的损失值按照正负样本分别对应的权重进行加权，得到所述文本二分类器对应的子损失值；
其中，所述正负样本分别对应的权重是根据所述角度特征损失函数中的所述正负样本平衡参数确定的；正样本对应的权重大于负样本对应的权重。
7.根据权利要求6所述的方法，其特征在于，所述角度特征损失函数中还包括困难样本挖掘参数；
所述方法还包括：
根据所述角度特征损失函数中的所述正负样本平衡参数和所述困难样本挖掘参数，确定所述正负样本分别对应的权重。
8.一种文本分类装置，其特征在于，所述装置包括：
特征提取模块，用于获取样本文本集；所述样本文本集中包括多个预设类别的样本文本；将各所述样本文本输入至待训练的文本多分类模型，以提取各所述样本文本的文本特征向量；所述待训练的文本多分类模型中包括多个待训练的文本二分类器；每个所述文本二分类器与所述多个预设类别的其中一个目标类别对应；
归一化模块，用于针对每个所述文本二分类器，将属于对应目标类别的样本文本作为正样本，将不属于所述目标类别的样本文本作为负样本，并将所述文本二分类器的分类器权重向量和正负样本各自对应的文本特征向量归一化到单位超球面；
优化模块，用于确定角度特征损失函数；所述角度特征损失函数中包括正负样本平衡参数；将正负样本归一化后的文本特征向量各自分别与分类器权重向量之间的角度代入所述角度特征损失函数中，得到所述文本二分类器对应的子损失值；基于各待训练的文本二分类器对应的子损失值确定目标损失值，并朝着最小化所述目标损失值的方向迭代优化训练，得到训练后的文本多分类模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817810.5A CN116795990A (zh) | 2023-07-05 | 2023-07-05 | 文本分类方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817810.5A CN116795990A (zh) | 2023-07-05 | 2023-07-05 | 文本分类方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116795990A true CN116795990A (zh) | 2023-09-22 |
Family
ID=88037368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817810.5A Pending CN116795990A (zh) | 2023-07-05 | 2023-07-05 | 文本分类方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116795990A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117909508A (zh) * | 2024-03-20 | 2024-04-19 | 成都赛力斯科技有限公司 | 意图识别方法、模型训练方法、装置、设备及存储介质 |
| CN118114123A (zh) * | 2024-04-17 | 2024-05-31 | 腾讯科技（深圳）有限公司 | 识别模型的处理方法、装置、计算机设备和存储介质 |
-
2023
- 2023-07-05 CN CN202310817810.5A patent/CN116795990A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117909508A (zh) * | 2024-03-20 | 2024-04-19 | 成都赛力斯科技有限公司 | 意图识别方法、模型训练方法、装置、设备及存储介质 |
| CN118114123A (zh) * | 2024-04-17 | 2024-05-31 | 腾讯科技（深圳）有限公司 | 识别模型的处理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116795990A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| WO2022042123A1 (zh) | 图像识别模型生成方法、装置、计算机设备和存储介质 | |
| CN110598206A (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN110569500A (zh) | 文本语义识别方法、装置、计算机设备和存储介质 | |
| CN112819604A (zh) | 基于融合神经网络特征挖掘的个人信用评估方法与系统 | |
| CN110414550B (zh) | 人脸识别模型的训练方法、装置、系统和计算机可读介质 | |
| US11886490B2 (en) | Neural network device for retrieving image and operating method thereof | |
| CN115455171B (zh) | 文本视频的互检索以及模型训练方法、装置、设备及介质 | |
| CN109726291B (zh) | 分类模型的损失函数优化方法、装置及样本分类方法 | |
| CN112883227A (zh) | 一种基于多尺度时序特征的视频摘要生成方法和装置 | |
| CN114332500A (zh) | 图像处理模型训练方法、装置、计算机设备和存储介质 | |
| CN117197559A (zh) | 基于深度学习的猪肉分类模型、构建方法、电子设备和计算机可读介质 | |
| CN115762530A (zh) | 声纹模型训练方法、装置、计算机设备和存储介质 | |
| CN115757786A (zh) | 文本分类方法、装置、设备及存储介质 | |
| CN113378866B (zh) | 图像分类方法、系统、存储介质及电子设备 | |
| CN112182211B (zh) | 文本分类方法及装置 | |
| Wan et al. | Co-compressing and unifying deep cnn models for efficient human face and speaker recognition | |
| CN111581068A (zh) | 终端的工作量计算方法及其装置、存储介质、终端、云服务系统 | |
| CN112507137B (zh) | 开放环境下基于粒度感知的少样本关系抽取方法及应用 | |
| CN111309766B (zh) | 业务特征构造方法以及装置 | |
| CN113569818B (zh) | 人脸特征编码方法、装置、计算机设备和存储介质 | |
| CN116860972A (zh) | 交互信息分类方法、装置、设备、存储介质和程序产品 | |
| CN117033625A (zh) | 网关日志分类方法、装置、设备、介质和产品 | |
| CN117095429A (zh) | 人脸识别方法、装置、设备、存储介质和程序产品 | |
| CN114238763A (zh) | 基于金融app的信息推送方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |