CN114020922B - 文本分类方法、装置及存储介质 - Google Patents
文本分类方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114020922B CN114020922B CN202210007720.5A CN202210007720A CN114020922B CN 114020922 B CN114020922 B CN 114020922B CN 202210007720 A CN202210007720 A CN 202210007720A CN 114020922 B CN114020922 B CN 114020922B
- Authority
- CN
- China
- Prior art keywords
- text
- classified
- text classification
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013145 classification model Methods 0.000 claims abstract description 127
- 238000012549 training Methods 0.000 claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 abstract description 6
- 238000012423 maintenance Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000012163 sequencing technique Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供一种文本分类方法、装置及存储介质，所述方法包括：获取待分类文本及待分类文本对应场景的特征参数，将待分类文本及待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出待分类文本对应的分类结果，待分类文本对应场景的特征参数用于指示文本分类模型中与场景关联的目标模型参数，待分类文本对应的分类结果是基于目标模型参数进行前向计算得到的，其中，文本分类模型是基于待分类文本样本、待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，能够降低文本分类模型开发和维护复杂度，同时提高文本分类结果的准确度。
Description
技术领域
本申请涉及自然语言处理技术领域，尤其涉及一种文本分类方法、装置及存储介质。
背景技术
当前，在各类社交平台业务中存在大量文本分类任务，文本分类任务的特点是：
1）场景多，比如不友善文本对应的相似场景包含：问题、回答、评论、文章、弹幕、想法等，敏感信息文本对应的相似场景包含：问题、搜索、回答、文章、评论等；
2）不同场景对应的文本分类标准及数据有共性和差异，同时不同场景对应的数据分布存在较大不同。
现有的文本分类方法为：对各个场景分别训练模型并上线进行迭代优化，但通过该方法得到的文本分类模型开发和维护繁杂，且忽略了各个场景下文本分类任务的共性，导致文本分类结果的准确度较低。
发明内容
针对现有技术存在的上述技术问题，本申请提供一种文本分类方法、装置及存储介质。
第一方面，本申请提供一种文本分类方法，包括：
获取待分类文本及所述待分类文本对应场景的特征参数；
将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
可选地，根据本申请的文本分类方法，所述训练好的文本分类模型的训练步骤包括：
基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；
基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；
其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
可选地，根据本申请的文本分类方法，所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：
将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；
基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
可选地，根据本申请的文本分类方法，所述将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练之前，所述方法还包括：
获取所述样本集合中的待分类文本样本；
基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；
基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
可选地，根据本申请的文本分类方法，所述方法还包括：
基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；
基于不同场景对应的模型参数排序，获取不同场景的特征参数。
可选地，根据本申请的文本分类方法，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
可选地，根据本申请的文本分类方法，所述预设范围是基于场景的复杂度确定的。
第二方面，本申请还提供一种文本分类装置，包括：
待分类文本及特征参数获取模块，用于获取待分类文本及所述待分类文本对应场景的特征参数；
文本分类模块，用于将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
第三方面，本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所提供的方法的步骤。
第四方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所提供的方法的步骤。
本申请提供的文本分类方法、装置及存储介质，通过获取待分类文本及所述待分类文本对应场景的特征参数，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果，所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数，所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的，其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的文本分类方法的流程示意图；
图2是本申请提供的文本分类模型的结构示意图；
图3是本申请提供的初始文本分类模型的训练流程示意图；
图4是本申请提供的最终文本分类模型的训练流程示意图；
图5是本申请提供的场景的特征参数获取流程示意图；
图6是本申请提供的文本分类装置的结构示意图；
图7是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如前所述，目前的多场景文本分类模型主要采用以下方式进行训练：
1、单独独立训练：该方式将不同场景任务视为不相关任务，在各个场景下分别构建训练集并训练模型。而在实际业务中，不同场景的标注样本是有限的，该方式会导致各场景下模型训练更难充分拟合，同时难以利用各场景下任务的共性信息，导致分类结果不准确。
2、微调迁移多场景训练：该方式先选取某个场景（通常是数据量大、任务与其他场景相似度较高的场景），在该场景下构建训练集并训练模型，最终模型分别在其余场景进行微调为各场景生成新的模型。但每个场景形成一个模型，训练流程和开发维护上线均比较困难。
3、常规多任务学习：该方式在各场景构建训练数据，以多任务学习模型的方式，共享同一个底层网络，顶层各场景采用独立子网络。尽管该方式因共享底层子网络能学习到文本较好的表示，但是共享了底层的网络参数，导致在小样本的场景下，很难学习到该场景的特征，同时独享上层子网络也难以拟合充分，导致分类结果不准确。
基于上述现有方案的缺陷，本申请提出一种文本分类方法、装置及存储介质，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
下面结合图1-图7描述本申请的文本分类方法、装置及存储介质。
图1为本申请提供的文本分类方法的流程示意图，如图1所示，该方法包括：
步骤110，获取待分类文本及所述待分类文本对应场景的特征参数。
具体的，所述待分类文本为同一业务（例如不友善业务，即需要将文本分类为友善和不友善的业务）下不同场景对应的文本。同一文本由于对应的场景不同，其分类结果可能不同，因此，本申请实施例在文本分类模型训练过程中，充分考虑不同场景对文本分类结果的影响，通过不断迭代训练，获取不同场景的特征参数
，其中，
表示特征参数，i表示第i个场景。所述特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数（即对于目标场景来说，会对文本分类结果产生较大影响的模型参数），所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的。所述模型参数可以为模型权重。基于此，能够最大限度确保文本分类结果的准确性。在通过模型进行预测之前，文本分类装置首先获取待分类文本，基于所述待分类文本所属场景，确定所述待分类文本对应场景的特征参数。
步骤120，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
具体的，文本分类装置将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，所述训练好的文本分类模型即可根据所述待分类文本对应场景的特征参数确定与所述场景关联的目标模型参数，并基于所述目标模型参数进行前向计算，输出所述待分类文本对应的分类结果。
值得注意的是，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，基于此，可以使文本分类模型充分学习不同场景对文本分类结果的影响，并得到准确的模型参数，进而用于不同场景下的文本分类，确保分类结果的准确性，同时也避免了多模型训练和开发维护上线困难的问题。
本申请提供的方法，通过获取待分类文本及所述待分类文本对应场景的特征参数，将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果，所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数，所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的，其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的，能够降低文本分类模型开发和维护复杂度，同时充分利用各场景下文本分类任务的共性，提高文本分类结果的准确度。
基于上述实施例，所述训练好的文本分类模型的训练步骤包括：
基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；
基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；
其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
具体的，图2为本申请提供的文本分类模型的结构示意图，如图2所示，所述文本分类模型包括word embedding层，用于将输入文本映射成词向量；position embedding层，用于编码输入文本的词的位置信息；Transformer Encoder层，用于根据所述word embedding层和position embedding层得到的编码表示抽取所述文本中的文本特征得到所述文本的特征向量；MLP Decoder层，用于通过多层感知器（MLP）将Transformer Encoder编码后的信息转换到结果类别上，以得到Predicted Label，即预测的结果标签。
本申请实施例首先基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型。图3为本申请提供的初始文本分类模型的训练流程示意图，如图3所示，将所有场景对应的待分类文本样本集合中的样本依次输入基础模型中进行联合训练，得到初始文本分类模型，初始文本分类模型对应的模型参数记为
。可以理解的是，
表示用所有场景对应的待分类文本样本训练基础模型得到的模型参数，其并不是一个参数，而是多个模型参数的集合。
对所述基础模型训练时，并未区分不同场景，因此得到的初始文本分类模型的分类准确度并不高，因此，本申请实施例进一步基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，基于不同场景的特征参数更新初始文本分类模型的模型参数
，得到训练好的文本分类模型。此时的文本分类模型基于不同场景的特征参数对模型参数进行了调整，充分学习了不同场景对于文本分类结果的影响，能够最大限度保证不同场景下文本分类结果的准确性。
本申请提供的方法，通过基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型，基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，能够最大限度保证不同场景下文本分类结果的准确性。
基于上述实施例，所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：
将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；
基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
具体的，图4为本申请提供的最终文本分类模型的训练流程示意图，如图4所示，将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。值得注意的是，不同场景关联的目标模型参数可能相同，也可能不同，即对于A场景对应的样本，训练时更新的模型参数可能为
的第1-3个模型参数，对于B场景对应的样本，训练时更新的模型参数可能为
的第2-4个模型参数。因此，通过将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，能够对所述初始文本分类模型中与不同场景关联的目标模型参数进行累计更新，确保充分利用各场景下文本分类任务的共性的同时，也对不同场景下文本分类任务的差异进行了针对学习，保证了分类结果的准确性。最终得到的训练好的文本分类模型的模型参数记为
。
本申请提供的方法，通过将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练，基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛，能够确保充分利用各场景下文本分类任务的共性的同时，对不同场景下文本分类任务的差异进行针对学习，保证了分类结果的准确性。
基于上述实施例，所述将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练之前，所述方法还包括：
获取所述样本集合中的待分类文本样本；
基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；
基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
具体的，每条待分类文本样本组成方式为 (S, X, y)，其中，S为场景标识，X为样本文本内容，比如“今天天气真好”，y为样本的分类结果标签信息，比如“正向情感”。获取所述样本集合中的待分类文本样本之后，即可基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景，进而基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。基于此，可以快速确定文本分类模型的输入，提高模型预测效率。
本申请提供的方法，通过获取所述样本集合中的待分类文本样本，基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景，基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数，能够快速获取所述待分类文本样本对应场景的特征参数，提高模型预测效率。
基于上述实施例，所述方法还包括：
基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；
基于不同场景对应的模型参数排序，获取不同场景的特征参数。
基于上述实施例，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
基于上述实施例，所述预设范围是基于场景的复杂度确定的。
具体的，图5为本申请提供的场景的特征参数获取流程示意图，如图5所示，将不同场景对应的样本子集分别输入所述初始文本分类模型进行微调，确定不同场景对应的模型参数
，分别对不同场景对应的模型参数
进行排序，获取不同场景的特征参数
。对于某一场景而言，所述特征参数与模型参数一一对应，特征参数的取值取决于模型参数的排序结果。优选的，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。所述第一预设值和所述第二预设值分别用于表征所述模型参数对于该场景的重要性，取第一预设值表示重要，取第二预设值表示不重要。优选的，所述第一预设值为1，所述第二预设值为0，对应的表达公式为：
其中，
和
分别表示场景i对应的第k个特征参数和模型参数。
为所述预设范围，即排序为前
的模型参数对应的特征参数为1，否则为0。
相应的，在基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型的过程中，对于不同场景，仅需更新所述场景的特征参数指示的目标模型参数即可获得满足精确度要求的文本分类模型，降低了模型训练复杂度。对应的模型参数更新方式表达式为：
其中，
为场景i的第k个模型参数的更新增量，其是在训练过程中通过反向传播算法确定的。
可以理解的是，所述特征参数
可取[0, 1]间的任何数，只要能表征哪些模型参数更重要（即更能反映场景特征信息）即可，本申请实施例对此不作具体限定。
值得注意的是，对于不同的场景而言，
可以根据场景的复杂度进行调整。场景的复杂度可以通过场景对应的文本的分类难易程度体现，分类越难意味着所需的模型参数越多，反之亦然。因此，可基于场景的复杂度对
进行适应性调整，以确保不同场景下文本分类的准确性。
本申请提供的方法，通过基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数，基于不同场景对应的模型参数排序，获取不同场景的特征参数，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值，所述预设范围是基于场景的复杂度确定的，能够在提高文本分类结果准确性的同时降低模型训练复杂度。
基于上述任一实施例，图6为本申请提供的文本分类装置的结构示意图，如图6所示，该装置包括：
待分类文本及特征参数获取模块610，用于获取待分类文本及所述待分类文本对应场景的特征参数；
文本分类模块620，用于将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的。
基于上述实施例，所述装置还包括：
初始模型训练模块，用于基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；
最终模型训练模块，用于基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；
其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合。
基于上述实施例，所述最终模型训练模块包括：
输入子模块，用于将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；
模型参数更新子模块，用于基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
基于上述实施例，所述最终模型训练模块还包括：
样本获取子模块，用于获取所述样本集合中的待分类文本样本；
场景确定子模块，用于基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；
特征参数获取子模块，用于基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
基于上述实施例，所述装置还包括：
微调模块，用于基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；
场景特征参数确定模块，用于基于不同场景对应的模型参数排序，获取不同场景的特征参数。
基于上述实施例，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
基于上述实施例，所述预设范围是基于场景的复杂度确定的。
本申请提供的文本分类装置可以执行上述文本分类方法，其具体工作原理和相应的技术效果与上述方法相同，在此不再赘述。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法所提供的文本分类方法。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法所提供的文本分类方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (8)
1.一种文本分类方法，其特征在于，包括：
获取待分类文本及所述待分类文本对应场景的特征参数；
将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的；
所述训练好的文本分类模型的训练步骤包括：
基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；
基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；
其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合；
所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：
将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；
基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
2.根据权利要求1所述的文本分类方法，其特征在于，所述将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练之前，所述方法还包括：
获取所述样本集合中的待分类文本样本；
基于所述待分类文本样本的场景标识，确定所述待分类文本样本对应场景；
基于预先确定的不同场景的特征参数集合，获取所述待分类文本样本对应场景的特征参数。
3.根据权利要求2所述的文本分类方法，其特征在于，所述方法还包括：
基于不同场景对应的样本子集分别对所述初始文本分类模型进行微调，确定不同场景对应的模型参数；
基于不同场景对应的模型参数排序，获取不同场景的特征参数。
4.根据权利要求3所述的文本分类方法，其特征在于，所述特征参数与模型参数一一对应，在模型参数的排序属于预设范围时，对应的特征参数为第一预设值，否则对应的特征参数为第二预设值。
5.根据权利要求4所述的文本分类方法，其特征在于，所述预设范围是基于场景的复杂度确定的。
6.一种文本分类装置，其特征在于，包括：
待分类文本及特征参数获取模块，用于获取待分类文本及所述待分类文本对应场景的特征参数；
文本分类模块，用于将所述待分类文本及所述待分类文本对应场景的特征参数输入至训练好的文本分类模型，输出所述待分类文本对应的分类结果；所述待分类文本对应场景的特征参数用于指示所述文本分类模型中与所述场景关联的目标模型参数；所述待分类文本对应的分类结果是基于所述目标模型参数进行前向计算得到的；
其中，所述文本分类模型是基于待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签进行训练后得到的；
所述训练好的文本分类模型的训练步骤包括：
基于所述待分类文本样本以及预先确定的文本分类结果标签训练基础模型，得到初始文本分类模型；
基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型；
其中，所述待分类文本样本取自多个不同场景对应的待分类文本构成的样本集合；
所述基于所述待分类文本样本、所述待分类文本样本对应场景的特征参数以及预先确定的文本分类结果标签继续训练所述初始文本分类模型，得到训练好的文本分类模型，具体包括：
将所述样本集合中的待分类文本样本及其对应场景的特征参数输入所述初始文本分类模型进行迭代训练；
基于所述初始文本分类模型输出的分类结果以及预先确定的文本分类结果标签，通过反向传播算法对所述初始文本分类模型中与所述待分类文本样本对应场景关联的目标模型参数进行更新，直至所述初始文本分类模型收敛。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述文本分类方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述文本分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210007720.5A CN114020922B (zh) | 2022-01-06 | 2022-01-06 | 文本分类方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210007720.5A CN114020922B (zh) | 2022-01-06 | 2022-01-06 | 文本分类方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114020922A CN114020922A (zh) | 2022-02-08 |
| CN114020922B true CN114020922B (zh) | 2022-03-22 |
Family
ID=80069868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210007720.5A Active CN114020922B (zh) | 2022-01-06 | 2022-01-06 | 文本分类方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020922B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808132A (zh) * | 2017-10-23 | 2018-03-16 | 重庆邮电大学 | 一种融合主题模型的场景图像分类方法 |
| CN110413769A (zh) * | 2018-04-25 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 场景分类方法、装置、存储介质及其电子设备 |
| CN111062307A (zh) * | 2019-12-12 | 2020-04-24 | 天地伟业技术有限公司 | 一种基于Tiny-Darknet的场景识别分类方法 |
| CN112100390A (zh) * | 2020-11-18 | 2020-12-18 | 智者四海（北京）技术有限公司 | 基于场景的文本分类模型、文本分类方法及装置 |
| CN112463968A (zh) * | 2020-12-11 | 2021-03-09 | 中国工商银行股份有限公司 | 文本分类方法、装置和电子设备 |
| CN112632271A (zh) * | 2019-10-08 | 2021-04-09 | 中国移动通信集团浙江有限公司 | 文本分类服务部署方法、装置、设备及计算机存储介质 |
| CN113688244A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 基于神经网络的文本分类方法、系统、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2015271975A1 (en) * | 2015-12-21 | 2017-07-06 | Canon Kabushiki Kaisha | An imaging system and method for classifying a concept type in video |
| CN110929663B (zh) * | 2019-11-28 | 2023-12-29 | Oppo广东移动通信有限公司 | 一种场景预测方法及终端、存储介质 |
| CN113392210A (zh) * | 2020-11-30 | 2021-09-14 | 腾讯科技（深圳）有限公司 | 文本分类方法、装置、电子设备及存储介质 |
| CN113722493B (zh) * | 2021-09-09 | 2023-10-13 | 北京百度网讯科技有限公司 | 文本分类的数据处理方法、设备、存储介质 |
-
2022
- 2022-01-06 CN CN202210007720.5A patent/CN114020922B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808132A (zh) * | 2017-10-23 | 2018-03-16 | 重庆邮电大学 | 一种融合主题模型的场景图像分类方法 |
| CN110413769A (zh) * | 2018-04-25 | 2019-11-05 | 北京京东尚科信息技术有限公司 | 场景分类方法、装置、存储介质及其电子设备 |
| CN112632271A (zh) * | 2019-10-08 | 2021-04-09 | 中国移动通信集团浙江有限公司 | 文本分类服务部署方法、装置、设备及计算机存储介质 |
| CN111062307A (zh) * | 2019-12-12 | 2020-04-24 | 天地伟业技术有限公司 | 一种基于Tiny-Darknet的场景识别分类方法 |
| CN112100390A (zh) * | 2020-11-18 | 2020-12-18 | 智者四海（北京）技术有限公司 | 基于场景的文本分类模型、文本分类方法及装置 |
| CN112463968A (zh) * | 2020-12-11 | 2021-03-09 | 中国工商银行股份有限公司 | 文本分类方法、装置和电子设备 |
| CN113688244A (zh) * | 2021-08-31 | 2021-11-23 | 中国平安人寿保险股份有限公司 | 基于神经网络的文本分类方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114020922A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108399428B (zh) | 一种基于迹比准则的三元组损失函数设计方法 | |
| CN110188202B (zh) | 语义关系识别模型的训练方法、装置及终端 | |
| CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN111741330B (zh) | 一种视频内容评估方法、装置、存储介质及计算机设备 | |
| CN110502976B (zh) | 文本识别模型的训练方法及相关产品 | |
| CN110598869B (zh) | 基于序列模型的分类方法、装置、电子设备 | |
| CN114780675A (zh) | 对话交互方法、装置、设备与介质 | |
| CN113706151A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN114998602A (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
| CN113434683A (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN113987236B (zh) | 基于图卷积网络的视觉检索模型的无监督训练方法和装置 | |
| CN113673622B (zh) | 激光点云数据标注方法、装置、设备及产品 | |
| CN116737939B (zh) | 元学习方法、文本分类方法、装置、电子设备及存储介质 | |
| CN117150026A (zh) | 文本内容多标签分类方法与装置 | |
| CN115617974B (zh) | 一种对话处理方法、装置、设备及存储介质 | |
| CN114020922B (zh) | 文本分类方法、装置及存储介质 | |
| CN116384405A (zh) | 文本处理方法，文本分类方法及情感识别方法 | |
| CN113312445B (zh) | 数据处理方法、模型构建方法、分类方法及计算设备 | |
| CN115587173A (zh) | 一种对话文本预测方法、装置、设备、存储介质 | |
| CN111091011B (zh) | 领域预测方法、领域预测装置及电子设备 | |
| CN114048296A (zh) | 基于语义门的闲聊型多轮对话方法、系统、介质及设备 | |
| CN111340218B (zh) | 一种训练问题识别模型的方法和系统 | |
| CN117332090B (zh) | 一种敏感信息识别方法、装置、设备和存储介质 | |
| CN117633220A (zh) | 语言模型的训练方法、装置、电子设备和可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |