CN116881464B - 一种基于新增标签进行模型训练的方法及存储介质 - Google Patents

一种基于新增标签进行模型训练的方法及存储介质 Download PDF

Info

Publication number
CN116881464B
CN116881464B CN202311141091.6A CN202311141091A CN116881464B CN 116881464 B CN116881464 B CN 116881464B CN 202311141091 A CN202311141091 A CN 202311141091A CN 116881464 B CN116881464 B CN 116881464B
Authority
CN
China
Prior art keywords
text
tag
newly added
label
history
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311141091.6A
Other languages
English (en)
Other versions
CN116881464A (zh
Inventor
王全修
赵洲洋
于伟
靳雯
石江枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rizhao Ruian Information Technology Co ltd
Beijing Rich Information Technology Co ltd
Original Assignee
Rizhao Ruian Information Technology Co ltd
Beijing Rich Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rizhao Ruian Information Technology Co ltd, Beijing Rich Information Technology Co ltd filed Critical Rizhao Ruian Information Technology Co ltd
Priority to CN202311141091.6A priority Critical patent/CN116881464B/zh
Publication of CN116881464A publication Critical patent/CN116881464A/zh
Application granted granted Critical
Publication of CN116881464B publication Critical patent/CN116881464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于新增标签进行模型训练的方法及存储介质，涉及模型训练技术领域，所述方法包括如下步骤：获取历史标签列表和新增标签,从而获取新增标签列表,获取历史文本标签数据集和新增文本标签数据集,对历史文本标签数据标记第一标签区分向量，对新增文本标签数据标记第二标签区分向量，对目标分类模型进行训练，得到训练后的目标分类模型，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的目标分类模型确定为最终分类模型，减少历史文本对新增标签进行重新标注的计算量。

Description

一种基于新增标签进行模型训练的方法及存储介质
技术领域
本发明涉及模型训练技术领域，特别是涉及一种基于新增标签进行模型训练的方法及存储介质。
背景技术
现有技术中，想要对已有的分类模型增加新的标签，需要对分类模型上训练新的数据集，然而在新的数据集上训练模型，会遗忘掉旧数据上学习到的知识，可能产生灾难性遗忘，然而我们希望分类模型能够在吸收新知识的同时保留甚至整合旧知识的能力，因此，如何使分类模型保留旧知识的情况下继续学习新知识尤为重要。
发明内容
针对上述技术问题，本发明采用的技术方案为：一种基于新增标签进行模型训练的方法，所述方法用于对目标分类模型进行训练，包括如下步骤：
S100，获取历史标签列表B={B1，B2，…，Bj，…，Bn}和新增标签Dn+1，从而获取新增标签列表D={D1，D2，…，Dg，…，Dn+1}，Bj是第j个历史标签，j的取值范围是1到n，n是历史标签数量，Dg是第g个新增标签，g的取值范围是1到n+1，n+1为新增标签的数量，且当1≤g≤n时，Dg=Bg；
S200，获取历史文本标签数据集A={A1，A2，…，Ai，…，Am}和新增文本标签数据集C={C1，C2，…，Cr，…，Cs}，其中，第i个历史文本标签数据Ai={Ai1，Ai2}，Ai1是第i条历史文本，Ai2是第i条历史文本的标签向量，i的取值范围是1到m，m是历史文本的数量，Ai2是由第i条历史文本分别对应B1，B2，…，Bj，…，Bn的标签值和为0的第n+1维组成的n+1维向量；
第r条新增文本标签数据Cr={Cr1，Cr2}，Cr1为第r条新增文本，Cr2为第r条新增文本的标签向量，r的取值范围是1到s，s是新增文本的数量，Cr2是由第r条新增文本分别对应D1，D2，…，Dg，…，Dn+1的标签值组成的n+1维向量；
S300，对Ai标记第一标签区分向量v1，对Cr标记第二标签区分向量v2，其中，v1和v2均由分别对应D1，D2，…，Dg，…，Dn+1的预设数值组成的n+1维向量，且前n个预设数值为第一数值，v1的第n+1个预设数值为第二数值，v2的第n+1个预设数值为第一数值，第一数值与第二数值不同；
S400，使用历史文本标签数据集A中的历史文本、历史文本标签数据集A中的每一历史文本对应的第一标签区分向量v1、新增文本标签数据集C中的新增文本以及新增文本标签数据集C中的每一新增文本对应的第二标签区分向量v2对目标分类模型进行训练，得到训练后的目标分类模型；
S500，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的目标分类模型确定为最终分类模型。
一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述的基于新增标签进行模型训练的方法。
本发明至少具有以下有益效果：
综上，获取历史标签列表和新增标签，从而获取新增标签列表，获取历史文本标签数据集和新增文本标签数据集，对历史文本标签数据标记第一标签区分向量，对新增文本标签数据标记第二标签区分向量，使用历史文本标签数据集和新增文本标签数据集对目标分类模型进行训练，得到训练后的目标分类模型，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的分类模型确定为最终分类模型，本发明通过对历史文本标签数据和新增文本标签数据进行区分，从而便于对训练后的目标分类模型进行评估，避免了对历史文本进行新增标签的重新标注，减少历史文本对新增标签进行重新标注的计算量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于新增标签进行模型训练的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于新增标签进行模型训练的方法，如图1所示，所述方法用于对目标分类模型进行训练，所述方法包括如下步骤：
S100，获取历史标签列表B={B1，B2，…，Bj，…，Bn}和新增标签Dn+1，从而获取新增标签列表D={D1，D2，…，Dg，…，Dn+1}，Bj是第j个历史标签，j的取值范围是1到n，n是历史标签数量，Dg是第g个新增标签，g的取值范围是1到n+1，n+1为新增标签的数量，且当1≤g≤n时，Dg=Bg。
具体的，可以理解为B1到Bn为历史标签，当新增一个标签Dn+1时，将新增标签Dn+1添加到历史标签列表B中，获取包括历史标签和新增标签的新增标签列表D。例如，当历史标签列表B={苹果，鸡蛋，黄瓜}，新增标签Dn+1为胡萝卜时，新增标签列表D={苹果，鸡蛋，黄瓜，胡萝卜}。
S200，获取历史文本标签数据集A={A1，A2，…，Ai，…，Am}和新增文本标签数据集C={C1，C2，…，Cr，…，Cs}，其中，第i个历史文本标签数据Ai={Ai1，Ai2}，Ai1是第i条历史文本，Ai2是第i条历史文本的标签向量，i的取值范围是1到m，m是历史文本的数量，Ai2是由第i条历史文本分别对应B1，B2，…，Bj，…，Bn的标签值和为0的第n+1维组成的n+1维向量。
第r条新增文本标签数据Cr={Cr1，Cr2}，Cr1为第r条新增文本，Cr2为第r条新增文本的标签向量，r的取值范围是1到s，s是新增文本的数量，Cr2是由第r条新增文本分别对应D1，D2，…，Dg，…，Dn+1的标签值组成的n+1维向量。
具体的，将历史文本通过预设规则列表G进行一一匹配，并增加为0的第n+1维后，获取历史文本对应的标签向量，将新增文本按照新增规则列表进行一一匹配，从而获取新增文本的标签向量，其中，新增规则列表为添加新增标签对应的规则后的预设规则列表。
S300，对Ai标记第一标签区分向量v1，对Cr标记第二标签区分向量v2，其中，v1和v2均由分别对应D1，D2，…，Dg，…，Dn+1的预设数值组成的n+1维向量，且前n个预设数值为第一数值，v1的第n+1个预设数值为第二数值，v2的第n+1个预设数值为第一数值，第一数值与第二数值不同。
具体的，S300中，所述第一数值为“1”，第二数值为“0”。可以理解为，使用第一标签区分向量v1和第二标签区分向量v2用于区分历史文本和新增文本。
具体的，将历史文本标签数据标记为v1，将新增文本标签数据标记为v2，在本发明一个实施例中，对Ai标注第一标签区分向量v1，使用在历史文本标签数据Ai中增加第一标签区分向量的方式，即Ai={Ai1，Ai2，v1}；对Cr标注第一标签区分向量v2，使用在历史文本标签数据Cr中增加第二标签区分向量的方式，即Cr={Cr1，Cr2，v2}。
S400，使用历史文本标签数据集A中的历史文本、历史文本标签数据集A中的每一历史文本对应的第一标签区分向量v1、新增文本标签数据集C中的新增文本以及新增文本标签数据集C中的每一新增文本对应的第二标签区分向量v2对目标分类模型进行训练，得到训练后的目标分类模型。
具体的，获取历史文本和新增文本，将历史文本向量化获取历史文本向量，将新增文本向量化获取新增文本向量，将历史文本向量和新增文本向量输入目标分类模型，获取目标模型输出的预测值。
S500，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的目标分类模型确定为最终分类模型。
综上，获取历史标签列表和新增标签，从而获取新增标签列表，获取历史文本标签数据集和新增文本标签数据集，对历史文本标签数据标记第一标签区分向量，对新增文本标签数据标记第二标签区分向量，使用历史文本标签数据集和新增文本标签数据集对目标分类模型进行训练，得到训练后的目标分类模型，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的分类模型确定为最终分类模型，本发明通过对历史文本标签数据和新增文本标签数据进行区分，从而便于对训练后的目标分类模型进行评估，避免了对历史文本进行新增标签的重新标注，减少历史文本对新增标签进行重新标注的计算量。
具体的，S500中对训练后的目标分类模型进行评估包括如下步骤：
S501，获取历史文本标签数据集的历史损失，其中，yij是Ai中第j个标签的真实值，σ（xij）是训练后的目标分类模型输出的Ai中第j个标签的预测值。其中，log（）函数以e为底数。
在本发明一个实施例中，第j个标签为苹果，Ai中包含苹果，Ai中第j个标签的真实值为“1”，目标分类模型输出的为Ai中包含苹果的概率值。
S502，获取新增文本标签数据集的新增损失，其中，yrg是Cr中第g个标签的真实值，σ（xrg）是训练后的目标分类模型输出的Cr中第r个标签的预测值。其中，log（）函数以e为底数。
S503，将最终损失W=W1+W2，作为评估结果。
具体的，当最终损失小于预设损失阈值时，认为评估结果满足第一预设条件。具体的，预设损失阈值可根据实际情况设定。所述预设损失阈值和目标分类模型的损失相关。
综上，获取历史文本标签数据集的历史损失，获取新增文本标签数据集的新增损失，将历史损失和新增损失相加作为最终损失，将历史文本和新增文本进行第一标签区分向量和第二标签区分向量在计算损失时进行区分，达到不对历史文本标记新增标签的目的，使得计算的最终损失相对于直接进行计算更加准确。
进一步的，新增文本标签数据集C中新增标签Dn+1的对应的新增文本数量通过如下步骤获取：
S001，获取历史标签数量列表E={E1，E2，…，Ej，…，En}，Ej是历史文本标签数据集A中Bj对应的历史文本的数量。
S002，获取历史标签新增数量列表F={F1，F2，…，Fj，…，Fn}和新增标签新增数量Fn+1，Fj是标注文本标签数据集中Bj的数量，Fn+1是标注文本标签数据集中Dn+1的数量，所述标注文本标签数据集包括P条标注文本标签数据，所述标注文本标签数据包括标注文本和标注文本对应的标签向量，所述标注文本的标签向量是标注文本根据新增标签列表一一对应的标签值组成的n+1维向量。
S003，获取历史标签加权数量J={J1，J2，…，Jj，…，Jn}和新增标签加权数量Jn+1，
。其中，log（）函数以e为底数。
S004，获取新增文本标签数据集C中新增标签Dn+1的对应的历史文本数量为：。
具体的，在本发明一个实施例中，从标注文本标签数据集中抽选新增标签数量为的标注文本标签数据作为新增标签数据集。
综上，获取历史标签数量列表，获取历史标签新增数量列表和新增标签新增数量，获取历史标签加权数量和新增标签加权数量，基于历史标签数量、历史标签加权数量和新增标签加权数量获取新增文本标签数据集中新增标签的数据量，在进行分类模型训练时，我们往往需要调整进入分类模型中各标签的数据量，使得进入分类模型中的各标签的数据量大致符合实际数据中的比例，本发明通过历史标签数量、历史标签加权数量和新增标签加权数量确定新增标签的数据量，使得新增标签的数据量满足历史标签和新增标签的数据量的比例，增强训练后的模型的鲁棒性。
具体的，历史文本的标签向量Ai2通过如下步骤获取：
S010，获取预设规则列表G={G1，G2，…，Gj，…，Gn}，Gj是第j条预设规则对应的正则表达式。
S020，获取历史文本Ai1，并使用预设规则列表和历史文本Ai1进行匹配。
S030，基于匹配结果，获取历史文本Ai1对应的标签向量Ai2。
具体的，所述预设规则人为进行配置，将预设规则转化为正则表达式，获取历史文本，使用历史文本和预设规则的正则表达式进行一一进行匹配，若匹配成功，将预设规则对应的标签向量的位置标记为“1”，并增加为0的第n+1维后，获取历史文本对应的标签向量。
进一步的，在S500后还包括，使用最终分类模型对待识别文本进行分类：
S600，获取待识别文本，将待识别文本向量化，获取待识别文本向量。
具体的，本领域技术人员知晓现有技术中任何一种将文本向量化的方法均属于本发明保护范围，例如使用Word2Vec。
S700，将待识别文本向量输入最终分类模型，获取待识别文本的标签向量。
综上，获取待识别文本，将待识别文本向量化，获取待识别文本向量，将待识别文本向量输入最终分类模型，获取待识别文本的标签向量。
本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (7)

1.一种基于新增标签进行模型训练的方法，其特征在于，所述方法用于对目标分类模型进行训练，包括如下步骤：
S100，获取历史标签列表B={B1，B2，…，Bj，…，Bn}和新增标签Dn+1，从而获取新增标签列表D={D1，D2，…，Dg，…，Dn+1}，Bj是第j个历史标签，j的取值范围是1到n，n是历史标签数量，Dg是第g个新增标签，g的取值范围是1到n+1，n+1为新增标签的数量，且当1≤g≤n时，Dg=Bg；
S200，获取历史文本标签数据集A={A1，A2，…，Ai，…，Am}和新增文本标签数据集C={C1，C2，…，Cr，…，Cs}，其中，第i个历史文本标签数据Ai={Ai1，Ai2}，Ai1是第i条历史文本，Ai2是第i条历史文本的标签向量，i的取值范围是1到m，m是历史文本的数量，Ai2是由第i条历史文本分别对应B1，B2，…，Bj，…，Bn的标签值和为0的第n+1维组成的n+1维向量；
第r条新增文本标签数据Cr={Cr1，Cr2}，Cr1为第r条新增文本，Cr2为第r条新增文本的标签向量，r的取值范围是1到s，s是新增文本的数量，Cr2是由第r条新增文本分别对应D1，D2，…，Dg，…，Dn+1的标签值组成的n+1维向量；
S300，对Ai标记第一标签区分向量v1，对Cr标记第二标签区分向量v2，其中，v1和v2均由分别对应D1，D2，…，Dg，…，Dn+1的预设数值组成的n+1维向量，且前n个预设数值为第一数值，v1的第n+1个预设数值为第二数值，v2的第n+1个预设数值为第一数值，第一数值与第二数值不同；
S400，使用历史文本标签数据集A中的历史文本、历史文本标签数据集A中的每一历史文本对应的第一标签区分向量v1、新增文本标签数据集C中的新增文本以及新增文本标签数据集C中的每一新增文本对应的第二标签区分向量v2对目标分类模型进行训练，得到训练后的目标分类模型；
S500，对训练后的目标分类模型进行评估，当评估结果满足第一预设条件时，将训练后的目标分类模型确定为最终分类模型；
其中，S500中对训练后的目标分类模型进行评估包括如下步骤：
S501，获取历史文本标签数据集的历史损失W1=∑m i=1{∑n j=1[v1 yijlogσ（xij）+v1/>（1-yij）log（1-σ（xij））]}，其中，yij是Ai中第j个标签的真实值，σ（xij）是训练后的目标分类模型输出的Ai中第j个标签的预测值；
S502，获取新增文本标签数据集的新增损失W2=∑s r=1{∑n+1 g=1[v2 yrglogσ（xrg）+v2/>（1-yrg）log（1-σ（xrg））]}，其中，yrg是Cr中第g个标签的真实值，σ（xrg）是训练后的目标分类模型输出的Cr中第r个标签的预测值；
S503，将最终损失W=W1+W2，作为评估结果。
2.根据权利要求1所述的基于新增标签进行模型训练的方法，其特征在于，新增文本标签数据集C中新增标签Dn+1的对应的新增文本数量通过如下步骤获取：
S001，获取历史标签数量列表E={E1，E2，…，Ej，…，En}，Ej是历史文本标签数据集A中Bj对应的历史文本的数量；
S002，获取历史标签新增数量列表F={F1，F2，…，Fj，…，Fn}和新增标签新增数量Fn+1，Fj是标注文本标签数据集中Bj的数量，Fn+1是标注文本标签数据集中Dn+1的数量，所述标注文本标签数据集包括P条标注文本标签数据，所述标注文本标签数据包括标注文本和标注文本对应的标签向量，所述标注文本的标签向量是标注文本根据新增标签列表一一对应的标签值组成的n+1维向量；
S003，获取历史标签加权数量J={J1，J2，…，Jj，…，Jn}和新增标签加权数量Jn+1，Jj=log[（∑n j=1Fj+Fn+1）/Fj]Fj，Jn+1=log[（∑n j=1Fj+Fn+1）/Fn+1]/>Fn+1；
S004，获取新增文本标签数据集C中新增标签Dn+1的对应的历史文本数量为：Jn+1 （∑n j=1Ej）/（∑n j=1Jj）。
3.根据权利要求1所述的基于新增标签进行模型训练的方法，其特征在于，S300中，所述第一数值为“1”，第二数值为“0”。
4.根据权利要求1所述的基于新增标签进行模型训练的方法，其特征在于，在S500后还包括，使用最终分类模型对待识别文本进行分类：
S600，获取待识别文本，将待识别文本向量化，获取待识别文本向量；
S700，将待识别文本向量输入最终分类模型，获取待识别文本的标签向量。
5.根据权利要求1所述的基于新增标签进行模型训练的方法，其特征在于，历史文本的标签向量Ai2通过如下步骤获取：
S010，获取预设规则列表G={G1，G2，…，Gj，…，Gn}，Gj是第j条预设规则对应的正则表达式；
S020，获取历史文本Ai1，并使用预设规则列表和历史文本Ai1进行匹配；
S030，基于匹配结果，获取历史文本Ai1对应的标签向量Ai2。
6.根据权利要求1所述的基于新增标签进行模型训练的方法，其特征在于，当最终损失W小于预设损失阈值时，认为评估结果满足第一预设条件。
7.一种非瞬时性计算机可读存储介质，所述非瞬时性计算机可读存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-6中任意一项所述的基于新增标签进行模型训练的方法。
CN202311141091.6A 2023-09-06 2023-09-06 一种基于新增标签进行模型训练的方法及存储介质 Active CN116881464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311141091.6A CN116881464B (zh) 2023-09-06 2023-09-06 一种基于新增标签进行模型训练的方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311141091.6A CN116881464B (zh) 2023-09-06 2023-09-06 一种基于新增标签进行模型训练的方法及存储介质

Publications (2)

Publication Number Publication Date
CN116881464A CN116881464A (zh) 2023-10-13
CN116881464B true CN116881464B (zh) 2023-11-24

Family

ID=88255352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311141091.6A Active CN116881464B (zh) 2023-09-06 2023-09-06 一种基于新增标签进行模型训练的方法及存储介质

Country Status (1)

Country Link
CN (1) CN116881464B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241288A (zh) * 2018-10-12 2019-01-18 平安科技（深圳）有限公司 文本分类模型的更新训练方法、装置及设备
CN111309912A (zh) * 2020-02-24 2020-06-19 深圳市华云中盛科技股份有限公司 文本分类方法、装置、计算机设备及存储介质
CN114691864A (zh) * 2020-12-31 2022-07-01 北京金山数字娱乐科技有限公司 文本分类模型训练方法及装置、文本分类方法及装置
CN116245097A (zh) * 2022-12-21 2023-06-09 阿里巴巴（中国）有限公司 训练实体识别模型的方法、实体识别方法及对应装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341358B2 (en) * 2019-09-30 2022-05-24 International Business Machines Corporation Multiclassification approach for enhancing natural language classifiers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241288A (zh) * 2018-10-12 2019-01-18 平安科技（深圳）有限公司 文本分类模型的更新训练方法、装置及设备
CN111309912A (zh) * 2020-02-24 2020-06-19 深圳市华云中盛科技股份有限公司 文本分类方法、装置、计算机设备及存储介质
CN114691864A (zh) * 2020-12-31 2022-07-01 北京金山数字娱乐科技有限公司 文本分类模型训练方法及装置、文本分类方法及装置
CN116245097A (zh) * 2022-12-21 2023-06-09 阿里巴巴（中国）有限公司 训练实体识别模型的方法、实体识别方法及对应装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种增量式Bayes文本分类算法;高洁, 吉根林;南京师范大学学报(工程技术版)(03);全文 *
主动学习的多标签图像在线分类;徐美香;孙福明;李豪杰;;中国图象图形学报(02);全文 *
基于nLD-SVM-RF的短文本分类研究;余本功;曹雨蒙;陈杨楠;杨颖;;数据分析与知识发现(01);全文 *

Also Published As

Publication number Publication date
CN116881464A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
Yao et al. Negative log likelihood ratio loss for deep neural network classification
US11232141B2 (en) Method and device for processing an electronic document
US11537930B2 (en) Information processing device, information processing method, and program
US11321671B2 (en) Job skill taxonomy
CN110263325B (zh) 中文分词系统
CN110377739B (zh) 文本情感分类方法、可读存储介质和电子设备
CN114492363B (zh) 一种小样本微调方法、系统及相关装置
CN111104509B (zh) 一种基于概率分布自适应的实体关系分类方法
CN109615080B (zh) 无监督模型评估方法、装置、服务器及可读存储介质
CN111860669A (zh) Ocr识别模型的训练方法、装置和计算机设备
CN113849648A (zh) 分类模型训练方法、装置、计算机设备和存储介质
CN115687610A (zh) 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质
CN111709225B (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
CN117242456A (zh) 用于改进的深度学习模型的方法和系统
CN115659226A (zh) 一种获取app标签的数据处理系统
CN116663568A (zh) 基于优先级的关键任务识别系统及其方法
CN114239584A (zh) 一种基于自监督学习的命名实体识别方法
CN116881464B (zh) 一种基于新增标签进行模型训练的方法及存储介质
CN111611395A (zh) 一种实体关系的识别方法及装置
US20210192322A1 (en) Method For Determining A Confidence Level Of Inference Data Produced By Artificial Neural Network
CN117057443A (zh) 视觉语言模型的提示学习方法及电子设备
CN111552812A (zh) 确定实体之间关系类别的方法、装置和计算机设备
US10606956B2 (en) Semantic textual similarity system
CN114996389B (zh) 一种标注类别一致性检验方法、存储介质及电子设备
CN116340512A (zh) 虚假评论的认定方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant