CN113052191A - 一种神经语言网络模型的训练方法、装置、设备及介质 - Google Patents

一种神经语言网络模型的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN113052191A
CN113052191A CN201911366985.9A CN201911366985A CN113052191A CN 113052191 A CN113052191 A CN 113052191A CN 201911366985 A CN201911366985 A CN 201911366985A CN 113052191 A CN113052191 A CN 113052191A
Authority
CN
China
Prior art keywords
training
sample data
network model
training sample
neural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911366985.9A
Other languages
English (en)
Inventor
王亚平
王志刚
杨硕
刘雅婷
刘振宇
王泽皓
王芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN201911366985.9A priority Critical patent/CN113052191A/zh
Publication of CN113052191A publication Critical patent/CN113052191A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例提供了一种神经语言网络模型的训练方法、装置、设备及存储介质，用以降低训练样本数据的标注量，同时提高语言模型的训练效率。所述方法包括：获取训练样本数据；循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，得到新的神经语言网络模型。

Description

一种神经语言网络模型的训练方法、装置、设备及介质
技术领域
本发明涉及神经网络领域，尤其涉及一种神经语言网络模型的训练方法、装置、设备及存储介质。
背景技术
近些年来，基于海量数据的深度学习方法在文本领域取得了较好的效果，但其学习过程大部分都是有监督的，即需要大量的带标注的训练数据。而现实场景中海量数据的标注工作不仅是单调乏味，浪费时间，而且需要耗费一定的人力和物力，如领域文本的实体标注，分类等任务。
为了解决此类问题，提出了迁移学习(transfer learning)的概念，即试图将源任务获得的知识，应用于目标领域。在文本领域，迁移学习最常见的应用是神经语言模型网络，如ELMo、GPT和BERT等模型，其中BERT模型是目前效果最好的。现有技术中先使用BERT模型在大规模语料上进行无监督学习得到的预训练模型，然后进行特定文本任务的迁移学习，实验表明虽然可以显著的降低文本深度网络对标注数据量的需求，但在实际任务中对语言模型的训练需要消耗大量时间，并且经模型训练识别后，仍需要数千级以上的待标注训练数据，特别是针对一些特殊应用领域，如医学、政务等，需专家进行标注，仍需花费较大的代价。
综上所述，现有技术中的文本深度学习网络，训练数据标注量较大，语言模型的训练时间较长。
发明内容
本发明实施例提供了一种神经语言网络模型的训练方法、装置、设备及存储介质，用以降低训练样本数据的标注量，同时提高语言模型的训练效率。
第一方面，本发明实施例提供一种神经语言网络模型的训练方法，包括：
获取训练样本数据；
循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；
依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；
获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
本发明实施例提供的神经语言网络模型的训练方法，根据业务需求，获取训练样本数据后，循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：首先，利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；然后依据预设选择策略，并基于每个训练样本数据的识别概率，在未进行标注的训练样本数据中选择出部分训练样本数据，请求进行人工标注；最后获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。与现有技术相比，在训练过程对神经语言网络模型不断进行优化，提高了模型的训练效率，经不断优化的模型识别后，有效降低了训练样本数据的标注量，减少了样本数据标注的成本。
在一种可能的实施方式中，基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，包括：
基于所有已人工标注的训练样本数据对前一次训练得到的神经语言网络模型进行训练。
在一种可能的实施方式中，利用前一次训练得到的神经语言网络模型对训练样本数据进行预测，包括：
首次对训练样本数据进行预测时，使用预训练的神经语言网络模型作为前一次训练得到的神经语言网络模型。
在一种可能的实施方式中，预设选择策略，包括：选择识别概率小于预设概率阈值的数据；
依据预设选择策略，基于每个训练样本数据的识别概率，从训练样本数据中选择部分训练样本数据请求进行人工标注，包括：
从训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
第二方面，本发明实施例提供一种神经语言网络模型的训练装置，包括：
获取单元，用于获取训练样本数据；
处理单元，用于循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；
依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；
获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
在一种可能的实施方式中，处理单元具体用于：
基于所有已人工标注的训练样本数据对前一次训练得到的神经语言网络模型进行训练。
在一种可能的实施方式中，处理单元具体用于：
首次对训练样本数据进行预测时，使用预训练的神经语言网络模型作为前一次训练得到的神经语言网络模型。
在一种可能的实施方式中，预设选择策略，包括：选择识别概率小于预设概率阈值的数据；
处理单元具体用于：
从训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
第三方面，本发明实施例提供一种神经语言网络模型的训练设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现本发明实施例第一方面提供的神经语言网络模型的训练方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被神经语言网络模型的训练设备的处理器执行时实现本发明实施例第一方面提供的神经语言网络模型的训练方法。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1为本发明实施例提供的一种神经语言网络模型的训练方法的示意流程图；
图2为本发明实施例提供的一种神经语言网络模型的训练方法的具体流程的示意流程图；
图3为本发明实施例提供的一种神经语言网络模型的训练方法的原理示意图；
图4为本发明实施例提供的另一神经语言网络模型的训练方法的示意流程图；
图5为本发明实施例提供的一种神经语言网络模型的训练装置的结构示意图；
图6为本发明实施例提供的一种神经语言网络模型的训练设备的结构示意图。
具体实施方式
以下结合附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
鉴于现有技术中的文本深度学习网络，语言模型的训练时间较长，训练数据标注量较高，本发明实施例提供一种神经语言网络模型的训练方案，用以提高语言模型的训练效率，有效降低标注数据量，减少数据标注的成本。
下面结合附图对本发明实施例提供的方案进行详细说明。
如图1所示，本发明实施例提供一种神经语言网络模型的训练方法，其可以包括以下步骤：
步骤101，获取训练样本数据。
步骤102，循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
下面结合图2，对本发明实施例提供的神经语言网络模型的训练方法的具体流程进行详细说明。
如图2所示，步骤201，获取训练样本数据。
具体实施时，根据业务需求，确定需要处理的文本任务类型，如序列标注、文本分类等，收集相关的任务资源，将未被标注的任务资源确定为训练样本数据。
循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
步骤202，利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率。
需要说明的是，当首次对未进行标注的训练样本数据进行预测时，使用的是预训练的神经语言网络模型；非首次对未进行标注的训练样本数据进行预测时，使用的是前一次训练得到的神经语言网络模型。
步骤203，依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注。
在一种可能的实施方式中，预设选择策略包括，选择识别概率小于预设概率阈值的数据；
依据预设选择策略，基于每个训练样本数据的识别概率，从训练样本数据中选择部分训练样本数据请求进行人工标注，包括：
从训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
具体实施时，采用最小置信(Least confidence,LC)方法作为预设选择策略，即基于样本的预测不确定性进行采样。
对于文本分类任务，可直接对单个样本的预测概率进行升序排序，选择概率值较小的样本集合作为待标注的数据。
对于序列标注任务，需考虑序列生成的最大概率，设Xij为输入网络的单个句子，y1…yn为模型预测的序列，LC方法可表示如公式1：
Figure BDA0002338675340000061
按照式1进行降序排列，值越大表示对应的样本序列的不确定性越大，但是该方法倾向于选择较长的句子，因此相关学者提出了归一化对数概率(Maximum Normalized Log-Probability，MNLP)的方法来解决以上问题，如式2：
Figure BDA0002338675340000071
具体实施时，按照LC方法并结合MNLP的方法作为样本选择策略，从未识别的训练样本数据中选取部分样本，并请求进行人工标注。
步骤204，获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
步骤205，若新的神经语言网络模型满足预设要求，则执行步骤206，否则返回步骤202。
步骤206，输出满足预设要求的神经语言网络模型。
具体实施时，当BERT模型在某个特定的文本任务上取得了满意的效果，即与现有水平相当，则认定神经语言网络模型满足预设要求。
在一种可能的实施方式中，基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，包括：
基于所有已人工标注的训练样本数据对前一次训练得到的神经语言网络模型进行训练。
具体实施时，对前一次训练得到的神经语言网络模型进行训练，可以基于当前次人工标注的训练样本数据，也可以基于当前所有已进行人工标注的训练样本数据，本发明对此不做限定。
如图3所示，为本发明实施例提供的神经语言网络模型的学习过程示意图，首先使用基于公开任务数据进行微调的BERT模型，对大量无标注任务场景数据进行预测(文本分类，序列标注等任务)；然后利用主动学习的样本选择策略方法从预测样本中选出部分显著样本进行人工标注，其中部分显著样本是对模型效果影响大的样本；最后将人工标注的样本集合输入到BERT模型进行增量式的微调。对以上三步进行多次的循环，直到模型获得满意的结果。
下面以具体实施例对本发明实施例提供的神经语言网络模型的训练方法的具体过程进行详细说明。
如图4所示，步骤401，根据业务需求，确定需要处理的文本任务类型，如序列标注、文本分类等，收集相关数据资源，记为U＝{Ci}，i∈[1,n],即集合U中包含n个样本，且皆无标注，另设带标注的样本集合L，初始为
Figure BDA0002338675340000081
步骤402，将BERT模型作为预设的神经语言网络模型，使用相同任务类型的公开数据集，对BERT模型进行微调，得到具备特定文本任务(序列标注、文本分类等)能力的BERT预训练模型，记为M0。
步骤403，使用BERT模型对集合CUQ中的每个样本进行预测，得到样本预测概率值集合S＝{pi}，i∈[1,n]。
具体实施时，首先，BERT模型在每一次对样本进行预测后，都要利用带标注的样本对其进行微调，则首次应用的BERT模型为M0,第二次应用的经微调优化后的BERT模型为M1，以此类推。其次，BERT模型首先进行预测的样本集合为U，此时U中样本全部都为未标记样本，第二次进行预测的样本集合为CUQ，即U集合中排除了进行人工标注样本Q集合的其余样本集合，以此类推。
步骤404，利用集合S依据预设样本选择策略方法(即判断哪些样本需要进行标记)，选出部分无标注的样本集W＝{wj}，j∈[1,m],其中m＜n。
具体实施时，采用LC方法作为预设选择策略，即基于样本的预测不确定性进行采样，并结合MNLP的方法作为样本选择策略，从未识别的训练样本数据中选取部分样本，并请求进行人工标注。
步骤405，对无标注的样本集W进行人工标注，获得带标注样本Q＝{qj}，j∈[1,m]。
步骤406，利用带标注的样本集合L对预训练BERT模型进行微调。
步骤407，判断BERT模型是否满足预设要求，即与现有水平相当，如果是则执行步骤408，否则返回步骤403。
步骤408，输出满足预设要求的BERT模型。
具体实施时，带标注的样本集合L中的样本，随着BERT模型的训练识别后进行人工标注的样本的增加而增加。即BERT模型M0首次对未标注样本集合U进行预测后，选取部分样本进行人工标注，获得带标注的样本集合Q0,此时带标注样本集合L＝Q0，然后样本集合L将BERT模型M0进行微调后形成BERT模型M1；BERT模型M1第二次对未标注样本集合CUQ，即集合U-Q0进行预测后，选取部分样本进行人工标注，获得带标注的样本集合Q1,此时带标注样本集合L＝Q0+Q1，然后样本集合L将BERT模型M1进行微调后形成BERT模型M2；BERT模型M2第三次对未标注样本集合CUQ，即集合U-(Q0+Q1)进行预测后，选取部分样本进行人工标注，获得带标注的样本集合Q2,此时带标注样本集合L＝Q0+Q1+Q2，然后样本集合L将BERT模型M2进行微调后形成BERT模型M3，直到BERT模型在某个特定文本任务上取得满意的效果，结束方案流程。
在一种可能的实施方式中，本发明实施例还提供一种神经语言网络模型的训练装置，如图5所示，包括：
获取单元51，用于获取训练样本数据；
处理单元52，用于循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；
依据预设选择策略，基于每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；
获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对前一次训练得到的神经语言网络模型进行训练，调整前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
在一种可能的实施方式中，处理单元52具体用于：
基于所有已人工标注的训练样本数据对前一次训练得到的神经语言网络模型进行训练。
在一种可能的实施方式中，处理单元52具体用于：
首次对训练样本数据进行预测时，使用预训练的神经语言网络模型作为前一次训练得到的神经语言网络模型。
在一种可能的实施方式中，预设选择策略，包括：选择识别概率小于预设概率阈值的数据；
处理单元52具体用于：
从训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
基于相同的发明构思，本发明实施例还提供一种神经语言网络模型的训练设备。
如图6所示，本发明实施例提供一种神经语言网络模型的训练设备60，包括：至少一个处理器61、至少一个存储器62以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器61执行时实现本发明实施例提供的神经语言网络模型的训练方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器62，上述指令可由神经语言网络模型的训练设备的处理器61执行以完成上述方法。
可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种神经语言网络模型的训练方法，其特征在于，包括：
获取训练样本数据；
循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；
依据预设选择策略，基于所述每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；
获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对所述前一次训练得到的神经语言网络模型进行训练，调整所述前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
2.根据权利要求1所述的方法，其特征在于，所述基于人工标注后的训练样本数据对所述前一次训练得到的神经语言网络模型进行训练，包括：
基于所有已人工标注的训练样本数据对所述前一次训练得到的神经语言网络模型进行训练。
3.根据权利要求1所述的方法，其特征在于，所述利用前一次训练得到的神经语言网络模型对所述训练样本数据进行预测，包括：
首次对所述训练样本数据进行预测时，使用预训练的神经语言网络模型作为前一次训练得到的神经语言网络模型。
4.根据权利要求1所述的方法，其特征在于，所述预设选择策略，包括：选择识别概率小于预设概率阈值的数据；
所述依据预设选择策略，基于所述每个训练样本数据的识别概率，从所述训练样本数据中选择部分训练样本数据请求进行人工标注，包括：
从所述训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
5.一种神经语言网络模型的训练装置，其特征在于，包括：
获取单元，用于获取训练样本数据；
处理单元，用于循环执行如下步骤，直至训练得到的神经语言网络模型满足预设要求：
利用前一次训练得到的神经语言网络模型对未进行标注的训练样本数据进行预测，确定用于表征每个训练样本数据被识别的识别概率；
依据预设选择策略，基于所述每个训练样本数据的识别概率，从未进行标注的训练样本数据中选择部分训练样本数据请求进行人工标注；
获取人工标注后的训练样本数据，并基于人工标注后的训练样本数据对所述前一次训练得到的神经语言网络模型进行训练，调整所述前一次训练得到的神经语言网络模型的参数，得到新的神经语言网络模型。
6.根据权利要求5所述的装置，其特征在于，所述处理单元，具体用于：
基于所有已人工标注的训练样本数据对所述前一次训练得到的神经语言网络模型进行训练。
7.根据权利要求5所述的装置，其特征在于，所述处理单元，具体用于：
首次对所述训练样本数据进行预测时，使用预训练的神经语言网络模型作为前一次训练得到的神经语言网络模型。
8.根据权利要求5所述的装置，其特征在于，所述预设选择策略，包括：选择识别概率小于预设概率阈值的数据；
所述处理单元，具体用于：
从所述训练样本数据中选择识别概率小于预设概率阈值的部分训练样本数据请求进行人工标注。
9.一种神经语言网络模型的训练设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-4中任一项所述的神经语言网络模型的训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被神经语言网络模型的训练设备的处理器执行时实现如权利要求1-4中任一项所述的神经语言网络模型的训练方法。
CN201911366985.9A 2019-12-26 2019-12-26 一种神经语言网络模型的训练方法、装置、设备及介质 Pending CN113052191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911366985.9A CN113052191A (zh) 2019-12-26 2019-12-26 一种神经语言网络模型的训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911366985.9A CN113052191A (zh) 2019-12-26 2019-12-26 一种神经语言网络模型的训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113052191A true CN113052191A (zh) 2021-06-29

Family

ID=76505585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911366985.9A Pending CN113052191A (zh) 2019-12-26 2019-12-26 一种神经语言网络模型的训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113052191A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657628A (zh) * 2021-08-20 2021-11-16 武汉霖汐科技有限公司 工业设备监控方法、系统、电子设备及存储介质
CN113887221A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练以及关键词分类方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2820872A1 (fr) * 2001-02-13 2002-08-16 Thomson Multimedia Sa Procede, module, dispositif et serveur de reconnaissance vocale
US20170116521A1 (en) * 2015-10-27 2017-04-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Tag processing method and device
CN108845988A (zh) * 2018-06-07 2018-11-20 苏州大学 一种实体识别方法、装置、设备及计算机可读存储介质
CN108985334A (zh) * 2018-06-15 2018-12-11 广州深域信息科技有限公司 基于自监督过程改进主动学习的通用物体检测系统及方法
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
WO2019200806A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 文本分类模型的生成装置、方法及计算机可读存储介质
CN110457675A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 预测模型训练方法、装置、存储介质及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2820872A1 (fr) * 2001-02-13 2002-08-16 Thomson Multimedia Sa Procede, module, dispositif et serveur de reconnaissance vocale
US20170116521A1 (en) * 2015-10-27 2017-04-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Tag processing method and device
WO2019200806A1 (zh) * 2018-04-20 2019-10-24 平安科技（深圳）有限公司 文本分类模型的生成装置、方法及计算机可读存储介质
CN108845988A (zh) * 2018-06-07 2018-11-20 苏州大学 一种实体识别方法、装置、设备及计算机可读存储介质
CN108985334A (zh) * 2018-06-15 2018-12-11 广州深域信息科技有限公司 基于自监督过程改进主动学习的通用物体检测系统及方法
CN110245721A (zh) * 2019-06-25 2019-09-17 深圳市腾讯计算机系统有限公司 神经网络模型的训练方法、装置和电子设备
CN110457675A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 预测模型训练方法、装置、存储介质及计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JACOB DEVLIN.ET AL: ""BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding"", 《ARXIV:1810.04805V2》 *
彭嘉毅等: ""基于深度主动学习的信息安全领域命名实体识别研究"", 《四川大学学报》, vol. 56, no. 3, 31 May 2019 (2019-05-31), pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657628A (zh) * 2021-08-20 2021-11-16 武汉霖汐科技有限公司 工业设备监控方法、系统、电子设备及存储介质
CN113887221A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练以及关键词分类方法及装置

Similar Documents

Publication Publication Date Title
JP6844301B2 (ja) 予測分析のための時系列のデータ・セットを生成する方法及びデータ処理装置
CN109582793A (zh) 模型训练方法、客服系统及数据标注系统、可读存储介质
CN112119388A (zh) 训练图像嵌入模型和文本嵌入模型
CN112732871B (zh) 一种机器人催收获取客户意向标签的多标签分类方法
CN109784368A (zh) 一种应用程序分类的确定方法和装置
CN112074828A (zh) 训练图像嵌入模型和文本嵌入模型
CN108829661B (zh) 一种基于模糊匹配的新闻主体名称提取方法
CN111078546B (zh) 一种表达页面特征的方法和电子设备
CN110175657B (zh) 一种图像多标签标记方法、装置、设备及可读存储介质
JP7128919B2 (ja) 技能用語評定方法および装置、電子機器、コンピュータ読み取り可能な媒体
CN113052191A (zh) 一种神经语言网络模型的训练方法、装置、设备及介质
CN112417862A (zh) 知识点预测方法、系统和可读存储介质
CN113255354A (zh) 搜索意图识别方法、装置、服务器及存储介质
CN115563327A (zh) 基于Transformer网络选择性蒸馏的零样本跨模态检索方法
JP2009259109A (ja) ラベル付与装置、ラベル付与プログラム、ラベル付与プログラムが記録された記録媒体、および、ラベル付与方法
JP7121819B2 (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN116958889A (zh) 一种基于伪标签的半监督小样本目标检测方法
JP2010282276A (ja) 映像認識理解装置、映像認識理解方法、及びプログラム
CN114358017A (zh) 标签分类方法、装置、设备和存储介质
CN116630714A (zh) 多标签识别的类别自适应标签发现与噪声拒绝方法及设备
CN115599953A (zh) 视频文本检索模型的训练方法、检索方法及相关设备
CN113313178B (zh) 一种跨域图像示例级主动标注方法
Shivali et al. A Hybrid of Fireworks and Harmony Search Algorithm for Multilevel Image Thresholding
CN117033733B (zh) 图书馆资源的智能自动分类与标签生成系统及方法
CN115098725B (zh) 任务处理模型确定方法、视频类别确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination