CN112766485B - 命名实体模型的训练方法、装置、设备及介质 - Google Patents

命名实体模型的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN112766485B
CN112766485B CN202011626618.0A CN202011626618A CN112766485B CN 112766485 B CN112766485 B CN 112766485B CN 202011626618 A CN202011626618 A CN 202011626618A CN 112766485 B CN112766485 B CN 112766485B
Authority
CN
China
Prior art keywords
training
incompletely
estimated
marked
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011626618.0A
Other languages
English (en)
Other versions
CN112766485A (zh
Inventor
阮鸿涛
郑立颖
胡沛弦
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011626618.0A priority Critical patent/CN112766485B/zh
Publication of CN112766485A publication Critical patent/CN112766485A/zh
Priority to PCT/CN2021/097545 priority patent/WO2022142123A1/zh
Application granted granted Critical
Publication of CN112766485B publication Critical patent/CN112766485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种命名实体模型的训练方法、装置、设备及介质，其中方法包括：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合；获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。从而减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上。

Description

命名实体模型的训练方法、装置、设备及介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种命名实体模型的训练方法、装置、设备及介质。
背景技术
目前命名实体识别模型训练都依赖于大量的完全标注的数据，然而现实情况是大量的、高质量的完全标注的数据的获取极其昂贵且困难。为了解决这个问题，很多情况下由标注人员输出的命名实体数据都是标注不完全的，即仅标注了一部分实体，然后利用不完全标注的数据训练命名实体识别模型。不完全标注的数据的未被标注为实体的内容可以为任何标签，而文本中命名实体一般是稀疏的，导致可能的标签序列的数量随着未标注文本内容的长度增加而呈现指数增加，因为现有利用不完全标注的数据训练命名实体识别模型时将注意力分散到大量的标签序列上，使得模型在搜索真实标签序列的时候遇到较大的困难。
发明内容
本申请的主要目的为提供一种命名实体模型的训练方法、装置、设备及介质，旨在解决现有技术利用不完全标注的数据训练命名实体识别模型时将注意力分散到大量的标签序列上，使得模型在搜索真实标签序列的时候遇到较大的困难的技术问题。
为了实现上述发明目的，本申请提出一种命名实体模型的训练方法，所述方法包括：
获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；
获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
进一步的，所述采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
从所述目标不完全标注的训练样本的所述不完全标注的标签序列中提取出已标注实体信息，得到所述目标不完全标注的训练样本对应的已标注实体信息；
采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，得到所述目标不完全标注的训练样本对应的未标注文本数据；
分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字进行所有可能的标签预估，得到所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的预估标签集合；
分别将所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合和所述目标不完全标注的训练样本对应的所述已标注实体信息进行所有可能的标签序列组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合；
重复执行所述从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本作为目标不完全标注的训练样本的步骤，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合。
进一步的，所述获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据；
采用所述待训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列进行条件概率计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据；
采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合；
将所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据、所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据和所述目标不完全标注的训练样本对应的所述最有可能标签序列集合输入所述自适应损失函数进行计算，得到所述待训练的命名实体模型的损失值，根据所述损失值更新所述待训练的命名实体模型的参数，更新后的所述待训练的命名实体模型被用于下一次计算所述待分析条件概率数据、所述最有可能标签序列集合；
重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到所述第一收敛条件或迭代次数达到所述第二收敛条件的所述待训练的命名实体模型，确定为所述目标命名实体模型。
进一步的，所述采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据的步骤，包括：
基于前向-后向算法和所述初步训练的命名实体模型，分别对所述目标不完全标注的训练样本的所述文本样本数据的每个字进行各个标签的边缘概率计算，得到所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的边缘概率数据；
分别根据所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列、所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的所述边缘概率数据进行各个字各自对应的所述边缘概率数据的相乘计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据。
进一步的，所述采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合的步骤，包括：
将所述目标不完全标注的训练样本的所述文本样本数据输入所述待训练的命名实体模型进行计算，获取所述目标不完全标注的训练样本的预训练模型输出的所述目标不完全标注的训练样本对应的概率预测结果；
采用k-best Viterbi Decoding算法根据所述待训练的命名实体模型的条件随机场模型的状态转移矩阵、所述目标不完全标注的训练样本的所述概率预测结果进行最有可能的标签序列的解码计算，得到所述目标不完全标注的训练样本对应的所述最有可能标签序列集合。
进一步的，所述自适应损失函数的计算公式L(w,x)为：
L(w,x)＝(1-λ)L1(w,x)+λL2(w,x)
其中，q(y′|x)是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据，pw(y′|x)是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据，C(yu)是所述目标不完全标注的训练样本对应的所述预估标签序列集合，Kw(x)所述目标不完全标注的训练样本对应的所述最有可能标签序列集合，log()是对数函数，λ是自适应参数，λ从0逐步增加到1。
进一步的，所述自适应参数λ的计算公式为：
其中，exp[]是以自然常数e为底的指数函数，b是所述目标不完全标注的训练样本训练所述待训练的命名实体模型时对应的训练步数，B是预设的总训练步数，γ为控制λ增长速度的常数。
本申请还提出了一种命名实体模型的训练装置，所述装置包括：
训练样本获取模块，用于获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
预估标签序列集合确定模块，用于采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；
模型训练模块，用于获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的命名实体模型的训练方法、装置、设备及介质，首先采用预设预估规则分别对每个不完全标注的训练样本进行预估标签序列确定，得到多个不完全标注的训练样本各自对应的预估标签序列集合，预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，然后采用自适应损失函数、初步训练的命名实体模型、多个不完全标注的训练样本、多个不完全标注的训练样本各自对应的预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型，通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
附图说明
图1为本申请一实施例的命名实体模型的训练方法的流程示意图；
图2为本申请一实施例的命名实体模型的训练装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了解决现有技术利用不完全标注的数据训练命名实体识别模型时将注意力分散到大量的标签序列上，使得模型在搜索真实标签序列的时候遇到较大的困难的技术问题，本申请提出了一种命名实体模型的训练方法，所述方法应用于人工智能技术领域。所述命名实体模型的训练方法通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
参照图1，本申请实施例中提供一种命名实体模型的训练方法，所述方法包括：
S1：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
S2：采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；
S3：获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
本实施例首先通过采用预设预估规则分别对每个不完全标注的训练样本进行预估标签序列确定，得到多个不完全标注的训练样本各自对应的预估标签序列集合，预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，然后采用自适应损失函数、初步训练的命名实体模型、多个不完全标注的训练样本、多个不完全标注的训练样本各自对应的预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型，通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
对于S1，可以从数据库中获取多个不完全标注的训练样本，也可以是用户输入的多个不完全标注的训练样本，还可以是第三方应用系统发送的多个不完全标注的训练样本。
文本样本数据中包括多个文字。
在每个不完全标注的训练样本中，不完全标注的标签序列是对文本样本数据的实体进行不完全标注的结果。
比如，不完全标注的训练样本的文本样本数据x＝(x1,x2,…,xn)，其中每个xi(i＝1,2,…,n)代表文本样本数据中的一个字，x对应的不完全标注的标签序列为yu＝(-,y2,-,…yi,…,-)，其中yi代表标注人员标注的字xi对应的标签，“-”代表未被标注，即“-”对应文本样本数据中的字可能为实体或非实体，在此举例不做具体限定。
对于S2，分别对每个所述不完全标注的训练样本进行所有可能的预估标签序列确定，预估标签序列中包含了预估标签序列对应的所述不完全标注的训练样本的不完全标注的标签序列的已标注实体信息，并且预估标签序列是完全标注(包括：可能标注和不完全标注的标签序列的已标注实体信息)的。
比如，不完全标注的训练样本x的不完全标注的标签序列为yu＝(-,y2,-,…yi,…,-)，一条与yu中已标注实体信息一致未标注部分全部预估标注的预估标签序列为yc＝(yc1,y2,yc3,…yi,…,ycn),其中yc2表示未标注的位置2上一种可能的标签，将所有符合yu的已标注实体信息未标注部分全部预估标注的预估标签序列yc组成的集合为C(yu)，C(yu)即为所述不完全标注的训练样本x对应的预估标签序列集合，在此举例不做具体限定。
对于S3，可以从数据库中获取初步训练的命名实体模型，也可以是用户输入的初步训练的命名实体模型，还可以是第三方应用系统发送的初步训练的命名实体模型；采用所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，训练时采用自适应损失函数作为损失函数，将训练结束的待训练的命名实体模型作为目标命名实体模型。
初步训练的命名实体模型，是指采用少量的完全标注的训练样本对预训练模型和条件随机场模型训练得到的模型。
待训练的命名实体模型包括：预训练模型、条件随机场模型。预训练模型是基于Bert网络训练得到的模型。
自适应损失函数，是根据训练的进程可以调整的损失函数，从而避免在训练时将注意力分散到大量的标签序列上。
在一个实施例中，上述所述采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合的步骤，包括的步骤，包括：
S21：从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
S22：从所述目标不完全标注的训练样本的所述不完全标注的标签序列中提取出已标注实体信息，得到所述目标不完全标注的训练样本对应的已标注实体信息；
S23：采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，得到所述目标不完全标注的训练样本对应的未标注文本数据；
S24：分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字进行所有可能的标签预估，得到所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的预估标签集合；
S25：分别将所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合和所述目标不完全标注的训练样本对应的所述已标注实体信息进行所有可能的标签序列组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合；
S26：重复执行所述从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本作为目标不完全标注的训练样本的步骤，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合。
本实施例实现了确定预估标签序列，为后续进行模型训练提供了数据基础。
对于S21，从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，将获取的所述不完全标注的训练样本作为目标不完全标注的训练样本。
对于S22，从所述目标不完全标注的训练样本对应的所述不完全标注的标签序列中提取出所有的已标注实体的信息，将提取得到的已标注实体的信息作为所述目标不完全标注的训练样本对应的已标注实体信息。
已标注实体信息包括：被标注为实体的文字在文本样本数据中的位置数据。
对于S23，采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，将找出的未标注的文字作为所述目标不完全标注的训练样本对应的未标注文本数据。
未标注文本数据包括：在文本样本数据中的位置数据、未标注的文字，在未标注文本数据中每个在文本样本数据中的位置数据对应一个未标注的文字。
对于S24，分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字(也就是未标注的文字)进行所有可能的标签预估，将一个文字(也就是未标注的文字)对应的所有可能的标签预估结果作为一个预估标签集合。
对于S25，从所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合中的每个所述预估标签集合中挑出一个预估标签，将挑选出的预估标签作为可能的待组合预估标签集合；将所述目标不完全标注的训练样本对应的所述已标注实体信息和所述多个可能的待组合预估标签集合中每个可能的待组合预估标签集合按位置数据的先后顺序进行组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合。
对于S26，重复执行步骤S21至步骤S26，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合。
在一个实施例中，上述获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型的步骤，包括：
S31：从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
S32：采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据；
S33：采用所述待训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列进行条件概率计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据；
S34：采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合；
S35：将所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据、所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据和所述目标不完全标注的训练样本对应的所述最有可能标签序列集合输入所述自适应损失函数进行计算，得到所述待训练的命名实体模型的损失值，根据所述损失值更新所述待训练的命名实体模型的参数，更新后的所述待训练的命名实体模型被用于下一次计算所述待分析条件概率数据、所述最有可能标签序列集合；
S36：重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到所述第一收敛条件或迭代次数达到所述第二收敛条件的所述待训练的命名实体模型，确定为所述目标命名实体模型。
本实施例实现了采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
对于S31，从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，将获取的所述不完全标注的训练样本作为目标不完全标注的训练样本。
对于S32，分别将所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列输入所述初步训练的命名实体模型进行概率分布预测，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据。也就是说，待分析概率分布数据的数量和目标不完全标注的训练样本对应的所述预估标签序列集合的预估标签序列的数量相同。
对于S33，分别将所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列输入所述待训练的命名实体模型，获取所述待训练的命名实体模型的条件随机场模型输出的条件概率，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据。也就是说，待分析条件概率数据的数量与目标不完全标注的训练样本对应的所述预估标签序列集合的预估标签序列的数量相同。
对于S34，采用当前的所述待训练的命名实体模型的条件随机场模型的状态转移矩阵和当前的所述待训练的命名实体模型的预训练模型的输出进行最有可能的标签序列解析，将解析得到的所有所述最有可能标签序列作为所述目标不完全标注的训练样本对应的最有可能标签序列集合。
对于S35，根据所述损失值更新所述待训练的命名实体模型的参数的方法可以从现有技术中选择，在此不做赘述。
对于S36，重复执行步骤S31至S36，直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件。
所述第一收敛条件是指相邻两次计算的损失的大小满足lipschitz条件(利普希茨连续条件)。
所述迭代次数达到第二收敛条件是指所述待训练的命名实体模型被用于计算所述待分析条件概率数据、所述最有可能标签序列集合的次数，也就是说，计算一次所述待分析条件概率数据、所述最有可能标签序列集合，迭代次数增加1。
在一个实施例中，上述采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据的步骤，包括：
S321：基于前向-后向算法和所述初步训练的命名实体模型，分别对所述目标不完全标注的训练样本的所述文本样本数据的每个字进行各个标签的边缘概率计算，得到所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的边缘概率数据；
S322：分别根据所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列、所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的所述边缘概率数据进行各个字各自对应的所述边缘概率数据的相乘计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据。
本实施例实现了计算所有所述预估标签序列各自对应的待分析概率分布数据，为后续进行模型训练提供了数据基础。
对于S321，将所述目标不完全标注的训练样本的所述文本样本数据输入所述初步训练的命名实体模型，并且采用前向-后向算法计算出所述目标不完全标注的训练样本的所述文本样本数据的每个字对应各个标签的边缘概率(边缘分布)。也就是说，每个字对应的边缘概率和标签总数量相同。比如，标签包括：实体、非实体，则标签总数量为2，在此举例不做具体限定。
对于S322，从所述目标不完全标注的训练样本对应的所述预估标签序列集合中提取出一个预估标签序列作为目标预估标签序列；将目标预估标签序列的每个标签依次在所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的所述边缘概率数据中进行查找，将查找到的所述边缘概率数据相乘，将相乘结果作为所述目标预估标签序列对应的所述待分析概率分布数据；重复执行所述从所述目标不完全标注的训练样本对应的所述预估标签序列集合中提取出一个预估标签序列作为目标预估标签序列的步骤，直至确定所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据。
比如，所述目标不完全标注的训练样本的目标预估标签序列有10个预估标签，目标预估标签序列第二个位置的预估标签是实体，将所述目标不完全标注的训练样本的所述文本样本数据的第二个字(与目标预估标签序列第二个位置对应)对应的标签为实体(与目标预估标签序列第二个位置的预估标签对应)的所述边缘概率数据作为目标预估标签序列第二个位置的预估标签对应的边缘概率数据，然后将目标预估标签序列10个位置(与10个预估标签对应)的预估标签对应的边缘概率数据进行相乘(也就是10个边缘概率数据相乘)，将相乘结果作为所述目标不完全标注的训练样本的目标预估标签序列对应的所述待分析概率分布数据，在此举例不做具体限定。
在一个实施例中，上述采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合的步骤，包括：
S341：将所述目标不完全标注的训练样本的所述文本样本数据输入所述待训练的命名实体模型进行计算，获取所述目标不完全标注的训练样本的预训练模型输出的所述目标不完全标注的训练样本对应的概率预测结果；
S342：采用k-best Viterbi Decoding算法根据所述待训练的命名实体模型的条件随机场模型的状态转移矩阵、所述目标不完全标注的训练样本的所述概率预测结果进行最有可能的标签序列的解码计算，得到所述目标不完全标注的训练样本对应的所述最有可能标签序列集合。
本实施例实现了采用k-best Viterbi Decoding算法进行最有可能的标签序列的解码计算，从而为后续进行模型训练提供了数据基础。
对于S341，将所述目标不完全标注的训练样本的所述文本样本数据输入所述待训练的命名实体模型进行计算，将所述目标不完全标注的训练样本的预训练模型输出的概率作为所述目标不完全标注的训练样本对应的概率预测结果。
对于S342，从当前的所述待训练的命名实体模型中提取出条件随机场模型的状态转移矩阵；采用k-best Viterbi Decoding算法将提取出的状态转移矩阵和所述目标不完全标注的训练样本的所述概率预测结果进行最有可能的标签序列的解码计算，得到所述目标不完全标注的训练样本对应的所述最有可能标签序列集合。
采用k-best Viterbi Decoding算法进行最有可能的标签序列的解码计算的方法可以从现有技术中选择，在此不做赘述。
在一个实施例中，上述自适应损失函数的计算公式L(w,x)为：
L(w,x)＝(1-λ)L1(w,x)+λL2(w,x)
其中，q(y′|x)是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据，pw(y′|x)是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据，C(yu)是所述目标不完全标注的训练样本对应的所述预估标签序列集合，Kw(x)所述目标不完全标注的训练样本对应的所述最有可能标签序列集合，log()是对数函数，λ是自适应参数，λ从0逐步增加到1。
本实施例实现了采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
在训练初期，模型能够利用所有所述预估标签序列各自对应的所述待分析概率分布数据和标签信息进行训练，此时使自适应损失函数中的L1(w,x)权重偏大，L2(w,x)的权重偏小；在训练过程中，通过λ逐步调整损失函数，增加最有可能的所述预估标签序列的权重，此时使自适应损失函数中的L1(w,x)权重偏小，L2(w,x)的权重偏大，使模型更易把握住真实的标签序列，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
在一个实施例中，上述自适应参数λ的计算公式为：
/>
其中，exp[]是以自然常数e为底的指数函数，b是所述目标不完全标注的训练样本训练所述待训练的命名实体模型时对应的训练步数，B是预设的总训练步数，γ为控制λ增长速度的常数。
本实施例通过训练步数、总训练步数、控制λ增长速度的常数来控制自适应参数的值从0逐步增加到1，实现了根据训练进度从小到大调整自适应参数。
参照图2，本申请提出了一种命名实体模型的训练装置，所述装置包括：
训练样本获取模块100，用于获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
预估标签序列集合确定模块200，用于采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；
模型训练模块300，用于获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
本实施例首先通过采用预设预估规则分别对每个不完全标注的训练样本进行预估标签序列确定，得到多个不完全标注的训练样本各自对应的预估标签序列集合，预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，然后采用自适应损失函数、初步训练的命名实体模型、多个不完全标注的训练样本、多个不完全标注的训练样本各自对应的预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型，通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存命名实体模型的训练方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种命名实体模型的训练方法。所述命名实体模型的训练方法，包括：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
本实施例首先通过采用预设预估规则分别对每个不完全标注的训练样本进行预估标签序列确定，得到多个不完全标注的训练样本各自对应的预估标签序列集合，预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，然后采用自适应损失函数、初步训练的命名实体模型、多个不完全标注的训练样本、多个不完全标注的训练样本各自对应的预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型，通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种命名实体模型的训练方法，包括步骤：获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注；获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
上述执行的命名实体模型的训练方法，首先通过采用预设预估规则分别对每个不完全标注的训练样本进行预估标签序列确定，得到多个不完全标注的训练样本各自对应的预估标签序列集合，预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，然后采用自适应损失函数、初步训练的命名实体模型、多个不完全标注的训练样本、多个不完全标注的训练样本各自对应的预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型，通过采用不完全标注的训练样本，减少了对标注质量的依赖，采用自适应损失函数避免在训练时将注意力分散到大量的标签序列上，从而使采用多个不完全标注的训练样本训练模型也可以取得较好的效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种命名实体模型的训练方法，其特征在于，所述方法包括：
获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，其中，所述预估标签序列中包括所述预估标签序列对应的所述不完全标注的训练样本的不完全标注的标签序列的已标注实体信息，且所述预估标签序列是完全标注的；
获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型；
所述采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
从所述目标不完全标注的训练样本的所述不完全标注的标签序列中提取出已标注实体信息，得到所述目标不完全标注的训练样本对应的已标注实体信息；
采用所述目标不完全标注的训练样本对应的所述已标注实体信息从所述目标不完全标注的训练样本的所述文本样本数据中找出未标注的文字，得到所述目标不完全标注的训练样本对应的未标注文本数据；
分别对所述目标不完全标注的训练样本对应的所述未标注文本数据中每个文字进行所有可能的标签预估，得到所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的预估标签集合；
分别将所述目标不完全标注的训练样本对应的所述未标注文本数据的各个文字各自对应的所述预估标签集合和所述目标不完全标注的训练样本对应的所述已标注实体信息进行所有可能的标签序列组合，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合；
重复执行所述从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本作为目标不完全标注的训练样本的步骤，直至确定所述多个不完全标注的训练样本各自对应的所述预估标签序列集合；
所述获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型的步骤，包括：
从所述多个不完全标注的训练样本中获取一个所述不完全标注的训练样本，作为目标不完全标注的训练样本；
采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据；
采用所述待训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个所述预估标签序列进行条件概率计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析条件概率数据；
采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合；
将所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据、所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据和所述目标不完全标注的训练样本对应的所述最有可能标签序列集合输入所述自适应损失函数进行计算，得到所述待训练的命名实体模型的损失值，根据所述损失值更新所述待训练的命名实体模型的参数，更新后的所述待训练的命名实体模型被用于下一次计算所述待分析条件概率数据、所述最有可能标签序列集合；
重复执行上述方法步骤直至所述损失值达到第一收敛条件或迭代次数达到第二收敛条件，将所述损失值达到所述第一收敛条件或迭代次数达到所述第二收敛条件的所述待训练的命名实体模型，确定为所述目标命名实体模型。
2.根据权利要求1所述的命名实体模型的训练方法，其特征在于，所述采用所述初步训练的命名实体模型分别对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列进行概率分布计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的待分析概率分布数据的步骤，包括：
基于前向-后向算法和所述初步训练的命名实体模型，分别对所述目标不完全标注的训练样本的所述文本样本数据的每个字进行各个标签的边缘概率计算，得到所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的边缘概率数据；
分别根据所述目标不完全标注的训练样本对应的所述预估标签序列集合中的每个预估标签序列、所述目标不完全标注的训练样本的所述文本样本数据的各个字各自对应的各个标签的所述边缘概率数据进行各个字各自对应的所述边缘概率数据的相乘计算，得到所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据。
3.根据权利要求1所述的命名实体模型的训练方法，其特征在于，所述采用所述待训练的命名实体模型，对所述目标不完全标注的训练样本对应的所述预估标签序列集合中的所有所述预估标签序列进行最有可能的标签序列解析，得到所述目标不完全标注的训练样本对应的最有可能标签序列集合的步骤，包括：
将所述目标不完全标注的训练样本的所述文本样本数据输入所述待训练的命名实体模型进行计算，获取所述目标不完全标注的训练样本的预训练模型输出的所述目标不完全标注的训练样本对应的概率预测结果；
采用k-best Viterbi Decoding算法根据所述待训练的命名实体模型的条件随机场模型的状态转移矩阵、所述目标不完全标注的训练样本的所述概率预测结果进行最有可能的标签序列的解码计算，得到所述目标不完全标注的训练样本对应的所述最有可能标签序列集合。
4.根据权利要求1所述的命名实体模型的训练方法，其特征在于，所述自适应损失函数的计算公式L(w,x)为：
=/>
其中，是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析概率分布数据，/>是所述目标不完全标注的训练样本对应的所述预估标签序列集合中所有所述预估标签序列各自对应的所述待分析条件概率数据，/>是所述目标不完全标注的训练样本对应的所述预估标签序列集合，/>所述目标不完全标注的训练样本对应的所述最有可能标签序列集合，log()是对数函数，/>是自适应参数，/>从0逐步增加到1。
5.根据权利要求4所述的命名实体模型的训练方法，其特征在于，所述自适应参数的计算公式为：
其中，exp[]是以自然常数e为底的指数函数，b是所述目标不完全标注的训练样本训练所述待训练的命名实体模型时对应的训练步数，B是预设的总训练步数，为控制/>增长速度的常数。
6.一种命名实体模型的训练装置，其用于实现权利要求1-5任一项所述的训练方法，其特征在于，所述装置包括：
训练样本获取模块，用于获取多个不完全标注的训练样本，所述不完全标注的训练样本包括：文本样本数据、不完全标注的标签序列；
预估标签序列集合确定模块，用于采用预设预估规则分别对每个所述不完全标注的训练样本进行预估标签序列确定，得到所述多个不完全标注的训练样本各自对应的预估标签序列集合，所述预设预估规则是指同时满足已标注实体信息一致和未标注部分全部预估标注，其中，所述预估标签序列中包括所述预估标签序列对应的所述不完全标注的训练样本的不完全标注的标签序列的已标注实体信息，且所述预估标签序列是完全标注的；
模型训练模块，用于获取初步训练的命名实体模型，采用自适应损失函数、所述初步训练的命名实体模型、所述多个不完全标注的训练样本、所述多个不完全标注的训练样本各自对应的所述预估标签序列集合对待训练的命名实体模型进行训练，得到目标命名实体模型。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202011626618.0A 2020-12-31 2020-12-31 命名实体模型的训练方法、装置、设备及介质 Active CN112766485B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011626618.0A CN112766485B (zh) 2020-12-31 2020-12-31 命名实体模型的训练方法、装置、设备及介质
PCT/CN2021/097545 WO2022142123A1 (zh) 2020-12-31 2021-05-31 命名实体模型的训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011626618.0A CN112766485B (zh) 2020-12-31 2020-12-31 命名实体模型的训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112766485A CN112766485A (zh) 2021-05-07
CN112766485B true CN112766485B (zh) 2023-10-24

Family

ID=75698970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011626618.0A Active CN112766485B (zh) 2020-12-31 2020-12-31 命名实体模型的训练方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN112766485B (zh)
WO (1) WO2022142123A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766485B (zh) * 2020-12-31 2023-10-24 平安科技（深圳）有限公司 命名实体模型的训练方法、装置、设备及介质
CN117251650B (zh) * 2023-11-20 2024-02-06 之江实验室 地理热点中心识别方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
CN110032649A (zh) * 2019-04-12 2019-07-19 北京科技大学 一种中医文献的实体间关系抽取方法及装置
CN110287480A (zh) * 2019-05-27 2019-09-27 广州多益网络股份有限公司 一种命名实体识别方法、装置、存储介质及终端设备
CN110348017A (zh) * 2019-07-15 2019-10-18 苏州大学 一种文本实体检测方法、系统及相关组件
CN110851597A (zh) * 2019-10-28 2020-02-28 青岛聚好联科技有限公司 一种基于同类实体替换的语句标注的方法及装置
CN111062215A (zh) * 2019-12-10 2020-04-24 金蝶软件（中国）有限公司 基于半监督学习训练的命名实体识别方法和装置
CN111222393A (zh) * 2019-10-12 2020-06-02 浙江大学 一种基于自学习神经网络的病理切片中印戒细胞检测方法
CN111382572A (zh) * 2020-03-03 2020-07-07 北京香侬慧语科技有限责任公司 一种命名实体识别方法、装置、设备以及介质
CN111553164A (zh) * 2020-04-29 2020-08-18 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、计算机设备
CN111985239A (zh) * 2020-07-31 2020-11-24 杭州远传新业科技有限公司 实体识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681944B2 (en) * 2018-08-09 2023-06-20 Oracle International Corporation System and method to generate a labeled dataset for training an entity detection system
CN112766485B (zh) * 2020-12-31 2023-10-24 平安科技（深圳）有限公司 命名实体模型的训练方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
CN110032649A (zh) * 2019-04-12 2019-07-19 北京科技大学 一种中医文献的实体间关系抽取方法及装置
CN110287480A (zh) * 2019-05-27 2019-09-27 广州多益网络股份有限公司 一种命名实体识别方法、装置、存储介质及终端设备
CN110348017A (zh) * 2019-07-15 2019-10-18 苏州大学 一种文本实体检测方法、系统及相关组件
CN111222393A (zh) * 2019-10-12 2020-06-02 浙江大学 一种基于自学习神经网络的病理切片中印戒细胞检测方法
CN110851597A (zh) * 2019-10-28 2020-02-28 青岛聚好联科技有限公司 一种基于同类实体替换的语句标注的方法及装置
CN111062215A (zh) * 2019-12-10 2020-04-24 金蝶软件（中国）有限公司 基于半监督学习训练的命名实体识别方法和装置
CN111382572A (zh) * 2020-03-03 2020-07-07 北京香侬慧语科技有限责任公司 一种命名实体识别方法、装置、设备以及介质
CN111553164A (zh) * 2020-04-29 2020-08-18 平安科技（深圳）有限公司 命名实体识别模型的训练方法、装置、计算机设备
CN111985239A (zh) * 2020-07-31 2020-11-24 杭州远传新业科技有限公司 实体识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022142123A1 (zh) 2022-07-07
CN112766485A (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN112766485B (zh) 命名实体模型的训练方法、装置、设备及介质
CN111666401B (zh) 基于图结构的公文推荐方法、装置、计算机设备及介质
CN111553164A (zh) 命名实体识别模型的训练方法、装置、计算机设备
CN110457431A (zh) 基于知识图谱的问答方法、装置、计算机设备和存储介质
CN104615589A (zh) 训练命名实体识别模型的方法、命名实体识别方法及装置
CN110688853B (zh) 序列标注方法、装置、计算机设备和存储介质
CN113673698B (zh) 适用于bert模型的蒸馏方法、装置、设备及存储介质
CN112733911B (zh) 实体识别模型的训练方法、装置、设备和存储介质
CN112861518B (zh) 文本纠错方法、装置和存储介质及电子装置
CN110321426B (zh) 摘要抽取方法、装置及计算机设备
CN112699923A (zh) 文档分类预测方法、装置、计算机设备及存储介质
CN113011191A (zh) 一种知识联合抽取模型训练方法
CN112633002A (zh) 样本标注、模型训练、命名实体识别方法和装置
CN112766319A (zh) 对话意图识别模型训练方法、装置、计算机设备及介质
CN113642707A (zh) 基于联邦学习的模型训练方法、装置、设备及存储介质
CN112580329B (zh) 文本噪声数据识别方法、装置、计算机设备和存储介质
CN110413994B (zh) 热点话题生成方法、装置、计算机设备和存储介质
CN115409111A (zh) 命名实体识别模型的训练方法和命名实体识别方法
CN113343711A (zh) 工单生成方法、装置、设备及存储介质
CN110909975B (zh) 科研平台效益评估方法、装置
CN113947185B (zh) 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN111400340A (zh) 一种自然语言处理方法、装置、计算机设备和存储介质
CN113610215B (zh) 任务处理网络生成、任务处理方法、装置及电子设备
CN113139368B (zh) 一种文本编辑方法及系统
CN115759095A (zh) 一种烟草病虫害的命名实体识别方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant