CN111091004A - 一种语句实体标注模型的训练方法、训练装置及电子设备 - Google Patents
一种语句实体标注模型的训练方法、训练装置及电子设备 Download PDFInfo
- Publication number
- CN111091004A CN111091004A CN201911308243.0A CN201911308243A CN111091004A CN 111091004 A CN111091004 A CN 111091004A CN 201911308243 A CN201911308243 A CN 201911308243A CN 111091004 A CN111091004 A CN 111091004A
- Authority
- CN
- China
- Prior art keywords
- sample
- matrix
- training
- statement
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 130
- 238000002372 labelling Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 204
- 238000012512 characterization method Methods 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims abstract description 69
- 239000013598 vector Substances 0.000 claims abstract description 61
- 238000013145 classification model Methods 0.000 claims abstract description 37
- 238000012360 testing method Methods 0.000 claims description 29
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 5
- 230000008520 organization Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Machine Translation (AREA)
Abstract
本申请提供了一种语句实体标注模型的训练方法、训练装置及电子设备，所述训练方法包括：对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；并通过训练构建好的辅助分类模型，确定出与每个样本加权表征矩阵对应的辅助加权表征矩阵；将多个辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。从而能够进一步的提高模型的在使用过程中的标注精度，也能够降低噪声的干扰，准确的对实体进行标注，提高模型的泛化能力。
Description
技术领域
本申请涉及计算机自然语言处理技术领域，尤其是涉及一种语句实体标注模型的训练方法、训练装置及电子设备。
背景技术
语句实体识别是自然语言处理的一项关键任务，目的是识别语句中的特定类型的事物名称和有意义的数量短语，包括命名性实体、时间、数字等三大类，又可细分为七个小类：人名、地名、机构名、时间、日期、货币以及百分比等。
目前，现有的语句实体识别方法应用于中文语句标注时，通常会受到语法语句不规范、新词/错词、网络语/表情等噪声的影响，使得标注的结果准确率低，模型的精确度低，模型的泛化效果不好。
发明内容
有鉴于此，本申请的目的在于提供一种语句实体标注模型的训练方法、训练装置及电子设备，通过预先对样本文本中的样本语句进行辅助分类，之后结合样本语句的样本加权表征矩阵，训练构建好的条件随机场模型，得到语句实体标注模型，从而能够进一步的提高模型标注的准确度，提高模型的泛化能力。
本申请实施例提供了一种语句实体标注模型的训练方法，所述训练方法包括：
对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；
对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；
将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；
将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
进一步的，所述对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵，包括：
将所述多个样本文本中的样本语句进行标准化处理，确定标准后的多个中间样本语句；
对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
进一步的，通过以下步骤确定处理后的样本加权表征矩阵，包括：
将所述样本矩阵输入至时间递归神经网络中，得到所述样本矩阵对应的样本序列表征矩阵；
确定所述样本序列表征矩阵中任意两行向量之间的关联值，并将所述关联值添加至样本序列表征矩阵中，得到所述样本序列表征矩阵对应的样本加权表征矩阵。
进一步的，所述将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵，包括：
针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定与所述逻辑输出对应的辅助样本标签；
基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值并确定所述辅助分类模型的第一训练步数；
针对所述第一训练步数小于预设辅助训练步数的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
进一步的，在所述将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型之后，所述训练方法还包括：
基于获取的多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签；
基于确定的每个测试语句的标注标签和获取到的每个测试语句的真实标注标签，确定所述语句实体标注模型的第二训练步数；
若所述第二训练步数等于预设的模型训练步数，则所述语句实体标注模型训练完成。
进一步的，在所述得到语句实体标注模型之后，所述训练方法还包括：
对待识别文本中的待识别语句进行字向量处理，得到所述待识别语句对应的识别语句矩阵；
对所述识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；
将所述标注语句矩阵输入至训练完成的所述语句实体标注模型中，得到所述识别语句的标注标签。
本申请实施例还提供了一种语句实体标注模型的训练装置，所述训练装置包括：
处理模块，用于对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；
第一确定模块，用于对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；
第二确定模块，用于将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；
获取模块，用于将多个辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
进一步的，所述处理模块在对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵时，所述处理模块具体用于：
将所述多个样本文本中的样本语句进行标准化处理，确定标准后的多个中间样本语句；
对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
进一步的，所述第一确定模块在对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵时，所述第一确定模块通过以下步骤确定处理后的样本加权表征矩阵：
将所述样本矩阵输入至时间递归神经网络中，得到所述样本矩阵对应的样本序列表征矩阵；
确定所述样本序列表征矩阵中任意两行向量之间的关联值，并将所述关联值添加至样本序列表征矩阵中，得到所述样本序列表征矩阵对应的样本加权表征矩阵。
进一步的，所述第二确定模块在将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵时，所述第二确定模块具体用于：
针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定与所述逻辑输出对应的辅助样本标签；
基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值并确定所述辅助分类模型的第一训练步数；
针对所述第一训练步数小于预设辅助训练步数的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
进一步的，所述训练装置还包括验证模块，所述验证模块用于：
基于获取的多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签；
基于确定的每个测试语句的标注标签和获取到的每个测试语句的真实标注标签，确定所述语句实体标注模型的第二训练步数；
若所述第二训练步数等于预设的模型训练步数，则所述语句实体标注模型训练完成。
进一步的，所述训练装置还包括应用模块，所述应用模块用于：
对待识别文本中的待识别语句进行字向量处理，得到所述待识别语句对应的识别语句矩阵；
对所述识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；
将所述标注语句矩阵输入至训练完成的所述语句实体标注模型中，得到所述识别语句的标注标签。
本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的语句实体标注模型的训练方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的语句实体标注模型的训练方法的步骤。
本申请实施例提供的语句实体标注模型的训练方法、训练装置及电子设备，对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
这样，本申请基于获取到的多个样本文本中的样本语句，确定所述样本语句对应的样本加权表征矩阵以及辅助样本标签，通过样本加权表征矩阵以及辅助样本标签训练构建好的条件随机场模型，得到语句实体标注模型，从而能够进一步的提高模型的在使用过程中的标注精度，即使待识别的语句中存在不规范语法语句、表情和网络语等噪声时，也能够降低噪声的干扰，准确的对实体进行标注，提高模型的泛化能力。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为一种可能的应用场景下的系统架构图；
图2为本申请实施例所提供的一种语句实体标注模型的训练方法的流程图；
图3为本申请另一实施例所提供的一种语句实体标注模型的训练方法的流程图；
图4为本申请实施例所提供的一种语句实体标注模型的训练装置的结构示意图之一；
图5为本申请实施例所提供的一种语句实体标注模型的训练装置的结构示意图之二；
图6为本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于计算机自然语言处理。请参阅图1，图1为一种可能的应用场景下的系统架构图。如图1中所示，所述系统包括文本存储装置和训练装置，所述训练装置能够从文本存储装置中获取到的多个样本文本中的样本语句，并确定所述样本语句对应的样本加权表征矩阵以及辅助样本标签，通过样本加权表征矩阵以及辅助样本标签训练构建好的条件随机场模型，得到语句实体标注模型。
经研究发现，目前，现有的语句实体识别方法应用于中文语句标注时，通常会受到语法语句不规范、新词/错词、网络语/表情等噪声的影响，使得标注的结果准确率低，模型的精确度低，模型的泛化效果不好。
基于此，本申请实施例提供了一种语句实体标注模型的训练方法，能够进一步的提高模型的在使用过程中的标注精度，即使待识别的语句中存在不规范语法语句、表情和网络语等噪声时，能够降低噪声的干扰，准确的对实体进行标注。
请参阅图2，图2为本申请实施例所提供的一种语句实体标注模型的训练方法的流程图。如图2中所示，本申请实施例提供的语句实体标注模型的训练方法，包括：
步骤201、对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵。
该步骤中，当需要进行语句实体标注模型训练时，获取能够用于训练的多个样本文本，再将获取到的样本文本中拆分为不同的样本语句进行字向量处理，得到样本语句对应的样本矩阵。
具体的，由于从网络中获取到的样本文本都是以文字的形式呈现的，因此为了能够用于机器训练之中，就需要将文字进一步的转化为向量的形式，本申请通过对样本语句进行字向量处理，将样本语句中的每一个字转化为向量的形式，在讲样本语句中的所有字按照顺序组合在一起，形成样本语句对应的样本矩阵。
其中，一定的顺序可以是按照语句的顺序从上至下的拼接每个字对应的向量，还可以是从左至右的拼接每个字对应的向量，在此不做具体的限制，可以根据实际情况具体设置。
其中，所述样本文本可以为从各个社交平台或者网络中爬取到的用户生成的内容(例如、评论、留言等)，还可以是电商平台中的评论等。
示例性的，“我的家”通过字向量训练，将“我的家”中的每一个字转化为向量的形式，即“我：[0.132、0.325...0.763]”、“的：[0.234、0.454...0.456]”、“家：[0.342、0.665...0.773]”，然后再将每个字对应的向量拼接在一起得到“我的家”对应的样本矩阵
(以从上至下的顺序进行拼接为例)。
步骤202、对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵。
该步骤中，在对样本语句进行字向量处理的时候，是针对样本语句中的每一个字，将每一个字分别转化为向量形式，字与字之间的联系，例如，先后顺序、代词等，都不能够体现在每个字对应的向量之中，因此，就需要通过对样本矩阵进行注意力加权处理，确定在样本矩阵中向量之间的关联关系，即确定样本语句中每个字之间的联系。
步骤203、将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
该步骤中，将确定出的处理后的多个样本加权表征矩阵作为输入特征，并将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，从而得到辅助分类模型，以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵，即更新后的样本加权表征矩阵。
在训练辅助分类模型的过程中，随着辅助分类模型的损失函数值逐渐降低，即辅助分类模型的输出值逐渐接近于样本语句标签，输入特征样本加权表征矩阵中的数值也随之发生变化，最后更新为辅助加权表征矩阵。
步骤204、将所述多个样本加权表征矩阵以及与每个样本加权表征矩阵对应的辅助样本标签作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
该步骤中，基于得到的多个样本加权表征矩阵以及与每个样本加权表征矩阵对应的辅助样本标签，将所述多个样本加权表征矩阵以及与每个样本加权表征矩阵对应的辅助样本标签作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到用于语句实体标注的语句实体标注模型。
其中，条件随机场模型(conditional random fields，简称CRF，或CRFs)，是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。类似于马尔可夫随机场，条件随机场为具有无向的图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场中，随机变量Y的分布为条件机率，给定的观察值则为随机变量X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练(training)、推论(inference)、或是解码(decoding)上，都存在效率较高的算法可供演算。
本申请实施例提供的语句实体标注模型的训练方法，对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
这样，本申请基于获取到的多个样本文本中的样本语句，确定所述样本语句对应的样本加权表征矩阵，再通过所述样本加权表征矩阵训练辅助分类模型，从而确定出所述样本加权表征矩阵对应的辅助加权表征矩阵，通过辅助加权表征矩阵签训练构建好的条件随机场模型，得到语句实体标注模型，从而能够进一步的提高模型的在使用过程中的标注精度，即使待识别的语句中存在不规范语法语句、表情和网络语等噪声时，也能够降低噪声的干扰，准确的对实体进行标注，提高模型的泛化能力。
请参阅图3，图3为本申请另一实施例提供的语句实体标注模型的训练方法的流程图。如图3中所示，本申请实施例提供的语句实体标注模型的训练方法，包括：
步骤301、对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵。
步骤302、对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵。
步骤303、针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定出与所述逻辑输出对应的辅助样本标签。
该步骤中，将样本加权表征矩阵输入至神经网络的全连接层中，通过神经网络的全连接层整合样本加权表征矩阵的局部特征，得到所述样本加权表征矩阵对应的逻辑输出，将所述样本加权表征矩阵对应的逻辑输出进行归一化处理，确定出样本加权表征矩阵中每行向量(根据情况可以为行向量也可以为列向量，此处仅举例说明，不局限于行向量)对应的标注标签，即样本语句中每个字的标注标签，得到与所述逻辑输出对应的辅助样本标签。
其中，可以通过softmax函数对逻辑输出进行归一化处理，另还可以通过其他归一化函数进行归一化处理，在此不做具体的限制。
步骤304、基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值并确定所述辅助分类模型的第一训练步数。
该步骤中，基于得到的所述辅助样本标签与所述样本加权表征矩阵对应的样本语句的样本语句标签进行比较，计算辅助分类模型的预测损失值并确定所述辅助分类模型的第一训练步数。
步骤305、针对所述第一训练步数小于预设辅助训练步数的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
该步骤中，针对于所述第一训练步数小于预设损失阈值的情况，获取预设的学习率，以所述学习率为模型训练的步长，以样本语句标签为训练终点，修正所述辅助加权表征矩阵的参数值，确定出构建好的辅助分类模型，并同时更新每个样本加权表征矩阵中的参数，确定出与每个样本加权表征矩阵对应的辅助加权表征矩阵。步骤306、将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
这样，通过训练辅助分类模型，确定出样本加权表征矩阵对应的辅助加权表征矩阵，将所述辅助加权表征矩阵作为输入特征，输入条件随机场模型中，使得条件随机场模型能够更加准确的捕捉到实体的分割和实体的分类信息，从而提高语句实体标注模型的标注的准确性。
其中，步骤301、步骤302以及步骤306的描述可以参照步骤201、步骤202以及步骤204的描述，并且能达到相同的技术效果，对此不做赘述。
进一步的，步骤301包括：将所述多个样本文本中的样本语句进行标准化处理，确定标准化后的多个中间样本语句；对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
该步骤中，首先，由于样本语句中存在繁简不统一、大小写不统一、全角半角不统一以及特殊字符等问题，因此需要对样本语句进行标准化处理，进行繁简转换、大小写转换、全角半角转化、去除特殊字符、去掉昵称、电话及网址统一替换等操作/处理，得到标准化后的多个中间样本语句；进而在标准化后的中间样本语句的基础之上进行字向量映射，可以通过词嵌入方法将中间样本语句中的每个字转化为向量的形式，最终形成与每个中间样本语句对应的样本矩阵。
其中，词嵌入方法是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言，它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中，每个单词或词组被映射为实数域上的向量。主要的词嵌入方法包括：Word2Vec、Glove等。
进一步的，所述训练方法通过以下步骤确定处理后的样本加权表征矩阵：将所述样本矩阵输入至时间递归神经网络中，得到所述样本矩阵对应的样本序列表征矩阵；确定所述样本序列表征矩阵中任意两行向量之间的关联值，并将所述关联值添加至样本序列表征矩阵中，得到所述样本序列表征矩阵对应的样本加权表征矩阵。
该步骤中，在对样本语句进行字向量处理的时候，是针对样本语句中的每一个字，将每一个字分别转化为向量形式，字与字之间的联系，例如，先后顺序、代词等，都不能够体现在每个字对应的向量之中，因此，就需要通过对样本矩阵进行注意力加权处理，确定在样本矩阵中向量之间的关联关系，即确定样本语句中每个字之间的联系，首先，确定出样本语句中字与字之间的上下文关系，通过时间递归神经网络确定出样本矩阵中向量与向量之间的连接关系，即样本语句中每个字的上下文关系，并将连接关系以数值的形式添加至样本矩阵中，得到所述样本矩阵对应的样本序列表征矩阵；然后再通过自注意力机制确定出在样本序列表征矩阵中，任意两行向量之间的关联值，即确定出字与字之间的关联值，并将关联值添加至样本序列表征矩阵中，得到样本序列表征矩阵对应的样本加权表征矩阵。
进一步的，步骤305之后，所述训练方法还包括：基于获取的多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签；基于确定的每个测试语句标注标签和获取到的每个测试语句的真实标注标签，确定所述语句实体标注模型的第二训练步数；若所述第二训练步数等于预设的模型训练步数，则所述语句实体标注模型训练完成。
该步骤中，在语句实体标注模型训练完成后，将对语句实体标注模型进行评估，通过多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签，并通过每个测试语句的真实标签确定所述语句实体标注模型的第二训练步数，当所述第二训练步数等于预设的模型训练步数，即所述语句实体标注模型的训练步数达到预设的模型训练步数，则确定所述语句实体标注模型训练完成。
进一步的，所述训练方法还包括：对待识别文本中的待识别语句进行字向量处理，得到所述待识别语句对应的识别语句矩阵；对所述识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；将所述标注语句矩阵输入至训练完成的所述语句实体标注模型中，得到所述识别语句的标注标签。
该步骤中，获取待识别文本中的识别语句，对识别语句进行字向量处理，得到识别语句对应的识别语句矩阵，对识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；将得到的标注语句矩阵输入至训练完成的语句实体标注模型中，得到所述识别语句的标注标签。
示例性的，假如标注标签分为8类：B代表Begin，代表某实体的开始字；I代表Inside，代表除开始字的实体部分；S代表Single，代表当前字单独构成实体；O代表Outside，代表所有非关注实体标签。对于实体部分，PER是person人名简称；LOC是location地理位置简称；ORG是organization组织机构的简称；PRO是product产品的简称；那么就可以将样本矩阵降为八维度的矩阵，同时确定出每个向量对应标注标签，例如，“张三在XX街买了面霜”，最后得到的辅助样本标签为“[B-PER I-PER O B-LOC I-LOC I-LOC O O B-ORGI-ORG]”。
通过全连接层确定样本加权表征矩阵中每个向量对应的标注标签，假设经过全连接层后得到了一个10*6的分类样本矩阵，10表示10行向量(即10个字)，6表示6个标注标签，也就是说确定出10个字以及每个字对应的标注标签，在通过分类函数Softmax，将10*6的分类样本矩阵进行归一化处理，确定每行向量中的数值范围位于0～1之间，进而确定出最终的辅助样本标签，形如“[B-PER I-PER O B-LOC I-LOC I-LOC O O B-ORG I-ORG]”。
本申请实施例提供的语句实体标注模型的训练方法，对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定与所述逻辑输出对应的辅助样本标签；基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值；针对所述预测损失大于预设损失阈值的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
这样，本申请基于获取到的多个样本文本中的样本语句，确定所述样本语句对应的样本加权表征矩阵，再通过所述样本加权表征矩阵训练辅助分类模型，从而确定出所述样本加权表征矩阵对应的辅助加权表征矩阵，通过辅助加权表征矩阵签训练构建好的条件随机场模型，得到语句实体标注模型，从而能够进一步的提高模型的在使用过程中的标注精度，即使待识别的语句中存在不规范语法语句、表情和网络语等噪声时，也能够降低噪声的干扰，准确的对实体进行标注，提高模型的泛化能力。
请参阅图4、图5，图4为本申请实施例所提供的一种语句实体标注模型的训练装置的结构示意图，图5为本申请实施例所提供的另一种语句实体标注模型的训练装置的结构示意图。如图4中所示，所述语句实体标注模型的训练装置400包括：
处理模块410，用于对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；
第一确定模块420，用于对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；
第二确定模块430，用于将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；
获取模块440，用于将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
进一步的，所述处理模块410在对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵时，所述处理模块410具体用于：
将所述多个样本文本中的样本语句进行标准化处理，确定标准后的多个中间样本语句；
对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
进一步的，所述第一确定模块420在对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵时，所述第一确定模块420通过以下步骤确定处理后的样本加权表征矩阵：
将所述样本矩阵输入至时间递归神经网络中，得到所述样本矩阵对应的样本序列表征矩阵；
确定所述样本序列表征矩阵中任意两行向量之间的关联值，并将所述关联值添加至样本序列表征矩阵中，得到所述样本序列表征矩阵对应的样本加权表征矩阵。
进一步的，所述第二确定模块430在将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵时，所述第二确定模块430具体用于：
针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定与所述逻辑输出对应的辅助样本标签；
基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值并确定所述辅助分类模型的第一训练步数；
针对所述第一训练步数小于预设辅助训练步数的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
进一步的，如图5所示，所述训练装置400还包括验证模块450，所述验证模块450用于：
基于获取的多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签；
基于确定的每个测试语句的标注标签和获取到的每个测试语句的真实标注标签，确定所述语句实体标注模型的第二训练步数；
若所述第二训练步数等于预设的模型训练步数，则所述语句实体标注模型训练完成。
所述训练装置400还包括应用模块460，所述应用模块460用于：
对待识别文本中的待识别语句进行字向量处理，得到所述待识别语句对应的识别语句矩阵；
对所述识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；
将所述标注语句矩阵输入至训练完成的所述语句实体标注模型中，得到所述识别语句的标注标签。
本申请实施例提供的语句实体标注模型的训练装置，对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；对每个样本矩阵进行注意力加权处理注意力加权处理，确定处理后的多个样本加权表征矩阵；将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
这样，本申请基于获取到的多个样本文本中的样本语句，确定所述样本语句对应的样本加权表征矩阵，再通过所述样本加权表征矩阵训练辅助分类模型，从而确定出所述样本加权表征矩阵对应的辅助加权表征矩阵，通过辅助加权表征矩阵签训练构建好的条件随机场模型，得到语句实体标注模型，从而能够进一步的提高模型的在使用过程中的标注精度，即使待识别的语句中存在不规范语法语句、表情和网络语等噪声时，也能够降低噪声的干扰，准确的对实体进行标注，提高模型的泛化能力。
请参阅图6，图6为本申请实施例所提供的一种电子设备的结构示意图。如图6中所示，所述电子设备600包括处理器610、存储器620和总线630。
所述存储器620存储有所述处理器610可执行的机器可读指令，当电子设备600运行时，所述处理器610与所述存储器620之间通过总线630通信，所述机器可读指令被所述处理器610执行时，可以执行如上述图2以及图3所示方法实施例中的语句实体标注模型的训练方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图2以及图3所示方法实施例中的语句实体标注模型的训练方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种语句实体标注模型的训练方法，其特征在于，所述训练方法包括：
对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；
对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；
将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；
将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
2.根据权利要求1所述的训练方法，其特征在于，所述对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵，包括：
将所述多个样本文本中的样本语句进行标准化处理，确定标准后的多个中间样本语句；
对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
3.根据权利要求1所述的训练方法，其特征在于，通过以下步骤确定处理后的样本加权表征矩阵，包括：
将所述样本矩阵输入至时间递归神经网络中，得到所述样本矩阵对应的样本序列表征矩阵；
确定所述样本序列表征矩阵中任意两行向量之间的关联值，并将所述关联值添加至样本序列表征矩阵中，得到所述样本序列表征矩阵对应的样本加权表征矩阵。
4.根据权利要求1所述的训练方法，其特征在于，所述将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵，包括：
针对于每个样本加权表征矩阵，将所述样本加权表征矩阵输入至神经网络的全连接层中，得到所述样本加权表征矩阵对应的逻辑输出，并将所述逻辑输出进行归一化处理，确定与所述逻辑输出对应的辅助样本标签；
基于所述辅助样本标签以及所述样本加权表征矩阵对应的样本语句的样本语句标签，计算预测损失值并确定所述辅助分类模型的第一训练步数；
针对所述第一训练步数小于预设辅助训练步数的情况，基于所述预测损失值以及获取到的预设学习率，确定构建好的辅助分类模型以及与每个所述样本加权表征矩阵对应的辅助加权表征矩阵。
5.根据权利要求1所述的训练方法，其特征在于，在所述将多个所述辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型之后，所述训练方法还包括：
基于获取的多个测试文本中的测试语句以及所述语句实体标注模型，确定每个测试语句的标注标签；
基于确定的每个测试语句的标注标签和获取到的每个测试语句的真实标注标签，确定所述语句实体标注模型的第二训练步数；
若所述第二训练步数等于预设的模型训练步数，则所述语句实体标注模型训练完成。
6.根据权利要求1至5任一项所述的训练方法，其特征在于，在所述得到语句实体标注模型之后，所述训练方法还包括：
对待识别文本中的待识别语句进行字向量处理，得到所述待识别语句对应的识别语句矩阵；
对所述识别语句矩阵进行注意力加权处理，确定处理后的标注语句矩阵；
将所述标注语句矩阵输入至训练完成的所述语句实体标注模型中，得到所述识别语句的标注标签。
7.一种语句实体标注模型的训练装置，其特征在于，所述训练装置包括：
处理模块，用于对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵；
第一确定模块，用于对每个样本矩阵进行注意力加权处理，确定处理后的多个样本加权表征矩阵；
第二确定模块，用于将所述多个样本加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练构建好的辅助分类模型，确定出与每个所述样本加权表征矩阵对应的辅助加权表征矩阵；
获取模块，用于将多个辅助加权表征矩阵作为输入特征，将获取到的每个样本语句对应的样本语句标签作为输出特征，训练预先构建好的条件随机场模型，得到语句实体标注模型。
8.根据权利要求7所述的训练装置，其特征在于，所述处理模块在对获取到的多个样本文本中的样本语句进行字向量处理，得到多个样本矩阵时，所述处理模块具体用于：
将所述多个样本文本中的样本语句进行标准化处理，确定标准后的多个中间样本语句；
对每个中间样本语句进行字向量映射，得到每个中间样本语句对应的样本矩阵。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至6中任一项所述的语句实体标注模型的训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6中任一项所述的语句实体标注模型的训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911308243.0A CN111091004B (zh) | 2019-12-18 | 2019-12-18 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911308243.0A CN111091004B (zh) | 2019-12-18 | 2019-12-18 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111091004A true CN111091004A (zh) | 2020-05-01 |
| CN111091004B CN111091004B (zh) | 2023-08-25 |
Family
ID=70396288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911308243.0A Active CN111091004B (zh) | 2019-12-18 | 2019-12-18 | 一种语句实体标注模型的训练方法、训练装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111091004B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737952A (zh) * | 2020-06-24 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 一种序列标注模型的训练方法及装置 |
| CN111753532A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 西文文本的纠错方法和装置、电子设备及存储介质 |
| CN111859937A (zh) * | 2020-07-20 | 2020-10-30 | 上海汽车集团股份有限公司 | 一种实体识别方法及装置 |
| CN114417873A (zh) * | 2022-01-17 | 2022-04-29 | 软通动力信息技术(集团)股份有限公司 | 一种少样本实体识别方法、装置、介质及设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628823A (zh) * | 2018-03-14 | 2018-10-09 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
| CN109859760A (zh) * | 2019-02-19 | 2019-06-07 | 成都富王科技有限公司 | 基于深度学习的电话机器人语音识别结果校正方法 |
| CN110196980A (zh) * | 2019-06-05 | 2019-09-03 | 北京邮电大学 | 一种基于卷积网络在中文分词任务上的领域迁移 |
| CN110276075A (zh) * | 2019-06-21 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 模型训练方法、命名实体识别方法、装置、设备及介质 |
| CN110459282A (zh) * | 2019-07-11 | 2019-11-15 | 新华三大数据技术有限公司 | 序列标注模型训练方法、电子病历处理方法及相关装置 |
| CN110516231A (zh) * | 2019-07-12 | 2019-11-29 | 北京邮电大学 | 基于注意力机制的膨胀卷积实体名识别方法 |
-
2019
- 2019-12-18 CN CN201911308243.0A patent/CN111091004B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108628823A (zh) * | 2018-03-14 | 2018-10-09 | 中山大学 | 结合注意力机制和多任务协同训练的命名实体识别方法 |
| CN109859760A (zh) * | 2019-02-19 | 2019-06-07 | 成都富王科技有限公司 | 基于深度学习的电话机器人语音识别结果校正方法 |
| CN110196980A (zh) * | 2019-06-05 | 2019-09-03 | 北京邮电大学 | 一种基于卷积网络在中文分词任务上的领域迁移 |
| CN110276075A (zh) * | 2019-06-21 | 2019-09-24 | 腾讯科技（深圳）有限公司 | 模型训练方法、命名实体识别方法、装置、设备及介质 |
| CN110459282A (zh) * | 2019-07-11 | 2019-11-15 | 新华三大数据技术有限公司 | 序列标注模型训练方法、电子病历处理方法及相关装置 |
| CN110516231A (zh) * | 2019-07-12 | 2019-11-29 | 北京邮电大学 | 基于注意力机制的膨胀卷积实体名识别方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111737952A (zh) * | 2020-06-24 | 2020-10-02 | 深圳前海微众银行股份有限公司 | 一种序列标注模型的训练方法及装置 |
| CN111753532A (zh) * | 2020-06-29 | 2020-10-09 | 北京百度网讯科技有限公司 | 西文文本的纠错方法和装置、电子设备及存储介质 |
| CN111753532B (zh) * | 2020-06-29 | 2024-04-16 | 北京百度网讯科技有限公司 | 西文文本的纠错方法和装置、电子设备及存储介质 |
| CN111859937A (zh) * | 2020-07-20 | 2020-10-30 | 上海汽车集团股份有限公司 | 一种实体识别方法及装置 |
| CN114417873A (zh) * | 2022-01-17 | 2022-04-29 | 软通动力信息技术(集团)股份有限公司 | 一种少样本实体识别方法、装置、介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111091004B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110287480B (zh) | 一种命名实体识别方法、装置、存储介质及终端设备 | |
| CN109992664B (zh) | 争议焦点的标注分类方法、装置、计算机设备和存储介质 | |
| CN111091004B (zh) | 一种语句实体标注模型的训练方法、训练装置及电子设备 | |
| CN112926327B (zh) | 一种实体识别方法、装置、设备及存储介质 | |
| CN112052684A (zh) | 电力计量的命名实体识别方法、装置、设备和存储介质 | |
| WO2019075967A1 (zh) | 企业名称识别方法、电子设备及计算机可读存储介质 | |
| CN113326380B (zh) | 基于深度神经网络的设备量测数据处理方法、系统及终端 | |
| CN114026556A (zh) | 义素预测方法、计算机设备和存储介质背景 | |
| CN111723569A (zh) | 一种事件抽取方法、装置和计算机可读存储介质 | |
| CN112883724A (zh) | 文本数据增强处理方法、装置、电子设备和可读存储介质 | |
| CN114580424B (zh) | 一种用于法律文书的命名实体识别的标注方法和装置 | |
| CN115310443A (zh) | 模型训练方法、信息分类方法、装置、设备及存储介质 | |
| CN114298035A (zh) | 一种文本识别脱敏方法及其系统 | |
| CN111767714B (zh) | 一种文本通顺度确定方法、装置、设备及介质 | |
| CN114218945A (zh) | 实体识别方法、装置、服务器及存储介质 | |
| CN114936290A (zh) | 数据处理方法及装置、存储介质及电子设备 | |
| CN116702765A (zh) | 一种事件抽取方法、装置及电子设备 | |
| CN111126059A (zh) | 一种短文文本的生成方法、生成装置及可读存储介质 | |
| CN115796141A (zh) | 文本数据增强方法和装置、电子设备、存储介质 | |
| CN113449528B (zh) | 一种地址要素提取方法、装置、计算机设备和存储介质 | |
| CN116089605A (zh) | 基于迁移学习和改进词袋模型的文本情感分析方法 | |
| CN112541557B (zh) | 生成式对抗网络的训练方法、装置及电子设备 | |
| CN114911940A (zh) | 文本情感识别方法及装置、电子设备、存储介质 | |
| CN114676699A (zh) | 实体情感分析方法、装置、计算机设备和存储介质 | |
| CN115130475A (zh) | 一种可扩展的通用端到端命名实体识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231128 Address after: 200,030 Unit 5B03, Floor 5, Building 2, No. 277, Longlan Road, Xuhui District, Shanghai Patentee after: SHANGHAI SECOND PICKET NETWORK TECHNOLOGY CO.,LTD. Address before: 200000 floors 4, 5 and 6, No. 3 Lane 1473, Zhenguang Road, Putuo District, Shanghai Patentee before: Shanghai Fengzhi Technology Co.,Ltd. |