CN114091458A - 基于模型融合的实体识别方法和系统 - Google Patents
基于模型融合的实体识别方法和系统 Download PDFInfo
- Publication number
- CN114091458A CN114091458A CN202111338582.0A CN202111338582A CN114091458A CN 114091458 A CN114091458 A CN 114091458A CN 202111338582 A CN202111338582 A CN 202111338582A CN 114091458 A CN114091458 A CN 114091458A
- Authority
- CN
- China
- Prior art keywords
- marking
- vector
- result
- model
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 51
- 239000013598 vector Substances 0.000 claims abstract description 120
- 238000002372 labelling Methods 0.000 claims abstract description 65
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000010606 normalization Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000011425 standardization method Methods 0.000 claims description 4
- 239000000203 mixture Substances 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002759 z-score normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于模型融合的实体识别方法和系统，该方法包括：利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；根据概率向量获取该标注单元的最终标注结果；依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。通过对多个打标模型的标注结果集成融合得到最终标注结果。
Description
技术领域
本申请涉及机器学习技术领域，特别是涉及基于模型融合的实体识别方法和系统。
背景技术
在机器学习领域中，同一个问题通常可以利用不同参数、不同结构的多种模型来解决，需要一种方法将不同模型的集成为一个健壮的模型。还需要保证集成后的模型要优于基础的子模型。
现有技术具体包括有：Bagging(bootstrap aggregating)，分类问题采用N个模型预测投票的方式，回归问题采用N个模型预测平均的方式；Boosting，刚开始训练时对每一个训练例赋相等的权重，然后用该算法对训练集训练t轮，每次训练后，对训练失败的训练例赋以较大的权重，也就是让学习算法在每次学习以后更注意学错的样本，从而得到多个预测函数；Stacking，首先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。
但上述现有的模型融合方法没有考虑所解决任务的特点和所处理数据的结构特征，针对特定的某类型任务时现有的模型融合方法对模型的提升效果有限。
目前针对相关技术中模型融合后打标效果不好的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于模型融合的实体识别方法和系统，以至少解决相关技术中模型融合后打标效果不好的问题。
第一方面，本申请实施例提供了一种基于模型融合的实体识别方法，包括以下步骤：
标注结果打分步骤，利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
分数归一化处理步骤，根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
概率向量获取步骤，根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
标注结果获取步骤，根据概率向量获取该标注单元的最终标注结果；
实体识别步骤，依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
在其中一些实施例中，标注结果打分步骤中，具体通过下述公式根据预设的先验数据集对每一初始标注结果进行打分：
Scorei＝(Ci+Ri)·Fi+Fi
其中，Scorei为第i个打标模型对当前标注单元的标注结果的分数，i＝1，2，...n，n表示打标模型的个数，Ci表示第i个打标模型对当前标注单元前一标注单元的标注结果是否存在于先验数据集中，如存在，则Ci＝1，否则Ci＝0；Ri第i个打标模型对当前标注单元的标注结果是否存在于先验数据集中，如存在，则Ri＝1，否则，Ri＝0；Fi表示第i个打标模型对当前标注单元的标注结果在对应的标注结果集中出现的次数。
在其中一些实施例中，具体通过下述方式获得权重向量：
将每一初始标注结果的分数进行拼接获得分数向量；
对分数向量进行归一化处理得到权重向量，归一化处理的方式包括softmax函数、min-max标准化、Z-score标准化方法和/或Z-scores简单化。
在其中一些实施例中，具体通过下述方式获得概率向量：
通过深度学习获得每一打标模型针对标注结果类型的概率分布向量，根据概率分布向量得到概率矩阵；
根据权重向量和概率矩阵通过下述公式进行模型融合，获得概率向量：
Promix＝Pro·Weight
其中，Promix为概率向量，Weight为权重向量，Pro为概率矩阵，概率矩阵为n×m的矩阵，n代表标注单元对应的标签类型数，m为打标模型的数量。
在其中一些实施例中，利用argmax函数处理概率向量获得标注单元的最终标注结果。
在其中一些实施例中，标注结果集至少包括包括单字实体的标签、多字实体的各位置标签和/或非实体标签。
在其中一些实施例中，打标模型包括但不限于lstm模型、bilstm模型、bilstm+CRF模型、bert模型和bert+CRF模型。
第二方面，本申请实施例提供了一种基于模型融合的实体识别系统，包括：
标注结果打分模块，利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
分数归一化处理模块，根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
概率向量获取模块，根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
标注结果获取模块，根据概率向量获取该标注单元的最终标注结果；
实体识别模块，依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于模型融合的实体识别方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于模型融合的实体识别方法。
相比于相关技术，本申请实施例提供的基于模型融合的实体识别方法、系统、计算机设备和存储介质，本申请实施例可以应用于知识图谱技术领域，还可以应用于图谱构建技术领域。具有以下优点：
1、通过对多个打标模型的标注结果根据先验数据集和标注结果集进行评分，得到各个模型的权重向量，并据此进行模型融合，得到最终的标注结果，极大地提高了标签的准确信和可信度。
2、设计了基于模型融合的命名实体识别方法，增加了在模型融合过程对具体任务的针对性，更加有效地利用子模型的标注能力，提高命名实体识别的准确率。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于模型融合的实体识别方法的流程图；
图2是根据本申请优选实施例的基于模型融合的实体识别方法的流程图；
图3是根据本申请实施例的基于模型融合的实体识别系统的结构框图；
图4为根据本申请实施例的计算机设备的硬件结构示意图。
其中：
标注结果打分模块1；分数归一化处理模块2；概率向量获取模块3；
标注结果获取模块4；实体识别模块5；
处理器81；存储器82；通信接口83；总线80。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供了一种基于模型融合的实体识别方法。图1是根据本申请实施例的基于模型融合的实体识别方法的流程图，如图1所示，该流程包括如下步骤：
标注结果打分步骤S1，利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
需要说明的是，标注单元包括至少一个字节，一个标注单元对应一个标注结果，一个标注结果可以包括一个或多个标签。
分数归一化处理步骤S2，根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
概率向量获取步骤S3，根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
标注结果获取步骤S4，根据概率向量获取该标注单元的最终标注结果；
实体识别步骤S5，依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
需要说明的是，标注结果集包括每个打标模型对文本序列的各字节的标注结果，根据标注结果可以判断该单元是否为实体，以及若为实体，在实体中所处的位置。
通过上述步骤，将预先标注的先验数据集中包括预先标注好的各个实体，将其作为先验信息，并以此来作为评分的参考之一，可以提高评分的准确性，得到更准确的各标注结果的评价，以得到更准确地权重信息，便于后续模型融合的重要参考，极大地提高了模型融合后产生的标签的准确信和可信度。同时，设计了针对命名实体识别任务的模型融合方法，增加了模型融合过程对具体任务的针对性，更加有效地利用子模型的标注能力，提高命名实体识别的准确率。
需要说明的是，现有技术中，标注好的数据只用来训练模型，本申请实施例创造性的把已有的标注数据当作先验知识用作模型融合，提高了模型融合的效率。
在其中一些实施例中，标注结果包括单字实体标签、多字实体的位置标签和/或非实体标签。
在其中一些实施例中，打标模型包括但不限于Istm模型、bilstm模型、bilstm+CRF模型、bert模型和bert+CRF模型。
在其中一些实施例中，标注结果打分步骤S1中，具体通过下述公式根据预设的先验数据集对每一初始标注结果进行打分：
Scorei＝(Ci+Ri)·Fi+Fi
其中，Scorei为第i个打标模型对当前标注单元的标注结果的分数，i＝1，2，...n，n表示打标模型的个数，Ci表示第i个打标模型对当前标注单元前一标注单元的标注结果是否存在于先验数据集中，如存在，则Ci＝1，否则Ci＝0，；Ri第i个打标模型对当前标注单元的标注结果是否存在于先验数据集中，如存在，则Ri＝1，否则，Ri＝0；Fi表示第i个打标模型对当前标注单元的标注结果在对应的标注结果集中出现的次数。
需要说明的是，前一个标注单元可以为单字实体、多字实体或非实体中的一种。
需要说明的是，各个打标模型对于同一个文本序列可能标注出不同的结果，示例性的，“机器学习”，一些打标模型标注“机器”和“学习”分别为实体，一些打标模型标注“机器学习”整体为一个实体，根据不同的实体打标情况，动态调整需要评分的标注单元。
示例性的，打标模型会对这句话汇中每一个字都打一个标签，m个模型就会给同一个字打m个标签(这些标签里可能会有相同的)，这些标签一般包括「BMESO」，意思是一个字的标签只可能是这四种标签中的某一个，每一个标签都有自己对应的含义，B代表一个实体的开始，M代表中间，E代表结尾，S代表单字实体，0代表非实体。比如“待被标注单元的类型”这句话的一个打标模型的标注结果为“BMMMMEOBE”，当对第二个B进行评分时，其前一个标注单元为O；当对O进行评分是，其前一个标注单元为第一个BMMMME。
通过上述步骤，通过对多个打标模型的标注结果根据先验数据集和标注结果集进行评分，便于对打标模型的标注效果进行评价，以提高后续权重效果的准确性，实现对多模型的标注结果的集成融合。
在其中一些实施例中，分数归一化处理步骤S2中，具体通过下述方式获得权重向量:
将每一初始标注结果的分数进行拼接获得分数向量；
对分数向量进行归一化处理得到权重向量，归一化处理的方式包括softmax函数、min-max标准化、Z-score标准化方法和/或Z-scores简单化。
上述数据标准化(归一化)处理是数据挖掘的一项工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下对归一化方法进行简要说明：
1、min-max标准化(Min-Max Normalization)，也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0–1]之间。转换函数如下：
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。
2、Z-score标准化方法，这种方法给予原始数据的均值(mean)和标准差(standarddeviation)进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：
其中μ为所有样本数据的均值，σ为所有样本数据的标准差。
3、Z-scores简单化，模型如下：
x越大证明x*越小，这样就可以把很大的数规范在[0-1]之间了。
上述1，2方法都需要依赖待归一化的所有数据，而3方法只依赖当前数据，可以动态使用，好理解。
4、softmax函数，将得到的分数映射到(0，1)区间内，设有一个向量V，Vi表示V中的第i个元素，该元素的softmax值，就是该元素的指数与所有元素指数和的比值，具体公式为：
在其中一些实施例中，概率向量获取步骤S3中，具体通过下述方式获得概率向量：
通过深度学习获得每一打标模型针对标注结果类型的概率分布向量，根据概率分布向量得到概率矩阵；
根据权重向量和概率矩阵通过下述公式进行模型融合，获得概率向量：
Promix＝Pro·Weight
其中，Promix为概率向量，Weight为权重向量，Pro为概率矩阵，概率矩阵为n×m的矩阵，n代表标注单元对应的标签类型数，m为打标模型的数量。
示例性的，深度学习过程中，所采用的的模型可以是BiLSTM，BiLSTM+crf，bert+crf等，所有解决NER任务的模型都获得一个概率向量，所有的被集成的模型的概率向量可以组成一个概率矩阵。
在其中一些实施例中，标注结果获取步骤S4中利用argmax函数处理概率向量获得标注单元的最终标注结果。
上述argmax是一种函数，函数y＝f(x)，x0＝argmax(f(x))的意思就是参数x0满足f(x0)为f(x)的最大值；换句话说就是argmax(f(x))是使得f(x)取得最大值所对应的变量x。
本实施例还提供了一种基于模型融合的实体识别方法。图2是根据本申请优选实施例的基于模型融合的实体识别方法的流程图，如图2所示，该流程包括如下步骤：
S201，依据先验信息根据设定规则对打标模型的标注结果进行打分。
对于文本序列的某个被标注单元(某个字、某个单词、某个词汇等)，m个打标模型分别给出各自的标注结果，得到所有模型的标注结果集之后，按照标注标签类型进行打分排序。
以打标模型i的标注结果为例说明，对于打标模型i的标注结果对应的分数计算过程如下：
Scorei＝(Ci+Ri)·Fi+Fi
Scorei表示打标模型i的标注结果的得分；Ci表示当前标注结果的上文(Context)在已有的标注好的数据集中是否存在，上文是打标模型i对紧邻当前标注位置前一位置文本的标注结果，如果上文标注结果在已有的数据集中存在则Ci＝1，否则Ci＝0；Ri(Recurrent)表示当前打标模型i对当前标注单元的标注结果是否在已有的标注好的数据集中存在，如果存在则Ri＝1，否则Ri＝0；Fi表示当前打标模型i对当前标注单元的标注结果在m个模型的标注结果(当前标注单元的标注结果集)中出现的次数。
需要说明的是，上述标注结果至少可以包括单字实体的标签、非实体的标签，多字实体开始位置标签、多字实体中间位置标签以及多字实体结束位置标签。
需要说明的是，当标注结果显示对应标注单元为实体时，不对实体内部的各个单字进行评分。
S202，根据分数获得权重向量。
得到全部m个模型的分数Scorei之后拼接为分数向量Score＝[Score1...Scorem]。对分数向量做SoftMax归一化操作得到权重向量。
Weight＝SoffMax(Score)
S203，根据权重向量结合概率矩阵得到概率向量。
需要解决任务的标签集共有n个标签，那么m个模型的概率矩阵为Pron×m。最终的模型融合得到的概率向量Promix为：
Promix＝Pro·Weight
上述概率矩阵Pron×m可以通过深度学习得到各个模型的概率分布向量，再将各个概率分布向量进行拼接得到。
S204，根据概率向量得到最终的标注结果。
通过概率向量Promix得到最终的模型融合之后的标注结果：
Labelmix＝argmax(Promix)
S205，对于一个文本序列从左向右依次重复以上的过程，最终得到序列全部的标注结果，并据此进行实体识别。
通过上述步骤，通过m个打标模型分别对同一个标注单元进行打标，得到m个标签，并组成标注数据集，利用先验信息(即，已有的标注好的数据集)和标注数据集按照预设的评分规则得到评分，该评分综合了先验信息的特性以及所有打标模型的标签效果，提高了对标签的效果评价的准确性。据此得到模型权重，结合概率矩阵进行模型融合，并根据argmax函数得到最准确地标注结果。
需要说明的是，有多个方法或模型对同一篇文章进行实体抽取，利用本申请实施例中的方法对以上不同方法或模型的标注结果进行集成融合，得到该篇文章最终的实体抽取结果。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于模型融合的实体识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本申请实施例的基于模型融合的实体识别系统的结构框图，如图3所示，该系统包括：
标注结果打分模块1，利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
分数归一化处理模块2，根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
概率向量获取模块3，根据权重向量由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
标注结果获取模块4，根据概率向量获取该标注单元的最终标注结果；
实体识别模块5，依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
在其中一些实施例中，标注结果打分模块1对其中一个打标模型i的标注结果进行打分，分数的公式如下：
Scorei＝(Ci+Ri)·Fi+Fi
其中，Scorei为第i个打标模型对当前标注单元的标注结果的分数，i＝1，2，...n，n表示打标模型的个数，Ci表示第i个打标模型对当前标注单元前一标注单元的标注结果是否存在于先验数据集中，如存在，则Ci＝1，否则Ci＝0；Ri第i个打标模型对当前标注单元的标注结果是否存在于先验数据集中，如存在，则Ri＝1，否则，Ri＝0；Fi表示第i个打标模型对当前标注单元的标注结果在对应的标注结果集中出现的次数。
在其中一些实施例中，分数归一化处理模块2将每一初始标注结果的分数进行拼接获得分数向量；
对分数向量进行归一化处理得到权重向量，归一化处理的方式包括softmax函数、min-max标准化、Z-score标准化方法和/或Z-scores简单化。
在其中一些实施例中，概率向量获取模块3通过深度学习获得每一打标模型针对标注结果类型的概率分布向量，根据概率分布向量得到概率矩阵；
根据权重向量和概率矩阵通过下述公式进行模型融合，获得概率向量：
Promix＝Pro·Weight
其中，Promix为概率向量，Weight为权重向量，Pro为概率矩阵，概率矩阵为n×m的矩阵，n代表标注单元对应的标签类型数，m为打标模型的数量。
在其中一些实施例中，标注结果获取模块4利用argmax函数处理概率向量获得标注单元的最终标注结果。
上述argmax是一种函数，函数y＝f(x)，x0＝argmax(f(x))的意思就是参数x0满足f(x0)为f(x)的最大值；换句话说就是argmax(f(x))是使得f(x)取得最大值所对应的变量x。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
另外，结合图1描述的本申请实施例基于模型融合的实体识别方法可以由计算机设备来实现。图4为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种基于模型融合的实体识别方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图4所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以基于获取到的预先标注的先验数据集，执行本申请实施例中的标注结果打分步骤，从而实现结合图1描述的基于模型融合的实体识别方法。
另外，结合上述实施例中的基于模型融合的实体识别方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于模型融合的实体识别方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于模型融合的实体识别方法，其特征在于，
利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
根据概率向量获取该标注单元的最终标注结果；
依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
2.根据权利要求1的基于模型融合的实体识别方法，其特征在于，所述标注结果包括单字实体标签、多字实体的位置标签和/或非实体标签。
3.根据权利要求1的基于模型融合的实体识别方法，其特征在于，具体通过下述公式根据预设的先验数据集对每一初始标注结果进行打分：
Scorei＝(Ci+Ri)·Fi+Fi
其中，Scorei为第i个打标模型对当前标注单元的标注结果的分数，i＝1，2，...n，n表示打标模型的个数，Ci表示第i个打标模型对当前标注单元前一标注单元的标注结果是否存在于先验数据集中，如存在，则Ci＝1，否则Ci＝0；Ri第i个打标模型对当前标注单元的标注结果是否存在于先验数据集中，如存在，则Ri＝1，否则，Ri＝0；Fi表示第i个打标模型对当前标注单元的标注结果在对应的标注结果集中出现的次数。
4.根据权利要求1-3任意一项所述的基于模型融合的实体识别方法，其特征在于，具体通过下述方式获得权重向量：
将每一初始标注结果的分数进行拼接获得分数向量；
对分数向量进行归一化处理得到权重向量，归一化处理的方式包括softmax函数、min-max标准化、Z-score标准化方法和/或Z-scores简单化。
5.根据权利要求1-3任意一项所述的基于模型融合的实体识别方法，其特征在于，具体通过下述方式获得概率向量：
通过深度学习获得每一打标模型针对标注结果类型的概率分布向量，根据概率分布向量得到概率矩阵；
根据权重向量和概率矩阵通过下述公式进行模型融合，获得概率向量：
Promix＝Pro·Weight
其中，Promix为概率向量，Weight为权重向量，Pro为概率矩阵，概率矩阵为n×m的矩阵，n代表标注单元对应的标签类型数，m为打标模型的数量。
6.根据权利要求1的基于模型融合的实体识别方法，其特征在于，利用argmax函数处理概率向量获得标注单元的最终标注结果。
7.根据权利要求1-6任意一项的基于模型融合的实体识别方法，其特征在于，打标模型包括但不限于Istm模型、bilstm模型、bilstm+CRF模型、bert模型和bert+CRF模型。
8.一种基于模型融合的实体识别系统，其特征在于，包括：
标注结果打分模块，利用至少两个打标模型分别对一标注单元进行标注，获得对应的初始标注结果，组成初始标注结果集，并根据预设的先验数据集对每一初始标注结果进行打分；
分数归一化处理模块，根据获得的每一初始标注结果的分数得到分数向量，并对分数向量进行归一化处理获得权重向量；
概率向量获取模块，根据权重向量和由每一打标模型的概率分布向量组成的概率矩阵进行模型融合，获得概率向量；
标注结果获取模块，根据概率向量获取该标注单元的最终标注结果；
实体识别模块，依次遍历待识别文本序列中的每一标注单元，获得每一标注单元的最终标注结果，进而对待识别文本序列进行实体识别。
9.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于模型融合的实体识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的基于模型融合的实体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111338582.0A CN114091458A (zh) | 2021-11-12 | 2021-11-12 | 基于模型融合的实体识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111338582.0A CN114091458A (zh) | 2021-11-12 | 2021-11-12 | 基于模型融合的实体识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114091458A true CN114091458A (zh) | 2022-02-25 |
Family
ID=80300218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111338582.0A Pending CN114091458A (zh) | 2021-11-12 | 2021-11-12 | 基于模型融合的实体识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114091458A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114496115A (zh) * | 2022-04-18 | 2022-05-13 | 北京白星花科技有限公司 | 实体关系的标注自动生成方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018041160A (ja) * | 2016-09-05 | 2018-03-15 | 国立研究開発法人情報通信研究機構 | 文脈解析装置及びそのためのコンピュータプログラム |
| CN111553148A (zh) * | 2020-03-31 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 标签建立方法、装置、电子设备及介质 |
| CN111738002A (zh) * | 2020-05-26 | 2020-10-02 | 北京信息科技大学 | 基于Lattice LSTM的古文领域命名实体识别方法和系统 |
| CN111985239A (zh) * | 2020-07-31 | 2020-11-24 | 杭州远传新业科技有限公司 | 实体识别方法、装置、电子设备及存储介质 |
| CN112183099A (zh) * | 2020-10-09 | 2021-01-05 | 上海明略人工智能(集团)有限公司 | 基于半监督小样本扩展的命名实体识别方法及系统 |
| CN112949320A (zh) * | 2021-03-30 | 2021-06-11 | 平安科技（深圳）有限公司 | 基于条件随机场的序列标注方法、装置、设备及介质 |
| US20210216712A1 (en) * | 2020-01-15 | 2021-07-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for labeling core entity, and electronic device |
| WO2021212749A1 (zh) * | 2020-04-24 | 2021-10-28 | 平安科技（深圳）有限公司 | 命名实体标注方法、装置、计算机设备和存储介质 |
-
2021
- 2021-11-12 CN CN202111338582.0A patent/CN114091458A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018041160A (ja) * | 2016-09-05 | 2018-03-15 | 国立研究開発法人情報通信研究機構 | 文脈解析装置及びそのためのコンピュータプログラム |
| US20210216712A1 (en) * | 2020-01-15 | 2021-07-15 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for labeling core entity, and electronic device |
| CN111553148A (zh) * | 2020-03-31 | 2020-08-18 | 深圳壹账通智能科技有限公司 | 标签建立方法、装置、电子设备及介质 |
| WO2021196468A1 (zh) * | 2020-03-31 | 2021-10-07 | 深圳壹账通智能科技有限公司 | 标签建立方法、装置、电子设备及介质 |
| WO2021212749A1 (zh) * | 2020-04-24 | 2021-10-28 | 平安科技（深圳）有限公司 | 命名实体标注方法、装置、计算机设备和存储介质 |
| CN111738002A (zh) * | 2020-05-26 | 2020-10-02 | 北京信息科技大学 | 基于Lattice LSTM的古文领域命名实体识别方法和系统 |
| CN111985239A (zh) * | 2020-07-31 | 2020-11-24 | 杭州远传新业科技有限公司 | 实体识别方法、装置、电子设备及存储介质 |
| CN112183099A (zh) * | 2020-10-09 | 2021-01-05 | 上海明略人工智能(集团)有限公司 | 基于半监督小样本扩展的命名实体识别方法及系统 |
| CN112949320A (zh) * | 2021-03-30 | 2021-06-11 | 平安科技（深圳）有限公司 | 基于条件随机场的序列标注方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 唐国强;高大启;阮彤;叶琪;王祺;: "融入语言模型和注意力机制的临床电子病历命名实体识别", 计算机科学, no. 03, 22 November 2019 (2019-11-22) * |
| 王旭强;岳顺民;张亚行;刘杰;王扬;杨青;: "基于注意力机制的特征融合序列标注模型", 山东科技大学学报(自然科学版), no. 05, 31 October 2020 (2020-10-31) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114496115A (zh) * | 2022-04-18 | 2022-05-13 | 北京白星花科技有限公司 | 实体关系的标注自动生成方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038474B (zh) | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 | |
| US20230087526A1 (en) | Neural network training method, image classification system, and related device | |
| CN110188202B (zh) | 语义关系识别模型的训练方法、装置及终端 | |
| CN112270196B (zh) | 实体关系的识别方法、装置及电子设备 | |
| CN110298035B (zh) | 基于人工智能的字向量定义方法、装置、设备及存储介质 | |
| CN111985229B (zh) | 一种序列标注方法、装置及计算机设备 | |
| CN116010713A (zh) | 基于云计算的创新创业平台服务数据处理方法及系统 | |
| CN111191032B (zh) | 语料扩充方法、装置、计算机设备和存储介质 | |
| CN110598603A (zh) | 人脸识别模型获取方法、装置、设备和介质 | |
| CN112732871B (zh) | 一种机器人催收获取客户意向标签的多标签分类方法 | |
| CN112507704B (zh) | 多意图识别方法、装置、设备及存储介质 | |
| CN111898550B (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
| CN111242358A (zh) | 一种双层结构的企业情报流失预测方法 | |
| CN109948140B (zh) | 一种词向量嵌入方法及装置 | |
| CN114241505B (zh) | 化学结构图像的提取方法、装置、存储介质及电子设备 | |
| CN109857957B (zh) | 建立标签库的方法、电子设备及计算机存储介质 | |
| CN112464640A (zh) | 数据要素分析方法、装置、电子装置和存储介质 | |
| CN110399547B (zh) | 用于更新模型参数的方法、装置、设备和存储介质 | |
| CN111639185B (zh) | 关系信息抽取方法、装置、电子设备和可读存储介质 | |
| CN112183102A (zh) | 基于注意力机制与图注意力网络的命名实体识别方法 | |
| CN112232070A (zh) | 自然语言处理模型构建方法、系统、电子设备及存储介质 | |
| CN114090792A (zh) | 基于对比学习的文档关系抽取方法及其相关设备 | |
| CN114817478A (zh) | 基于文本的问答方法、装置、计算机设备及存储介质 | |
| CN114091458A (zh) | 基于模型融合的实体识别方法和系统 | |
| CN109408175B (zh) | 通用高性能深度学习计算引擎中的实时交互方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |