CN115270795A - 一种基于小样本学习的环评领域命名实体识别技术 - Google Patents
一种基于小样本学习的环评领域命名实体识别技术 Download PDFInfo
- Publication number
- CN115270795A CN115270795A CN202210872873.6A CN202210872873A CN115270795A CN 115270795 A CN115270795 A CN 115270795A CN 202210872873 A CN202210872873 A CN 202210872873A CN 115270795 A CN115270795 A CN 115270795A
- Authority
- CN
- China
- Prior art keywords
- entity
- model
- samples
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 23
- 230000007613 environmental effect Effects 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 70
- 238000002372 labelling Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- 239000000463 material Substances 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 5
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于小样本学习的环评领域命名实体识别技术，包括：获取环评领域文件中的语料并预处理；对预处理后的语料进行人工标注，得到人工标注样本和未标注样本；人工收集并整理环评领域中的实体，以词表的形式保存到实体库；对实体库进行扩充；建立命名实体识别模型；利用人工标注样本和未标注样本分阶段训练命名实体识别模型；得到训练好的命名实体识别模型；在预测阶段，利用扩充后的实体库修正命名实体识别模型的预测结果。本发明综合利用少量人工标注样本和人工整理的实体库作为监督信号，分阶段逐步扩展伪标签数据，利用混合数据提高模型的泛化能力，以较少的人工标注的数据即可训练出较为高效的NER模型。
Description
技术领域
本发明涉及一种命名实体识别技术，特别是一种基于小样本学习的环评领域命名实体识别技术。
背景技术
随着人工智能技术的快速发展，智能辅助写作技术已经广泛应用于人类生产生活的各个领域，例如合同自动生成、法律文书校对、作文纠错等。命名实体识别(Named EntityRecognition，简称NER)作为自然语言处理技术的一个基本问题，是智能辅助写作系统的前置步骤和核心环节之一，负责从非结构化的文本中抽取具有特定意义的实体。其识别结果决定了智能辅助写作系统给出修改建议的准确性，从而直接影响用户对系统的满意度。在环境评价领域，由于需要预测的实体类型属于新类型，缺乏标注数据，大量人工标注样本价格昂贵，常规NER技术无法适用。
对于小样本NER技术，常用的方法分为两步。第一步，利用少量人工标记的样本作为监督信号，从大规模的未标记数据中获取有用的结构信息或伪标签信息，从而将未标记数据转化为可用数据。第二步，联合标注数据和转换后的数据训练NER模型。最常用的NER模型结构由预训练的编码器、双向长短时记忆网络(Bi-directional Long-Short TermMemory，简称BiLSTM)和条件随机场(Conditional Random Field，简称CRF)构成。模型的具体训练方法有很多，根据第一步提取信息的方式和第二步训练的方法的不同，常用的方法可以分为以下三种：
方法一(参考论文：Snell J,Swersky K,Zemel R.Prototypical networks forfew-shot learning[J].2017.)：
这种方法可被迁移到小样本NER任务，利用元学习解决小样本NER问题。该方案使用原型网络(Prototypical Network)，假设相同实体类型的所有实体在表示空间中具有接近的嵌入向量距离，从而将这些向量的中心作为实体类型的嵌入向量表示。在预测阶段，通过比较单词的嵌入向量与候选实体类型的嵌入向量之间的距离，将距离最短的实体类型作为预测值。
方法二(参考论文：Jiang H,Zhang D,Cao T,et al.Named entity recognitionwith small strongly labeled and large weakly labeled data[J].2021.)：
这种方法可被迁移到小样本NER任务，从数据角度解决小样本NER问题。该方案使用远程监督(Distant Supervision)，基于一定的假设规则将未标注的数据转变为含有噪声的伪标签数据。为了保证模型的准确性，需要对伪标签数据进行去噪。最后，联合标注数据与伪标签数据，以监督学习的方式训练NER模型。
方法三(参考：Jiang H,Zhang D,Cao T,et al.Named entity recognition withsmall strongly labeled and large weakly labeled data[J].2021.)：
这种方法可被迁移到小样本NER任务，从泛化性角度解决小样本NER问题。该方案使用自训练(Self-Training)，可以分阶段、迭代地逐步提升模型的泛化性。在每轮迭代中，使用高质量的样本保证教师(Teacher)模型的准确度，然后将高质量样本和伪标签数据混合，并加入训练噪声，训练出泛化性更强的学生(Student)模型。
现有的小样本NER方法可以使用少量的标注样本，结合大规模的未标注语料进行联合训练，获得高精度的NER模型。但是它们的方案或基于某些过于简单化的假设，或对混合数据的使用方式比较单一，所以在环评领域等现实的应用场景中不能很好地应用。具体而言，对于基于元学习的方法，该方法假设属于同一实体类型的实体的嵌入向量在表示空间中是接近的。但是，在现实场景中，即使属于同一种实体类型，不同实体本身包含具体的语义，在表示空间的分布很难保证一定聚合在一起，因而无法保证最接近实体嵌入向量的实体类型就是它真正所属的实体类型。对于先转换伪标签数据再去噪的方法，这种方法基于有限的规则假设获得伪标签，规则往往严重缺失或部分偏颇。与真实标签相比，获得的伪标签数据可能存在分布偏移，即使去噪也无法从根本上纠正，从而可能严重影响学习模型的准确性。对于自训练方法，该方法用高精度数据迭代、分阶段地扩展伪标签数据，逐步提高模型的泛化能力，以减少可能出现的数据分布偏差。然而，这种方法受到筛选伪标签数据的过程的限制。常见的方法是计算标注数据分布与预测标记数据分布的差异作为置信度，只选择置信度高的数据参与下一阶段的训练。但是，人工标注数据的标签可能与真实分布不一致，导致置信度出现偏差，严重影响学习模型的准确性。
发明内容
发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于小样本学习的环评领域命名实体识别技术。
为了解决上述技术问题，本发明公开了一种基于小样本学习的环评领域命名实体识别技术，包括以下步骤：
步骤1，获取环评领域文件中的语料，对语料进行预处理；对预处理后的语料进行人工标注，对每种实体类型至少标注10个样本，得到人工标注样本和未标注样本；
步骤2，人工收集并整理环评领域中的实体，以词表的形式保存到实体库；对实体库进行扩充；
步骤3，建立命名实体识别(Named Entity Recognition，NER)模型(参考：参考论文：Luo Y,Xiao F,Zhao H.Hierarchical Contextualized Representation for NamedEntity Recognition[J].2019.)，所述模型由预训练编码器、双向长短时记忆网络BiLSTM和条件随机场CRF构成；其中，预训练编码器的获取方法包括：获取通用领域预训练好的编码器，在环评领域对语料进行预训练，得到预训练编码器；
步骤4，利用人工标注样本和未标注样本分阶段训练命名实体识别NER模型；得到训练好的命名实体识别NER模型；
步骤5，在预测阶段，利用扩充后的实体库修正命名实体识别NER模型的预测结果；得到最终识别结果，完成基于小样本学习的环评领域命名实体识别。
本发明步骤1中，对语料进行预处理的方法包括：
对语料进行预处理：删除语料中不完整的语句，清理语料中包含公式的复杂结构的语句，对语料去重并统一转换编码；人工筛选语料，如果包含目标实体类型的实体则保留备用，否则取下一条语料，直到每种目标实体类型都筛选出至少10条语料。
步骤1中，对预处理后的语料进行人工标注的方法包括：
对预处理后的语料进行人工标注：人工标注经过预处理得到的语料，采用BIO方式(BIO是一种标注方法，将每个词标注为B-X、I-X或O。其中，B-X代表实体X的开头，I-X代表实体X的其余部分，O代表不属于任何实体。)进行标注(参考：参考论文：Sang E F T K,DeMeulder F.Introduction to the CoNLL-2003Shared Task:Language-IndependentNamed Entity Recognition[J].arXiv,2003.)，标注好的语料即为所述人工标注样本，未标注的语料即为所述未标注样本。
步骤2中，对实体库进行扩充的方法包括：
步骤2-1，从实体库中获取实体t，构建实体词表T；
步骤2-2，从步骤1中得到的未标注样本中随机筛选足量(足量指满足扩充实体库需要的样本数。假设预期将实体库扩充K倍，则需要随机筛选5K的样本构成样本集S)的句子作为样本集S，样本集S中包含样本s；对照实体词表T，计算样本s中包含实体的数量，并按照数量将样本集中所有的样本从大到小排序；选择前K个样本构造实体扩充的原样本集S′；
步骤2-3，对原样本集S′中的样本s′做数据增强，通过同义词替换及回译的方法，得到增强后的样本s′p；计算s′p的困惑度以及与原样本s′的余弦相似度，仅当s′p的困惑度低于阈值Sppl且与原样本的余弦相似度高于阈值Ssim时，s′p作为合格的增强样本保留备用，否则丢弃；
步骤2-4，对比合格的增强样本s′p与原样本s′，考察发生改动的连续文字区域tspan，计算tspan的词性，若词性为名词的概率高于阈值pnoun，则表示tspan是一个新实体，将增强样本s′p与原样本s′保存到介质中备用，并将tspan加入实体库；
对原样本集S′中所有样本进行步骤2-3和步骤2-4的操作。
步骤3中，预训练编码器的获取方法包括：
步骤3-1，获取通用领域预训练好的编码器Encoderpre，进行预训练任务，即使用步骤1中所述预处理后的语料对通用领域预训练好的编码器继续预训练2轮，将预训练好的编码器Encodercont保存备用。
步骤3中，预训练编码器的获取方法包括：
步骤3-2，获取步骤2中得到的原样本集合S′和增强样本集合S′p，对步骤3-1中保存的预训练好的编码器Encodercont，使用屏蔽实体语言建模(Masked Entity LanguageModeling,简称Masked Entity)任务预训练2轮，即按照屏蔽语言建模Masked LM((MaskedLanguage Modeling，简称Masked LM))策略屏蔽实体再预测出实体(参考：Devlin J,ChangM W,Lee K,et al.BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding[J].2018.)，向预训练好的编码器中注入实体语义知识；得到预训练编码器Encoderentity。
步骤3中，预训练编码器的获取方法包括：
步骤3-3，使用步骤3-2中得到的预训练编码器Encoderentity与双向长短时记忆网络BiLSTM和条件随机场CRF组装成命名实体识别NER模型；使用人工标注样本，在训练阶段将实体的嵌入向量拼接到人工标注样本的嵌入向量上，使用监督训练的方法微调整个命名实体识别NER模型，其中损失函数为负对数似然损失。
步骤4中，利用人工标注样本和未标注样本分阶段训练命名实体识别NER模型的方法包括：
步骤4-1，获取人工标注样本Sfewsh，每种实体类型选取对应样本10条，构造标注的小样本训练集
从步骤1中所述未标注样本中选取语句(按照标注的样本量从语料中随机选取5倍的未标注样本，不需要特殊处理。)，构造未标注的训练集
步骤4-2，使用小样本训练集
以监督学习的方法训练NER模型，训练好的模型作为教师模型，保存备用；
步骤4-3，在未标注训练集
上，以教师模型进行预测，生成伪标签，构成伪标签数据集合Spseudo；对Spseudo中的每条伪标签数据spseudo计算置信度(一种常见的置信度衡量方法是比较标注的实体标签分布与预测标签分布之间的KL散度(Kullback-LeiblerDivergence),)，并将伪标签数据按照置信度从大到小排序；选取前N个置信度高的伪标签数据加入标注数据集
得到扩充标注数据集；其中，N的取值与训练教师模型的
大小的比例为3到5倍；
步骤4-4，复制教师模型的结构和网络参数得到学生模型，获取扩充标注数据集，引入噪声训练学生模型，引入的噪声为训练学生模型时的梯度噪声，或者对训练数据进行插入、打乱以及删除操作后引入的数据噪声；
步骤4-5，将学生模型作为下一轮迭代的教师模型，重复步骤4-2至步骤4-4，训练出新的学生模型，迭代2轮或3轮后得到的学生模型作为最终的命名实体识别NER模型。
步骤5中，利用实体库修正命名实体识别NER模型的预测结果的方法包括：
步骤5-1，输入待预测实体的目标样本spred，使用训练好的命名实体识别NER模型预测，得到候选的实体tcand。
步骤5中，利用实体库修正命名实体识别NER模型的预测结果的方法包括：
步骤5-2，获取实体库中的实体与候选实体tcand进行对比，计算与候选实体tcand重合比例最大的实体tpo以及对应的重合比例poverlap；若poverlap大于阈值Spo，且实体tpo在spred中存在，则修正模型的预测结果为tpo；否则不修正，预测结果仍为tcand；完成基于小样本学习的环评领域命名实体识别。
有益效果：
从技术层面来说，本发明的技术方案(1)除了使用人工标注的少量样本，还使用收集的实体库指导训练NER模型，并利用算法自动从语料扩充实体库，以较小代价为模型训练提供更多的监督信息；(2)使用多种辅助任务预训练编码器，向编码器中注入环评领域专有知识、实体知识，并使用人工标注的少量样本微调NER模型，使实体经过编码器编码后得到的嵌入向量表示包含更多的语义信息，从而对环评领域的NER任务更有效；(3)通过自训练综合利用人工标注的少量样本和未标注的样本，迭代式、分阶段训练NER模型。该方法可以充分利用标注样本中的监督信息和未标注样本的语义信息，有效提升了模型的泛化性。同时，该方法也能限制每轮迭代中的伪标签数据分布偏移的程度，防止引入过量噪声降低模型的准确性；(4)使用实体库修正模型的预测结果，进一步提升了最终预测结果的准确性。
从应用层面来说，本发明的技术方案(1)通过引用人工成本较低的实体库辅助人工成本较高的标注样本，在为模型提供等量监督信息的条件下能够显著减少需要的人工标注样本数量，节省大量人工成本。(2)可以自动化地利用大规模未标注语料扩充实体库，大幅减少维护实体库完整性所需的人工成本。(3)使用可迭代的自训练方法，支持从增量的数据上继续训练模型，不需要从头开始训练，从而有助于随时间发展及时更新维护模型，提升模型的识别能力。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明总体流程示意图。
图2为本发明中实体库扩充过程示意图。
图3为本发明中编码器预训练过程示意图。
图4为本发明中自训练过程示意图。
图5为本发明中模型输出的修正过程示意图。
具体实施方式
下面结合附图对具体实施例进行描述，本文实施了一个在环评领域综合利用人工标注的少量样本和人工整理实体库的训练NER模型的方法，其中NER模型采用最常用的结构，即由预训练编码器、BiLSTM和CRF构成。如图1所示，具体步骤描述如下：
步骤101，利用网络爬虫从政府网站和环评交流论坛下载环评申请书、审议文件等附件。打开文档，读取纯文本内容，只保留长度大于10的语句构建语料；预处理语料，删除不完整的语句，清理包含公式等复杂结构的语句，去重、统一转换编码后存储到介质中；从介质中读取环评领域语料，人工筛选语料，如果包含目标实体类型的实体则保留备用，否则取下一条语料，直到每种目标实体类型都筛选出至少10条语料；人工标注筛选出的语料，采用BIO方式进行标注，标注好的语料即人工标注的少量样本。BIO是一种常用的标注方法，将每个词标注为B-X、I-X或O。其中，B-X代表实体X的开头，I-X代表实体X的其余部分，O代表不属于任何实体。
步骤102，由环评领域的业务专家尽可能多收集、整理环评领域常用的实体，以词表的形式保存到实体库；使用算法自动扩充实体库的流程，如图2所示：
步骤201，从实体库读取专家收集的实体t，构建实体词表T。
步骤202，从环评文件语料库中随机筛选句子构造样本集S，假设预期将实体库扩充K倍，则需要随机筛选5K的样本构成样本集S；对照实体词表T，计算样本s中包含实体的数量，并按照包含实体的数量对样本集S中的所有样本从大到小排序；选择前K个样本构造实体扩充的原样本集S′。
步骤203，对原样本集S′中的样本s′做数据增强，例如使用同义词替换、回译等方法，得到增强后的样本s′p；计算s′p的困惑度以及与原样本s′的余弦相似度，仅当s′p的困惑度低于阈值Sppl且与原样本的余弦相似度高于阈值Ssim时，s′p作为合格的增强样本保留备用，否则丢弃。
步骤204，对比合格的增强样本s′p与原样本s′，考察发生改动的连续文字区域tspan，计算tspan的词性，若词性为名词的概率高于阈值pnoun，则认为tspan是一个新实体，将增强样本s′p与原样本s′保存到介质中备用，并将tspan加入实体库。对原样本集中所有样本进行步骤203和步骤204的操作。
步骤103，本实施例中NER模型采用最通用的结构，即由预训练编码器、BiLSTM和CRF构成。本步骤获取通用领域预训练好的编码器，在环评领域语料上预训练。编码器预训练的步骤，如图3所示：
步骤301，从开源网站下载通用领域预训练好的编码器Encoderpre，例如从https://huggingface.co/下载中文BERT作为Encoderpre，使用屏蔽语言建模(MaskedLanguage Modeling,简称Masked LM)预训练任务在预处理后的环评领域语料上继续预训练2轮，从而学习环评领域的专有知识。将预训练好的编码器Encodercont保存备用。
步骤302，获取实体库扩充阶段保存的原样本集合S′和增强样本集合S′p，获取上个步骤中保存的编码器Encodercont，使用屏蔽实体语言建模(Masked Entity LanguageModeling,简称Masked Entity)任务预训练2轮，即按照Masked LM类似的策略屏蔽实体再预测出实体，目的是向预训练的编码中注入实体语义知识。将预训练好的编码器Encoderentity保存备用。
步骤303，使用上个步骤预训练好的编码器Encoderentity与BiLSTM、CRF组装成NER模型。获取人工标注的少量样本，在训练阶段将实体的嵌入向量拼接到样本嵌入向量上，使用监督训练的方法微调整个NER模型，其中损失函数为负对数似然损失(Negative log-likelihood loss,NLL loss)。微调1轮或2轮后保存此时的编码器Encoderfinal，作为最终的编码器备用。
步骤104，综合利用人工标注样本和未标注样本迭代地分阶段训练NER模型的自训练过程，如图4所示：
步骤401，获取人工标注的少量样本Sfewshot，每种实体类型选取对应样本10条，保证样本均衡性，构造标注的小样本训练集
按照已标注的样本量从环评领域语料中随机选取5倍的未标注样本，构造未标注的训练集
步骤402，使用上个步骤构造的小样本训练集
以监督学习的方法训练NER模型，模型采用最常用的结构，即由预训练编码器、BiLSTM和CRF构成。训练好的模型作为教师模型，保存备用。
步骤403，在上个步骤构造的未标注训练集
上，以教师模型预测，生成伪标签，构成伪标签数据集合Spseudo；对Spseudo每条伪标签数据spseudo计算置信度，一种常见的置信度衡量方法是比较标注的实体标签分布与预测标签分布之间的KL散度(Kullback-Leibler Divergence),并将伪标签数据按照置信度从大到小排序；选取前N个置信度高的伪标签数据加入标注数据集
从而扩充了标注数据集。其中，N的取值与训练教师模型的
大小成比例，例如可以取3到5倍。
步骤404，复制教师模型的结构和网络参数得到学生模型，获取上个步骤扩充的标注数据集
引入噪声训练学生模型，得到泛化性能更强的模型。引入的噪声可以是训练时的梯度噪声，或者对训练数据插入、打乱以及删除引入的数据噪声。
步骤405，将学生模型作为下一轮迭代的教师模型，重复步骤402、403、404训练出新的学生模型，可迭代2轮或3轮，得到的学生模型作为最终的NER模型。
步骤105，在预测阶段，实际预测结果为实体库修正后的NER模型预测结果。修正过程，如图5所示：
步骤501，输入待预测实体的样本spred，使用训练好的NER模型预测，得到候选的实体tcand。
步骤502，获取实体库中的实体与候选实体tcand对比，计算候选实体tcand重合比例最大的实体tpo以及对应的重合比例poverlap。若poverlap大于一定的阈值Spo，且实体tpo在spred中存在，则修正模型的预测结果为tpo；否则不修正，预测结果仍为tcand。
具体实现中，本申请提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于小样本学习的环评领域命名实体识别技术的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。MUU或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本发明提供了一种基于小样本学习的环评领域命名实体识别技术的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于小样本学习的环评领域命名实体识别技术，其特征在于，包括以下步骤：
步骤1，获取环评领域文件中的语料，对语料进行预处理；对预处理后的语料进行人工标注，对每种实体类型至少标注10个样本，得到人工标注样本和未标注样本；
步骤2，人工收集并整理环评领域中的实体，以词表的形式保存到实体库；对实体库进行扩充；
步骤3，建立命名实体识别NER模型，所述模型由预训练编码器、双向长短时记忆网络BiLSTM和条件随机场CRF构成；其中，预训练编码器的获取方法包括：获取通用领域预训练好的编码器，在环评领域对语料进行预训练，得到预训练编码器；
步骤4，利用人工标注样本和未标注样本分阶段训练命名实体识别NER模型；得到训练好的命名实体识别NER模型；
步骤5，在预测阶段，利用扩充后的实体库修正命名实体识别NER模型的预测结果；得到最终识别结果，完成基于小样本学习的环评领域命名实体识别。
2.根据权利要求1所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤1中，对语料进行预处理的方法包括：
对语料进行预处理：删除语料中不完整的语句，清理语料中包含公式的复杂结构的语句，对语料去重并统一转换编码；人工筛选语料，如果包含目标实体类型的实体则保留备用，否则取下一条语料，直到每种目标实体类型都筛选出至少10条语料。
3.根据权利要求2所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤1中，对预处理后的语料进行人工标注的方法包括：
对预处理后的语料进行人工标注：人工标注经过预处理得到的语料，采用BIO方式进行标注，标注好的语料即为所述人工标注样本，未标注的语料即为所述未标注样本。
4.根据权利要求3所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤2中，对实体库进行扩充的方法包括：
步骤2－1，从实体库中获取实体t，构建实体词表T；
步骤2-2，从步骤1中得到的未标注样本中随机筛选句子作为样本集S，样本集S中包含样本s；对照实体词表T，计算样本s中包含实体的数量，并按照数量将样本集中所有的样本从大到小排序；选择前K个样本构造实体扩充的原样本集S′；
步骤2-3，对原样本集S′中的样本s′做数据增强，通过同义词替换及回译的方法，得到增强后的样本s′p；计算s′p的困惑度以及与原样本s′的余弦相似度，仅当s′p的困惑度低于阈值Sppl且与原样本的余弦相似度高于阈值Ssim时，s′p作为合格的增强样本保留备用，否则丢弃；
步骤2-4，对比合格的增强样本s′p与原样本s′，考察发生改动的连续文字区域tspan，计算tspan的词性，若词性为名词的概率高于阈值pnoun，则表示tspan是一个新实体，将增强样本s′p与原样本s′保存到介质中备用，并将tspan加入实体库；
对原样本集S′中所有样本进行步骤2-3和步骤2-4的操作。
5.根据权利要求4所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤3中，预训练编码器的获取方法包括：
步骤3-1，获取通用领域预训练好的编码器Encoderpre，进行预训练任务，即使用步骤1中所述预处理后的语料对通用领域预训练好的编码器继续预训练2轮，将预训练好的编码器Encodercont保存备用。
6.根据权利要求5所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤3中，预训练编码器的获取方法包括：
步骤3-2，获取步骤2中得到的原样本集合S′和增强样本集合S′p，对步骤3-1中保存的预训练好的编码器Encodercont，使用屏蔽实体语言建模任务预训练2轮，即按照屏蔽语言建模Masked LM策略屏蔽实体再预测出实体，向预训练好的编码器中注入实体语义知识；得到预训练编码器Encoderentity。
7.根据权利要求6所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤3中，预训练编码器的获取方法包括：
步骤3-3，使用步骤3-2中得到的预训练编码器Encoderentity与双向长短时记忆网络BiLSTM和条件随机场CRF组装成命名实体识别NER模型；使用人工标注样本，在训练阶段将实体的嵌入向量拼接到人工标注样本的嵌入向量上，使用监督训练的方法微调整个命名实体识别NER模型，其中损失函数为负对数似然损失。
8.根据权利要求7所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤4中，利用人工标注样本和未标注样本分阶段训练命名实体识别NER模型的方法包括：
步骤4-1，获取人工标注样本Sfewsh，每种实体类型选取对应样本10条，构造标注的小样本训练集
从步骤1中所述未标注样本中选取语句，构造未标注的训练集
步骤4-2，使用小样本训练集
以监督学习的方法训练NER模型，训练好的模型作为教师模型，保存备用；
步骤4-3，在未标注训练集
上，以教师模型进行预测，生成伪标签，构成伪标签数据集合Spseudo；对Spseudo中的每条伪标签数据spseudo计算置信度，并将伪标签数据按照置信度从大到小排序；选取前N个置信度高的伪标签数据加入标注数据集
得到扩充标注数据集；其中，N的取值与训练教师模型的
大小的比例为3到5倍；
步骤4-4，复制教师模型的结构和网络参数得到学生模型，获取扩充标注数据集，引入噪声训练学生模型，引入的噪声为训练学生模型时的梯度噪声，或者对训练数据进行插入、打乱以及删除操作后引入的数据噪声；
步骤4-5，将学生模型作为下一轮迭代的教师模型，重复步骤4-2至步骤4-4，训练出新的学生模型，迭代2轮或3轮后得到的学生模型作为最终的命名实体识别NER模型。
9.根据权利要求8所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤5中，利用实体库修正命名实体识别NER模型的预测结果的方法包括：
步骤5-1，输入待预测实体的目标样本spred，使用训练好的命名实体识别NER模型预测，得到候选的实体tcand。
10.根据权利要求9所述的一种基于小样本学习的环评领域命名实体识别技术，其特征在于，步骤5中，利用实体库修正命名实体识别NER模型的预测结果的方法包括：
步骤5-2，获取实体库中的实体与候选实体tcand进行对比，计算与候选实体tcand重合比例最大的实体tpo以及对应的重合比例poverlap；若poverlap大于阈值Spo，且实体tpo在spred中存在，则修正模型的预测结果为tpo；否则不修正，预测结果仍为tcand；完成基于小样本学习的环评领域命名实体识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210872873.6A CN115270795A (zh) | 2022-07-21 | 2022-07-21 | 一种基于小样本学习的环评领域命名实体识别技术 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210872873.6A CN115270795A (zh) | 2022-07-21 | 2022-07-21 | 一种基于小样本学习的环评领域命名实体识别技术 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115270795A true CN115270795A (zh) | 2022-11-01 |
Family
ID=83768868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210872873.6A Pending CN115270795A (zh) | 2022-07-21 | 2022-07-21 | 一种基于小样本学习的环评领域命名实体识别技术 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115270795A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117313732A (zh) * | 2023-11-29 | 2023-12-29 | 南京邮电大学 | 一种医疗命名实体识别方法、装置及存储介质 |
-
2022
- 2022-07-21 CN CN202210872873.6A patent/CN115270795A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117313732A (zh) * | 2023-11-29 | 2023-12-29 | 南京邮电大学 | 一种医疗命名实体识别方法、装置及存储介质 |
| CN117313732B (zh) * | 2023-11-29 | 2024-03-26 | 南京邮电大学 | 一种医疗命名实体识别方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109992782B (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| CN110489555B (zh) | 一种结合类词信息的语言模型预训练方法 | |
| CN111310471B (zh) | 一种基于bblc模型的旅游命名实体识别方法 | |
| CN107330032B (zh) | 一种基于递归神经网络的隐式篇章关系分析方法 | |
| CN111160467B (zh) | 一种基于条件随机场和内部语义注意力的图像描述方法 | |
| CN110020438A (zh) | 基于序列识别的企业或组织中文名称实体消歧方法和装置 | |
| CN112699216A (zh) | 端到端的语言模型预训练方法、系统、设备及存储介质 | |
| CN110442880B (zh) | 一种机器翻译译文的翻译方法、装置及存储介质 | |
| CN110210032A (zh) | 文本处理方法及装置 | |
| CN117076653B (zh) | 基于思维链及可视化提升上下文学习知识库问答方法 | |
| CN112183061B (zh) | 一种多意图口语理解方法、电子设备和存储介质 | |
| CN111241807A (zh) | 一种基于知识引导注意力的机器阅读理解方法 | |
| CN112417092A (zh) | 基于深度学习的智能化文本自动生成系统及其实现方法 | |
| CN115392252A (zh) | 一种融合自注意力与层级残差记忆网络的实体识别方法 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN115906815A (zh) | 一种用于修改一种或多种类型错误句子的纠错方法及装置 | |
| CN114218379B (zh) | 一种面向智能问答系统的无法回答问题的归因方法 | |
| CN113254602B (zh) | 面向科技政策领域的知识图谱构建方法及系统 | |
| CN115270795A (zh) | 一种基于小样本学习的环评领域命名实体识别技术 | |
| CN113569061A (zh) | 一种提高知识图谱补全精度的方法与系统 | |
| CN115994204A (zh) | 适用于少样本场景的国防科技文本结构化语义分析方法 | |
| CN116702765A (zh) | 一种事件抽取方法、装置及电子设备 | |
| CN116306606A (zh) | 一种基于增量学习的金融合同条款提取方法和系统 | |
| CN115858736A (zh) | 一种基于情感提示微调的情感文本生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |