CN114372465A - 基于Mixup和BQRNN的法律命名实体识别方法 - Google Patents
基于Mixup和BQRNN的法律命名实体识别方法 Download PDFInfo
- Publication number
- CN114372465A CN114372465A CN202111152985.6A CN202111152985A CN114372465A CN 114372465 A CN114372465 A CN 114372465A CN 202111152985 A CN202111152985 A CN 202111152985A CN 114372465 A CN114372465 A CN 114372465A
- Authority
- CN
- China
- Prior art keywords
- legal
- training
- mixup
- bqrnn
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 110
- 239000013598 vector Substances 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 claims abstract description 13
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 10
- 230000001965 increasing effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 9
- 238000002372 labelling Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Technology Law (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于Mixup和BQRNN的法律文书的命名实体识别方法，包括步骤：使用BERT预训练模型对训练集的法律判决文书进行向量化处理；使用Mixup数据增强方法在词向量表示层面对训练集规模进行扩充；使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；使用CRF条件随机场解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；将训练模型在测试集上进行测试，调整训练模型参数信息，直至选取稳定前，指标性能最好的识别模型；输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
Description
技术领域
本发明涉及中文语言处理及识别技术领域，尤其涉及基于Mixup数据增强以及BQRNN准循环神经网络模型的法律命名实体识别方法。
背景技术
使用人工智能技术建立智慧法院系统，能够帮助法务人员对相似案件作出裁决，提高效率。要对法律文书进行语义理解，首先要解决的就是法律实体的识别问题。NER(Named Entity Recognition，命名实体识别)是指从文本中抽取特定的命名实体的过程，是一个序列标注的分类任务，对每一个输入的字符，赋予可能性最大的标注序列。
现有的中文命名实体识别方法主要分为机器学习方法和深度学习方法。机器学习方法需要预先设计规则模式，然后通过字符串搜索和匹配的手段实现实体的识别。但易受预先规则的限制，可移植性较差，对未登录词的识别效果不佳。深度学习方法相比机器学习方法具有更高的准确性，这些模型通常有数百万个参数，因此需要大量数据进行训练，以避免过拟合和更好的模型泛化。然而，收集大量带注释的数据样本既耗时又昂贵。法律领域作为特殊领域，数据语料稀缺，数据质量和数据数量都难以达到很好的预期。
数据增强则是一种旨在解决这种数据饥饿问题的技术。生成合成数据样本作为用于正则化学习模型的附加训练数据。数据增强在计算机视觉和语音识别中得到了积极而成功的应用。然而，这些方法中的大多数依赖于人类知识进行标签不变的数据转换，如图像缩放、翻转和旋转。与图像不同的是，自然语言中并没有简单的标签不变变换规则。通常，句子中单词的细微变化会显著改变句子的意思。为此，NLP中流行的数据扩充方法旨在通过使用手工制作的本体或同义词替换来转换文本。然而，这种基于同义词的转换只能应用于词汇的一部分，因为具有完全或几乎相同含义的单词很少。
发明内容
本发明主要目的在于，提供一种基于Mixup和BQRNN的法律文书法律命名实体识别方法，通过大量的数据，训练一个的深度学习经验模型，对输入的中文法律文书中的命名实体自动进行识别，同时，通过对法律文书的特征向量进行Mixup数据增强操作，在保持较低的额外计算成本的基础上，使上述模型具有更高的鲁棒性和适用性。
本发明所采用的技术方案是：
提供一种基于Mixup和BQRNN的法律文书的命名实体识别方法，包括以下步骤：
S1、使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
S2、使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
S3、使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
S4、使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
S5、将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
S6、输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
接上述技术方案，在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段； Beta分布获取融合参数λ，通过Mixup算法，生成新的特征向量embedding 以及新的标签label，并选取新的特征向量embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
接上述技术方案，将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
接上述技术方案，步骤S5中具体使用Optimizer优化器调整训练模型参数信息。
接上述技术方案，步骤S4中，使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的“B，M，E，O”实体规则和“D， T，N，L”属性规则进行解码。
本发明还提供了一种基于Mixup和BQRNN的法律文书的命名实体识别系统，包括：
向量化模块，用于使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
Mixup数据增强模块，用于使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
BQRNN处理模块，用于使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
CRF解码模块，用于使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
模型训练模块，用于将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
识别模块，用于输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
接上述技术方案，Mixup数据增强模块具体用于在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段；Beta分布获取融合参数λ，通过Mixup算法，生成新的特征向量embedding以及新的标签label，并选取新的特征向量 embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
接上述技术方案，Mixup数据增强模块具体将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
接上述技术方案，模型训练模块具体使用Optimizer优化器调整训练模型参数信息。
本发明还提供了一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-5中任一项所述的基于Mixup和 BQRNN的法律命名实体识别方法。
本发明产生的有益效果是：本发明通过使用Mixup数据增强方法，能够在不增强数据总量以及保持较低的额外计算成本的基础上，提高训练数据的数量，使得训练出的深度学习模型具有更高的鲁棒性和适用性。此外使用 BQRNN对特征向量进行进一步的处理，解决了传统RNN模型(如LSTM， GRU)等不能串行计算，而导致训练时间过长的问题，提高了NER工程的效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明实施例基于Mixup和BQRNN的法律命名实体识别方法流程图；
图2为本发明实施例常见的数据增强示意图；
图3为本发明实施例Miuxp数据增强原理图；
图4为本发明实施例的模型的结构图；
图5为本发明实施例BQRNN原理图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明使用Mixup数据增强方法，在保持较低的额外计算成本的基础上，解决了因训练样本质量和数量不足造成的模型效率低下问题；进一步采用 BQRNN神经网络，优化了传统识别方法因串行计算而导致的训练时间过长的问题，提高了训练速度和效率。
如图1所示，本发明实施例基于Mixup和BQRNN的法律命名实体识别方法，包括以下步骤：
S1、使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
S2、使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
S3、使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
S4、使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
S5、将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
S6、输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
针对法律标注数据匮乏的问题，本发明主要采用Mixup的数据增强方法，在向量表示层面对数据样本规模进行扩充。如图2所示，常见的数据增强方法往往是对数据本身进行处理，其中Null行代表原始数据。SR(Synonyms Replace)表示不考虑停用词，在句子中随机抽取n个词替换成从同义词词典中抽取的同义词的同义词替换数据增强方法；RD(RandomlyDelete)表示将句子中的每个词，以概率p随机删除的随机删除数据增强方法；RS(RandomlySwap) 表示随机交换句子中两个词的位置，该过程可以重复n次的随机替换数据增强方法。Label行表示标签线性化数据增强方法。将O以外的标签，放置于实体词语之前进行数据增强。
这些流行的数据增强方法旨在通过使用手工制作的本体或单词相似性中的同义词替换来转换文本。然而，这种基于同义词的转换只能应用于词汇的一部分，因为具有完全或几乎相同含义的单词很少。与NLP中的传统数据增强不同，Mixup方法的扩充策略是领域独立的，不包含用于数据转换的人类知识，并且具有较低的额外计算成本。
Mixup数据增强获取新数据的算法如下，如图3所示：
步骤1：随机选取两个输入的句子sequence，分别为i和j；
步骤2：通过设定的超参数，分别从2个句子sequence中获取两个片段；
步骤3：通过Beta分布获取融合参数λ的值，通过式(1)，(2)生成新的词向量embedding以及词向量对应的标签序列label；
步骤4：选取新的词向量embedding附近距离最近的一个字符token作为新生成的句子sequence；
步骤5：分别将新生成的句子sequence替换回初始的2个句子sequence，通过句子困惑度判断哪个句子符合要求，并放到训练集中参与训练，从而达到增加了数据数量的效果。句子困惑度计算公式如下：
P＝P(w1，w2，...wn)......(3)
本发明通过Mixup数据增强方法，在保持较低的额外计算成本的基础上，解决了因训练样本质量和数量不足造成的模型效率低下问题。
本发明实施例中，将增强数据与过采样后的原始数据进行1∶1混合，进行下一步训练。模型训练部分通过如图4所示的深度学习模型进行训练，在不断优化后得到一个能够实现法律文书实体识别的深度学习模型，以此解决法律文书的命名实体识别问题。
给定一个句子S，有S＝{c1，c2，…，cn}，对于输入S，BERT的输入模块通过式(1)会将每个输入ci编码成向量ei，得到输入序列S＝{e1，e2，…，en}，然后作为BERT内部Transformer编码网络的输入词表示，进一步计算出输入序列的字符级别的向量表示L＝{v1，v2，…，vn}。其中，Etoken表示字嵌入，Eseg表示句子嵌入，Epos表示位置嵌入。
ei＝Etoken(ci)+Eseg(ci)+Epos(ci)(4)
将得到的向量L进行Mixup的数据增强，随机选取两个输入的句子sequence，分别为i和j。通过设定的融合参数λ，分别从2个句子sequence 中获取两个片段。然后通过Beta分布获取融合参数λ的值，通过式(1)，(2) 生成新的词向量embedding以及词向量对应的标签序列label。选取新的词向量embedding附近距离最近的一个字符token作为新生成的句子sequence。分别将新生成的句子sequence替换回初始的2个句子sequence，通过句子困惑度判断哪个句子符合要求，并放到训练集中参与训练，从而达到增加了数据数量的效果。
将经过Mixup处理后的向量送由BQRNN进行(5)～(12)的处理，得到带有内部特征信息。BQRNN的特征是可以获取带有上下文特征的特征向量。这种向量互相之间的权值和比重可以反映出彼此在中文内的指代消息。比如“苹果是红色的。”，苹果和红色经过BQRNN产生的向量会在数值或者加权后有呈现相关性。这就是带有上下文信息的特征向量。
QRNN网络由卷积层和池化层两部分组成。假设QRNN网络的卷积层使用数量为m的滤波器进行卷积运算。对于一个输入序列L＝{v1，v2，…，vn}，通过卷积操作得到序列
其中，序列X中每个向量的维度为n，序列Z中每个向量的维度为m。如果t时刻时，滤波器的宽度为k，则卷积的范围为xt-k+1到′。卷积层如式(5)～式(7)所示：
Z＝tanh(Wz*X)(5)
F＝σ(Wf*X)(6)
O＝σ(Wo*X)(7)
式中：Wz，Wf，Wo为卷积滤波器，σ为激活函数，*表示在时间顺序上的卷积运算。当滤波器的宽度k增大时，模型可以计算更多的n-gram特征。本发明选择k为2的设置，此时，QRNN的卷积层如式(8)～式(10)所示：
QRNN的池化层用于提取卷积层输出的特征信息，减少特征数目。池化层的计算是在动态平均池化的基础上，增加了输出门和遗忘门。这样的结构与LSTM的门结构非常类似，计算过程如式(11)，(12)所示：
ct＝ft⊙ct-1+it⊙zt(11)
ht＝ot⊙ct(12)
其中f，i，o分别表示遗忘门、输入门、输出门，ct表示t时刻的细胞状态，h，c的状态初始化为0，⊙表示向量之间的点乘运算。在文本序列处理的每一时刻，池化函数都需要运算，但是运算过程具有并行性，所以对于较长的文本序列，运算增加的时间是可以忽略的。池化时QRNN的结构如图5 所示。
经由BQRNN处理后，CRF通过式(13)对上层的结果进行解码，其中A是转化矩阵，
表示该字符第yi个标签label的分数。利用Softmax得到归一化后的概率，如式(14)所示：
完成上述操作后，得到实体标签label序列W＝{w1，w2，…，wn}。根据标签对应关系，可以得到最终的输出。
综上，将上述步骤进行简化后，模型训练部分的步骤为：
步骤1：使用BERT预训练模型对数据进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
步骤2：使用Mixup数据增强技术，对Lc按照图3所示方法进行式(1)- (3)的处理，从而增加训练数据，生成向量表示L；
步骤3：使用BQRNN双向准循环神经网络对特征向量L进行处理，提取文本的深层特征；
步骤4：使用CRF条件随机场，按照命名实体属性规则进行解码，得到实体序列W，便可以得到最后的预测结果；
步骤5：将预测的结果与正确结果进行比较，使用Optimizer优化器调整模型参数信息，再次训练；
步骤6：重复上述操作，直至评价指标P，R，F水平趋于稳定；
步骤7：选取指标性能最好的模型，作为实际应用的模型；
步骤8：输入中文法律文书案列“余某洋吸食HLY”，模型自动进行判断，输出每个字符对应的标注序列“B-N、M-N、E-N、O、O、B-D、M-D、 E-D”，通过标注对应的含义，解析出句子中的法律实体“余某洋(人名属性实体)”、“HLY(物品属性实体)”。
实施示例：
一、场景描述
输入：余某洋涉嫌吸食物品HLY10.2g。
输出：余某洋(姓名属性实体)、HLY(物品属性实体)、10.2g(质量属性实体)。
二、具体步骤
本方明解决法律命名实体识别方法
步骤1：使用BERT预训练模型对数据进行向量化处理，完成中文文本的向量化工作，构建带有上下文语义的字符级别的向量表示
步骤2：使用Mixup数据增强技术，对Lc按照图3所示方法进行式(1)- (3)的处理，从而增加训练数据，生成向量表示L；
步骤3：使用BQRNN双向准循环神经网络对特征向量L进行处理，提取文本的深层特征；
步骤4：使用CRF条件随机场，按照命名实体属性规则进行解码，得到实体序列W，便可以得到最后的预测结果；
步骤5：将预测的结果与正确结果进行比较，使用Optimizer优化器调整模型参数信息，再次训练；
步骤6：重复上述操作，直至评价指标P，R，F水平趋于稳定；
步骤7：选取指标性能最好的模型，作为实际应用的模型；
步骤8：输入中文法律文书案列“余某洋吸食HLY”，模型自动进行判断，输出每个字符对应的标注序列“B-N、M-N、E-N、O、O、B-D、M-D、 E-D”，通过标注对应的含义，解析出句子中的法律实体“余某洋(人名属性实体)”、“HLY(物品属性实体)”。
该系统在Win10环境下基于Python运行，所使用的深度学习框架为 TensorFlow，版本为1.1.2。实验结果表明，本发明提出的方法对法律文书(物品类)命名实体识别方法优于传统法。
本发明还提供一种基于Mixup和BQRNN的法律命名实体识别系统，包括：
向量化模块，用于使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
Mixup数据增强模块，用于使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
BQRNN处理模块，用于使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
CRF解码模块，用于使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
模型训练模块，用于将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
识别模块，用于输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
上述实施例的系统主要用于实现基于Mixup和BQRNN的法律命名实体识别方法实施例，各个模块的功能参见上文方法实施例，在此不一一赘述。
本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质用于基于Mixup和BQRNN 的法律命名实体识别系统，被处理器执行时实现方法实施例的基于Mixup和 BQRNN的法律命名实体识别方法。
综上，本发明的创新之处在于：
1.法律领域命名实体识别数据没有标准的标注数据集，人工采集及处理的法律文书数据集往往质量和数量都不理想。而深度学习方法是通过在大量数据上训练一个经验模型，来进行法律命名实体的自动识别，数据质量和数量越好，模型效果越好。通过Mixup数据增强方法以及保持较低的额外计算成本的基础上，提高训练数据的数量，使的训练出的深度学习模型具有更高的鲁棒性和适用性。
2.传统的命名实体识别往往使用LSTM长短记忆神经网络、GRU等神经网络来提取文本深层特征，但因本身结构原因，在进行特征提取时往往是从左至右串行进行的，这样不仅会大大增加训练时间，还会导致梯度爆炸等现象。使用BQRNN双向准循环神经网络可以将原本串行的任务并行化处理，从而节约训练所需要的时间。提高模型训练效率。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于Mixup和BQRNN的法律文书的命名实体识别方法，其特征在于，包括以下步骤：
S1、使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
S2、使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
S3、使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
S4、使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
S5、将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
S6、输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
2.根据权利要求1所述的基于Mixup和BQRNN的法律命名实体识别方法，其特征在于，在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段；Beta分布获取融合参数λ，通过Mixup算法，生成新的特征向量embedding以及新的标签label，并选取新的特征向量embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
3.根据权利要求1所述的基于Mixup和BQRNN的法律命名实体识别方法，其特征在于，将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
4.根据权利要求1所述的基于Mixup和BQRNN的法律命名实体识别方法，其特征在于，步骤S5中具体使用Optimizer优化器调整训练模型参数信息。
5.根据权利要求1所述的基于Mixup和BQRNN的法律命名实体识别方法，其特征在于，步骤S4中，使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的“B，M，E，O”实体规则和“D，T，N，L”属性规则进行解码。
6.一种基于Mixup和BQRNN的法律文书的命名实体识别系统，其特征在于，包括：
向量化模块，用于使用BERT预训练模型对训练集的法律判决文书进行向量化处理，构建带有上下文语义的词向量表示；
Mixup数据增强模块，用于使用Mixup数据增强方法，对生成的词向量表示进行处理，在词向量表示层面对训练集规模进行扩充，生成增强后的词向量表示的训练集；
BQRNN处理模块，用于使用BQRNN双向准循环神经网络对增强后的词向量表示进行处理，提取法律文本中带有上下文特征的深层特征向量，并输出相应的实体标签序列；
CRF解码模块，用于使用CRF条件随机场依据标签之间的约束关系对实体标签序列按照法律文书命名的实体属性规则进行解码，最后将概率最大的实体标签序列，作为训练结果输出，并生成相应训练模型；
模型训练模块，用于将训练模型在测试集上进行测试，并根据测试结果，调整训练模型参数信息，再次训练，直至测试集测试的指标水平趋于稳定，选取稳定前，指标性能最好的识别模型；
识别模块，用于输入中文法律文书案列，识别模型自动进行判断并输出法律文书中的法律实体。
7.根据权利要求6所述的基于Mixup和BQRNN的法律文书的命名实体识别系统，其特征在于，Mixup数据增强模块具体用于在对法律判决文书进行向量化处理后，随机获取2个输入的句子i和j，通过设定的融合参数λ，分别从2个句子中获取两个片段；Beta分布获取融合参数λ，通过Mixup算法，生成新的特征向量embedding以及新的标签label，并选取新的特征向量embedding附近距离最近的一个字符token作为新生成的句子；最后分别将新生成的句子替换回初始的2个句子，通过句子困惑度判断哪个句子符合要求并放到训练集中参与训练，从而做到在不增加数据量的情况下，增加训练样本数量。
8.根据权利要求6所述的基于Mixup和BQRNN的法律文书的命名实体识别系统，其特征在于，Mixup数据增强模块具体将增强数据与过采样后的原始数据进行1:1混合，生成新的训练集。
9.根据权利要求6所述的基于Mixup和BQRNN的法律文书的命名实体识别系统，其特征在于，模型训练模块具体使用Optimizer优化器调整训练模型参数信息。
10.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-5中任一项所述的基于Mixup和BQRNN的法律命名实体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152985.6A CN114372465A (zh) | 2021-09-29 | 2021-09-29 | 基于Mixup和BQRNN的法律命名实体识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111152985.6A CN114372465A (zh) | 2021-09-29 | 2021-09-29 | 基于Mixup和BQRNN的法律命名实体识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114372465A true CN114372465A (zh) | 2022-04-19 |
Family
ID=81138500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111152985.6A Pending CN114372465A (zh) | 2021-09-29 | 2021-09-29 | 基于Mixup和BQRNN的法律命名实体识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114372465A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115859979A (zh) * | 2022-11-22 | 2023-03-28 | 北京擎盾信息科技有限公司 | 法律文书命名实体识别方法、装置及存储介质 |
| CN116341556A (zh) * | 2023-05-29 | 2023-06-27 | 浙江工业大学 | 基于数据增强的小样本康复医疗命名实体识别方法与装置 |
| CN116451690A (zh) * | 2023-03-21 | 2023-07-18 | 麦博(上海)健康科技有限公司 | 一种医疗领域命名实体识别的方法 |
| CN116822477A (zh) * | 2023-05-16 | 2023-09-29 | 浙江法之道信息技术有限公司 | 一种法律文书自动生成系统 |
-
2021
- 2021-09-29 CN CN202111152985.6A patent/CN114372465A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115859979A (zh) * | 2022-11-22 | 2023-03-28 | 北京擎盾信息科技有限公司 | 法律文书命名实体识别方法、装置及存储介质 |
| CN116451690A (zh) * | 2023-03-21 | 2023-07-18 | 麦博(上海)健康科技有限公司 | 一种医疗领域命名实体识别的方法 |
| CN116822477A (zh) * | 2023-05-16 | 2023-09-29 | 浙江法之道信息技术有限公司 | 一种法律文书自动生成系统 |
| CN116822477B (zh) * | 2023-05-16 | 2024-04-30 | 浙江法之道信息技术有限公司 | 一种法律文书自动生成系统 |
| CN116341556A (zh) * | 2023-05-29 | 2023-06-27 | 浙江工业大学 | 基于数据增强的小样本康复医疗命名实体识别方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113011533B (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN109992782B (zh) | 法律文书命名实体识别方法、装置及计算机设备 | |
| CN108170736B (zh) | 一种基于循环注意力机制的文档快速扫描定性方法 | |
| CN114372465A (zh) | 基于Mixup和BQRNN的法律命名实体识别方法 | |
| CN110851596A (zh) | 文本分类方法、装置及计算机可读存储介质 | |
| CN109684642B (zh) | 一种结合页面解析规则和nlp文本向量化的摘要提取方法 | |
| CN110188195B (zh) | 一种基于深度学习的文本意图识别方法、装置及设备 | |
| CN111738169B (zh) | 一种基于端对端网络模型的手写公式识别方法 | |
| CN108664512B (zh) | 文本对象分类方法及装置 | |
| CN114495129B (zh) | 文字检测模型预训练方法以及装置 | |
| CN109933682B (zh) | 一种基于语义与内容信息结合的图像哈希检索方法及系统 | |
| CN111309918A (zh) | 一种基于标签关联性的多标签文本分类方法 | |
| CN109993216B (zh) | 一种基于k最近邻knn的文本分类方法及其设备 | |
| CN113392209A (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
| CN114529903A (zh) | 文本细化网络 | |
| CN114528835A (zh) | 基于区间判别的半监督专业术语抽取方法、介质及设备 | |
| CN113515632A (zh) | 基于图路径知识萃取的文本分类方法 | |
| CN116304066A (zh) | 一种基于提示学习的异质信息网络节点分类方法 | |
| CN114691864A (zh) | 文本分类模型训练方法及装置、文本分类方法及装置 | |
| CN113609857B (zh) | 基于级联模型和数据增强的法律命名实体识别方法及系统 | |
| CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN113220964B (zh) | 一种基于网信领域短文本的观点挖掘方法 | |
| US11941360B2 (en) | Acronym definition network | |
| CN114218921A (zh) | 一种优化bert的问题语义匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |