CN111159336A - 一种半监督司法实体及事件联合提取方法 - Google Patents

一种半监督司法实体及事件联合提取方法 Download PDF

Info

Publication number
CN111159336A
CN111159336A CN201911324891.5A CN201911324891A CN111159336A CN 111159336 A CN111159336 A CN 111159336A CN 201911324891 A CN201911324891 A CN 201911324891A CN 111159336 A CN111159336 A CN 111159336A
Authority
CN
China
Prior art keywords
event
entity
judicial
data
supervised
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911324891.5A
Other languages
English (en)
Other versions
CN111159336B (zh
Inventor
丁锴
李建元
陈涛
王开红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enjoyor Co Ltd
Original Assignee
Enjoyor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enjoyor Co Ltd filed Critical Enjoyor Co Ltd
Priority to CN201911324891.5A priority Critical patent/CN111159336B/zh
Publication of CN111159336A publication Critical patent/CN111159336A/zh
Application granted granted Critical
Publication of CN111159336B publication Critical patent/CN111159336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

一种半监督司法实体及事件联合提取方法，其步骤如下：司法文本分词处理，司法文本数据多特征嵌入，构建司法实体及事件联合提取模型，提取实体、事件和事件属性。本发明基于双向LSTM网络构建司法实体及事件联合提取模型，融合多种特征，有效提高提取准确度；同时模型训练基于数据增广和批量数据混合的半监督模型，极大提升提取模型的可用性。

Description

一种半监督司法实体及事件联合提取方法
技术领域
本发明属于自然语言处理领域，涉及一种半监督司法实体及事件联合提取方法。
背景技术
在智能裁判和智能法律咨询机器人系统中，信息提取技术是最为基础和核心的部分。它能将非结构化的裁判文书，问答库等资料转换成结构化的表、关键词、事件链等数据，以便于后续决策算法部署，从而提供更精准的裁判、更切合用户意图的回答。例如下面的案例：
{2015年2月11日X时，在平度路金杨路南约10米处，被告薛XX驾驶的牌号为沪L5XXXX小客车与驾驶电动自行车的原告杨XX发生碰撞，造成杨XX受伤、两车受损的道路交通事故。经上海市公安局浦东分局交通警察支队认定，薛XX未确保安全，承担事故主要责任，杨XX未在非机动车道内行驶，承担次要责任。}
通过手动标注抽取为{原告：杨XX；被告：薛XX；责任认定单位：浦东分局交警支队；事件：交通事故；事件车辆：小客车，电动自行车；事件后果：原告受伤，两车受损；事件责任：被告主要责任，原告次要责任}，这种结构化数据比上面的非结构化数据更有条理性，也更易进行结果推理。示例中的抽取包含了实体名识别，事件识别及事件属性(attributes)识别，这三种技术结合在广义上也被称为事件提取。目前事件提取的工作主要集中在事件触发词及其相关属性的预测上，而将实体名识别等工作交由手动标注或者现有NER(实体名识别)工具包完成。这种分层流水线式架构会引起误差放大，例如，实体名提取的错误可能会传播到事件触发词及其相关属性的识别中。最近有工作通过联合预测实体名，事件触发词及其属性来解决这个问题。但是，深度学习的训练过程需要大量带标注的数据，而从零开始进行手动标注成本过高。
发明内容
为了克服现有技术中存在的不足，本发明在于提供了一种避免大量手动标注的问题、极大提高事件提取模型在实际工程上的可用性、降低整体模型的复杂度的半监督司法实体及事件联合提取方法。
本发明采用的技术方案是：
一种半监督司法实体及事件联合提取方法，其步骤如下：
(1)司法文本以句为单位进行分词处理，形成词列表W＝w1，w2，...wi...wn，wi是第i个词，n是词的数量；
(2)司法文本数据多特征嵌入，将分词后的司法文本数据转换成数字向量，所述多特征嵌入包括字符嵌入、词嵌入、词性嵌入和依赖特征嵌入，形成多特征嵌入司法文本向量；
(3)将步骤(2)得到的多特征嵌入司法文本向量输入经过训练的司法实体及事件联合提取模型，提取实体、事件和事件属性，具体包括：所述多特征嵌入司法文本向量输入双向LSTM网络，定义实体、事件和事件属性识别任务，在双向LSTM网络的输出层实现实体、事件和事件属性联合提取。
进一步，所述司法文本数据多特征嵌入，以词为基准，将词对应的词性特征和依赖特征串联，并将词对应的多个字符向量串联，获得多特征嵌入司法文本向量，形成多特征嵌入司法文本向量序列V＝v1，v2，...vi...vn。
进一步，所述多特征嵌入司法文本向量序列V输入双向LSTM网络，生成隐藏向量序列H＝h1，h2，...hi...hn，hi为传统LSTM沿前后方向传递的级联向量：
Figure BDA0002328124710000021
在每个隐藏向量hi中编码整个句子信息。
进一步，所述实体识别任务，表示为：
min(softmax(l(di,hi))-ei)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ei为分配给每个词的实体标签，所有实体标签组成实体标签序列E；
所述事件识别任务，表示为：
min(softmax(l(di,hi))-ti)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ti为分配给每个词的事件标签，所有事件标签组成事件标签序列T；
所述事件属性识别任务，表示为：
min(softmax(l(di,hi,Bij))-aij),Bij＝tanh(μ(hi-hj)+σ)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为多特征嵌入司法文本向量的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；aij为事件属性标签，所有事件属性标签组成事件属性标签序列A；Bij为词列表中两个词对应的隐藏向量的相关性，以激活函数tanh表示，μ和σ为可训练的变量系数。
进一步，所述aij通过词列表中两个词的多特征嵌入司法文本向量相似度计算，由其整数值表示wi的属性标签，如果满足以下任一条件，则aij设置为“Other”：(1)i＝j，(2)wi不是事件触发词，(3)wj不是实体或者属性触发词。
进一步，所述实体、事件和事件属性联合提取，定义目标函数为联合概率P(A，T，E|V,H)，P表示贝叶斯概率，输出提取结果A、T、E，此联合概率可以分解为：
P(A,T,E|V,H)＝P(T|V,H)*P(E|T,V,H)*P(A|T,E,V,H)。
进一步，所述司法实体及事件联合提取模型的训练步骤，包括：
(a)分别建立实体、事件、事件属性的类型表和触发词汇表；
(b)数据标注：在样本集抽取固定数量样本，按照步骤(a)中的实体触发词汇表、事件触发词汇表及事件属性类型表，手动标注若干个文本，标注出实体、事件、事件属性，并将原始文本和标注文本成对形成的数据集分为训练集和测试集；
(c)所述原始文本按照所述半监督司法实体及事件联合提取方法进行实体、事件和事件属性的预测，对应训练时按批次数据进行联合概率对数最小化的惩罚函数为：
Figure BDA0002328124710000041
其中，α,β,γ是系数变量，从数据中学习；Π表示事件间的共生关系使用。
进一步，所述司法实体及事件联合提取模型的训练采用半监督模型，加入数据增广和批量混合处理，并对惩罚函数修改。
进一步，所述数据增广利用语义不变性，惩罚函数如下：
Figure BDA0002328124710000042
其中，X，Y表示输入和输出，P表示贝叶斯概率，右上+表示为扩增数据，其中Y在扩增时保持不变，上方^表示未标注数据。
进一步，所述批量混合是基于相关性的递增混合方式，以批次为单位将未标注样本和标注样本进行混合，未标注样本筛选是在未标注样本数据集中搜索与标注样本相关的数据，相关性以多特征嵌入司法文本向量v的余弦相似度表示，以相关性作为概率判断是否混合入训练数据。
本发明的有益效果：
1、使用基于数据增广和批量数据混合的半监督模型，避免大量手动标注的问题，极大提高事件提取模型在实际工程上的可用性。
2、对实体及事件联合提取模型进行了改进。一方面，使用多种特征融合的方法，改善仅使用字符特征的引起的错误。另一方面，使用序列到序列(seq2seq)的结构改进，直接提取出事件类型，无需中间步骤提取出事件触发词，降低整体模型的复杂度。
附图说明
图1是本发明的实体和事件联合提取模型的建立示意图。
图2是本发明的半监督模型的建立流程示意图。
图3是本发明的实体和事件联合提取模型的实际使用示意图。
图4是本发明的数据扩增示例表。
具体实施方式
下面结合具体实施例来对本发明进行进一步说明，但并不将本发明局限于这些具体实施方式。本领域技术人员应该认识到，本发明涵盖了权利要求书范围内所可能包括的所有备选方案、改进方案和等效方案。
专业术语解释
双向LSTM网络：是传统LSTM的扩展，可以提高序列分类问题的模型性能。
word2vec：谷歌2013年提出的词嵌入模型，是目前最常用的文本表示模型之一，可以将单词转换成向量形式。
半监督学习方法：仅使用少部分标注样本取得与使用全部标注样本接近的效果，其结合多种数据增广机制，例如样本混合，语义不变性等。
实施例一
参照图1-3，本实施例提供了一种半监督司法实体及事件联合提取方法，其步骤如下：
1、实体、事件和事件属性提取格式定义及手工标注
在司法领域，由于涉及个人隐私保护，目前公开数据仅有裁判文书和庭审录像，本专利仅针对使用裁判文书进行事件抽取的情况。
首先，定义事件抽取的格式。在案件判决过程中，主体角色、事件链、事件属性是审判推理的三大依据，以上三者以事件为中心。标注中的第一个标志位是事件，文本不包含具体事件，则标注‘Other’。二三标志位分别是实体和事件属性。格式如下：
{Type：[Other，交通事故，责任认定...]；Role：[原告：承受方，被告：实施方，第三方：认证方，...]；Attribute:[事故双方：机动车和机动车，物品损坏：后备箱损坏...]}。
而二三标注位与第一位不强制相关，即抽取结果可以为空。
手工标注时，先筛选出案情描述并分句。案情描述在司法文书中通常独立成段，并以‘经审理查明’为前缀。分句以句号等标点符号分割。然后，以句为单位，以抽取格式为标准，对句子进行标注。原始文本和标注结果成对形成训练集。
2、司法文本分词
以句为单位进行分词处理，形成词列表W＝w1，w2，...wi...wn，wi是第i个词，n是词的数量。
3、多特征嵌入
将原始文本中字符型元素转变成数字型向量，即特征嵌入。元素可以是词，字符或短语。本专利中以词为元素。
在工程中为提高精度，需采用多特征联合的方式，本专利使用字符，词嵌入，POS(词性)，词依赖等多种特征。以词为基准，将词对应的词性和依赖性特征串联，并将词对应的多个字符串联，从而将句子转换成向量V＝v1，v2，...vi...vn，
4、双向LSTM编码
V输入双向LSTM网络，生成隐藏向量序列H＝h1，h2，...hi...hn，hi为传统LSTM沿前后方向传递的级联向量：
Figure BDA0002328124710000071
在每个隐藏向量hi中编码整个句子信息。我们利用V和H作为输入值进行实体名，事件的联合抽取。
5、实体、事件、事件属性联合提取
为了解决实体名识别(EMD)问题，我们将其转换为序列标签问题，为V和H中的每个元素对应的词wi分配标签ei，组成标签序列E＝e1，e2，...en，en取值范围是标注格式中Role的约定范围，用于揭示句子中实体提及的实体类型。实体名识别被表示成：min(softma x(l(di,hi))-ei)。其中，min表示最小化函数，softmax为柔性最大化函数，di为多特征嵌入司法文本向量的上下文级联向量，这里使用5个上下文嵌入特征串联构成，l表示线性函数。
关于事件识别(ED)任务，假设事件触发词只是句子中的某个词，我们为wi∈W预测一个事件类型ti(ti可以“Other”，以表明wi没有触发任何感兴趣的事件)。W中单词的事件类型标签序列为T＝t1，t2，...tn。同样事件识别可以表示为：min(softmax(l(di,hi))-ti)。
在事件属性的识别中，我们需要识别事件的属性变量。但是，事件触发词和事件属性词并不总是同时存在或者一一对应的，因此，需要通过潜在的相关性，挖掘事件属性与事件触发词之间的联系。从而将事件属性识别分解成事件属性的分类，实体及事件属性的归属两个问题。我们将词列表W按词嵌入向量相似度转换为矩阵A＝(aij)。在此矩阵中，如果满足以下任一条件，则aij设置为“Other”：(1)i＝j，(2)wi不是事件触发词，(3)wj不是实体或者属性词。否则，aij将是事件wi对应的候选属性。属性类别由其整数值表示，确定属于事件对应词wi，则数值为m，即第m类属性，否则为0。事件属性识别可以表示为：
min(softmax(l(di,hi,Bij))-aij),Bij＝tanh(μ(hi-hj)+σ) 2)
Bij是表示两个词对应的隐向量的相关性，以激活函数tanh表示，μ和σ为可训练的变量系数。
最后，我们的目标是联合抽取实体，事件和事件属性，即同时预测E，T和A，因此将目标函数定义为联合概率P(A，T，E|V,H)，P为贝叶斯概率。此联合概率可以分解为：
P(A,T,E|V,H)＝P(T|V,H)*P(E|T,V,H)*P(A|T,E,V,H) 3)
对应训练时按批次数据进行联合概率对数最小化的惩罚函数为：
Figure BDA0002328124710000081
其中，α,β,γ是系数变量，从数据中学习。第一项中Π表示事件间的共生关系使用，而实体和属性项相互之间独立，因此使用和函数表示。
6、半监督模型
利用上面的模型，可以同时提取实体名及事件属性等，但其前提条件是有足够多的样本进行模型训练。然而，当前公开的事件提取常用ACE2005数据库，仅包括几千个样本，数据库多样性不足，无法迁移到其他任务，这就意味着要从零开始进行数据标注。半监督学习可以大幅度降低标注成本，且司法文本相比其他语料，用语的规范性和结构性好，这为半监督学习的应用提供了前提条件。文献2的半监督模型基于数据增广技术，并利用数据混合和语义不变性--又称数据自洽性(self consistency)。本专利也采用数据混合机语义不变性，但文献2的数据混合方法仅用于图片，我们针对文本提出了新的数据混合方法。
半监督系统如图2所示，包括标注集，未标注集，数据增广模块，数据混合模块和惩罚项计算。首先，利用语义不变性进行数据增广，这是指对一个句子进行小幅语义变换，变换后的样本各部分属性基本保持不变。例如样本‘张某驾驶卡车撞伤了横穿马路的王某’，将‘卡车’替换为‘机动车’不会改变事件的类型。类似的通过调换短语，将原句改为‘横穿马路的王某被张某驾驶卡车撞伤了’，也不会改变事故的责任双方关系。语义不变性数据增广采用基于word2vec词替换，还原翻译，句式调整等技术。而还原翻译，通过汉译英再译汉的方式，利用翻译器的近似还原性，实现句子的改写。语义不变性惩罚项公式如下：
Figure BDA0002328124710000091
其中，X，Y表示输入和输出，对照公式4),X实际为嵌入向量V、隐藏向量H，Y实际为标注的A，T，E，P表示贝叶斯概率，右上+表示为扩增数据，其中y在扩增时保持不变，，上方^表示未标注数据。惩罚项的目的是最小化扩增前后的贝叶斯概率误差。
数据混合是指将两个不同的样本按比例混合后，其预测类型的概率值与原类型的比例保持一致。例如将猫类图片和狗类图片混合成一幅图片，那么对此图片的预测为猫和狗概率比预测为其他类的概率都要高。对于文本的混合，无法使用类似图片样本按比例混合的方式。我们使用基于相关性的递增混合方式，以批次为单位进行混合。假定，训练组一批为64个样本，其中有若干有标注样本，余下为未标注样本。未标注样本筛选方法是在未标注数据集
Figure BDA0002328124710000092
中，搜索与有标注样本相关的数据，相似度以嵌入特征v的余弦相关度表示，以相似度为概率判断是否放入训练组。例如：
Figure BDA0002328124710000101
样本与有标注某样本相似，值为0.95，那么此样本被放入训练组的概率设为95％。训练过程中，训练组中未标注样本的比例有序增涨，最高比例限定为80％。同时，未标注样本要利用当前模型的预测输出值作为真值y，保证模型精度可迭代提升，从未标注集中学习到越来越多的正确特征，公式5的后半部分就是对数据混合的不变性惩罚。利用半监督可以解决因语言的灵活性引起的歧义，提高模型的精度。
7、模型训练及精度验证
本步骤的模型是指半监督模型和实体、事件联合模型的结合模型。训练和评估都需使用手动标注数据集，将数据集按比例8：2分为训练集和测试集。训练时使用训练集，以嵌入向量V为输入，结合抽取模型和半监督模型，以预测结果A，T，E为输出，并使用预测输出及真实标注之间的误差最小化方法，逐渐修正模型参数。测试时使用测试集，复用训练步骤，以预测输出值与真实标注值之间的误差表示模型误差。
本发明以交通事故类裁判文书为例，进一步进行算法步骤详细说明。
1.建立实体名及事件类型表：
使用自动提取结合人工筛选的方法准备实体，事件触发词汇表及相关类型表。其中，类型表需根据数据分布及法规管辖范围手工构建。针对交通事故类文书，实体名类别共包含6种，分别为{原告，被告，责任认定部门，医院，伤残鉴定部门，保险公司}。事件(触发词)类别包括：{交通事故，医疗，事故责任认定，伤残鉴定，事故赔偿，医疗支付，保险赔偿}。事件(触发词)属性包括：{机动车，行人，非机动车，医药费，鉴定费，工资，误工费...}。触发词汇表作用在于限定语义范围，避免引入噪声词，同时增加对语义多样性的适应。例如对应事件类别‘交通事故’，相关触发词汇包括{碰撞，撞伤，刮擦，碰，撞上...}。词汇表通过同义词扩展和自动关键词提取等结果组合而成。
2.数据标注：
在训练中使用半监督算法，仅需对训练样本中随机抽取的小部分样本进行标注。通常抽取固定数量样本，例如100条或总数据数量的百分之五。按照步骤1的类型表，手动标注若干文本，标注出实体类型，事件类型，事件属性类型。手动标注数据集被分为训练集和测试集，以进行下一环节的模型训练和模型评估。
3.实体和事件联合提取模型
此处仅进行有监督训练，训练过程分两步，第一，进行数据预处理，第二，模型训练及评估。
1)数据预处理
数据预处理实际是将文本进行字符，词嵌入，词性嵌入，词嵌入上下文特征及依赖特征嵌入等。词嵌入需先对训练文本进行分词，为此使用开源分词工具Hanlp。嵌入过程利用公开发布的word2vec预训练包，可将词语转成200维的向量。词嵌入上下文是将句子中连续多个词的词嵌入向量串联而成。词性嵌入和依赖特征嵌入分别利用Hanlp工具的词性分析和句子依赖分析功能，获得词语的词性与上下文的依赖关系，然后转换成向量。词向量，词嵌入上下文向量和词性，依赖性等嵌入都基于词对齐，可以直接串联成统一长度的向量。但是词包含字符数量不定，字符向量与词向量简单串联会引起向量维度不统一，这里先定字符长度为四，少于此长度则进行零值填充。然后，再进行向量串联，保证不同词的多特征合成向量维度统一。
2)模型训练与评估
构建序列双向LSTM网络，将上一步骤的多特征嵌入向量作为输入，如图3所示。图中，输入层文本需倒序排列，原文是‘张某驾驶卡车撞了横穿马路的王某’，输出层为正序排列。输入数据经神经网络处理，得到隐含向量H。然后，配合嵌入特征D，在输出层进行实体名和事件类别预测。
4.半监督训练
半监督训练在有监督训练的基础上进行部分调整，主要是加入数据增广和批量混合部分，并对loss函数修改。数据增广采用基于word2vec词替换，还原翻译，句式调整等技术，如图4所示。数据增广可将样本数量成倍扩增，并保证数据的多样性。从而，使输入值尽可能的体现语义的灵活性，避免过拟合及模型偏差现象出现。
批量混合阶段，要逐级增加未标注样本在训练集中的比例。开始阶段，此比例为0，仅使用有标注样本进行训练。下一阶段，按训练轮回数线性提高未标注样本在训练集中的比例，直到此比例达到80％。未标注样本筛选策略：基于文本相关性筛选并排序，与有标注样本相关性高的排序高。这些样本以相似度为概率被加入训练集，从而使训练集中的样本多样性有序扩张。不至于因未标注样本的加入导致误差激增，进而引起模型退化。
训练时，模型中预处理和神经网络部分复用有监督模型，改动主要在loss函数。具体地，加入增广数据语义不变性惩罚项，使扩增变形后数据经过神经网络处理后，输出结果能与扩增前数据的输出结果保持一致。如下式表示事件识别的模型的loss函数：
min(softmax(l(di,hi))-softmax(l(di+,hi+)))
式中，l为线性函数，+号表示扩增，贝叶斯概率P被近似消除。
5.模型训练及精度验证
模型训练和评估使用常规深度学习的训练和验证方法，将数据集按比例8：2分为训练集和测试集。利用测试集对训练所得模型进行精度评估，判断模型效果。这里注意训练的早期中断和断点训练策略，当若干轮次训练loss不降低时要进行训练中断，且保存当前模型。而断点训练是指载入中断的模型，继续进行训练。

Claims (10)

1.一种半监督司法实体及事件联合提取方法，其步骤如下：
(1)司法文本以句为单位进行分词处理，形成词列表W＝w1，w2，...wi...，wn，wi是第i个词，n是词的数量；
(2)司法文本数据多特征嵌入，将分词后的司法文本数据转换成数字向量，所述多特征嵌入包括字符嵌入、词嵌入、词性嵌入和依赖特征嵌入，形成多特征嵌入司法文本向量；
(3)将步骤(2)得到的多特征嵌入司法文本向量输入经过训练的司法实体及事件联合提取模型，提取实体、事件和事件属性，具体包括：所述多特征嵌入司法文本向量输入双向LSTM网络，定义实体、事件和事件属性识别任务，在双向LSTM网络的输出层实现实体、事件和事件属性联合提取。
2.根据权利要求1所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述司法文本数据多特征嵌入，以词为基准，将词对应的词性特征和依赖特征串联，并将词对应的多个字符向量串联，获得多特征嵌入司法文本向量，形成多特征嵌入司法文本向量序列V＝v1，v2，...vi...，vn。
3.根据权利要求2所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述多特征嵌入司法文本向量序列V输入双向LSTM网络，生成隐藏向量序列H＝h1，h2，...hi...，hn，hi为传统LSTM沿前后方向传递的级联向量：
Figure FDA0002328124700000011
在每个隐藏向量hi中编码整个句子信息。
4.根据权利要求3所述的一种半监督司法实体及事件联合提取方法，其特征在于：
所述实体识别任务，表示为：
min(softmax(l(di,hi))-ei)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ei为分配给每个词的实体标签，所有实体标签组成实体标签序列E；
所述事件识别任务，表示为：
min(softmax(l(di,hi))-ti)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为若干词的多特征嵌入司法文本向量串联构成的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；ti为分配给每个词的事件标签，所有事件标签组成事件标签序列T；
所述事件属性识别任务，表示为：
min(softmax(l(di,hi,Bij))-aij),Bij＝tanh(μ(hi-hj)+σ)
其中，min表示最小化函数；softmax为柔性最大化函数；l表示线性函数；di为多特征嵌入司法文本向量的上下文级联向量；hi为多特征嵌入司法文本向量输入双向LSTM网络生成的隐藏向量；aij为事件属性标签，所有事件属性标签组成事件属性标签序列A；Bij为词列表中两个词对应的隐藏向量的相关性，以激活函数tanh表示，μ和σ为可训练的变量系数。
5.根据权利要求4所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述aij通过词列表中两个词的多特征嵌入司法文本向量相似度计算，由其整数值表示wi的事件属性标签，如果满足以下任一条件，则aij设置为“Other”：(1)i＝j，(2)wi不是事件触发词，(3)wj不是实体或者属性触发词。
6.根据权利要求4所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述实体、事件和事件属性联合提取，定义目标函数为联合概率P(A，T，E|V,H)，P表示贝叶斯概率，输出提取结果A、T、E，所述联合概率可以分解为：
P(A,T,E|V,H)＝P(T|V,H)*P(E|T,V,H)*P(A|T,E,V,H)。
7.根据权利要求1所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述司法实体及事件联合提取模型的训练步骤，包括：
(a)分别建立实体、事件、事件属性的类型表和触发词汇表；
(b)数据标注：在样本集抽取固定数量样本，按照步骤(a)中的实体触发词汇表、事件触发词汇表及事件属性类型表，手动标注若干个文本，标注出实体、事件、事件属性，并将原始文本和标注文本成对形成的数据集分为训练集和测试集；
(c)所述原始文本按照所述半监督司法实体及事件联合提取方法进行实体、事件和事件属性的预测，对应训练时按批次数据进行联合概率对数最小化的惩罚函数为：
Figure FDA0002328124700000031
其中，α,β,γ是系数变量，从数据中学习；Π表示事件间的共生关系使用。
8.根据权利要求7所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述司法实体及事件联合提取模型的训练采用半监督模型，加入数据增广和批量混合处理，并对惩罚函数修改。
9.根据权利要求8所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述数据增广利用语义不变性，惩罚函数如下：
Figure FDA0002328124700000032
其中，X，Y表示输入和输出，P表示贝叶斯概率，右上+表示为扩增数据，其中Y在扩增时保持不变，上方^表示未标注数据。
10.根据权利要求8所述的一种半监督司法实体及事件联合提取方法，其特征在于：所述批量混合是基于相关性的递增混合方式，以批次为单位将未标注样本和标注样本进行混合，未标注样本筛选是在未标注样本数据集中搜索与标注样本相关的数据，相关性以多特征嵌入司法文本向量v的余弦相似度表示，以相关性作为概率判断是否混合入训练数据。
CN201911324891.5A 2019-12-20 2019-12-20 一种半监督司法实体及事件联合提取方法 Active CN111159336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911324891.5A CN111159336B (zh) 2019-12-20 2019-12-20 一种半监督司法实体及事件联合提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911324891.5A CN111159336B (zh) 2019-12-20 2019-12-20 一种半监督司法实体及事件联合提取方法

Publications (2)

Publication Number Publication Date
CN111159336A true CN111159336A (zh) 2020-05-15
CN111159336B CN111159336B (zh) 2023-09-12

Family

ID=70557425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911324891.5A Active CN111159336B (zh) 2019-12-20 2019-12-20 一种半监督司法实体及事件联合提取方法

Country Status (1)

Country Link
CN (1) CN111159336B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368175A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种事件抽取方法和系统及实体分类模型
CN111813931A (zh) * 2020-06-16 2020-10-23 清华大学 事件检测模型的构建方法、装置、电子设备及存储介质
CN112765976A (zh) * 2020-12-30 2021-05-07 北京知因智慧科技有限公司 文本相似度计算方法、装置、设备及存储介质
CN113312470A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种基于匿名化隐私保护技术的医疗事件抽取方法
CN113504727A (zh) * 2021-07-14 2021-10-15 桂林理工大学 一种带有自适应阈值的混合阶非线性系统事件触发协同控制方法
CN113705218A (zh) * 2021-09-03 2021-11-26 四川大学 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150531A1 (en) * 2010-12-08 2012-06-14 At&T Intellectual Property I, L.P. System and method for learning latent representations for natural language tasks
US20180068330A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Deep Learning Based Unsupervised Event Learning for Economic Indicator Predictions
CN109635280A (zh) * 2018-11-22 2019-04-16 园宝科技(武汉)有限公司 一种基于标注的事件抽取方法
CN109947897A (zh) * 2019-03-15 2019-06-28 南京邮电大学 司法案件事件树构建系统和方法
CN110210019A (zh) * 2019-05-21 2019-09-06 四川大学 一种基于递归神经网络的事件要素抽取方法
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法
CN110377903A (zh) * 2019-06-24 2019-10-25 浙江大学 一种句子级实体和关系联合抽取方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120150531A1 (en) * 2010-12-08 2012-06-14 At&T Intellectual Property I, L.P. System and method for learning latent representations for natural language tasks
US20180068330A1 (en) * 2016-09-07 2018-03-08 International Business Machines Corporation Deep Learning Based Unsupervised Event Learning for Economic Indicator Predictions
CN109635280A (zh) * 2018-11-22 2019-04-16 园宝科技(武汉)有限公司 一种基于标注的事件抽取方法
CN109947897A (zh) * 2019-03-15 2019-06-28 南京邮电大学 司法案件事件树构建系统和方法
CN110210019A (zh) * 2019-05-21 2019-09-06 四川大学 一种基于递归神经网络的事件要素抽取方法
CN110377903A (zh) * 2019-06-24 2019-10-25 浙江大学 一种句子级实体和关系联合抽取方法
CN110377738A (zh) * 2019-07-15 2019-10-25 昆明理工大学 融合依存句法信息和卷积神经网络的越南语新闻事件检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YUNTIAN FENG等: "Jiont Extraction of Entities and Relations Using Reinforcement Learning and Deep Learning" *
侯伟涛;姬东鸿;: "基于Bi-LSTM的医疗事件识别研究" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368175A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种事件抽取方法和系统及实体分类模型
CN111813931A (zh) * 2020-06-16 2020-10-23 清华大学 事件检测模型的构建方法、装置、电子设备及存储介质
CN111813931B (zh) * 2020-06-16 2021-03-16 清华大学 事件检测模型的构建方法、装置、电子设备及存储介质
CN112765976A (zh) * 2020-12-30 2021-05-07 北京知因智慧科技有限公司 文本相似度计算方法、装置、设备及存储介质
CN113312470A (zh) * 2021-05-28 2021-08-27 北京航空航天大学 一种基于匿名化隐私保护技术的医疗事件抽取方法
CN113312470B (zh) * 2021-05-28 2022-05-31 北京航空航天大学 一种基于匿名化隐私保护技术的医疗事件抽取方法
CN113504727A (zh) * 2021-07-14 2021-10-15 桂林理工大学 一种带有自适应阈值的混合阶非线性系统事件触发协同控制方法
CN113504727B (zh) * 2021-07-14 2022-06-17 桂林理工大学 一种带有自适应阈值的混合阶非线性系统事件触发协同控制方法
CN113705218A (zh) * 2021-09-03 2021-11-26 四川大学 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置
CN113705218B (zh) * 2021-09-03 2023-03-21 四川大学 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置

Also Published As

Publication number Publication date
CN111159336B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111159336B (zh) 一种半监督司法实体及事件联合提取方法
CN111694924B (zh) 一种事件抽取方法和系统
CN108984724B (zh) 利用高维表示提高特定属性情感分类准确率方法
CN111382565B (zh) 基于多标签的情绪-原因对抽取方法及系统
CN111382575A (zh) 一种基于联合标注和实体语义信息的事件抽取方法
CN113221567A (zh) 司法领域命名实体及关系联合抽取方法
CN108664632A (zh) 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN110287323B (zh) 一种面向目标的情感分类方法
CN108536756A (zh) 基于双语信息的情绪分类方法及系统
CN113626589B (zh) 一种基于混合注意力机制的多标签文本分类方法
CN110750635B (zh) 一种基于联合深度学习模型的法条推荐方法
CN110046356B (zh) 标签嵌入的微博文本情绪多标签分类方法
CN112800764B (zh) 一种基于Word2Vec-BiLSTM-CRF模型的法律领域的实体抽取方法
CN111597340A (zh) 一种文本分类方法及装置、可读存储介质
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN115526236A (zh) 一种基于多模态对比学习的文本网络图分类方法
CN113869055A (zh) 基于深度学习的电网项目特征属性识别方法
Dimri et al. A multi-input multi-label claims channeling system using insurance-based language models
CN112989830B (zh) 一种基于多元特征和机器学习的命名实体识别方法
CN113553856B (zh) 一种基于深度神经网络的争议焦点识别方法
CN115017879A (zh) 文本对比方法、计算机设备及计算机存储介质
CN117151222B (zh) 领域知识引导的突发事件案例实体属性及其关系抽取方法、电子设备和存储介质
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
CN112035629A (zh) 基于符号化知识与神经网络的问答模型的实现方法
CN116663539A (zh) 基于RoBERTa和指针网络的中文实体与关系联合抽取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310012 1st floor, building 1, 223 Yile Road, Hangzhou City, Zhejiang Province

Applicant after: Yinjiang Technology Co.,Ltd.

Address before: 310012 1st floor, building 1, 223 Yile Road, Hangzhou City, Zhejiang Province

Applicant before: ENJOYOR Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant