CN109376250A - 基于强化学习的实体关系联合抽取方法 - Google Patents
基于强化学习的实体关系联合抽取方法 Download PDFInfo
- Publication number
- CN109376250A CN109376250A CN201811133106.3A CN201811133106A CN109376250A CN 109376250 A CN109376250 A CN 109376250A CN 201811133106 A CN201811133106 A CN 201811133106A CN 109376250 A CN109376250 A CN 109376250A
- Authority
- CN
- China
- Prior art keywords
- entity
- sentence
- entities
- intensified learning
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 239000000284 extract Substances 0.000 description 8
- 238000003058 natural language processing Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及人工智能的技术领域，更具体地，涉及基于强化学习的实体关系联合抽取方法。首先获取用于实体关系抽取的无结构化文本，分词，训练词向量，以词为单位输入LSTM中，由于一个句子中同一个实体可能以不同的形式在不同的位置出现，而我们并不知道真正对于关系抽取有用的实体在哪里，因此我们可以用强化学习的方法来挑选出这些实体；实体挑选完成后，如果有连续的1，我们需要把它合并成一个实体。最终，去除冗余后，如果刚好挑选出了两个实体，则将这两个实体的词向量与LSTM最终输出的句向量拼接，经过一个全连接的神经网络对关系进行分类，否则认为该句子存在较大的噪声。
Description
技术领域
本发明涉及人工智能的技术领域，更具体地，涉及基于强化学习的实体关系联合抽取方法。
背景技术
实体和关系抽取是知识图谱构建过程中的一个重要的环节，可以为知识图谱的建立奠定良好的基础。由于互联网中存在着大量无结构化或者半结构化的文本，而要利用这些文本信息，我们就需要进行知识抽取，目前的知识抽取技术还存在着很多挑战。
强化学习是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。就目前来看，强化学习在自然语言处理领域有着较大的应用前景，原因如下：从宏观层面来看，人工智能的目标是希望机器能够记忆、推理、想象，而目前的自然语言处理从本质上来讲是无法理解人类复杂的对话的，不具备较好的推理和想象能力，强化学习可以说是面向通用人工智能的一个基本的框架，因此为了使自然语言处理具有更强大的能力，我们需要尝试强化学习的方法；从微观层面来看，自然语言处理和强化学习都可以看成是一个马尔可夫决策过程，只不过在自然语言处理中动作空间比较大，也就是词典的大小，但这些动作空间都是离散的，因此自然语言处理可以直接套用强化学习的方法论。
现有技术中，用强化学习的方法来筛选远程监督所用到的数据集，再将筛选出的句子用于关系分类，将关系分类的结果作为回报来更新策略函数。在该方法中，state(状态)为数据集中的句子，action(动作)为是否选择这个句子，reward(回报)为关系分类的效果。
将实体关系联合抽取任务分为两个阶段，第一个阶段是实体抽取，第二个阶段是关系抽取，并将这两个阶段用三个state表示，其中s1表示初始状态，s2表示传输状态，se表示结束状态。s1用双向LSTM(Long Short-Term Memory，长短时记忆网络)和Attention(注意力机制)共同生成，s2用树形LSTM生成，action总共有四个，a1和a2是s1的action，a3和a4是s2的action，a1和a2用于判断包含目标实体对的句子是否存在关系，a3和a4用于对关系进行分类。状态s1经过a1之后跳转到se，经过a2之后跳转到s2，状态s2经过a3和a4之后都跳转到se。实体识别之后生成状态s1，判断如果该句子包含的目标实体对是关系提及，则生成状态s2，并对关系进行分类。
现有技术的缺点是，用强化学习的方法来筛选远程监督所用到的数据集的方法只能用于噪声较大数据集的关系抽取，如果数据集本身比较干净，或者不仅仅想做关系抽取，那么该方法的用处就不大。
该方法用包含三个state和四个action的强化学习模型来将实体抽取与关系抽取结合起来，使得实体抽取的结果和关系抽取的结果互相影响，但是该方法的模型结构比较复杂。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供基于强化学习的实体关系联合抽取方法，用强化学习的方法来促进实体关系联合抽取。在我们进行实体关系联合抽取时，对应的实体可能会在文本中出现多次，而并不是每一次出现都能够帮助模型去更好的抽取出实体之间的关系，因此我们可以用强化学习的方法来抽取出最优位置的实体，将抽取出的实体词向量与句向量结合用于关系抽取，并将关系抽取的效果作为回报用于提升实体抽取的效果。
本发明的目的是：将强化学习的方法直接用于实体关系联合抽取，具体是指用强化学习的方法挑选出句子中最优位置的实体，再将挑选出的实体词向量与句向量结合用于关系抽取。
如果数据集的噪声较大，我们没有在句子中挑选出两个合适的实体，那么就丢弃该句子不用于关系抽取，这样，不管数据集是否有噪声都能够适用，并且能够同时完成实体关系联合抽取。
同时，在词级别的基础上完成强化学习的过程，不需要特别构造state，而是以当前的隐藏层状态和标注结果作为当前的state。对于每个state来说，action的数目只有两个，并且倘若分词结果不准确，将一个长实体分开，还可以重新结合，识别出完整的实体。
本发明的技术方案是：首先获取用于实体关系抽取的无结构化文本，分词，训练词向量，以词为单位输入LSTM中，由于一个句子中同一个实体可能以不同的形式在不同的位置出现，而我们并不知道真正对于关系抽取有用的实体在哪里，因此我们可以用强化学习的方法来挑选出这些实体：
State：由LSTM当前层的隐藏层状态与已经挑选出的实体的向量表示组成；
Action：总共2个，1表示是实体，0表示不是实体；
Reward：挑选出的实体词向量结合LTSM所生成的句向量用于关系分类的效果；
实体挑选完成后，如果有连续的1，我们需要把它合并成一个实体。最终，去除冗余后，如果刚好挑选出了两个实体，则将这两个实体的词向量与LSTM最终输出的句向量拼接，经过一个全连接的神经网络对关系进行分类，否则认为该句子存在较大的噪声。
与现有技术相比，有益效果是：在对标注出的实体进行合并和去除冗余之后，如果识别出的实体数目不是两个，则不对该句子进行关系抽取，该方法在进行实体关系联合抽取的同时可以对数据集进行筛选。
以当前的隐藏层状态以及标注结果作为当前state，当前state由之前的state和action共同决定，最后将实体词向量和句向量共同用于关系抽取，并将关系抽取的结果作为reward。该方法可以将实体抽取和关系抽取更好的结合起来，起到共同促进的作用。
附图说明
图1是本发明整体流程示意图。
图2是本发明整体模型示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
总流程如图1所示，首先获取用于实体关系抽取的无结构化文本，分词，训练词向量，以词为单位输入LSTM中，由于一个句子中同一个实体可能以不同的形式在不同的位置出现，而我们并不知道真正对于关系抽取有用的实体在哪里，因此我们可以用强化学习的方法来挑选出这些实体：
State：由LSTM当前层的隐藏层状态与已经挑选出的实体的向量表示组成；
Action：总共2个，1表示是实体，0表示不是实体；
Reward：挑选出的实体词向量结合LTSM所生成的句向量用于关系分类的效果；
实体挑选完成后，如果有连续的1，我们需要把它合并成一个实体。最终，去除冗余后，如果刚好挑选出了两个实体，则将这两个实体的词向量与LSTM最终输出的句向量拼接，经过一个全连接的神经网络对关系进行分类，否则认为该句子存在较大的噪声，模型如图2所示。
本发明的关键点是，基于强化学习进行实体关系联合抽取，用强化学习的方法促进序列标注和文本分类的效果。
在进行序列标注时，由于同一个实体在句子中可能出现多次，而真正对关系抽取有用的往往只有一个位置，因此该方法可以筛选出最优位置的实体，该最优位置的实体并没有正确的标签，其效果由关系分类的效果衡量。
把当前的隐藏层状态以及标注结果作为当前state，当前state由之前的state和action共同决定，不同的action将会导致模型进入不同的state。
欲保护点是，用强化学习的方法来促进实体关系联合抽取，使用LSTM每一层的隐藏层状态以及标注结果作为当前state，当前词是否为实体作为action，标注出对关系抽取最优的实体位置，并用关系抽取的结果作为reward促进实体抽取，同时可以对噪声数据集进行筛选。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (1)
1.基于强化学习的实体关系联合抽取方法，其特征在于，包括以下步骤：首先获取用于实体关系抽取的无结构化文本，分词，训练词向量，以词为单位输入LSTM中，由于一个句子中同一个实体可能以不同的形式在不同的位置出现，而并不知道真正对于关系抽取有用的实体在哪里，因此用强化学习的方法来挑选出这些实体：
State：由LSTM当前层的隐藏层状态与已经挑选出的实体的向量表示组成；
Action：总共2个，1表示是实体，0表示不是实体；
Reward：挑选出的实体词向量结合LTSM所生成的句向量用于关系分类的效果；
实体挑选完成后，如果有连续的1，需要把它合并成一个实体；最终，去除冗余后，如果刚好挑选出了两个实体，则将这两个实体的词向量与LSTM最终输出的句向量拼接，经过一个全连接的神经网络对关系进行分类，否则认为该句子存在较大的噪声。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811133106.3A CN109376250A (zh) | 2018-09-27 | 2018-09-27 | 基于强化学习的实体关系联合抽取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811133106.3A CN109376250A (zh) | 2018-09-27 | 2018-09-27 | 基于强化学习的实体关系联合抽取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109376250A true CN109376250A (zh) | 2019-02-22 |
Family
ID=65402691
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811133106.3A Pending CN109376250A (zh) | 2018-09-27 | 2018-09-27 | 基于强化学习的实体关系联合抽取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109376250A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059314A (zh) * | 2019-04-08 | 2019-07-26 | 东南大学 | 一种基于增强学习的关系抽取方法 |
| CN110175425A (zh) * | 2019-05-31 | 2019-08-27 | 重庆大学 | 一种基于mmalstm的齿轮剩余寿命的预测方法 |
| CN110209770A (zh) * | 2019-06-03 | 2019-09-06 | 北京邮电大学 | 一种基于策略价值网络和树搜索增强的命名实体识别方法 |
| CN111898362A (zh) * | 2020-05-15 | 2020-11-06 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
| CN111914091A (zh) * | 2019-05-07 | 2020-11-10 | 四川大学 | 一种基于强化学习的实体和关系联合抽取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
| CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
| CN107943847A (zh) * | 2017-11-02 | 2018-04-20 | 平安科技（深圳）有限公司 | 企业关系提取方法、装置及存储介质 |
-
2018
- 2018-09-27 CN CN201811133106.3A patent/CN109376250A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
| CN107239446A (zh) * | 2017-05-27 | 2017-10-10 | 中国矿业大学 | 一种基于神经网络与注意力机制的情报关系提取方法 |
| CN107832400A (zh) * | 2017-11-01 | 2018-03-23 | 山东大学 | 一种基于位置的lstm和cnn联合模型进行关系分类的方法 |
| CN107943847A (zh) * | 2017-11-02 | 2018-04-20 | 平安科技（深圳）有限公司 | 企业关系提取方法、装置及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| YUNTIAN FENG ETC.: "Joint Extraction of Entities and Relations Using Reinforcement Learning and Deep Learning", 《COMPUTATIONAL INTELLIGENCE AND NEUROSCIENCE》 * |
| 易黎 等: "基于联合模型的中文社交媒体命名实体识别", 《计算机与数字工程》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059314A (zh) * | 2019-04-08 | 2019-07-26 | 东南大学 | 一种基于增强学习的关系抽取方法 |
| CN111914091A (zh) * | 2019-05-07 | 2020-11-10 | 四川大学 | 一种基于强化学习的实体和关系联合抽取方法 |
| CN111914091B (zh) * | 2019-05-07 | 2022-10-14 | 四川大学 | 一种基于强化学习的实体和关系联合抽取方法 |
| CN110175425A (zh) * | 2019-05-31 | 2019-08-27 | 重庆大学 | 一种基于mmalstm的齿轮剩余寿命的预测方法 |
| CN110175425B (zh) * | 2019-05-31 | 2023-02-21 | 重庆大学 | 一种基于mmalstm的齿轮剩余寿命的预测方法 |
| CN110209770A (zh) * | 2019-06-03 | 2019-09-06 | 北京邮电大学 | 一种基于策略价值网络和树搜索增强的命名实体识别方法 |
| CN110209770B (zh) * | 2019-06-03 | 2022-04-15 | 北京邮电大学 | 一种基于策略价值网络和树搜索增强的命名实体识别方法 |
| CN111898362A (zh) * | 2020-05-15 | 2020-11-06 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
| CN111898362B (zh) * | 2020-05-15 | 2024-05-28 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110263324B (zh) | 文本处理方法、模型训练方法和装置 | |
| CN109376250A (zh) | 基于强化学习的实体关系联合抽取方法 | |
| Zhao et al. | Image parsing with stochastic scene grammar | |
| CN110298037A (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
| Yu et al. | Heterogeneous graph learning for visual commonsense reasoning | |
| CN109543722A (zh) | 一种基于情感分析模型的情感趋势预测方法 | |
| Wang et al. | Learning object interactions and descriptions for semantic image segmentation | |
| WO2019080863A1 (zh) | 文本情感分类方法、存储介质及计算机 | |
| KR102186326B1 (ko) | 구조 정보 선행 학습을 통한 딥러닝 관계 추출 시스템 및 이를 이용한 딥러닝 관계 추출 성능 향상 방법 | |
| CN108829677A (zh) | 一种基于多模态注意力的图像标题自动生成方法 | |
| CN106844442A (zh) | 基于fcn特征提取的多模态循环神经网络图像描述方法 | |
| CN108563779B (zh) | 一种基于神经网络的无模板自然语言文本答案生成方法 | |
| CN110598005A (zh) | 一种面向公共安全事件的多源异构数据知识图谱构建方法 | |
| CN114064918A (zh) | 一种多模态事件知识图谱构建方法 | |
| Wazalwar et al. | Interpretation of sign language into English using NLP techniques | |
| CN111368142A (zh) | 一种基于生成对抗网络的视频密集事件描述方法 | |
| CN113704419A (zh) | 对话处理方法及装置 | |
| Niu et al. | Enhancing local feature extraction with global representation for neural text classification | |
| CN116341519A (zh) | 基于背景知识的事件因果关系抽取方法、装置及存储介质 | |
| CN114241606A (zh) | 一种基于自适应集学习预测的人物交互检测方法 | |
| CN113254575B (zh) | 一种基于多步证据推理的机器阅读理解方法与系统 | |
| CN113657272A (zh) | 一种基于缺失数据补全的微视频分类方法及系统 | |
| Liu et al. | The use of deep learning technology in dance movement generation | |
| CN112131879A (zh) | 一种关系抽取系统、方法和装置 | |
| Xu et al. | Isolated Word Sign Language Recognition Based on Improved SKResNet‐TCN Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190222 |