CN113312907A - 基于混合神经网络的远程监督关系抽取方法及装置 - Google Patents
基于混合神经网络的远程监督关系抽取方法及装置 Download PDFInfo
- Publication number
- CN113312907A CN113312907A CN202110678981.5A CN202110678981A CN113312907A CN 113312907 A CN113312907 A CN 113312907A CN 202110678981 A CN202110678981 A CN 202110678981A CN 113312907 A CN113312907 A CN 113312907A
- Authority
- CN
- China
- Prior art keywords
- preset
- vector
- relation
- neural network
- structural feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了基于混合神经网络的远程监督关系抽取方法及装置,方法包括:将获取到的目标文本语句转换成预置语句向量;采用预置混合神经网络模型根据预置语句向量提取结构特征向量,预置混合神经网络模型包括预置Bi‑GRU网络和预置PCNN网络;基于结构特征向量计算目标文本语句对预置种子样本关系的支持度,支持度包括语义相似度和关系相似度;从降序排列的支持度中选取对应预置数量的结构特征向量进行组合,得到组合特征向量;根据组合特征向量进行预置关系概率计算,得到最佳正实例。本申请解决了现有技术对人工标注语料的依赖性较强,或者受噪声样本影响较大,导致关系抽取效果较差的技术问题。
Description
技术领域
本申请涉及文本关系抽取技术领域,尤其涉及基于混合神经网络的远程监督关系抽取方法及装置。
背景技术
随着企业的不断壮大发展,其供应链也日益变得复杂和庞大,单纯依赖于人力管理的方法已难以保证供应链管理质量,原因在于:一是供应链难以对市场的变化做出快速响应,二是供应链中存在的结构化和非结构化数据蕴含着大量知识,仅依靠有限的人力无法被充分挖掘利用。因此,有必要建立一个供应链知识库,不仅可以为管理人员提供决策参考,提高供应链响应速度,还可以充分挖掘供应链隐含的知识,提高供应链管理质量。
关系抽取是供应链信息抽取的子任务之一,其主要任务是识别出供应链文本中实体间的关系,并抽取和表达出类似于<实体1,关系类型,实体2>这样的结构数据。关系抽取作为供应链知识库构建的上游技术之一,其抽取的质量决定着供应链知识库的最终质量。目前关系抽取任务中,基于监督的方法因其较高的准确率而受到业界的广泛使用,但基于监督的关系抽取方法对于人工标注语料具有很强的依赖性。
为了降低这种人工标注语料的依赖性,远程监督关系抽取方法应运而生,远程监督关系抽取基于一个假设,由于假设性过强,基于远程监督的关系抽取方法的性能严重受制于构建语料过程中的错误引入的噪声样本。
发明内容
本申请提供了基于混合神经网络的远程监督关系抽取方法及装置,用于解决现有技术对人工标注语料的依赖性较强,或者受噪声样本影响较大,导致关系抽取效果较差的技术问题。
有鉴于此,本申请第一方面提供了基于混合神经网络的远程监督关系抽取方法,包括:
将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量;
采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;
基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度;
从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量;
根据所述组合特征向量进行预置关系概率计算,得到最佳正实例。
优选地,所述将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量,包括:
将目标文本语句中的单词映射至预设低维空间,得到词向量;
计算所述词向量中每个单词与预置实体对的相对位置,得到位置向量;
采用自然语言处理工具对所述目标文本语句进行词性分析,得到词性标注向量;
将所述词向量、所述位置向量和所述词性标注向量进行拼接,得到预置语句向量。
优选地,所述采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络,包括:
采用预置Bi-GRU网络提取所述预置语句向量中的上下文信息,得到上下文特征向量;
通过预置PCNN网络提取所述上下文特征向量中的局部结构特征,得到结构特征向量。
优选地,所述基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度,包括:
计算所述结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度;
计算所述结构特征向量与所述预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
优选地,所述从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量,之前还包括:
将所述语义相似度与所述关系相似度进行点乘,得到支持度得分;
将所述支持度得分进行降序排列,得到所述降序排列的支持度。
优选地,所述根据所述组合特征向量进行预置关系概率计算,得到最佳正实例,包括:
根据所述组合特征向量和预置参数计算预置关系概率;
选取最大的所述预置关系概率对应的文本关系作为最佳正实例。
本申请第二方面提供了基于混合神经网络的远程监督关系抽取装置,包括:
向量转换模块,用于将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量;
特征提取模块,用于采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;
第一计算模块,用于基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度;
特征选取模块,用于从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量;
第二计算模块,用于根据所述组合特征向量进行预置关系概率计算,得到最佳正实例。
优选地,所述向量转换模块,包括:
低维映射子模块,用于将目标文本语句中的单词映射至预设低维空间,得到词向量;
位置计算子模块,用于计算所述词向量中每个单词与预置实体对的相对位置,得到位置向量;
词性分析子模块,用于采用自然语言处理工具对所述目标文本语句进行词性分析,得到词性标注向量;
向量拼接子模块,用于将所述词向量、所述位置向量和所述词性标注向量进行拼接,得到预置语句向量。
优选地,所述特征提取模块,包括:
上下文特征提取子模块,用于采用预置Bi-GRU网络提取所述预置语句向量中的上下文信息,得到上下文特征向量;
结构特征提取子模块,用于通过预置PCNN网络提取所述上下文特征向量中的局部结构特征,得到结构特征向量。
优选地,所述第一计算模块,包括:
语义相似计算子模块,用于计算所述结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度;
关系相似计算子模块,用于计算所述结构特征向量与所述预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请中,提供了基于混合神经网络的远程监督关系抽取方法,包括:将获取到的目标文本语句转换成预置语句向量,预置语句向量包括词向量、位置向量和词性标注向量;采用预置混合神经网络模型根据预置语句向量提取结构特征向量,预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;基于结构特征向量计算目标文本语句对预置种子样本关系的支持度,支持度包括语义相似度和关系相似度;从降序排列的支持度中选取对应预置数量的结构特征向量进行组合,得到组合特征向量;根据组合特征向量进行预置关系概率计算,得到最佳正实例。
本申请提供的基于混合神经网络的远程监督关系抽取方法,采用混合神经网络模型提取语句向量的结构特征向量,其中的预置Bi-GRU网络可以提取到句子上下文信息,而预置PCNN网络则可以提取到句子中两个实体之间的结构信息,综合处理得到的结构特征向量能更加准确的反映文本单词之间的关系,不需要人工构建句子特征;基于语义相似度和关系相似度对特征向量进行选取组合能够一定程度上减少噪声对句子特征的影响。因此,本申请能够解决现有技术对人工标注语料的依赖性较强,或者受噪声样本影响较大,导致关系抽取效果较差的技术问题。
附图说明
图1为本申请实施例提供的基于混合神经网络的远程监督关系抽取方法的一个流程示意图;
图2为本申请实施例提供的基于混合神经网络的远程监督关系抽取方法的另一个流程示意图;
图3为本申请实施例提供的基于混合神经网络的远程监督关系抽取装置的结构示意图;
图4为本申请实施例提供的基于混合神经网络的远程监督关系抽取的网络模型结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
申请人发现,远程监督关系抽取是基于这样一个假设:如果两个实体之间存在知识库中的某种关系,则含有这个实体对的句子或多或少都表达了这种关系。通过这个假设从大规模文本中自动抽取知识库中存在的关系的正实例,从而避免了人工标注语料,解决大数据量关系抽取时训练语料匮乏的问题。基于此,本申请提出了基于混合神经网络的远程监督关系抽取。
为了便于理解,请参阅图1,本申请提供的基于混合神经网络的远程监督关系抽取方法的实施例一,包括:
步骤101、将获取到的目标文本语句转换成预置语句向量,预置语句向量包括词向量、位置向量和词性标注向量。
转换操作就是将目标文本语句从不同方面进行向量表达,例如词向量、位置向量和词性标注向量等。向量表达便于后续的模型进行特征提取,不同的向量能够反映文本语句不同的特点,有助于提升关系抽取的准确率。
步骤102、采用预置混合神经网络模型根据预置语句向量提取结构特征向量,预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络。
预置Bi-GRU(Bidirection-GatedRecurrentUnits)网络可以看作是一种简化的双向LSTM网络,用于提取文本语句的上下文信息,得到上下文特征向量,关注的是上下文的单词关系。
预置PCNN(Piecewise-CNN)网络,通过对卷积层进行分段最大池化,以更好的捕捉文本中实体间的结构信息。本实施例中通过预置PCNN网络提取文本语句的结构特征信息,规范特征向量。
步骤103、基于结构特征向量计算目标文本语句对预置种子样本关系的支持度,支持度包括语义相似度和关系相似度。
预置种子样本关系是从大规模文本中自动抽取知识库中存在的关系,作为参考基准,为了避免噪声对文本特征向量的影响,增加支持度进行筛选;保障关系归类过程的可靠性。
步骤104、从降序排列的支持度中选取对应预置数量的结构特征向量进行组合,得到组合特征向量。
降序排列后第一个支持度为最大得分的结构特征向量,选取的预置数量是根据支持度由大到小的排序进行选择,预置数量可以根据需要进行设定,合理即可。
步骤105、根据组合特征向量进行预置关系概率计算,得到最佳正实例。
预置关系概率实质是指组合特征向量在预设的一些参数下归为某类种子样本关系的概率,概率越大,归类可能性越大,因此,最大的预置关系概率对应的文本关系即为最佳正实例。
本申请实施例提供的基于混合神经网络的远程监督关系抽取方法,采用混合神经网络模型提取语句向量的结构特征向量,其中的预置Bi-GRU网络可以提取到句子上下文信息,而预置PCNN网络则可以提取到句子中两个实体之间的结构信息,综合处理得到的结构特征向量能更加准确的反映文本单词之间的关系,不需要人工构建句子特征;基于语义相似度和关系相似度对特征向量进行选取组合能够一定程度上减少噪声对句子特征的影响。因此,本申请实施例能够解决现有技术对人工标注语料的依赖性较强,或者受噪声样本影响较大,导致关系抽取效果较差的技术问题。
以上为本申请提供的基于混合神经网络的远程监督关系抽取方法的一个实施例,以下为本申请提供的基于混合神经网络的远程监督关系抽取方法的另一个实施例。
为了便于理解,请参阅图2,本申请提供了基于混合神经网络的远程监督关系抽取方法的实施例二,包括:
步骤201、将目标文本语句中的单词映射至预设低维空间,得到词向量。
定义目标文本语句集合为T1={s1,s2,......,sn},且这些句子包含有同一个预置实体对<e1,e2>,采用word2vec模型将集合中的每一个语句的单词映射到维度为dw的低维空间,得到句子中每个单词的词向量。
步骤202、计算词向量中每个单词与预置实体对的相对位置,得到位置向量。
针对目标文本语句集合T1={s1,s2,......,sn}中的每一个语句,计算句子中每一个单词到实体对<e1,e2>的相对位置,这个相对位置指的是当前单词分别到实体e1和实体e2的位置信息,将得到的位置信息映射为维度为dp的位置向量。
步骤203、采用自然语言处理工具对目标文本语句进行词性分析,得到词性标注向量。
针对目标文本语句集合T1={s1,s2,......,sn}中的每一个语句,利用自然语言处理工具对目标文本句子进行词性分析,即记录每个词的词性特征,本实施例采用哈工大语义分析器LTP对语句进行标注,并将词性特征向量以维度为ds的one-hot向量表示,即词性标注向量。
步骤204、将词向量、位置向量和词性标注向量进行拼接,得到预置语句向量。
将句子的词向量、位置向量和词性标注向量进行拼接,即可得到每条目标文本语句对应的预置语句向量;T2={X1,X2,......,Xn},其中,Xi∈Rm×d,d=dw+dp+ds,m为语句长度。
步骤205、采用预置Bi-GRU网络提取预置语句向量中的上下文信息,得到上下文特征向量。
将单个预置语句向量作为预置Bi-GRU网络的输入,通过预置Bi-GRU网络对句子上下文特征信息进行提取,得到上下文信息特征的序列h={h1,h2,......,hm},即上下文特征向量。具体的GRU网络的状态更新方式可以表达为:
zt=σ(wxzxt+whzht-1+bz)
rt=σ(wxrxt+whrht-1+br)
其中,σ为sigmoid函数,xt为t时刻输入,br为偏移参数,所有w均为权重系数,ht-1为t-1时刻隐藏状态的输入,为候选隐藏状态,为Hadamard积,zt为更新门,rt为重置门,两者共同决定ht的输出。
步骤206、通过预置PCNN网络提取上下文特征向量中的局部结构特征,得到结构特征向量。
预置PCNN网络中定义多个卷积核,通过对滑动窗口内的向量进行卷积操作,以达到提取语句的局部结构特征的效果,卷积公式为:
cij=wiqj+l-1:j+bi,1≤i≤m,1≤j≤m+l-1
其中,l为卷积核高度,m为卷积核数量。最终卷积层输出的特征矩阵为C={c1,c2,......,cm}∈Rm×(m+l-1)。
为了能够更加细腻的捕捉语句中两个实体之间的结构信息,可以采用最大池化进一步提取主要特征,规范特征向量,以头实体和尾实体为界,将每个卷积向量ci分为三段,即ci={ci1,ci2,ci3},分别对每段进行最大池化处理,最大池化操作的公式可以表达为:
pij=max(cij),1≤i≤m,1≤j≤3
得到池化向量pi={pi1,pi2,pi3}。对所有pi进行拼接后得到向量p1:m,再经过给线性函数tanh运算得到语句X对应的最终输出向量V,即结构特征向量,T3={V1,V2,......,Vn}。
步骤207、计算结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度。
计算每个语句对应结构特征向量与预置种子样本关系之间的余弦相似度l,并利用softmax函数进行归一化,可以得到每个句子的语义相似度α,举例说明,衡量结构特征向量Vi与预置种子样本关系S的语义相似度的公式为:
步骤208、计算结构特征向量与预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
计算每个语句对应结构特征向量与预置种子样本关系之间的关系相似值t,并利用softmax函数进行归一化,可以得到每个句子的关系相似度β,举例说明,衡量结构特征向量Vi与预置种子样本关系R的语义相似度的公式为:
其中,A为加权对角矩阵,z为关系R的向量表示。
步骤209、将语义相似度与关系相似度进行点乘,得到支持度得分。
步骤210、将支持度得分进行降序排列,得到降序排列的支持度。
将语义相似度α与关系相似度β的乘积α·β作为支持度得分对语句进行评价,得分高的语句则为更能表达实体对之间的种子关系,按照得分由高到低排序,可以降序排序列的支持度对应的结构特征向量T4={V′1,V′2,......,V′n}。
步骤211、从降序排列的支持度中选取对应预置数量的结构特征向量进行组合,得到组合特征向量。
根据排序,从支持度得分最高开始递增地组合预置数量的结构特征向量,生成组合特征向量:
步骤212、根据组合特征向量和预置参数计算预置关系概率。
计算组合特征向量gi在预置参数θ下归类为种子样本关系r的预置关系概率的过程可以表达为:
步骤213、选取最大的预置关系概率对应的文本关系作为最佳正实例。
最大的预置关系概率可以表达为:
g=argmax(r|gi;θ),1≤i≤n
选取最大预置关系概率对应的文本关系作为最佳正实例即可。
本实施例中的整个模型使用交叉函数作为目标函数:
本申请实施例提供的基于混合神经网络的远程监督关系抽取方法,采用混合神经网络模型提取语句向量的结构特征向量,其中的预置Bi-GRU网络可以提取到句子上下文信息,而预置PCNN网络则可以提取到句子中两个实体之间的结构信息,综合处理得到的结构特征向量能更加准确的反映文本单词之间的关系,不需要人工构建句子特征;基于语义相似度和关系相似度对特征向量进行选取组合能够一定程度上减少噪声对句子特征的影响。因此,本申请实施例能够解决现有技术对人工标注语料的依赖性较强,或者受噪声样本影响较大,导致关系抽取效果较差的技术问题。
为了便于理解,请参阅图3,本申请还提供了基于混合神经网络的远程监督关系抽取装置的实施例,包括:
向量转换模块301,用于将获取到的目标文本语句转换成预置语句向量,预置语句向量包括词向量、位置向量和词性标注向量;
特征提取模块302,用于采用预置混合神经网络模型根据预置语句向量提取结构特征向量,预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;
第一计算模块303,用于基于结构特征向量计算目标文本语句对预置种子样本关系的支持度,支持度包括语义相似度和关系相似度;
特征选取模块304,用于从降序排列的支持度中选取对应预置数量的结构特征向量进行组合,得到组合特征向量;
第二计算模块305,用于根据组合特征向量进行预置关系概率计算,得到最佳正实例。
进一步地,向量转换模块301,包括:
低维映射子模块3011,用于将目标文本语句中的单词映射至预设低维空间,得到词向量;
位置计算子模块3012,用于计算词向量中每个单词与预置实体对的相对位置,得到位置向量;
词性分析子模块3013,用于采用自然语言处理工具对目标文本语句进行词性分析,得到词性标注向量;
向量拼接子模块3014,用于将词向量、位置向量和词性标注向量进行拼接,得到预置语句向量。
进一步地,特征提取模块302,包括:
上下文特征提取子模块3021,用于采用预置Bi-GRU网络提取预置语句向量中的上下文信息,得到上下文特征向量;
结构特征提取子模块3022,用于通过预置PCNN网络提取上下文特征向量中的局部结构特征,得到结构特征向量。
进一步地,第一计算模块303,包括:
语义相似计算子模块3031,用于计算结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度;
关系相似计算子模块3032,用于计算结构特征向量与预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
以上为本申请提供的基于混合神经网络的远程监督关系抽取方法的一个实施例,以下为本申请提供的基于混合神经网络的远程监督关系抽取装置的一个实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以通过一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:RandomAccess Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.基于混合神经网络的远程监督关系抽取方法,其特征在于,包括:
将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量;
采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;
基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度;
从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量;
根据所述组合特征向量进行预置关系概率计算,得到最佳正实例。
2.根据权利要求1所述的基于混合神经网络的远程监督关系抽取方法,其特征在于,所述将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量,包括:
将目标文本语句中的单词映射至预设低维空间,得到词向量;
计算所述词向量中每个单词与预置实体对的相对位置,得到位置向量;
采用自然语言处理工具对所述目标文本语句进行词性分析,得到词性标注向量;
将所述词向量、所述位置向量和所述词性标注向量进行拼接,得到预置语句向量。
3.根据权利要求1所述的基于混合神经网络的远程监督关系抽取方法,其特征在于,所述采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络,包括:
采用预置Bi-GRU网络提取所述预置语句向量中的上下文信息,得到上下文特征向量;
通过预置PCNN网络提取所述上下文特征向量中的局部结构特征,得到结构特征向量。
4.根据权利要求1所述的基于混合神经网络的远程监督关系抽取方法,其特征在于,所述基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度,包括:
计算所述结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度;
计算所述结构特征向量与所述预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
5.根据权利要求1所述的基于混合神经网络的远程监督关系抽取方法,其特征在于,所述从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量,之前还包括:
将所述语义相似度与所述关系相似度进行点乘,得到支持度得分;
将所述支持度得分进行降序排列,得到所述降序排列的支持度。
6.根据权利要求1所述的基于混合神经网络的远程监督关系抽取方法,其特征在于,所述根据所述组合特征向量进行预置关系概率计算,得到最佳正实例,包括:
根据所述组合特征向量和预置参数计算预置关系概率;
选取最大的所述预置关系概率对应的文本关系作为最佳正实例。
7.基于混合神经网络的远程监督关系抽取装置,其特征在于,包括:
向量转换模块,用于将获取到的目标文本语句转换成预置语句向量,所述预置语句向量包括词向量、位置向量和词性标注向量;
特征提取模块,用于采用预置混合神经网络模型根据所述预置语句向量提取结构特征向量,所述预置混合神经网络模型包括预置Bi-GRU网络和预置PCNN网络;
第一计算模块,用于基于所述结构特征向量计算所述目标文本语句对预置种子样本关系的支持度,所述支持度包括语义相似度和关系相似度;
特征选取模块,用于从降序排列的所述支持度中选取对应预置数量的所述结构特征向量进行组合,得到组合特征向量;
第二计算模块,用于根据所述组合特征向量进行预置关系概率计算,得到最佳正实例。
8.根据权利要求7所述的基于混合神经网络的远程监督关系抽取装置,其特征在于,所述向量转换模块,包括:
低维映射子模块,用于将目标文本语句中的单词映射至预设低维空间,得到词向量;
位置计算子模块,用于计算所述词向量中每个单词与预置实体对的相对位置,得到位置向量;
词性分析子模块,用于采用自然语言处理工具对所述目标文本语句进行词性分析,得到词性标注向量;
向量拼接子模块,用于将所述词向量、所述位置向量和所述词性标注向量进行拼接,得到预置语句向量。
9.根据权利要求7所述的基于混合神经网络的远程监督关系抽取装置,其特征在于,所述特征提取模块,包括:
上下文特征提取子模块,用于采用预置Bi-GRU网络提取所述预置语句向量中的上下文信息,得到上下文特征向量;
结构特征提取子模块,用于通过预置PCNN网络提取所述上下文特征向量中的局部结构特征,得到结构特征向量。
10.根据权利要求7所述的基于混合神经网络的远程监督关系抽取装置,其特征在于,所述第一计算模块,包括:
语义相似计算子模块,用于计算所述结构特征向量与预置种子样本关系之间的余弦相似度,并进行归一化处理,得到语义相似度;
关系相似计算子模块,用于计算所述结构特征向量与所述预置种子样本关系之间的关系相似值,并进行归一化处理,得到关系相似度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110678981.5A CN113312907B (zh) | 2021-06-18 | 2021-06-18 | 基于混合神经网络的远程监督关系抽取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110678981.5A CN113312907B (zh) | 2021-06-18 | 2021-06-18 | 基于混合神经网络的远程监督关系抽取方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113312907A true CN113312907A (zh) | 2021-08-27 |
CN113312907B CN113312907B (zh) | 2023-01-20 |
Family
ID=77379336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110678981.5A Active CN113312907B (zh) | 2021-06-18 | 2021-06-18 | 基于混合神经网络的远程监督关系抽取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113312907B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113869056A (zh) * | 2021-10-14 | 2021-12-31 | 国网电子商务有限公司 | 一种基于远程监督的关系抽取方法及装置 |
CN115600595A (zh) * | 2022-08-25 | 2023-01-13 | 江南大学(Cn) | 一种实体关系抽取方法、系统、设备及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180196881A1 (en) * | 2017-01-06 | 2018-07-12 | Microsoft Technology Licensing, Llc | Domain review system for identifying entity relationships and corresponding insights |
CN108733792A (zh) * | 2018-05-14 | 2018-11-02 | 北京大学深圳研究生院 | 一种实体关系抽取方法 |
CN109635124A (zh) * | 2018-11-30 | 2019-04-16 | 北京大学 | 一种结合背景知识的远程监督关系抽取方法 |
CN110502749A (zh) * | 2019-08-02 | 2019-11-26 | 中国电子科技集团公司第二十八研究所 | 一种基于双层注意力机制与双向gru的文本关系抽取方法 |
CN111241303A (zh) * | 2020-01-16 | 2020-06-05 | 东方红卫星移动通信有限公司 | 一种大规模非结构化文本数据的远程监督关系抽取方法 |
CN111324743A (zh) * | 2020-02-14 | 2020-06-23 | 平安科技(深圳)有限公司 | 文本关系抽取的方法、装置、计算机设备及存储介质 |
CN111737552A (zh) * | 2020-06-04 | 2020-10-02 | 中国科学院自动化研究所 | 训练信息抽取模型和获取知识图谱的方法、装置和设备 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
-
2021
- 2021-06-18 CN CN202110678981.5A patent/CN113312907B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180196881A1 (en) * | 2017-01-06 | 2018-07-12 | Microsoft Technology Licensing, Llc | Domain review system for identifying entity relationships and corresponding insights |
CN108733792A (zh) * | 2018-05-14 | 2018-11-02 | 北京大学深圳研究生院 | 一种实体关系抽取方法 |
CN109635124A (zh) * | 2018-11-30 | 2019-04-16 | 北京大学 | 一种结合背景知识的远程监督关系抽取方法 |
CN110502749A (zh) * | 2019-08-02 | 2019-11-26 | 中国电子科技集团公司第二十八研究所 | 一种基于双层注意力机制与双向gru的文本关系抽取方法 |
CN111241303A (zh) * | 2020-01-16 | 2020-06-05 | 东方红卫星移动通信有限公司 | 一种大规模非结构化文本数据的远程监督关系抽取方法 |
CN111324743A (zh) * | 2020-02-14 | 2020-06-23 | 平安科技(深圳)有限公司 | 文本关系抽取的方法、装置、计算机设备及存储介质 |
CN111737552A (zh) * | 2020-06-04 | 2020-10-02 | 中国科学院自动化研究所 | 训练信息抽取模型和获取知识图谱的方法、装置和设备 |
CN112163426A (zh) * | 2020-09-30 | 2021-01-01 | 中国矿业大学 | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 |
CN112800776A (zh) * | 2021-03-10 | 2021-05-14 | 湖北工业大学 | 双向gru关系抽取数据处理方法、系统、终端、介质 |
Non-Patent Citations (4)
Title |
---|
YANKAI LIN ET.AL: "Neural Relation Extraction with Selective Attention over Instances", 《PROCEEDINGS OF THE 54TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS》 * |
刘洋: "一种基于语义相关度的特征选择方法", 《网络安全技术与应用》 * |
王明波等: "基于双向GRU和PCNN的人物关系抽取", 《电子设计工程》 * |
袁红阳: "基于远程监督的关系抽取方法研究", 《万方数据硕士学位论文》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113869056A (zh) * | 2021-10-14 | 2021-12-31 | 国网电子商务有限公司 | 一种基于远程监督的关系抽取方法及装置 |
CN115600595A (zh) * | 2022-08-25 | 2023-01-13 | 江南大学(Cn) | 一种实体关系抽取方法、系统、设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113312907B (zh) | 2023-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111897908B (zh) | 融合依存信息和预训练语言模型的事件抽取方法及系统 | |
CN110245229B (zh) | 一种基于数据增强的深度学习主题情感分类方法 | |
WO2021174757A1 (zh) | 语音情绪识别方法、装置、电子设备及计算机可读存储介质 | |
WO2019153737A1 (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
CN107590177B (zh) | 一种结合监督学习的中文文本分类方法 | |
CN110232395B (zh) | 一种基于故障中文文本的电力系统故障诊断方法 | |
CN110222178A (zh) | 文本情感分类方法、装置、电子设备及可读存储介质 | |
CN112364638B (zh) | 一种基于社交文本的人格识别方法 | |
KR20200127020A (ko) | 의미 텍스트 데이터를 태그와 매칭시키는 방법, 장치 및 명령을 저장하는 컴퓨터 판독 가능한 기억 매체 | |
CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
Zhou et al. | Sentiment analysis of text based on CNN and bi-directional LSTM model | |
CN111475622A (zh) | 一种文本分类方法、装置、终端及存储介质 | |
CN113312907B (zh) | 基于混合神经网络的远程监督关系抽取方法及装置 | |
CN113434683B (zh) | 文本分类方法、装置、介质及电子设备 | |
CN115952292B (zh) | 多标签分类方法、装置及计算机可读介质 | |
CN115481219A (zh) | 一种基于语法序列嵌入模型的售电公司评价情感分类方法 | |
CN111611375B (zh) | 一种基于深度学习和转折关系的文本情感分类方法 | |
Assawinjaipetch et al. | Recurrent neural network with word embedding for complaint classification | |
CN115758218A (zh) | 一种基于长短时特征和决策融合的三模态情感分析方法 | |
CN113342964B (zh) | 一种基于移动业务的推荐类型确定方法及系统 | |
CN114676699A (zh) | 实体情感分析方法、装置、计算机设备和存储介质 | |
CN115269833A (zh) | 基于深度语义和多任务学习的事件信息抽取方法及系统 | |
US20230121404A1 (en) | Searching for normalization-activation layer architectures | |
CN114595324A (zh) | 电网业务数据分域的方法、装置、终端和非暂时性存储介质 | |
CN110766073B (zh) | 一种强化主题注意力机制的移动应用分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |