CN109918671A - 基于卷积循环神经网络的电子病历实体关系抽取方法 - Google Patents
基于卷积循环神经网络的电子病历实体关系抽取方法 Download PDFInfo
- Publication number
- CN109918671A CN109918671A CN201910184951.1A CN201910184951A CN109918671A CN 109918671 A CN109918671 A CN 109918671A CN 201910184951 A CN201910184951 A CN 201910184951A CN 109918671 A CN109918671 A CN 109918671A
- Authority
- CN
- China
- Prior art keywords
- vector
- sentence
- word
- health record
- electronic health
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于卷积循环神经网络的电子病历实体关系抽取方法,该方法包括:利用数据构造器对自然语句进行重新构造得到多维层次序列;采用向量表示技术将多维层次序列映射为输入特征向量;采用卷积循环神经网络ConvLSTM同时捕捉语句的局部与全局语义信息,得到上层句子向量;采用两级注意力机制捕获与语义关系紧密关联的文本内容,获得高级别句子向量,以解决多实例误标签的问题;根据获取到的高级别句子向量进行关系判定,得到预测标签。本发明不依赖任何外部资源特征,仅通过数据重构与改进网络模型框架的方式以提升实体关系抽取性能。同时该发明的方法可以扩展到其他具有特征提取不充分与样本不均衡等问题的任务中。
Description
技术领域
本发明属于自然语言处理技术领域,尤指一种基于卷积循环神经网络的电子病历实体关系抽取方法。
背景技术
随着医疗信息化的大力推进,对于医疗数据的结构化信息提取变得尤为重要。电子病历作为医疗领域中一种主要数据来源,从中提取出结构化信息是实现医疗信息化的一个重要途径,且有助于医疗知识图谱的构建与电子病历的二次研究使用。实体关系抽取作为电子病历结构化信息抽取的核心任务之一,其任务是从给定的电子病历文本中自动地识别出给定的实体对间存在怎样的语义关系。
传统的电子病历实体关系抽取方法主要是基于规则的模板匹配法与基于特征的统计学习方法。其中,基于规则的方法首先根据相应领域的文本语料,人工总结归纳出相应的规则模板,然后通过模板匹配的方法进行实体关系抽取。而基于特征的统计学习方法则首先根据经验,人工提取出各种词法与句法特征,然后将特征转换为向量表示,最后通过计算特征向量之间的相似度来进行实体关系抽取。虽然这些方法在某些情况下可以取得较好的抽取结果,但严重依赖于手工制作的规则模板与特征的质量,泛化能力差,且需要消耗大量的人力以设计合适模板或特征。近年来,神经网络因其具有强大的特征学习能力,且无需专门的手工工程与语义工程,故在自然语言处理领域广泛使用并取得了较大的进展。
通过对现有的专利及相关技术的检索发现,现有的基于神经网络的电子病历实体关系抽取方法有:
(1)黄亦谦.电子病历实体关系抽取方法及装置,CN106446526A[P].2016.
提出了一种电子病历实体关系抽取的方法及装置。首先通过卷积神经网络与词向量化表示,获取电子病历自然语句映射后的矩阵。然后将测试的电子病历自然语句输入到已训练的模型中进行关系预测。
(2)李智,杨金山,李健.基于BLSTM和注意力机制的电子病历实体关系抽取方法,CN108536754A[P].2018.
提出了一种基于双向LSTM与注意力机制的电子病历实体抽取方法。首先利用词本身、词到实体对的相对距离与词类型标签作为输入特征,并将其映射为向量表示。然后利用双向LSTM网络将基本特征向量编码为上层向量,并引入注意力机制以捕获表征实体关系的重要文本。
虽然现存的基于神经网络的电子病历关系抽取方法可以一定程度上避免对手工特征的依赖,但却存在神经网络无法很好表征语句内部特征的问题。对于关系抽取任务,卷积神经网络与循环神经网络有其各自的优势,其中卷积神经网络主要用于提取文本局部短语特征,而循环神经网络可以学习到文本的长期依赖性,能够更好的表征文本的语义信息。电子病历因其领域的特殊性,存在语句长度分布不均、关系样本不均衡以及语句中包含多实体等现象,故需采用一种模型以捕捉更多的语句内部特征。基于此,本发明采用一种基于卷积循环神经网络ConvLSTM的关系抽取框架,以同时捕获到语句的局部上下文特征与全局语义特征。除此之外,为提升模型的抽取性能,引入了基于两级注意力机制,以捕捉到与其语义关系密切相关的文本内容。
发明内容
本发明的目的是为了解决因电子病历语句长度分布不均、关系样本类不均衡以及语句中包含多个实体等现象导致的抽取效果不佳的问题,同时避免对任何外部资源特征的依赖。本发明提出了一种基于卷积循环神经网络的电子病历实体关系抽取方法。该方法采用卷积循环神经网络ConvLSTM同时捕获到文本的局部上下文特征与全局语义特征,并利用两级注意力机制以捕获到与其语义关系密切相关的文本内容。
基于卷积循环神经网络的电子病历实体关系抽取方法,包括以下步骤:
S1、利用数据构造器将电子病历自然语句进行重新构造,将电子病历自然语句由原本的一维序列转变为多维层次序列X,所述数据构造器的定义是:采用一个固定大小的滑动窗口来切分句子以构造具有相关性的多维层次序列X;
S2、采用向量表示技术,将多维层次序列X向量化,得到输入特征向量X*,即:将电子病历自然语句中的每个词映射为一个由词向量与位置向量拼接而成的低维向量;
S3、采用卷积循环神经网络ConvLSTM从输入特征向量X*中直接学习到文本语句的局部上下文信息与全局语义信息,得到上层句子向量H;
S4、采用两级注意力机制,从上层句子向量H中获取到有助于正确关系预测的高级别句子向量rs;
S5、根据获取到的高级别句子向量rs进行关系判定,得到预测标签。
可选地,所述步骤S1的具体方法为:令数据构造器的滑动窗口值为ω,滑动步长为Δ,对包含n个词的句子S={x1,x2,…,xn},重新构造后获得多维层次序列X:
X中每一个行向量代表一个序列片段。
可选地,所述步骤S2的具体方法为:
S21、词向量:将每个词xi转换成一个低维实值向量每个词的词向量由词嵌入矩阵中的一个向量编码表示,其中dw是词向量的维度,V是固定大小的输入词表;
S22、位置向量:将每个词距实体1(或实体2)的距离映射为位置特征空间上一个随机初始化的位置向量,其中dp代表位置向量的维度,对于任意单词xi,具有两个位置向量
S23、将词向量与位置向量进行拼接,获得输入单词特征向量其中wi∈Rd,d=dw+2dp,(·)T表示矩阵向量的转置;
对于输入的多维层次序列X,经向量表示后,获得输入特征向量k表示序列片段的数量。
可选地,所述步骤S3的具体方法为:所述ConvLSTM网络通过卷积操作(*)获取局部信息,利用输入门it、遗忘门ft和输出门ot控制信息流,信息流包括当前输入状态先前隐藏状态ht-1和先前候选状态ct-1,t代表第t个序列片段;输入门it的计算方式为:
其中σ(·)代表sigmoid函数,表示Hadamard乘积,Wxi、Whi、Wci为输入门it中需要学习的权重矩阵,bi表示输入门it中的偏置向量;
同样地,遗忘门ft与输出门ot的计算方式分别为:
其中Wxf、Whf、Wcf为遗忘门ft中需要学习的权重矩阵,bh表示遗忘门ft中的偏置向量,Wxo、Who、Wco为输出门ot中需要学习的权重矩阵,bo表示输出门ot中的偏置向量;
之后可获得当前时刻的候选状态ct,具体计算方式为:
tanh(·)代表双曲正切函数,Wxc、Whc为当前候选状态ct中需要学习的权重矩阵,bc表示当前候选状态ct中的偏置向量;
最后,通过将非线性变换后的当前候选状态ct与输出门ot进行Hadamard乘积操作,得到当前时刻的隐藏状态输出ht:
经过ConvLSTM网络后,得到上层句子向量H={h1,h2,h3,...,hk}。
可选地,所述步骤S4的具体方法为:对于步骤S3中ConvLSTM层的输出的上层句子向量H={h1,h2,h3,...,hk},在每一个隐藏状态输出ht(第t个序列片段的向量表示)内部做单词向量的线性加权,获得新的向量表示
Wt α表示模型参数向量,αt表示第t个序列片段中每个词所对应的权重向量;
经过一级注意力操作后得到新的句子向量表示
将序列片段与语义关系r进行匹配:
其中A是一个加权对角矩阵,et用于表示第t个序列片段和关系r的匹配程度,βt表示第t个序列片段所对应的权重,通过对每个序列片段进行加权汇总,得到最终的高级别句子向量rs:
可选地,所述步骤S5的具体方法为:采用由m个节点组成的全连接层以从高级别句子向量rs中获取分类器,m对应关系类型的数量,之后应用softmax分类器以获得每个关系类的条件概率,并获得预测关系
P(y|L,θ)=softmax(Wlrs+bl)
其中θ表示所提出模型的所有参数,Wl和bl是全连接层所对应的权重矩阵和偏置向量;
使用真实关系和预测关系的交叉熵作为目标函数:
其中,第一项是经验风险,第二项是正则化项;ti∈{0,1}表示第i类关系的真实标签;yi是预测为第i类关系的概率;λ是L2正则化的超参数,用于调整经验风险和正则化之间的关系以平衡经验风险与模型复杂度。
与现有技术相比,本发明的优点和效果为:
1、本发明不依赖于任何人工抽取的外部特征,避免了研究人员在特征提取上消耗的时间与精力;
2、通过数据重构,可以解决样本分布不均导致的少数类关系抽取效果差的问题;
3、采用单层的ConvLSTM网络可以直接学习到文本序列的局部上下文信息与全局语义信息,可以替代CNN+RNN的双层网络模型,从而减少网络深度;
4、采用两级注意力机制可以解决文本信息分散导致的特征提取不佳问题。
通过实验证明,相较于现有的实体关系抽取技术,本发明提出的方法可以明显提升模型的预测抽取性能。
附图说明
图1为本发明中数据构造器结构示意图;
图2为本发明中实体关系抽取框架示意图。
具体实施方式
下面将结合附图实施例,对本发明的技术方案进行清楚、完整地描述,以便本领域的技术人员能够更好地理解本发明。
本发明提出的基于卷积循环神经网络的电子病历实体关系抽取方法,包括以下步骤:
S1、采用数据构造器进行语句重构,获取多维层次序列:
首先,从电子病历文档中抽取出包含两个及以上实体的句子,每两个实体构造一个关系预测实例;
在图像领域,有许多优秀的神经网络模型,但由于输入数据形式不同的限制,这些模型很难用于自然语言处理领域以发挥其独特的优势;本发明提出构建数据构造器的思想,以解除输入数据形式不同的限制,如附图1所示;
在实体关系抽取任务中,为反映单词和上下文的相关性,这里所使用的数据构造器采用一个固定大小的滑动窗口切分句子以构造具有相关性的层次序列;这种操作可以还原人们在书写句子时只关注当前单词之前的几个词的习惯,并能够有助于神经网络更好地学习句子的语义表示;对于包含n个词的句子S={x1,x2,…,xn},通过一个值为ω的滑动窗口对句子进行重新划分,滑动步长为Δ,故可得到递进的多维层次序列X:
X中每一个行向量代表一个序列片段;
S2、特征向量化,得到输入特征向量:
(1)词向量,我们将每个词xi转换成一个低维实值向量每个词的词向量由词嵌入矩阵中的一个向量编码表示,其中dw是词向量的维度,V是固定大小的输入词表;
(2)位置向量,利用单词位置特征来以捕获单词与目标实体的接近度信息;对于给定的由n个词组成的句子S={x1,x2,…,xn},单词xi到目标实体ej的距离为:
其中pi与分别表示单词xi与实体ej在句子S中的所处位置;
之后,将每个相对位置映射为位置特征空间上一个随机初始化的位置向量,其中dp代表位置向量的维度,对于任意单词xi,得到两个位置向量
最后,将词向量与位置向量进行拼接形成最终的单词输入特征向量其中wi∈Rd,d=dw+2dp;对于输入的多维层次序列X,经向量表示后,获得为输入特征向量k表示序列片段的数量;
S3、采用ConvLSTM神经网络进行序列建模,获取上层句子向量:
在电子病历中,一个语句通常包含多个实体,且不同关系的样本数量不均衡,本发明采用ConvLSTM网络同时捕捉序列的局部上下文特征与全局语义特征以解决这些问题;ConvLSTM是LSTM的变体,它不仅具有LSTM的时序建模能力,还能像CNN一样捕捉序列的局部特征;其利用输入到状态和状态到状态转换中的卷积操作以获取序列的局部连续信息,并利用与LSTM相同的自适应选通机制,通过输入门it、遗忘门ft和输出门ot控制信息流,以解决远程依赖的问题;信息流包括当前输入状态先前隐藏状态ht-1和先前候选状态ct-1,t代表第t个序列片段;
输入门it的计算方式为:
其中σ(·)代表sigmoid函数,表示Hadamard乘积,Wxi、Whi、Wci为输入门it中需要学习的权重矩阵,bi表示输入门it中的偏置向量;
同样地,遗忘门ft与输出门ot的计算方式分别为:
其中Wxf、Whf、Wcf为遗忘门ft中需要学习的权重矩阵,表示遗忘门ft中的偏置向量,Wxo、Wco为输出门ot中需要学习的权重矩阵,bo表示输出门ot中的偏置向量;
之后可获得当前时刻的候选状态ct,具体计算方式为:
tanh(·)代表双曲正切函数,Wxc、为当前候选状态ct中需要学习的权重矩阵,bc表示当前候选状态ct中的偏置向量;
最后,通过将非线性变换后的当前候选状态ct与输出门ot进行Hadamard乘积操作,得到当前时刻的隐藏状态输出ht:
经过ConvLSTM网络后,得到上层句子向量H={h1,h2,h3,...,hk};
S4、采用两级注意力机制捕获表征实体关系的重要文本内容,获得高级别句子向量:
在一个句子中,确定其存在怎样的语义关系的通常不是一个词或所有词,而是某些词;为捕捉到这些对确定语义关系贡献较大的词,本发明提出采用两级注意力机制以捕捉序列中细微的线索,从而实现更准确的关系抽取,并利用该方法解决少数类关系抽取性能欠佳的问题;需要注意的是,该步的输入H(ConvLSTM网络的输出)是一个三维张量(TIME,ROW,COLUMN),TIME用于指定重构后的序列片段,ROW表示某一序列段中的单词,COLUMN是特定单词的向量表示;我们在TIME和ROW两个维度上采用注意力机制,首先对每个序列片段内部对每一个词进行线性加权,得到最佳的序列片段向量表示,然后在序列片段间采用与语义关系匹配的注意力机制,以汇总所有的序列片段信息;这里,权重代表了当前输出对每个词或序列片段的依赖性,其中“1”表示完全依赖,“0”表示完全独立;对于第t个序列片段ht,经序列片段内部单词的线性加权后,ht被重新表示为
这里,Wt α表示模型参数向量,αt表示第t个序列片段中每个词所对应的权重向量;
经过一级注意力操作后得到新的句子向量表示针对同一句话对应多实例的情况,不同实例所需关注的文本内容是不同的,而所需重点关注的内容又与其所对应的关系密切相关,因此我们通过将序列片段与关系类型进行匹配,从而突显出具体序列片段与其语义关系的相关性,具体计算过程如下:
其中A是一个加权对角矩阵,et用于表示第t个序列片段和关系r的匹配程度,βt表示第t个序列片段所对应的权重,通过对每个序列片段进行加权汇总,得到最终的高级别句子向量rs:
S5、利用网络输出的高级别句子向量进行关系判定,得到预测标签:
为了从高级别的句子向量表示中获取分类器,使用由m个节点组成的全连接层,m对应关系类型的数量,之后应用softmax分类器以获得每个关系类的条件概率,并获得预测关系
P(y|L,θ)=softmax(Wlrs+bl) (12)
其中θ表示所提出模型的所有参数,Wl和bl分别是全连接层对应的权重矩阵和偏置向量;
使用真实关系和预测关系的交叉熵作为目标函数:
这里,第一项是经验风险,第二项是正则化项,ti∈{0,1}表示第i类关系的真实标签(one-hot编码表示),yi是预测为第i类关系的概率,λ是L2正则化的超参数,用于调整经验风险和正则化之间的关系以平衡经验风险与模型复杂度。
Claims (6)
1.基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,包括以下步骤:
S1、利用数据构造器将电子病历自然语句进行重新构造,将电子病历自然语句由原本的一维序列转变为多维层次序列X,所述数据构造器的定义是:采用一个固定大小的滑动窗口来切分句子以构造具有相关性的多维层次序列X;
S2、采用向量表示技术,将多维层次序列X向量化,得到输入特征向量X*,即:将电子病历自然语句中的每个词映射为一个由词向量与位置向量拼接而成的低维向量;
S3、采用卷积循环神经网络ConvLSTM从输入特征向量X*中直接学习到文本语句的局部上下文信息与全局语义信息,得到上层句子向量H;
S4、采用两级注意力机制,从上层句子向量H中获取到有助于正确关系预测的高级别句子向量rs;
S5、根据获取到的高级别句子向量rs进行关系判定,得到预测标签。
2.根据权利要求书1所述的基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,所述步骤S1的具体方法为:
令数据构造器的滑动窗口值为ω,滑动步长为Δ,对包含n个词的句子S={x1,x2,…,xn},重新构造后获得多维层次序列X:
X中每一个行向量代表一个序列片段。
3.根据权利要求书2所述的基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,所述步骤S2的具体方法为:
S21、词向量:将每个词xi转换成一个低维实值向量每个词的词向量由词嵌入矩阵中的一个向量编码表示,其中dw是词向量的维度,V是固定大小的输入词表;
S22、位置向量:将每个词距实体1(或实体2)的距离映射为位置特征空间上一个随机初始化的位置向量,其中dp代表位置向量的维度,对于任意单词xi,具有两个位置向量
S23、将词向量与位置向量进行拼接,获得输入单词特征向量其中wi∈Rd,d=dw+2dp,(·)T表示矩阵向量的转置;
对于输入的多维层次序列X,经向量表示后,获得输入特征向量k表示序列片段的数量。
4.根据权利要求3所述的基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,所述步骤S3的具体方法为:
所述ConvLSTM网络通过卷积操作(*)获取局部信息,利用输入门it、遗忘门ft和输出门ot控制信息流,信息流包括当前输入状态先前隐藏状态ht-1和先前候选状态ct-1,t代表第t个序列片段;输入门it的计算方式为:
其中σ(·)代表sigmoid函数,表示Hadamard乘积,Wxi、Whi、Wci为输入门it中需要学习的权重矩阵,bi表示输入门it中的偏置向量;
同样地,遗忘门ft与输出门ot的计算方式分别为:
其中Wxf、Whf、Wcf为遗忘门ft中需要学习的权重矩阵,bh表示遗忘门ft中的偏置向量,Wxo、Who、Wco为输出门ot中需要学习的权重矩阵,bo表示输出门ot中的偏置向量;
之后可获得当前时刻的候选状态ct,具体计算方式为:
tanh(·)代表双曲正切函数,Wxc、Whc为当前候选状态ct中需要学习的权重矩阵,bc表示当前候选状态ct中的偏置向量;
最后,通过将非线性变换后的当前候选状态ct与输出门ot进行Hadamard乘积操作,得到当前时刻的隐藏状态输出ht:
经过ConvLSTM网络后,得到上层句子向量H={h1,h2,h3,...,hk}。
5.根据权利要求4所述的基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,所述步骤S4的具体方法为:
对于步骤S3中ConvLSTM网络输出的上层句子向量H={h1,h2,h3,...,hk},在每一个隐藏状态输出ht(第t个序列片段的向量表示)内部做单词向量的线性加权,获得新的向量表示
Wt α表示模型参数向量,αt表示第t个序列片段中每个词所对应的权重向量;
经过一级注意力操作后得到新的句子向量表示
将序列片段与语义关系r进行匹配:
其中A是一个加权对角矩阵,et用于表示第t个序列片段和关系r的匹配程度,βt表示第t个序列片段所对应的权重,通过对每个序列片段进行加权汇总,得到最终的高级别句子向量rs:
6.根据权利要求5所述的基于卷积循环神经网络的电子病历实体关系抽取方法,其特征在于,所述步骤S5的具体方法为:
采用由m个节点组成的全连接层以从高级别句子向量rs中获取分类器,m对应关系类型的数量,之后应用softmax分类器以获得每个关系类的条件概率,并获得预测关系
P(y|L,θ)=softmax(Wlrs+bl)
其中θ表示所提出模型的所有参数,Wl和bl是全连接层所对应的权重矩阵和偏置向量;
使用真实关系和预测关系的交叉熵作为目标函数:
其中,第一项是经验风险,第二项是正则化项;ti∈{0,1}表示第i类关系的真实标签;yi是预测为第i类关系的概率;λ是L2正则化的超参数,用于调整经验风险和正则化之间的关系以平衡经验风险与模型复杂度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184951.1A CN109918671B (zh) | 2019-03-12 | 2019-03-12 | 基于卷积循环神经网络的电子病历实体关系抽取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910184951.1A CN109918671B (zh) | 2019-03-12 | 2019-03-12 | 基于卷积循环神经网络的电子病历实体关系抽取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109918671A true CN109918671A (zh) | 2019-06-21 |
CN109918671B CN109918671B (zh) | 2022-12-20 |
Family
ID=66964271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910184951.1A Active CN109918671B (zh) | 2019-03-12 | 2019-03-12 | 基于卷积循环神经网络的电子病历实体关系抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109918671B (zh) |
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110413995A (zh) * | 2019-07-03 | 2019-11-05 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110580340A (zh) * | 2019-08-29 | 2019-12-17 | 桂林电子科技大学 | 一种基于多注意力机制的神经网络关系抽取方法 |
CN110674292A (zh) * | 2019-08-27 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、装置、设备及介质 |
CN110688486A (zh) * | 2019-09-26 | 2020-01-14 | 北京明略软件系统有限公司 | 一种关系分类的方法和模型 |
CN110704890A (zh) * | 2019-08-12 | 2020-01-17 | 上海大学 | 一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法 |
CN111147396A (zh) * | 2019-12-26 | 2020-05-12 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
CN111242113A (zh) * | 2020-01-08 | 2020-06-05 | 重庆邮电大学 | 一种任意方向自然场景文本识别方法 |
CN111291556A (zh) * | 2019-12-17 | 2020-06-16 | 东华大学 | 基于实体义项的字和词特征融合的中文实体关系抽取方法 |
CN111368528A (zh) * | 2020-03-09 | 2020-07-03 | 西南交通大学 | 一种面向医学文本的实体关系联合抽取方法 |
CN111382272A (zh) * | 2020-03-09 | 2020-07-07 | 西南交通大学 | 一种基于知识图谱的电子病历icd自动编码方法 |
CN111402974A (zh) * | 2020-03-06 | 2020-07-10 | 西南交通大学 | 一种基于深度学习的电子病历icd自动编码方法 |
CN111597795A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种远监督关系抽取方法、装置、设备及存储介质 |
CN111666762A (zh) * | 2020-05-20 | 2020-09-15 | 东华大学 | 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法 |
CN111859938A (zh) * | 2020-07-22 | 2020-10-30 | 大连理工大学 | 基于位置向量降噪和丰富语义的电子病历实体关系抽取方法 |
CN111985245A (zh) * | 2020-08-21 | 2020-11-24 | 江南大学 | 基于注意力循环门控图卷积网络的关系提取方法及系统 |
CN112883738A (zh) * | 2021-03-23 | 2021-06-01 | 西南交通大学 | 基于神经网络和自注意力机制的医学实体关系抽取方法 |
CN113158667A (zh) * | 2021-04-09 | 2021-07-23 | 杭州电子科技大学 | 基于实体关系级别注意力机制的事件检测方法 |
CN113468874A (zh) * | 2021-06-09 | 2021-10-01 | 大连理工大学 | 一种基于图卷积自编码的生物医学关系抽取方法 |
CN113468867A (zh) * | 2021-06-04 | 2021-10-01 | 淮阴工学院 | 一种基于Attention机制的参考文献引用合法性预测方法 |
CN113553440A (zh) * | 2021-06-25 | 2021-10-26 | 武汉理工大学 | 一种基于层次推理的医学实体关系抽取方法 |
CN113611427A (zh) * | 2021-08-11 | 2021-11-05 | 平安医疗健康管理股份有限公司 | 用户画像生成方法、装置、设备及存储介质 |
CN113688253A (zh) * | 2021-08-12 | 2021-11-23 | 浙江大学 | 一种层次感知的时态知识图谱表示学习方法 |
CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
CN114334159A (zh) * | 2022-03-16 | 2022-04-12 | 四川大学华西医院 | 一种术后风险预测自然语言数据增强模型及方法 |
CN114419487A (zh) * | 2021-12-24 | 2022-04-29 | 北京理工大学 | 一种内容时间关系网络及生成时间动作提案的方法 |
CN114504298A (zh) * | 2022-01-21 | 2022-05-17 | 南京航空航天大学 | 基于多源健康感知数据融合的生理特征判别方法及系统 |
CN114528944A (zh) * | 2022-02-24 | 2022-05-24 | 西南交通大学 | 一种医疗文本编码方法、装置、设备及可读存储介质 |
WO2023078264A1 (zh) * | 2021-11-03 | 2023-05-11 | 中移(苏州)软件技术有限公司 | 一种名片信息抽取系统训练方法及装置、计算机可读存储介质 |
CN116740476A (zh) * | 2023-08-15 | 2023-09-12 | 四川互慧软件有限公司 | 一种基于患者360可视化人体自动标注方法 |
CN117669593A (zh) * | 2024-01-31 | 2024-03-08 | 山东省计算中心(国家超级计算济南中心) | 基于等价语义的零样本关系抽取方法、系统、设备及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180103052A1 (en) * | 2016-10-11 | 2018-04-12 | Battelle Memorial Institute | System and methods for automated detection, reasoning and recommendations for resilient cyber systems |
CN108399749A (zh) * | 2018-03-14 | 2018-08-14 | 西南交通大学 | 一种短时交通出行需求预测方法 |
US20180232342A1 (en) * | 2017-02-16 | 2018-08-16 | Hitachi, Ltd. | Text preparation apparatus |
CN108763216A (zh) * | 2018-06-01 | 2018-11-06 | 河南理工大学 | 一种基于中文数据集的文本情感分析方法 |
WO2019025601A1 (en) * | 2017-08-03 | 2019-02-07 | Koninklijke Philips N.V. | HIERARCHICAL NEURAL NETWORKS WITH ATTENTION GRANULARIZED |
-
2019
- 2019-03-12 CN CN201910184951.1A patent/CN109918671B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180103052A1 (en) * | 2016-10-11 | 2018-04-12 | Battelle Memorial Institute | System and methods for automated detection, reasoning and recommendations for resilient cyber systems |
US20180232342A1 (en) * | 2017-02-16 | 2018-08-16 | Hitachi, Ltd. | Text preparation apparatus |
WO2019025601A1 (en) * | 2017-08-03 | 2019-02-07 | Koninklijke Philips N.V. | HIERARCHICAL NEURAL NETWORKS WITH ATTENTION GRANULARIZED |
CN108399749A (zh) * | 2018-03-14 | 2018-08-14 | 西南交通大学 | 一种短时交通出行需求预测方法 |
CN108763216A (zh) * | 2018-06-01 | 2018-11-06 | 河南理工大学 | 一种基于中文数据集的文本情感分析方法 |
Non-Patent Citations (2)
Title |
---|
PENG ZHOU,等: "Distant Supervision for Relation Extraction with Hierarchical Attention and EntityDescriptions", 《NEURAL NETWORKS》 * |
王红,等: "基于注意力机制的 LSTM 的语义关系抽取", 《计算机应用研究》 * |
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110413995A (zh) * | 2019-07-03 | 2019-11-05 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110413995B (zh) * | 2019-07-03 | 2022-12-23 | 北京信息科技大学 | 一种基于双向mgu神经网络的关系抽取方法 |
CN110704890A (zh) * | 2019-08-12 | 2020-01-17 | 上海大学 | 一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法 |
CN110674292A (zh) * | 2019-08-27 | 2020-01-10 | 腾讯科技(深圳)有限公司 | 一种人机交互方法、装置、设备及介质 |
CN110580340A (zh) * | 2019-08-29 | 2019-12-17 | 桂林电子科技大学 | 一种基于多注意力机制的神经网络关系抽取方法 |
CN110688486A (zh) * | 2019-09-26 | 2020-01-14 | 北京明略软件系统有限公司 | 一种关系分类的方法和模型 |
CN111291556A (zh) * | 2019-12-17 | 2020-06-16 | 东华大学 | 基于实体义项的字和词特征融合的中文实体关系抽取方法 |
CN111291556B (zh) * | 2019-12-17 | 2021-10-26 | 东华大学 | 基于实体义项的字和词特征融合的中文实体关系抽取方法 |
CN111147396A (zh) * | 2019-12-26 | 2020-05-12 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
CN111147396B (zh) * | 2019-12-26 | 2023-03-21 | 哈尔滨工程大学 | 一种基于序列特征的加密流量分类方法 |
CN111242113A (zh) * | 2020-01-08 | 2020-06-05 | 重庆邮电大学 | 一种任意方向自然场景文本识别方法 |
CN111242113B (zh) * | 2020-01-08 | 2022-07-08 | 重庆邮电大学 | 一种任意方向自然场景文本识别方法 |
CN111402974A (zh) * | 2020-03-06 | 2020-07-10 | 西南交通大学 | 一种基于深度学习的电子病历icd自动编码方法 |
CN111368528A (zh) * | 2020-03-09 | 2020-07-03 | 西南交通大学 | 一种面向医学文本的实体关系联合抽取方法 |
CN111382272B (zh) * | 2020-03-09 | 2022-11-01 | 西南交通大学 | 一种基于知识图谱的电子病历icd自动编码方法 |
CN111382272A (zh) * | 2020-03-09 | 2020-07-07 | 西南交通大学 | 一种基于知识图谱的电子病历icd自动编码方法 |
CN111368528B (zh) * | 2020-03-09 | 2022-07-08 | 西南交通大学 | 一种面向医学文本的实体关系联合抽取方法 |
CN111666762B (zh) * | 2020-05-20 | 2023-06-20 | 东华大学 | 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法 |
CN111666762A (zh) * | 2020-05-20 | 2020-09-15 | 东华大学 | 一种基于多任务学习的肠癌诊断电子病历属性值抽取方法 |
CN111597795A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种远监督关系抽取方法、装置、设备及存储介质 |
CN111859938A (zh) * | 2020-07-22 | 2020-10-30 | 大连理工大学 | 基于位置向量降噪和丰富语义的电子病历实体关系抽取方法 |
CN111985245A (zh) * | 2020-08-21 | 2020-11-24 | 江南大学 | 基于注意力循环门控图卷积网络的关系提取方法及系统 |
CN111985245B (zh) * | 2020-08-21 | 2024-03-12 | 江南大学 | 基于注意力循环门控图卷积网络的关系提取方法及系统 |
CN112883738A (zh) * | 2021-03-23 | 2021-06-01 | 西南交通大学 | 基于神经网络和自注意力机制的医学实体关系抽取方法 |
CN113158667A (zh) * | 2021-04-09 | 2021-07-23 | 杭州电子科技大学 | 基于实体关系级别注意力机制的事件检测方法 |
CN113468867B (zh) * | 2021-06-04 | 2024-06-11 | 淮阴工学院 | 一种基于Attention机制的参考文献引用合法性预测方法 |
CN113468867A (zh) * | 2021-06-04 | 2021-10-01 | 淮阴工学院 | 一种基于Attention机制的参考文献引用合法性预测方法 |
CN113468874A (zh) * | 2021-06-09 | 2021-10-01 | 大连理工大学 | 一种基于图卷积自编码的生物医学关系抽取方法 |
CN113468874B (zh) * | 2021-06-09 | 2024-04-16 | 大连理工大学 | 一种基于图卷积自编码的生物医学关系抽取方法 |
CN113553440A (zh) * | 2021-06-25 | 2021-10-26 | 武汉理工大学 | 一种基于层次推理的医学实体关系抽取方法 |
CN113553440B (zh) * | 2021-06-25 | 2022-08-16 | 武汉理工大学 | 一种基于层次推理的医学实体关系抽取方法 |
CN113611427A (zh) * | 2021-08-11 | 2021-11-05 | 平安医疗健康管理股份有限公司 | 用户画像生成方法、装置、设备及存储介质 |
CN113688253B (zh) * | 2021-08-12 | 2024-05-07 | 浙江大学 | 一种层次感知的时态知识图谱表示学习方法 |
CN113688253A (zh) * | 2021-08-12 | 2021-11-23 | 浙江大学 | 一种层次感知的时态知识图谱表示学习方法 |
WO2023078264A1 (zh) * | 2021-11-03 | 2023-05-11 | 中移(苏州)软件技术有限公司 | 一种名片信息抽取系统训练方法及装置、计算机可读存储介质 |
CN113792148A (zh) * | 2021-11-15 | 2021-12-14 | 成都晓多科技有限公司 | 一种基于序列到序列的评论方面类别检测方法及系统 |
CN114419487A (zh) * | 2021-12-24 | 2022-04-29 | 北京理工大学 | 一种内容时间关系网络及生成时间动作提案的方法 |
CN114504298A (zh) * | 2022-01-21 | 2022-05-17 | 南京航空航天大学 | 基于多源健康感知数据融合的生理特征判别方法及系统 |
CN114504298B (zh) * | 2022-01-21 | 2024-02-13 | 南京航空航天大学 | 基于多源健康感知数据融合的生理特征判别方法及系统 |
CN114528944B (zh) * | 2022-02-24 | 2023-08-01 | 西南交通大学 | 一种医疗文本编码方法、装置、设备及可读存储介质 |
CN114528944A (zh) * | 2022-02-24 | 2022-05-24 | 西南交通大学 | 一种医疗文本编码方法、装置、设备及可读存储介质 |
CN114334159A (zh) * | 2022-03-16 | 2022-04-12 | 四川大学华西医院 | 一种术后风险预测自然语言数据增强模型及方法 |
CN116740476B (zh) * | 2023-08-15 | 2023-11-07 | 四川互慧软件有限公司 | 一种基于患者360可视化人体自动标注方法 |
CN116740476A (zh) * | 2023-08-15 | 2023-09-12 | 四川互慧软件有限公司 | 一种基于患者360可视化人体自动标注方法 |
CN117669593A (zh) * | 2024-01-31 | 2024-03-08 | 山东省计算中心(国家超级计算济南中心) | 基于等价语义的零样本关系抽取方法、系统、设备及介质 |
CN117669593B (zh) * | 2024-01-31 | 2024-04-26 | 山东省计算中心(国家超级计算济南中心) | 基于等价语义的零样本关系抽取方法、系统、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109918671B (zh) | 2022-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109918671A (zh) | 基于卷积循环神经网络的电子病历实体关系抽取方法 | |
Huang et al. | Facial expression recognition with grid-wise attention and visual transformer | |
CN106980683B (zh) | 基于深度学习的博客文本摘要生成方法 | |
Zheng et al. | The fusion of deep learning and fuzzy systems: A state-of-the-art survey | |
CN108416065B (zh) | 基于层级神经网络的图像-句子描述生成系统及方法 | |
CN110580287A (zh) | 基于迁移学习和on-lstm的情感分类方法 | |
CN111985205A (zh) | 一种方面级情感分类模型 | |
CN113705238B (zh) | 基于bert和方面特征定位模型的方面级情感分析方法及系统 | |
Cheng et al. | A semi-supervised deep learning image caption model based on Pseudo Label and N-gram | |
CN115221846A (zh) | 一种数据处理方法及相关设备 | |
CN111858940A (zh) | 一种基于多头注意力的法律案例相似度计算方法及系统 | |
CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
Zhang et al. | Image caption generation with adaptive transformer | |
CN111930981A (zh) | 一种草图检索的数据处理方法 | |
CN116187349A (zh) | 一种基于场景图关系信息增强的视觉问答方法 | |
Nam et al. | A survey on multimodal bidirectional machine learning translation of image and natural language processing | |
CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
CN117093692A (zh) | 一种基于深度融合的多粒度图像-文本匹配方法及系统 | |
CN116662924A (zh) | 基于双通道与注意力机制的方面级多模态情感分析方法 | |
CN117033626A (zh) | 一种文本审核方法、装置、设备及存储介质 | |
Ji et al. | LSTM based semi-supervised attention framework for sentiment analysis | |
CN112613316B (zh) | 一种生成古汉语标注模型的方法和系统 | |
CN114238649A (zh) | 一种常识概念增强的语言模型预训练方法 | |
CN114580423A (zh) | 一种基于Bert与Scat的页岩气领域命名实体识别方法 | |
Guo et al. | Chinese text classification model based on bert and capsule network structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |