CN112836485A - 一种基于神经机器翻译的相似病历预测方法 - Google Patents
一种基于神经机器翻译的相似病历预测方法 Download PDFInfo
- Publication number
- CN112836485A CN112836485A CN202110096212.4A CN202110096212A CN112836485A CN 112836485 A CN112836485 A CN 112836485A CN 202110096212 A CN202110096212 A CN 202110096212A CN 112836485 A CN112836485 A CN 112836485A
- Authority
- CN
- China
- Prior art keywords
- output
- layer
- decoder
- vector
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及一种基于神经机器翻译的相似病历预测方法,包括以下步骤:S1:将电子病历中的相关文本信息作为编码网络的输入;S2:初始化编码网络中的参数,并将电子病历中的相关文本信息向量化;S3:用编码网络中的每一步的输出向量求平均值,作为解码器中的初始细胞状态;S4:将编码网络得到的每一步的输出向量输入attention中,然后将解码器每一步的输出输入attention中,得到attention的输出,作为解码器的隐含层向量;S5:最后通过解码器的隐含层向量解码得到输出相似病历的编号;用编码网络和初始化的参数,可以学习到电子病历文本信息的特征向量表示,将编码器的输出传输到attention层,并求平均值后初始化解码器,可以准确地预测到相似的病历。
Description
技术领域
本发明涉及深度学习领域,更具体地,涉及一种基于神经机器翻译的相似病历预测方法。
背景技术
电子病历是用于信息化病人诊断过程中的相关信息和流程,可以为医生等医疗健康从业人员在对相关疾病的诊断时提供参考。
而相似的电子病历,对于医生的诊断有很大的辅助作用。由于电子病历文本的不标准和病人疾病的症状的不同,相同的疾病在电子病历上面的文本信息可能会差距较大,因而电子病历文本的不标准特性普遍存在。而不同的疾病由于可能会有相似甚至相同的症状,这都增加了相似病历的预测和检索难度。因而基于传统的聚类、文本检索等方法得到的相似病历,其病历之间的相似度一般不高,结果的准确性较差。且传统的相似性病历检索和预测方法缺乏对于大量数据进行有效分析和处理的手段;由上可知,现有的相似性病历的预测和检索尚存在准确率不高的缺陷。
现有的技术中,中国发明专利CN103678285A公开了“机器翻译方法和机器翻译系统”,公开日为2014年03月26日,公开机器翻译方法和机器翻译系统,所述机器翻译方法包括:利用多个机器翻译设备,分别将源语言的原文翻译为目标语言,以得到多个候选译文;利用语言模型,针对多个候选译文分别计算语言模型得分;分别获得多个机器翻译设备给出的关于多个候选译文的设备得分;基于原文的长度和候选译文的长度,针对多个候选译文分别计算长度得分;基于语言模型得分、设备得分、长度得分的至少一个,分别计算多个候选译文的总得分;以及选择总得分最高的候选译文作为机器翻译的结果。该方案中,所述机器翻译系统建立的语言模型,进行得分汇总,与本申请的具体方案不一样,本申请通过编码器和解码器进行处理和输出。
发明内容
本发明为解决现有的相似性病历的预测和检索尚存在准确率不高的技术缺陷,提供了一种基于神经机器翻译的相似病历预测方法。
为实现以上发明目的,采用的技术方案是:
一种基于神经机器翻译的相似病历预测方法,包括以下步骤:
S1:将电子病历中的相关文本信息作为编码网络的输入;
S2:初始化编码网络中的参数,并将电子病历中的相关文本信息向量化;
S3:用编码网络中的每一步的输出向量求平均值,作为解码器中的初始细胞状态;
S4:将编码网络得到的每一步的输出向量输入attention中,然后将解码器每一步的输出输入attention中,得到attention的输出,作为解码器的隐含层向量;
S5:通过解码器的隐含层向量解码得到输出相似病历的编号。
上述方案中,用编码网络和初始化的参数,可以学习到电子病历文本信息的特征向量表示,将编码器的输出传输到attention层,并求平均值后初始化解码器,可以准确地预测到相似的病历。
在步骤S1中,相关文本信息为对应输入词的上下文信息以及位置信息。
在步骤S2中,所述编码网络包括第一嵌入层和12个Transformer子层,编码网络将输入病历中的文本信息的词语通过第一嵌入层映射为待编码向量,再将待编码向量通过12个Transformer子层进行特征提取,得到输入病历的文本信息的特征,作为解码器的输入和初始化向量。
编码网络采用嵌入层和Transformer子层中的编码器,每一个Transformer子层的输出向量输出给下一个Transformer子层,编码器的输出为最后一个Transformer子层的输出,最后一个Transformer子层的输出向量作为输入病历的特征表示,用于解码器中的LSTM层的输入和初始化。
Transformer子层包括多头注意力层、全连接层和残差连接层;输入向量被输入到多头注意力层中,经过计算后得到Transformer子层的输出向量,与在残差连接层输入向量相加,得到残差连接层的输出,再将残差连接层的输出传输给全连接层,得到全连接层的输出,再与上一残差连接层的输出相加,得到这一残差连接层的输出,作为Transformer子层的输出向量。
所述Transformer子层为双向Transformer子层。
在步骤S3中,初始隐藏层的初始细胞状态全为0。
在步骤S4中,解码器采用基于Attention机制的长短期记忆层来进行解码。
解码的每一步接收上一步的隐藏层状态和细胞状态,结合这一步的输入,产生新的细胞状态和隐藏层状态;且长短期记忆层在解码的每一步都计算对于编码器每一步输出的注意力向量,基于注意力向量和这一步的输出得到长短期记忆层解码器的每一步的最终输出,并作为新的隐藏层状态。
在步骤S5中,解码器的输出方式为:
at=f(ct,ht)=tanh(Wc[ct;ht])
ht和分别是指解码器的隐藏层状态和编码器的每一步的输出向量;αts为解码器隐藏层状态对于编码器的每一步的输出向量的注意力权重;为对解码器隐藏层状态和编码器的每一步的输出向量打分的函数;ct为对应于解码器隐藏层状态的上下文对齐向量;at为计算得到的注意力向量,即注意力层的输出;t表示解码器的解码步骤,即t时刻;s和s’都表示编码器的时刻的变量。
上述方案中,采用Transformer的编码器结构和预训练参数,可以较好地学习到电子病历文本信息的特征向量表示,因而用编码器的输出输出到attention层,并求平均值后初始化解码器,可以较准确地预测到相似的病历,取得了76.28%的准确率,以预测到的病历与输入病历的主诊断是否相同为衡量标准。
由于方法输出的是病历库中的相似病历的编号,一个输入病历经过训练数据训练参数后,对于一个新的输入的病历,可以直接输出其相似的病历,而不需要再经过其他的步骤,因而是一个端到端的相似病历预测方法。
与现有技术相比,本发明的有益效果是:
本发明提供的一种基于神经机器翻译的相似病历预测方法,用编码网络和初始化的参数,可以学习到电子病历文本信息的特征向量表示,将编码器的输出传输到attention层,并求平均值后初始化解码器,可以准确地预测到相似的病历。
附图说明
图1为本发明的方法流程图;
图2为本发明的编码网络的数据流向图;
图3为本发明的Transformer结构的数据流向图;
图4为本发明的解码器的数据流向图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;
以下结合附图和实施例对本发明做进一步的阐述。
实施例1
如图1、图2、图3和图4所示,一种基于神经机器翻译的相似病历预测方法,包括以下步骤:
S1:将电子病历中的相关文本信息作为编码网络的输入;
S2:初始化编码网络中的参数,并将电子病历中的相关文本信息向量化;
S3:用编码网络中的每一步的输出向量求平均值,作为解码器中的初始细胞状态;
S4:将编码网络得到的每一步的输出向量输入attention中,然后将解码器每一步的输出输入attention中,得到attention的输出,作为解码器的隐含层向量;
S5:通过解码器的隐含层向量解码得到输出相似病历的编号。
上述方案中,用编码网络和初始化的参数,可以学习到电子病历文本信息的特征向量表示,将编码器的输出传输到attention层,并求平均值后初始化解码器,可以准确地预测到相似的病历。
在步骤S1中,相关文本信息为对应输入词的上下文信息以及位置信息。
在步骤S2中,所述编码网络包括第一嵌入层和12个Transformer子层,编码网络将输入病历中的文本信息的词语通过第一嵌入层映射为待编码向量,再将待编码向量通过12个Transformer子层进行特征提取,得到输入病历的文本信息的特征,作为解码器的输入和初始化向量。
编码网络采用嵌入层和Transformer子层中的编码器,每一个Transformer子层的输出向量输出给下一个Transformer子层,编码器的输出为最后一个Transformer子层的输出,最后一个Transformer子层的输出向量作为输入病历的特征表示,用于解码器中的LSTM层的输入和初始化。
Transformer子层包括多头注意力层、全连接层和残差连接层;输入向量被输入到多头注意力层中,经过计算后得到Transformer子层的输出向量,与在残差连接层输入向量相加,得到残差连接层的输出,再将残差连接层的输出传输给全连接层,得到全连接层的输出,再与上一残差连接层的输出相加,得到这一残差连接层的输出,作为Transformer子层的输出向量。
所述Transformer子层为双向Transformer子层。
在步骤S3中,初始隐藏层的初始细胞状态全为0。
在步骤S4中,解码器采用基于Attention机制的长短期记忆层来进行解码。
解码的每一步接收上一步的隐藏层状态和细胞状态,结合这一步的输入,产生新的细胞状态和隐藏层状态;且长短期记忆层在解码的每一步都计算对于编码器每一步输出的注意力向量,基于注意力向量和这一步的输出得到长短期记忆层解码器的每一步的最终输出,并作为新的隐藏层状态。
在步骤S5中,解码器的输出方式为:
at=f(ct,ht)=tanh(Wc[ct;ht])
ht和分别是指解码器的隐藏层状态和编码器的每一步的输出向量;αts为解码器隐藏层状态对于编码器的每一步的输出向量的注意力权重;为对解码器隐藏层状态和编码器的每一步的输出向量打分的函数;ct为对应于解码器隐藏层状态的上下文对齐向量;at为计算得到的注意力向量,即注意力层的输出;t表示解码器的解码步骤,即t时刻;s和s’都表示编码器的时刻的变量。
实施例2
采用Transformer的编码器结构和预训练参数,可以较好地学习到电子病历文本信息的特征向量表示,因而用编码器的输出输出到attention层,并求平均值后初始化解码器,可以较准确地预测到相似的病历,取得了76.28%的准确率,以预测到的病历与输入病历的主诊断是否相同为衡量标准。
由于方法输出的是病历库中的相似病历的编号,一个输入病历经过训练数据训练参数后,对于一个新的输入的病历,可以直接输出其相似的病历,而不需要再经过其他的步骤,因而是一个端到端的相似病历预测方法。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (10)
1.一种基于神经机器翻译的相似病历预测方法,其特征在于,包括以下步骤:
S1:将电子病历中的相关文本信息作为编码网络的输入;
S2:初始化编码网络中的参数,并将电子病历中的相关文本信息向量化;
S3:用编码网络中的每一步的输出向量求平均值,作为解码器中的初始细胞状态;
S4:将编码网络得到的每一步的输出向量输入attention中,然后将解码器每一步的输出输入attention中,得到attention的输出,作为解码器的隐含层向量;
S5:通过解码器的隐含层向量解码得到输出相似病历的编号。
2.根据权利要求1所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,在步骤S1中,相关文本信息为对应输入词的上下文信息以及位置信息。
3.根据权利要求2所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,在步骤S2中,所述编码网络包括第一嵌入层和12个Transformer子层,编码网络将输入病历中的文本信息的词语通过第一嵌入层映射为待编码向量,再将待编码向量通过12个Transformer子层进行特征提取,得到输入病历的文本信息的特征,作为解码器的输入和初始化向量。
4.根据权利要求3所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,编码网络采用嵌入层和Transformer子层中的编码器,每一个Transformer子层的输出向量输出给下一个Transformer子层,编码器的输出为最后一个Transformer子层的输出,最后一个Transformer子层的输出向量作为输入病历的特征表示,用于解码器中的LSTM层的输入和初始化。
5.根据权利要求4所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,Transformer子层包括多头注意力层、全连接层和残差连接层;输入向量被输入到多头注意力层中,经过计算后得到Transformer子层的输出向量,与在残差连接层输入向量相加,得到残差连接层的输出,再将残差连接层的输出传输给全连接层,得到全连接层的输出,再与上一残差连接层的输出相加,得到这一残差连接层的输出,作为Transformer子层的输出向量。
6.根据权利要求5所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,所述Transformer子层为双向Transformer子层。
7.根据权利要求6所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,在步骤S3中,初始隐藏层的初始细胞状态全为0。
8.根据权利要求7所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,在步骤S4中,解码器采用基于Attention机制的长短期记忆层来进行解码。
9.根据权利要求8所述的一种基于神经机器翻译的相似病历预测方法,其特征在于,解码的每一步接收上一步的隐藏层状态和细胞状态,结合这一步的输入,产生新的细胞状态和隐藏层状态;且长短期记忆层在解码的每一步都计算对于编码器每一步输出的注意力向量,基于注意力向量和这一步的输出得到长短期记忆层解码器的每一步的最终输出,并作为新的隐藏层状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110096212.4A CN112836485B (zh) | 2021-01-25 | 2021-01-25 | 一种基于神经机器翻译的相似病历预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110096212.4A CN112836485B (zh) | 2021-01-25 | 2021-01-25 | 一种基于神经机器翻译的相似病历预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112836485A true CN112836485A (zh) | 2021-05-25 |
CN112836485B CN112836485B (zh) | 2023-09-19 |
Family
ID=75930805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110096212.4A Active CN112836485B (zh) | 2021-01-25 | 2021-01-25 | 一种基于神经机器翻译的相似病历预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112836485B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688822A (zh) * | 2021-09-07 | 2021-11-23 | 河南工业大学 | 一种时序注意力机制场景图像识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201715516D0 (en) * | 2016-09-26 | 2017-11-08 | Google Inc | Neural machine translation systems |
US20180300317A1 (en) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
CN110795556A (zh) * | 2019-11-01 | 2020-02-14 | 中山大学 | 一种基于细粒度插入式解码的摘要生成方法 |
CN111178093A (zh) * | 2019-12-20 | 2020-05-19 | 沈阳雅译网络技术有限公司 | 一种基于堆叠算法的神经机器翻译系统训练加速方法 |
KR20200063281A (ko) * | 2018-11-16 | 2020-06-05 | 한국전자통신연구원 | 신경망 자동 번역 장치 및 그 방법 |
CN111428519A (zh) * | 2020-03-06 | 2020-07-17 | 中国科学院计算技术研究所 | 一种基于熵的神经机器翻译动态解码方法及系统 |
-
2021
- 2021-01-25 CN CN202110096212.4A patent/CN112836485B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201715516D0 (en) * | 2016-09-26 | 2017-11-08 | Google Inc | Neural machine translation systems |
US20180300317A1 (en) * | 2017-04-14 | 2018-10-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
KR20200063281A (ko) * | 2018-11-16 | 2020-06-05 | 한국전자통신연구원 | 신경망 자동 번역 장치 및 그 방법 |
CN110795556A (zh) * | 2019-11-01 | 2020-02-14 | 中山大学 | 一种基于细粒度插入式解码的摘要生成方法 |
CN111178093A (zh) * | 2019-12-20 | 2020-05-19 | 沈阳雅译网络技术有限公司 | 一种基于堆叠算法的神经机器翻译系统训练加速方法 |
CN111428519A (zh) * | 2020-03-06 | 2020-07-17 | 中国科学院计算技术研究所 | 一种基于熵的神经机器翻译动态解码方法及系统 |
Non-Patent Citations (1)
Title |
---|
曲昭伟;王源;王晓茹;: "基于迁移学习的分层注意力网络情感分析算法", 计算机应用, no. 11, pages 3053 - 3056 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113688822A (zh) * | 2021-09-07 | 2021-11-23 | 河南工业大学 | 一种时序注意力机制场景图像识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112836485B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109471895B (zh) | 电子病历表型抽取、表型名称规范化方法及系统 | |
JP7195365B2 (ja) | 画像条件付きマスク言語モデリングを用いて画像認識のための畳み込みニューラルネットワークを訓練するための方法 | |
WO2021139424A1 (zh) | 文本内涵质量的评估方法、装置、设备及存储介质 | |
CN110781683A (zh) | 一种实体关系联合抽取方法 | |
CN111597830A (zh) | 基于多模态机器学习的翻译方法、装置、设备及存储介质 | |
CN108960063B (zh) | 一种面向事件关系编码的视频中多事件自然语言描述方法 | |
CN111444367B (zh) | 一种基于全局与局部注意力机制的图像标题生成方法 | |
CN110032739A (zh) | 中文电子病历命名实体抽取方法及系统 | |
WO2023221328A1 (zh) | 一种基于多光谱图像的语义分割方法、装置及存储介质 | |
CN113486667A (zh) | 一种基于实体类型信息的医疗实体关系联合抽取方法 | |
CN114564959B (zh) | 中文临床表型细粒度命名实体识别方法及系统 | |
CN112687388A (zh) | 一种基于文本检索的可解释性智慧医疗辅助诊断系统 | |
CN111460824A (zh) | 一种基于对抗迁移学习的无标注命名实体识别方法 | |
CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
CN114417839A (zh) | 基于全局指针网络的实体关系联合抽取方法 | |
CN113423004B (zh) | 基于解耦译码的视频字幕生成方法和系统 | |
CN114550946A (zh) | 医疗数据处理方法、装置及存储介质 | |
CN118016224A (zh) | 一种基于医疗大数据平台的智能病例分析辅助系统 | |
CN112836485B (zh) | 一种基于神经机器翻译的相似病历预测方法 | |
CN114022687A (zh) | 一种基于增强学习的图像描述对抗生成方法 | |
CN113688871A (zh) | 基于Transformer的视频多标签动作识别方法 | |
CN113591874A (zh) | 长时记忆增强的段落级别图像描述生成方法 | |
CN112668481A (zh) | 一种遥感图像语义抽取方法 | |
CN108874978A (zh) | 一基于分层适应性分段网络解决会议内容摘要任务的方法 | |
Long et al. | DiseaseNet: A novel disease diagnosis deep framework via fusing medical record summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |