CN117423470A - 一种慢性病临床决策支持系统及构建方法 - Google Patents
一种慢性病临床决策支持系统及构建方法 Download PDFInfo
- Publication number
- CN117423470A CN117423470A CN202311426483.7A CN202311426483A CN117423470A CN 117423470 A CN117423470 A CN 117423470A CN 202311426483 A CN202311426483 A CN 202311426483A CN 117423470 A CN117423470 A CN 117423470A
- Authority
- CN
- China
- Prior art keywords
- layer
- electronic medical
- information
- text
- chronic disease
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000017667 Chronic Disease Diseases 0.000 title claims abstract description 62
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000000605 extraction Methods 0.000 claims abstract description 52
- 201000010099 disease Diseases 0.000 claims abstract description 20
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 20
- 238000003745 diagnosis Methods 0.000 claims abstract description 18
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 208000024891 symptom Diseases 0.000 claims abstract description 14
- 238000013499 data model Methods 0.000 claims abstract description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 49
- 239000013598 vector Substances 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 33
- 238000013135 deep learning Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 26
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000003993 interaction Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 230000001684 chronic effect Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012827 research and development Methods 0.000 abstract description 2
- 238000012163 sequencing technique Methods 0.000 abstract description 2
- 239000011159 matrix material Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 239000003814 drug Substances 0.000 description 7
- 238000003058 natural language processing Methods 0.000 description 7
- 230000010339 dilation Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000004806 packaging method and process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010013710 Drug interaction Diseases 0.000 description 1
- 208000032023 Signs and Symptoms Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明涉及临床决策支持系统研发技术领域，公开了一种慢性病临床决策系统及构建方法，包括：数据存储层、用户接口层、决策支持层，数据存储层包含慢性病医疗知识图谱，该慢性病医疗知识图谱利用命名实体识别方法、实体关系抽取方法和数据库构建方法构造得到；用户接口层直接利用三层架构模型进行前端、中间业务逻辑、数据模型的构造；决策支持层依据慢性病患者的疾病症状或完整病程记录，利用慢性病医疗知识图谱进行预测，直接检索属性路径，并组合实体与关系进行最优排序，输出慢性病诊疗方案辅助临床医师诊疗慢性病，提供临床辅助决策支持。本发明构建了一种通用的慢性病临床决策系统，实现了智能输出慢性病诊疗方案的技术效果。
Description
技术领域
本发明涉及医疗临床决策支持系统研发技术领域，具体是一种慢性病临床决策系统及构建方法。
背景技术
目前，公立医院对于慢性病付出诸多努力，例如建立慢性病基础信息登记、建立患者健康档案、筛查、规范化治疗、随访管理等多重手段，但慢性病病因复杂、病程漫长、药物相互作用、并发症错综复杂等，导致医疗资源利用率低下，且患者体验感差。
近年来，以医疗大数据为基础的精准医学、智慧医疗、智能服务等应用发展呈现出蓬勃之势，有望在加速疾病防控技术突破、改善医疗供给模式、重构医疗健康服务体系等方面发挥创新引领作用。其中，慢性病临床决策支持系统作为人工智能的一个分支，其目的是给临床医师和护理人员提供临床决策的支持，辅助临床诊疗。而基于人工智能的面向慢性病电子病历信息抽取及临床辅助决策支持系统构建研究是解决疾病差异区分、患者基数、重复就医、个性化诊断方案制定、提高医疗资源利用率等众多智慧医疗内涵的关键技术手段。基于自然语言处理和文本分析技术，并结合临床数据分析模型和知识库提供诊断和治疗建议，支持患者基本信息、疾病名称、症状和体征、检验检查结果、处方用药等内容的自动识别处理功能。系统提供智能化可解释的临床决策支持能力，使其决策方案能够在实际医院环境中更加实用，是未来智慧医疗逐步实现的有效技术手段之一。
慢性病辅助决策支持系统的建立需要以数字化的电子病历数据库作为支撑，电子病历文本包含大量信息，具有较高的应用价值。近年来，病历记录方式逐渐转变为以电子数据形式进行记录保存，但数据形式依旧为非结构化数据，抽取信息存在较大困难，因此需通过自然语言处理对文本数据进行识别抽取整合等一系列工作。自然语言处理(NLP)构建起人与计算机通过自然语言进行有效沟通的理论和方法体系，其任务过程可以归纳为词性标注，命名实体识别(NER)，实体关系抽取等主要方面，其中作为基本的信息抽取任务命名实体识别已经引起许多研究人员的青睐。
检索现有技术发现：辽宁中医药大学的陈娜等人于2023年在《小型微型计算机系统》上发表一篇名为《结合注意力机制的BERT-BIGRU-CRF中文电子病历命名实体识别》的文章，其设计了一种电子病历命名实体识别模型的构建方法，通过双向门控循环单元(BiGRU)提取全局语义特征，注意力机制获得增强语义特征。
河北大学的孙振等人与2022年在《计算机工程与应用》上发表了一篇名为《多特征融合的中文电子病历命名实体识别》的文章，其设计了一种多特征融合的中文电子病历命名实体识别模型，将字、部首和四角向量等多个特征进行特征融合。
重庆师范大学的崔少国等人于2022在《电子科技大学学报》上发表一篇名为《融合语义及边界信息的中文电子病历命名实体识别》的文章，其设计了一种融合语义及边界信息的命名实体识别算法，利用卷积神经网络(CNN)结构提取汉字图形信息，并与五笔特征拼接来丰富汉字的语义信息。
上述方法在电子病历命名实体识别上都提取的是文本全局信息，而忽略了对于局部信息的提取。
发明内容
本发明构建一种通用的慢性病临床决策系统，结合医学知识库、自然语言处理技术、深度学习与知识图谱等关键技术，实现智能化输出慢性病诊疗方案的技术目标。
一种慢性病临床决策支持系统，包括：数据存储层、用户接口层、决策支持层，该决策支持层分别与数据存储层和用户接口层之间存在数据交互作用；
数据存储层包含慢性病医疗知识图谱，该慢性病医疗知识图谱以<实体-关系-实体>的形式存储进Neo4j图数据库、并且其利用命名实体识别方法、实体关系抽取方法和数据库构建方法构造得到；
所述慢性病知识图谱的构造系统包括数据源层、数据预处理层、深度学习层、规则与词典层、数据处理层，该构造系统中任一构造层与其他构造层均存在数据交互作用；所述规则与词典层在数据处理层对深度学习层输出的识别结果进行一致性检测，若两者之间的识别结果不一致，则利用规则与词典层的标注结果对深度学习层的识别结果修正；
用户接口层直接利用三层架构模型进行前端、中间业务逻辑、数据模型的构造；
决策支持层依据慢性病患者的疾病症状或完整病程记录，利用慢性病医疗知识图谱进行预测，直接检索属性路径，并组合实体与关系进行最优排序，输出慢性病诊疗方案。
优选的，所述深度学习层利用迭代膨胀卷积神经网络和卷积神经网络，构建一种多尺度特征融合的电子病历命名实体识别方法，其首先通过预训练模型提取电子病历的文本向量，然后通过迭代膨胀卷积神经网络提取电子病历文本的全局信息、并且通过卷积神经网络提取电子病历文本的局部信息，最后获得电子病历的文本多尺度特征信息。
优选的，所述预训练模型的构建方法为：基于Transformer机理，构建基于多头自注意力和残差网络的BERT模型，该模型计算输出电子病历文本中任一信息的重要程度，根据其重要程度，提取得到重要文本信息，并且将输出的残差与通过自注意力模块的网络信息连接并进行层归一化，为电子病历命名实体命名识别提供文本向量。
优选的，所述电子病历命名实体识别方法如下：
步骤Step1-1，获取电子病历信息文本，并对获取的文本进行处理，以得到文本对应的相应内容文件；
步骤Step1-2，构建文本向量化预训练模型，将得到的电子病历文本信息输入到预处理模型中去，将电子病历文本的原始输入进行预训练，提取与文本相关联的向量；
步骤Step1-3，构建全局特征提取网络，使用迭代膨胀卷积神经网络提取电子病历文本全局上下文信息；
步骤Step1-4，构建局部信息提取网络，并且与膨胀卷积神经网络并行连接卷积神经网络，提取电子病历文本局部信息；
步骤Step1-5，将提取的电子病历文本全局和局部信息进行特征融合；
步骤Step1-6，基于自注意力机制，学习联合全局和局部信息特征之间的关系；
步骤Step1-7，基于条件随机场对编码层进行解码，得到命名实体分数，找到最高序列，得到最佳命名序列。
优选的，所述电子病历命名实体识别方法的模型包括：电子病历文本信息预训练模块、全局特征信息提取模块、局部信息提取模块、特征融合模块、自注意力模块和解码模块。
优选的，所述融合多头自注意力和残差网络的BERT模型包括：输入模块、编码模块、多头自注意力处理模块和残差连接及层归一化模块；
其中，编码模块通过多层的Transformer编码器对输入序列进行处理，利用自注意力机制和前馈神经网络，提供了上下文感知的表示特征，并为电子病历命名实体识别任务提供语义信息。
优选的，所述编码模块对输入序列的处理方法如下：
步骤Step2-1，通过位置编码引入文本的位置信息；
步骤Step2-2，经过多个Transformer层进行处理，每一层都由两个子层组成，分别是自注意力层和前馈全连接层，其具体如下：
自注意力层将输入序列中的每个位置与所有其他位置进行交互，以计算出每个位置的上下文表示向量；
前馈全连接层则将每个位置的上下文表示向量映射到另一个向量空间，以捕捉更高级别的特征；该层由两个全连接层构成，中间由一个激活函数ReLU连接；
每个Transformer层都会对输入序列进行逐层处理，其中位置信息和自注意力机制可以捕捉序列的全局和局部依赖关系。
优选的，所述深度学习层的电子病历实体关系抽取模块，用于抽取实体之间的关系，该模块使用基于多特征注意力和双向门控循环单元的电子病历关系抽取模型，其抽取过程具体如下：
步骤Step3-1，利用语言技术平台语言工具获取提取了位置、词性、语义角色3个文本特征以及句子的核心谓词；
步骤Step3-2，通过双向门控循环单元进行深层编码得到包含多种特征的句子编码矩阵；
步骤Step3-3，引入注意力机制并将核心谓词作为注意力导向得到句子表示向量，进而通过Softmax预测关系；其中，Softmax为激活函数，它将一组实数值映射为概率分布。
优选的，所述决策支持层包括慢性病知识图谱，该慢性病知识图谱的具体构造方法包括数据收集模块、数据信息提取模块、知识融合模块、数据存储模块和辅助诊断模块。
上述的慢性病辅助决策支持系统在辅助临床医师诊疗慢性病过程中的应用。
本发明具备以下有益效果：
1、本发明设计开发了一种慢性病临床决策支持系统，其系统架构包括：数据源层、数据预处理层、深度学习层、规则与词典层、数据处理层、数据存储层、用户接口层及决策支持层；
该系统融合自然语言处理方法、知识图谱方法和临床决策支持系统方法，并且结合命名实体识别方法、实体关系抽取方法和数据库构建方法，建构了一种基于慢性病医疗知识图谱的临床决策支持系统，该系统能够输出慢性病诊疗方案，其能够辅助临床医师诊疗慢性病；
并且利用规则与词典对深度学习的识别结果进行修正，避免流水线模型的误差累积，充分利用实体与关系之间的相互作用，增加模型的知识推理可靠性，以达到对实体与关系识别的嵌套、歧义现象实施消歧与共指消解的有益技术效果。
2、本发明借助Transformer思想，独立设计了一种基于多头自注意力和残差网络的BERT模型，其在原始BERT模型后加入多头自注意力模块，计算输出电子病历文本中任一信息的重要程度，并且根据其重要程度，提取得到重要文本信息，使模型能够关注输入信息的差异；再将经过模型输出的残差与经过自注意力模块的网络信息连接并进行层归一化，其能够加快模型的收敛速度，并且保证语义信息的完整性，为电子病历命名实体命名提供更丰富的文本向量。
3、本发明利用迭代膨胀卷积神经网络和卷积神经网络，独立设计了一种多尺度特征融合的电子病历命名实体识别方法，其通过迭代膨胀卷积神经网络提取电子病历文本的全局信息、并且通过卷积神经网络提取电子病历文本的局部信息，获得文本多尺度的特征信息，缓解了现有的命名实体方法在电子病历命名实体识别中无法同时提取全局和局部特征信息的不足。
附图说明
图1为一种慢性病临床决策系统临床决策系统的架构示意图；
图2为一种多尺度特征融合的电子病历命名实体识别方法的工作流程图；
图3为融合多头自注意力和残差网络的BERT的工作流程图；
图4为Transformer编码器子层网络的结构示意图；
图5为一种电子病历命名关系抽取方法的工作流程图。
具体实施方式
实施例1：
一种慢性病临床支持决策系统，如图1所示，包括：数据源层、数据预处理层、深度学习层、数据处理层、数据存储层、用户接口层和决策支持层；
第一层为数据源层：以医务人员在临床过程中通过医疗信息系统生成的电子病历为数据源、并且引入公开权威的医学知识库作为数据补充；
其中，电子病历包含着患者的临床症状、诊断结果和用药表现等重要数据，这些数据通常以文本格式的方式保存；
公开权威的医学知识库包含但不限于中国医学百科全书、医学名词辞典、临床诊疗指南、药品信息知识库；
该数据源层将电子病历及医疗知识库数据传输至数据预处理层；
第二层为数据预处理层：由于电子病历中存在较多冗余与数据噪声，所以需要对其进行数据预处理，其具体处理方法如下：
步骤S1-1，对原始数据集的存储格式进行统一，并且使用XML格式或MongoDB非结构化存储到数据库；
步骤S1-2，对数据集进行清洗，仅保留与慢性疾病诊断指征有关的信息；
步骤S1-3，对电子病历文本进行分词划分，将文本划分成词语或句子；
该数据预处理层将预处理之后的电子病历、以及医疗知识库数据传输至深度学习层；
第三层为深度学习层：目前深度学习方法已经成为自然语言处理领域的主流方法，通过网络模型自动挖掘电子病历文本中的信息来替代手工抽取特征，一方面利用词向量解决了特征空间的数据稀疏问题，另一方面通过神经网络能够挖掘隐含在更深层的信息，抽取的词向量中蕴含的特征比人工选择的特征更完善；
利用自然语言技术和深度学习技术对电子病历进行命名实体识别和实体关系提取，实体与关系的抽取采用联合模型输出<实体-关系-实体>的形式；
该深度学习层将识别输出的电子病历中实体与关系的结果传输至数据处理层；
第四层为数据处理层：对深度学习的识别结果进行检验，判定深度学习模型的识别效果，并且对与医学规则不符的识别结果进行修正；
该数据处理层将电子病历中实体与关系的识别结果传输至数据存储层；
第五层为数据存储层：采用Neo4j图数据库来存储三元组采用Neo4j图数据库来存储<实体-关系-实体>形式的数据；Neo4j控制台提供了将存储在本地三元组集合转化为知识图谱的功能；Neo4j图数据库使用Cypher查询语句依靠实体或关系进行快速查询；数据导入使用Python操作Neo4j图数据库工具包Py2neo，支持Python程序语言到Cypher查询语句的转换；
第六层为用户接口层：直接利用三层架构模型进行前端、中间业务逻辑、数据模型的构造，简化用户端输入输出与模型调用，辅助医生对慢性病患者进行治疗；其中，三层分别为数据层、业务层和展示层；
该用户接口层与数据存储层之间存在数据交互作用；
第七层为决策支持层：利用用户接口层输入的慢性病患者的疾病症状或完整病程记录，利用Neo4j图数据库构建慢性病医疗知识图谱，直接检索属性路径，并组合实体与关系进行最优排序，提供慢性病临床辅助决策支持；
该决策支持层与数据存储层之间存在数据交互作用、并且决策支持层与用户接口层之间存在数据交互作用；
进一步，慢性病临床支持决策系统还包括：规则与词典层，该规则与词典层在数据处理层对深度学习层输出的识别结果进行一致性检测；
该规则与词典层：依据规则模板与术语词典直接进行数据自动标注，包括疾病、身体部位、症状、治疗、手术、药品、检查检验等实体与预定义实体关系；规则模板依据正则表达式与语义分析，术语词典依据但不限于医学词典、ICD-10、国家疾病编码、国家手术编码；
该规则与词典层与数据预处理层之间存在数据交互作用、并且规则与词典层与数据处理层之间存在数据交互作用。
实施例2：
在电子病历命名实体识别中，如果只将卷积神经网络(CNN)运用于电子病历文本处理，经过卷积之后，底层网络可能只是得到了原始输入文本数据中一小部分的信息，因此为了获取上下文信息，可能就需要加入更多的卷积层，这会导致网络原来越深，参数越来越多，而模型越大越容易导致过拟合问题，这就需要引入Dropout之类的正则化，但这又会带来更多的超参数，导致整个模型网络变得庞大冗杂难以训练；
相对于CNN而言，膨胀卷积的每个卷积输出都包含了更广泛的信息，这是因为膨胀卷积在卷积核内部加入了“空洞”，并且不做池化操作，这样就不损失特征信息；膨胀卷积可以用于获得全局上下文信息，也可以用于捕获长时间的信息依赖性；但是在膨胀卷积使用“空洞”扩大感受野的同时，却又损失了模型对电子病历文本局部的语义信息的提取，导致局部上下文信息的缺失；
与迭代膨胀卷积神经网络(IDCNN)相比，尽管BERT+BiLSTM+CRF模型可以提高特征不明显、组成复杂的实体识别的准确性，但是双向长短期记忆网络(BiLSTM)的计算量较大，训练时间和资源开销较高；此外，BiLSTM不能很好的利用GPU的并行性，对于非常长的文本序列，BiLSTM容易出现内存方面的问题；另外，BiLSTM也缺少对文本局部信息的提取；
针对上述问题，本实施例独立设计一种多尺度特征融合的电子病历命名实体识别方法，其使用迭代膨胀卷积神经网络(IDCNN)并行连接卷积神经网络(CNN)，对电子病历文本信息进行联合特征提取，在提取全局信息的同时可以弥补局部上下文语义信息的缺失，同时使用自注意力机制学习联合特征之间的关系；
其中，膨胀卷积神经网络(IDCNN)在提取长距离语义信息的前提下可以充分利用GPU的并行能力，并且卷积神经网络(CNN)也可以在不损失并行能力的前提下弥补膨胀卷积神经网络(IDCNN)对于局部上下文信息的缺失，提取不同尺度的特征信息，从而可以使模型更好地学习到电子病历文本信息；
所述多尺度特征融合的电子病历命名实体识别方法，如图2所示，包括如下具体步骤：
步骤S2-1，获取电子病历信息文本，并对获取的文本进行处理，以得到文本对应的相应内容文件；
步骤S2-2，构建文本向量化预训练模型，将得到的电子病历文本信息输入到预处理模型中去，将电子病历文本的原始输入进行预训练，提取与文本相关联的向量；
步骤S2-3，构建全局特征提取网络，使用迭代膨胀卷积神经网络(IDCNN)提取电子病历文本全局上下文信息；
步骤S2-4，构建局部信息提取网络，与膨胀卷积神经网络(IDCNN)并行连接卷积神经网络(CNN)，提取文本局部信息，弥补膨胀卷积神经网络(IDCNN)提取局部特征信息不足的问题；
步骤S2-5，将提取的电子病历文本全局和局部信息进行特征融合；
步骤S2-6，基于自注意力机制学习联合全局和局部信息特征之间的关系；
步骤S2-7，基于条件随机场(CRF)对编码层进行解码，得到命名实体分数，找到最高序列，得到最佳命名序列；
本方法融合预训练模型，膨胀卷积神经网络(IDCNN)和卷积神经网络(CNN)提取的特征，克服了电子病历命名实体识别中无法同时提取全局和局部特征信息的不足；
进一步地，基于上述多尺度特征融合的电子病历命名实体识别方法的模型包括如下六个模块，依次为电子病历文本信息预训练模块、全局特征信息提取模块、局部信息提取模块、特征融合模块、自注意力模块和解码模块，其具体如下：
电子病历文本信息预训练模块：使用预训练模型，对电子病历文本进行预训练，提取文本信息；
全局特征信息提取模块：迭代膨胀卷积神经网络(IDCNN)是由4个相同结构的膨胀卷积神经网络拼接而成，每个卷积神经网络(CNN)模块由3个膨胀宽度不同的膨胀卷积神经网络(DCNN)叠加组成；在迭代膨胀卷积神经网络(IDCNN)过程中，通过其产生字符向量相应的logits值，然后经由条件随机场(CRF)解码出标签序列；
迭代膨胀卷积神经网络输入特征提取层的字向量表示为X＝[x1,x2,...,xn]；
Cn (j)＝D1 (X) (1)
ReLU(x)＝max(0,x) (3)
其中，x是输入值，ReLU(x)是ReLU函数的输出，Dδ (j)表示第j层，膨胀因子为δ的膨胀卷积神经网络。Cn (j)表示第j层卷积得到的特征；迭代层数为4层、每层膨胀卷积操作的次数为3，δ分别为1，2，3；
局部信息提取模块：使用卷积核为3×3，步长为1的卷积神经网络(CNN)提取电子病历文本中的局部特征信息，卷积神经网络(CNN)输入特征提取层的字向量表示为X＝[x1,x2,...,xn]，卷积核为hc，偏置为bc，经过非线性变换得到Cc＝[c1,c2,...,cn]的特征序列。
ci ＝ ReLU(xihc+bc) (4)
特征融合模块：利用式(5)对来自迭代膨胀卷积神经网络(IDCNN)和卷积神经网络(CNN)的特征信息进行拼接，获取电子病历文本的全局和局部信息。
其中，CI代表来自迭代膨胀卷积神经网络(IDCNN)的特征信息，CC代表来自卷积神经网络(CNN)的特征信息，⊕表示拼接操作；
自注意力模块：提取的特征信息经过自注意力操作后，对模型提取的特征进行权重分配，强化对分类起关键作用的特征，弱化无关特征，学习提取特征信息之间的相关性，以达到更好的识别效果；
解码模块：解码模块通过条件随机场(CRF)进行解码，通过特征提取层获得语义特征及当前标签的预测结果，此处不考虑标签之间的依赖关系；条件随机场(CRF)输出过程具体如下：
根据打分函数score可以计算y在给定X下的条件概率P(y|X)，其计算公式为：
其中，y是预测输出的标签序列，X是输入的文本序列[x1,x2,...,xn]，YX是给定句子X所有可能的标签序列，表示真实标签，而损失函数定义为：
训练完成后可以求得打分函数score取得最大值时的标签序列y*，其计算公式为：
因为模型都是基于条件随机场(CRF)层的输出，所以打分函数score可以定义为：
其中：X是输入的文本序列[x1,x2,...,xn]，Ai,j是转移矩阵，P是神经网络的观测矩阵；
进一步地，解码模块通过训练数据，学习到标签与标签之间的约束关系，能够提升标签预测的有效性；其中，条件随机场(CRF)能利用其约束关系，将预测输出的标签按照其原本的顺序输出，并保证输出结果的合理性。
实施例3：
BERT(Bidirectional Encoder Representations from Transformers)是一种基于Transformer架构的预训练语言模型，在模型的预训练阶段，BERT通过大规模的无标签文本数据进行训练，任务包括掩码语言建模(MLM)和下一句预测模型(NSP)；在掩码语言建模任务中，BERT的输入句子会被随机遮掩一部分词，并要求模型预测这些被遮掩的词；在下一句预测任务中，模型需要判断两个句子是否是原始文本中的连续句子；通过这两种任务的联合预训练，BERT能够学习到语言的统计特性和丰富的上下文信息，从而生成更好的语义表示；
由于电子病历存在结构复杂、实体类别不平衡、术语表述不规范和蕴含很多复杂的文本信息的问题，所以BERT无法能很好地提取其中的信息；
据此：本实施例针对实施例2中的预训练模型，独立设计了一种融合多头自注意力和残差网络的BERT模型(以下简称MR-BERT模型)，MR-BERT模型借助Transformer思想，在BERT模型输出向量后加入多头注意力模块(Multi-Head self attention)，模型能够从输入矩阵中计算重要信息，通过多头自注意力计算和组合，能够捕捉输入序列中不同位置和单词之间的关系并生成上下文感知的表示，从而能选择各部分的重要信息，具体为：计算输出电子病历文本中任一信息的重要程度，并且根据其重要程度，提取得到重要文本信息，使模型能够关注输入信息的差异；最后将BERT模型的输出向量的残差与经过自注意力模块的网络信息连接和进行层归一化，以加快模型的收敛速度、并且保证语义信息的完整性；
所述MR-BERT模型，如图3所示，包含四个模块，依次为输入模块、编码模块、多头自注意力处理模块和残差连接及层归一化模块，其具体如下：
输入模块：其包括三部分：词级别的Token输入，句子级别的Segment输入和位置级别的Position输入；
Token输入：MR-BERT模型的输入是经过分词后得到的词级别的Token序列；对于每个输入的文本句子，会进行分词操作，将电子病历文本切分成多个词或者子词(subword)；每个Token会被映射为对应的词嵌入或字向量作为MR-BERT模型的输入；
Segment输入：在处理句子对任务时，MR-BERT模型需要区分不同句子之间的信息；因此，每个Token还需要附带一个Segment标记，用于区别不同句子的Token；一般情况下，句子1的Token会用0表示，而句子2的Token会用1表示；这样可以通过Segment Embeddings将不同句子的信息进行区分；
Position输入：在同一句子中，每个字都有可能代表不同的意思，为了使MR-BERT模型学习到输入的顺序属性，引入Position属性，不同的字有着不同的向量表示；这些Token，Segment和Position标记构成了输入矩阵向量[E1，E2...En]，并用于MR-BERT模型的预训练和微调过程；
编码模块：其通过多层的Transformer编码器对输入序列进行处理，利用自注意力机制和前馈神经网络，提供了上下文感知的表示，这使得MR-BERT模型能够捕捉输入序列中的全局和局部关系，并为后续的电子病历命名实体识别任务提供丰富的语义信息；
MR-BERT模型的编码阶段主要由多个Transformer编码器(Trm)堆叠而成；每个Transformer编码器由多个子层组成，包括自注意力机制和前馈神经网络；
上述输入序列的具体处理过程如下：
步骤S3-1，通过位置编码(positional encoding)引入文本的位置信息；
步骤S3-2，经过多个Transformer层进行处理，如图4所示，每一层都由两个子层组成，分别是自注意力层(self-attention)和前馈全连接层(Feed Forward)，其具体如下：
自注意力层将输入序列中的每个位置与所有其他位置进行交互，以计算出每个位置的上下文表示向量；
前馈全连接层则将每个位置的上下文表示向量映射到另一个向量空间，以捕捉更高级别的特征；该层由两个全连接层构成，中间由一个激活函数(如ReLU)连接；
每个Transformer层都会对输入序列进行逐层处理，其中位置信息和自注意力机制可以捕捉序列的全局和局部依赖关系；
多头自注意力处理模块：其将通过BERT预训练后输出的文本信息[T1，T2...Tn]作为多头自注意力模块的输入，提取电子病历文本信息的重要信息，从而使模型关注输入文本信息的差异性，更有利于下一步对电子病历命名实体的识别；
多头注意力机制通过将自注意力机制应用于多组不同的查询矩阵Q、键矩阵K和值矩阵V，从而学习到不同的上下文表示；
多头注意力机制的具体过程如下：将输入序列分别通过不同的线性变换得到多组不同的查询矩阵Q、键矩阵K和值矩阵V，然后将它们输入到多个并行的自注意力机制中进行处理；
MultiHead(Q1,K1,V1)＝Concat(head1,...,headh)WO (10)
其中，Q1,K1,V1表示第一个注意力头的查询矩阵Q、键矩阵K和值矩阵V，dk表示每个输入头的维度，Softmax表示激活函数，和/>表示第i个头的共享权重矩阵，WO表示附加参数矩阵，用于促进各个头的融合；
残差连接及层归一化模块：将模型的输出向量的残差与经过自注意力模块的网络信息连接和进行层归一化，其能够加快模型的收敛速度，并且保证语义信息的完整性；
在深度学习中，模型的输入通常是高维的向量或张量，包含大量的信息；然而，随着数据在注意力网络中传播，一些信息可能会被过滤、忽略或丢失；这主要是因为深度学习模型通常会对输入进行非线性变换，从而使得一些信息被压缩或者丢失；
为了弥补MR-BERT模型表征过程中丢失的语义信息，采用残差网络将原始表征向量直接送到网络末端，与经过完整网络传播的协同向量结合，最大程度地保证了语义信息的完整性；ADD表示残差连接，用于防止网络退化；Norm表示层归一化(LayerNormalization)，用于对每一层的激活值进行归一化。
实施例4：
本实施例针对实施例1中深度学习层的电子病历实体关系抽取模块提供一种用于抽取出实体组之间关系的网络，该网络使用基于多特征注意力和双向门控循环单元(BiGRU)的电子病历关系抽取模型，其抽取过程具体如下：
步骤S4-1，利用语言技术平台(LTP)语言工具获取提取了位置、词性、语义角色3个文本特征以及句子的核心谓词；
步骤S4-2，通过BiGRU进行深层编码得到包含多种特征的句子编码矩阵；
步骤S4-3，引入注意力机制并将核心谓词作为注意力导向得到句子表示向量，进而通过Softmax预测关系；
其中，所述关系的表现形式举例如下：
例1：(身体部位，症状)这两个实体之间的关系为“表现在”；
例2：(疾病，症状)这两个实体之间的关系为“导致”；
例3：(检查检验，疾病)这两个实体之间的关系为“施加于”；
例4：(检查检验，治疗)这两个实体之间的关系为“采取”；
例5：(治疗，症状)这两个实体之间的关系为“治疗”等二元关系；
由于电子病历与其它专业知识领域语言相比较，存在如下特征：形式上零碎、简短、叙述内容风格独有特点，相同类型的实体经常紧密一起出现，这些同类别实体之间总是具有并发(疾病、症状)、配合施治(治疗、检查)等并列关系，这些相同类型的一组实体与其它实体或一组实体存在着相同的关系；如果把这些关系分解为单个实体间的关系进行考虑，要么繁琐，要么缺乏一一对应关系；
据此提供一种多特征注意力和双向门控循环单元的电子病历关系抽取模型，依次为语句处理模块、文本特征嵌入模块、BiGRU编码模块、句向量提取模块和关系分类模块，其具体如下：
语句处理模块：融入位置、词性以及语义角色3个文本特征以适应电子病历文本，同时在依存句法结果下提取了核心谓词，并将其作为注意力导向使得模型关注更重要的成分；
文本特征嵌入模块：将位置特征、词性特征和语义角色特征也将转换为对应的特征矩阵；
为更加准确描述句子含义，将每个词语的语义特征和句法结构等特征结合进行结合，即将词义与3个额外特征进行初步融合；
BiGRU编码模块：为更好地捕捉双向的文本依赖信息，利用双向门控循环单元(BiGRU)网络从两个方向学习长距离依赖信息，作用于多嵌入层的输出；
句向量提取模块：参考注意力策略，将核心谓词作为目标，从而突出句中的关键词汇和减少噪声词语的干扰；注意力机制的输入有两个：由文本特征嵌入模块得到的关系触发词多特征向量Sc，以及由Transformer编码器得到的多特征句子编码矩阵H，矩阵Q、K、V由下式对输入做线性变换得到：
Q＝WQSC (13)
K＝WkH (14)
V＝WVH (15)
其中，WQ、WK和WV为可学习的权重矩阵；
最后利用Flatten降维得到蕴含实体关系特点的句向量S：
S＝Flatten(Attention(Q,K,V)) (16)
关系分类模块：y是预测输出的关系序列，提取蕴含实体关系的句向量S后，即可通过Softmax层进行关系预测，将S输入到Softmax层后，通过下式得到关系分布结果：
p(y|S)＝Softmax(WS S+bS) (17)
Softmax为一种激活函数，它将一组实数值映射为概率分布；给定输入向量x＝[x1,x2,...,xn]，Softmax函数的计算公式为：
其中，e为自然常数，Softmax函数将xi转化为[0,1]区间的值，并且所有输出值的总和等于1；
最终模型得到识别出的关系即关系分布中得分最高的关系y*：
y*＝argmaxp(y|S) (19)
实施例5：
基于实施例1中利用规则与词典层在数据处理层对深度学习层输出的识别结果进行一致性检测，本实施例独立设计了一种利用规则与词典层对深度学习层输出的电子病历中实体与关系的结果进行一致性检测的方法，其具体步骤如下；
步骤S1，构建一个电子病历一致性检测系统，该系统包括：数据预处理层、规则与词典层和数据处理层；
步骤S2，电子病历一致性检测系统首先实施初始化参数设置，其具体参数设置过程如下：
(1)选定一条有限域Fp上的椭圆曲线E：y2＝x3+ax+b(modp)，椭圆曲线E的阶为n；
其中，p是大素数，p>2160；
a和b都是整数，a和b都小于p，且满足4a3+27b2≠0(modp)；
G是椭圆曲线E上的基点，且满足nG＝∞；
(2)自动生成一个电子病历封装参数Pemr-p，并且计算得到电子病历解封参数Pemr-u＝Pemr-p×G；
之后将电子病历封装参数Pemr-p和电子病历解封参数Pemr-u发送至数据预处理层，并且将电子病历解封参数Pemr-u传输至规则与词典层；
(3)自动生成一个电子病历解析码Cemr-a，并且计算得到电子病历读取码Cemr-r＝Cemr-a×G；
之后将电子病历解析码Cemr-a和电子病历读取码Cemr-r发送至规则与词典层，并且将电子病历读取码Cemr-r传输至数据预处理层；
步骤S3，当数据预处理层开始向规则与词典层传输电子病历数据时，数据预处理层具体执行下述操作：
(1)为电子病历M自动生成一个封装编号Np∈Zn *＝{1,2,…,n-1}；
(2)计算电子病历一致性传输参数Pemr-ct-Ⅰ＝Np×Cemr-r；其中，Pemr-ct-Ⅰ为椭圆曲线E上的一点XⅠ，XⅠ的坐标为(xⅠ,yⅠ)；
(3)计算电子病历传输参数Pemr-t-Ⅰ＝[h(xⅠ)]-1M(modn)，并且Pemr-t-Ⅰ≠0；其中，h表示单向散列函数；
(4)计算电子病历传输参数Pemr-t-Ⅱ＝Np+Pemr-t-Ⅰ×Pemr-p(modn)，并且Pemr-t-Ⅱ≠0；
(5)封装得到电子病历传输数据包DPemr-t＝{电子病历M、电子病历传输参数Pemr-t-Ⅰ、电子病历传输参数Pemr-t-Ⅱ}；
步骤S4，当规则与词典层接收到电子病历传输数据包DPemr-t时，规则与词典层具体执行下述操作：
(1)从电子病历传输数据包DPemr-t中提取电子病历M、电子病历传输参数Pemr-t-Ⅰ、电子病历传输参数Pemr-t-Ⅱ；
(2)计算电子病历一致性传输参数Pemr-ct-Ⅱ，其具体计算过程如下：
Pemr-ct-Ⅱ＝Pemr-t-Ⅱ×G-Pemr-t-Ⅰ×Pemr-u；
据此得到Pemr-ct-Ⅱ为椭圆曲线E上的一点XⅡ，XⅡ的坐标为(xⅡ,yⅡ)；
(3)计算M'＝h(xⅡ×Cemr-a)Pemr-t-Ⅰ(modn)；
(4)若M'＝M，则说明电子病历数据得到一致性的传输，之后，开始执行步骤S5；反之，规则与词典层将数据不一致结果报告给电子病历一致性检测系统；
步骤S5，规则与词典层依据规则模板与术语词典对数据进行自动标注，输出电子病历中实体关系标注结果，其具体包括疾病、身体部位、症状、治疗、手术、药品、检查检验等实体与预定义实体关系；
其中，规则模板依据正则表达式与语义分析；术语词典包括但不限于医学词典、ICD-10、国家疾病编码、国家手术编码；
之后，规则与词典层将电子病历中实体关系标注结果传输至数据处理层；
步骤S6，数据处理层对规则与词典层的标注结果与深度学习层的识别结果进行一致性比对，判定深度学习模型的识别效果；
若两者之间的识别结果不一致，则利用规则与词典层的标注结果对深度学习层的识别结果修正。
实施例6：
本实施例基于上述实施例1～5的输出结果，设计构建了一种慢性病知识图谱，其用于输出慢性病诊疗方案，慢性病知识图谱包括五个模块，依次为数据收集模块、信息提取模块、知识融合模块、数据存储模块和辅助诊断模块，具体如下：
数据收集模块：采集并存储慢性病电子病历原始数据源，例如：基于盐城市第三人民医院就诊量与各类疾病数据量，对非结构化病历文本进行数据清洗与去隐私化，如家庭住址，身份证号等个人隐私，形成慢性病电子病历原始数据源；
信息提取模块：本模块一方面利用规则和词典识别实体和实体关系，另一方面利用深度学习识别实体和实体关系，将两者进行一致性检测，并且对不一致结果进行修正；
其具体包含数据处理流程如下：
S6-1，面向基于规则和词典匹配实体与关系；
S6-2，基于实施例2、3和4的实体与关系识别，不断叠加S6-1形成的数据源，并将模型预测结果与步骤S6-1匹配结果，设定阈值，获得深度学习模型与对应的训练结果；
知识融合模块：对于信息元组，将文本抽取的实体对象与知识库对应的正确实体对象链接起来，整合不同数据库的结构化信息，提升实体和实体关系数据质量；
数据存储模块：实体和实体关系数据以信息元组存储进Neo4j图数据库；
辅助诊断模块：基于诊断与症状，使用Cypher检索属性路径，输出诊疗方案，为医生提供临床辅助决策支持；
在构建知识图谱的过程中，医疗实体和医疗实体关系识别抽取是工程的阶段基础性工作，当这两项基本任务完成后，将识别抽取出来的信息导入至Neo4j中，知识图谱绘制能够使用Neo4j的Cypher语言方便地进行；当需要展示医疗知识图谱的部分内容时，通过在Match子句中指定相关的医疗实体类型和医疗实体关系类型；如在知识图谱中包含疾病和症状两类医疗实体，两类医疗实体的关系为疾病导致了症状关系时，可以采用Match子句进行查询，获取所需要的知识图谱内容；
医疗知识图谱的绘制包括以下步骤：
步骤S6-3，数据入库：将识别抽取好的医疗实体与医疗实体关系导入到图形数据库中，具体为：将基于实施例2～3识别出的实体和基于实施例4识别出的实体关系导入Neo4j数据库中；
步骤S6-4，通过Neo4j的查询语言Cypher查询整个知识图谱中所有实体节点和实体关系；
步骤S6-5，通过Neo4j的查询语言Cypher搜索在诊疗过程中需要的实体节点和实体关系信息，方便医生查询，为医生提供个性化的信息服务；
步骤S6-6，通过调用Neo4j的REST API接口编程的方式实现知识图谱界面的开发。
实施例7:
基于实施例1～6，本实施例开发了一种基于知识图谱的慢性病辅助决策支持系统，该系统能够基于用户输入的慢性病症状，自动输出诊疗方案，用于辅助临床医师诊疗慢性病，实现高质量和安全的临床诊疗；
基于知识图谱的慢性病辅助决策支持系统分为三层，依次为数据层、业务层和展示层，具体如下：
数据层：包含基于实施例6构建的慢性病医疗知识图谱，使用MongoDB存储电子病历和MySQL存储系统信息；
业务层：利用Py2neo操作Neo4j图数据库，基于Web框架Flask搭建服务端，利用深度学习框架，如FastNLP、Pytorch、TensorFlow等构建深度学习模型，系统管理者自行添加模型文件与算法模型，并将已训练好的模型封装成Webservice接口，提供调用服务；
展示层：其为前端UI界面，使用SpringBoot框架搭建系统三层结构，结合SpringMVC框架分层独立，Mybatis框架进行数据交互，Webservice调用算法模型接口，D3.js自动构建知识图谱可视化渲染。
Claims (9)
1.一种慢性病临床决策支持系统，其特征在于，包括：数据存储层、用户接口层、决策支持层，该决策支持层分别与数据存储层和用户接口层之间存在数据交互作用；
数据存储层包含慢性病医疗知识图谱，该慢性病医疗知识图谱以<实体-关系-实体>的形式存储进Neo4j图数据库、并且其利用命名实体识别方法、实体关系抽取方法和数据库构建方法构造得到；
所述慢性病知识图谱的构造系统包括数据源层、数据预处理层、深度学习层、规则与词典层、数据处理层，该构造系统中任一构造层与其他构造层均存在数据交互作用；所述规则与词典层在数据处理层对深度学习层输出的识别结果进行一致性检测，若两者之间的识别结果不一致，则利用规则与词典层的标注结果对深度学习层的识别结果修正；
用户接口层直接利用三层架构模型进行前端、中间业务逻辑、数据模型的构造；
决策支持层依据慢性病患者的疾病症状或完整病程记录，利用慢性病医疗知识图谱进行预测，直接检索属性路径，并组合实体与关系进行最优排序，输出慢性病诊疗方案。
2.根据权利要求1所述的慢性病临床决策支持系统，其特征在于，所述深度学习层利用迭代膨胀卷积神经网络和卷积神经网络，构建一种多尺度特征融合的电子病历命名实体识别方法，其首先通过预训练模型提取电子病历的文本向量，然后通过迭代膨胀卷积神经网络提取电子病历文本的全局信息、并且通过卷积神经网络提取电子病历文本的局部信息，最后获得电子病历的文本多尺度特征信息。
3.根据权利要求2所述的慢性病临床决策支持系统，其特征在于，所述预训练模型的构建方法为：基于Transformer机理，构建基于多头自注意力和残差网络的BERT模型，该模型计算输出电子病历文本中任一信息的重要程度，根据其重要程度，提取得到重要文本信息，并且将输出的残差与通过自注意力模块的网络信息连接并进行层归一化，为电子病历命名实体命名识别提供文本向量。
4.根据权利要求2所述的慢性病临床决策支持系统，其特征在于，所述电子病历命名实体识别方法如下：
步骤Step1-1，获取电子病历信息文本，并对获取的文本进行处理，以得到文本对应的相应内容文件；
步骤Step1-2，构建文本向量化预训练模型，将得到的电子病历文本信息输入到预处理模型中去，将电子病历文本的原始输入进行预训练，提取与文本相关联的向量；
步骤Step1-3，构建全局特征提取网络，使用迭代膨胀卷积神经网络提取电子病历文本全局上下文信息；
步骤Step1-4，构建局部信息提取网络，并且与膨胀卷积神经网络并行连接卷积神经网络，提取电子病历文本局部信息；
步骤Step1-5，将提取的电子病历文本全局和局部信息进行特征融合；
步骤Step1-6，基于自注意力机制，学习联合全局和局部信息特征之间的关系；
步骤Step1-7，基于条件随机场对编码层进行解码，得到命名实体分数，找到最高序列，得到最佳命名序列。
5.根据权利要求4所述的慢性病临床决策支持系统，其特征在于，所述电子病历命名实体识别方法的模型包括：电子病历文本信息预训练模块、全局特征信息提取模块、局部信息提取模块、特征融合模块、自注意力模块和解码模块。
6.根据权利要求3所述的慢性病临床决策支持系统，其特征在于，所述融合多头自注意力和残差网络的BERT模型包括：输入模块、编码模块、多头自注意力处理模块和残差连接及层归一化模块；
其中，编码模块通过多层的Transformer编码器对输入序列进行处理，利用自注意力机制和前馈神经网络，提供了上下文感知的表示特征，并为电子病历命名实体识别任务提供语义信息。
7.根据权利要求6所述的慢性病临床决策支持系统，其特征在于，所述编码模块对输入序列的处理方法如下：
步骤Step2-1，通过位置编码引入文本的位置信息；
步骤Step2-2，经过多个Transformer层进行处理，每一层都由两个子层组成，分别是自注意力层和前馈全连接层，其具体如下：
自注意力层将输入序列中的每个位置与所有其他位置进行交互，以计算出每个位置的上下文表示向量；
前馈全连接层则将每个位置的上下文表示向量映射到另一个向量空间，以捕捉更高级别的特征；该层由两个全连接层构成，中间由一个激活函数ReLU连接；
每个Transformer层都会对输入序列进行逐层处理，其中位置信息和自注意力机制可以捕捉序列的全局和局部依赖关系。
8.根据权利要求1所述的慢性病临床决策支持系统，其特征在于，所述深度学习层的电子病历实体关系抽取模块，用于抽取实体之间的关系，该模块使用基于多特征注意力和双向门控循环单元的电子病历关系抽取模型，其抽取过程具体如下：
步骤Step3-1，利用语言技术平台语言工具获取提取了位置、词性、语义角色3个文本特征以及句子的核心谓词；
步骤Step3-2，通过双向门控循环单元进行深层编码得到包含多种特征的句子编码矩阵；
步骤Step3-3，引入注意力机制并将核心谓词作为注意力导向得到句子表示向量，进而通过Softmax预测关系；其中，Softmax为激活函数，它将一组实数值映射为概率分布。
9.根据权利要求1～8任一项所述的慢性病辅助决策支持系统在辅助临床医师诊疗慢性病过程中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311426483.7A CN117423470B (zh) | 2023-10-30 | 2023-10-30 | 一种慢性病临床决策支持系统及构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311426483.7A CN117423470B (zh) | 2023-10-30 | 2023-10-30 | 一种慢性病临床决策支持系统及构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117423470A true CN117423470A (zh) | 2024-01-19 |
| CN117423470B CN117423470B (zh) | 2024-04-23 |
Family
ID=89532275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311426483.7A Active CN117423470B (zh) | 2023-10-30 | 2023-10-30 | 一种慢性病临床决策支持系统及构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117423470B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894422A (zh) * | 2024-03-18 | 2024-04-16 | 攀枝花学院 | 一种基于icu重症监测的数据可视化方法及系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6480606B1 (en) * | 1998-02-26 | 2002-11-12 | Hitachi, Ltd. | Elliptic curve encryption method and system |
| CN111079377A (zh) * | 2019-12-03 | 2020-04-28 | 哈尔滨工程大学 | 一种面向中文医疗文本命名实体识别的方法 |
| CN113204969A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技（深圳）有限公司 | 医疗命名实体识别模型的生成方法、装置和计算机设备 |
| CN113627172A (zh) * | 2021-07-26 | 2021-11-09 | 重庆邮电大学 | 基于多粒度特征融合和不确定去噪的实体识别方法及系统 |
| CN115021903A (zh) * | 2022-05-23 | 2022-09-06 | 湖北工业大学 | 一种基于区块链的电子病历共享方法及系统 |
| CN115269865A (zh) * | 2022-07-01 | 2022-11-01 | 浙江华巽科技有限公司 | 一种面向辅助诊断的知识图谱构建方法 |
| CN116013534A (zh) * | 2022-10-10 | 2023-04-25 | 睿愈(南京)数字医疗科技有限公司 | 一种基于医学指南和数据的临床辅助决策方法及系统 |
| WO2023098288A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于含因果性医学知识图谱的疾病辅助鉴别诊断系统 |
-
2023
- 2023-10-30 CN CN202311426483.7A patent/CN117423470B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6480606B1 (en) * | 1998-02-26 | 2002-11-12 | Hitachi, Ltd. | Elliptic curve encryption method and system |
| CN111079377A (zh) * | 2019-12-03 | 2020-04-28 | 哈尔滨工程大学 | 一种面向中文医疗文本命名实体识别的方法 |
| CN113204969A (zh) * | 2021-05-31 | 2021-08-03 | 平安科技（深圳）有限公司 | 医疗命名实体识别模型的生成方法、装置和计算机设备 |
| CN113627172A (zh) * | 2021-07-26 | 2021-11-09 | 重庆邮电大学 | 基于多粒度特征融合和不确定去噪的实体识别方法及系统 |
| WO2023098288A1 (zh) * | 2021-12-01 | 2023-06-08 | 浙江大学 | 一种基于含因果性医学知识图谱的疾病辅助鉴别诊断系统 |
| CN115021903A (zh) * | 2022-05-23 | 2022-09-06 | 湖北工业大学 | 一种基于区块链的电子病历共享方法及系统 |
| CN115269865A (zh) * | 2022-07-01 | 2022-11-01 | 浙江华巽科技有限公司 | 一种面向辅助诊断的知识图谱构建方法 |
| CN116013534A (zh) * | 2022-10-10 | 2023-04-25 | 睿愈(南京)数字医疗科技有限公司 | 一种基于医学指南和数据的临床辅助决策方法及系统 |
Non-Patent Citations (10)
| Title |
|---|
| ALEKSANDAR JURISIC ET AL.: "Elliptic Curves and Cryptography", DR. DOBB\'S JOURNAL, 23 March 2005 (2005-03-23), pages 26 - 36 * |
| ESHRAQ S. BIN HUREIB ET AL.: "Enhancing Medical Data Security via Combining Elliptic Curve Cryptography with 1-LSB and 2-LSB Image Steganography", INTERNATIONAL JOURNAL OF COMPUTER SCIENCE AND NETWORK SECURITY, vol. 20, no. 12, 31 December 2020 (2020-12-31), pages 232 - 241 * |
| 冷根 等: "基于多特征BiGRU-ATT的中文关系抽取方法", 信息与电脑, no. 11, 31 December 2022 (2022-12-31), pages 13 - 16 * |
| 姚前: "数字货币初探", 31 May 2018, 中国金融出版社, pages: 82 - 84 * |
| 张婧: "《面向中文社交媒体评论的词法分析》", 30 April 2021, 东北财经大学出版社, pages: 9 * |
| 施荣华;王伟;董健;: "基于身份密码体制的电子病历系统安全方案", 计算机应用研究, no. 07, 15 July 2013 (2013-07-15), pages 2140 - 2143 * |
| 时雨: "基于知识图谱的脑血管病辅助决策支持研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, 15 February 2022 (2022-02-15), pages 070 - 113 * |
| 李玲 等: "《智能计算系统实验教程》", 30 September 2021, 机械工业出版社, pages: 262 - 266 * |
| 罗芳 等: "现代密码学", 30 April 2017, 武汉大学出版社, pages: 134 - 136 * |
| 赵建强 等: "基于多重卷积神经网络模型的命名实体识别", 计算机技术与发展, vol. 33, no. 1, 31 January 2023 (2023-01-31), pages 187 - 192 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117894422A (zh) * | 2024-03-18 | 2024-04-16 | 攀枝花学院 | 一种基于icu重症监测的数据可视化方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117423470B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111708874B (zh) | 基于复杂意图智能识别的人机交互问答方法与系统 | |
| CN110210037B (zh) | 面向循证医学领域的类别检测方法 | |
| CN110032648B (zh) | 一种基于医学领域实体的病历结构化解析方法 | |
| CN111078875B (zh) | 一种基于机器学习的从半结构化文档中提取问答对的方法 | |
| CN106682397A (zh) | 一种基于知识的电子病历质控方法 | |
| US11610678B2 (en) | Medical diagnostic aid and method | |
| CN110838368A (zh) | 一种基于中医临床知识图谱的机器人主动问诊方法 | |
| CN117423470B (zh) | 一种慢性病临床决策支持系统及构建方法 | |
| CN111680484B (zh) | 一种视觉常识推理问答题的答题模型生成方法和系统 | |
| CN113707339B (zh) | 一种多源异质数据库间概念对齐与内容互译方法及系统 | |
| CN115293161A (zh) | 基于自然语言处理和药品知识图谱的合理用药系统及方法 | |
| CN113707307A (zh) | 病情分析方法、装置、电子设备及存储介质 | |
| CN112420191A (zh) | 一种中医辅助决策系统及方法 | |
| CN114036934A (zh) | 一种中文医学实体关系联合抽取方法和系统 | |
| CN114781382A (zh) | 基于rwlstm模型融合的医疗命名实体识别系统及方法 | |
| CN115019906A (zh) | 多任务序列标注的药物实体和相互作用联合抽取方法 | |
| Ke et al. | Medical entity recognition and knowledge map relationship analysis of Chinese EMRs based on improved BiLSTM-CRF | |
| CN115879546A (zh) | 一种复合神经网络心理医学知识图谱构建方法及系统 | |
| Lu et al. | Chinese clinical named entity recognition with word-level information incorporating dictionaries | |
| CN117457162A (zh) | 基于多编码器和多模态信息融合的急诊分诊方法及系统 | |
| CN116992002A (zh) | 一种智能护理方案应答方法及系统 | |
| CN116630062A (zh) | 一种医保欺诈行为检测方法、系统、存储介质 | |
| CN116168828A (zh) | 基于知识图谱和深度学习的疾病预测方法、装置及计算机设备 | |
| CN113971405A (zh) | 基于albert模型融合的医疗命名实体识别系统及其方法 | |
| Xu | Multi-region English translation synchronization mechanism driven by big data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |