CN113808734A - 一种基于深度学习的因果医疗诊断方法 - Google Patents
一种基于深度学习的因果医疗诊断方法 Download PDFInfo
- Publication number
- CN113808734A CN113808734A CN202111046470.8A CN202111046470A CN113808734A CN 113808734 A CN113808734 A CN 113808734A CN 202111046470 A CN202111046470 A CN 202111046470A CN 113808734 A CN113808734 A CN 113808734A
- Authority
- CN
- China
- Prior art keywords
- causal
- regularization
- neural network
- learning
- learning module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开一种基于深度学习的因果医疗诊断方法,该方法包括基于深度神经网络的诊疗模型,和带知识正则化处理的因果性学习模块。基于深度神经网络的诊疗模型利用深度神经网络的高效非线性学习能力,获取复杂生理信号的深度特征,因果性学习模块结合知识正则化进行因果发现。该方法的有益效果在于:1)利用深度神经网络获取深度特征,再将特征与疾病形成变量对,以进一步挖掘疾病表征的因果关系;2)带知识正则化处理的因果性学习模块利用神经网络实现,可嵌入到当前任意一个自动诊疗模型中,且整体方法可用梯度下降方法进行学习和优化;3)采用了基于知识的正则化技术,结合公理和领域知识改良神经网络分类结果,使得因果发现更加稳健。
Description
技术领域
本发明涉及机器学习的技术领域,更具体地,涉及一种结合了深度学习和知识正则化的医疗事件因果发现方法。
背景技术
来自电子医疗记录、重症监护室数据流和患者生成的健康数据等健康数据正变得越来越广泛,并有可能被用来发现疾病的原因。但从生理学数据中发现疾病面临很大挑战,因为人类生理学是复杂和非线性的,多种疾病往往具备类似的症状和生理表现,例如,急性呼吸窘迫综合征(ARDS)的根本原因是呼吸系统的急性衰竭,但可能表现出循环系统或者神经系统症状。如果不对这种复杂性进行建模和分析,也就无法真正挖掘疾病与症状之间的本质与规律。
近年来,随着以深度学习为主的人工智能技术能够对从输入至输出的复杂关系进行建模,在多个应用领域取得了巨大的成功,但有时容易过度拟合数据中与问题无关的其他特性,过度关注从原因到结果的次要联系,甚至偶然的无关联系,从而削减了对问题本质关系的拟合。因此,各行业也对人工智能技术提出了新的要求,希望从数据中挖掘出复杂事物更加本质的规律。
为此,介绍了一种通过使用深度学习结合知识正则化技术,进行深度诊疗的方法,利用了深度神经网络的高效非线性学习能力,并通过知识正则化的结果,进一步发现疾病和症状之间真正的依赖关系。
发明内容
本发明所要解决的技术问题是,提供一种结合了深度学习模型和知识正则化技术的疾病推理模型。
为达到上述目的,本发明创造的技术方案是这样实现的:本方法包括两个组件:基于深度神经网络的诊疗模型1,和带知识正则化处理的因果性学习模块2。
所述基于深度神经网络的诊疗模型1,包括特征分类模型11和嵌入层12。
所述特征分类模型11为一个K类分类模型,输入为多维生理信号,t=
1,…T,T为时间步。其中,其中D为生理信号的数量,而d为每个生理信号的维
度(截取固定维数)。则每个输入X t 为一个D×d的二维矩阵。输出为根据输入信号所诊断的
属于某类疾病的概率,疾病类型C=(C 1,…, C K ),其中K为可辨识的疾病类别数量。同时,通过
分类神经网络11获取到特征向量f= (f 1,…, f T )。
所述嵌入层网络12,将特征分类神经网络11的输出结果,形式转换为适合因果性学习模块2处理的输入形式,具体方法如下:
令,构造数据集, ,其中, f i
→c j 表示特征 f i 与疾病c j 呈正相关关系,甚至是导致疾病c j 的直接因子; 表示特
征 f i 与疾病c j 互不相干, f i ← c j 表示特征 f i 的出现与疾病c j 呈反相关关系,即特征f i
的出现导致疾病c j 的预测概率下降。
所述带正则化处理的因果性学习模块2,包括因果分类模型21,和正则化学习模块22。
所述因果分类模型21,是一个神经网络,包括五个卷积块和三个全连接层,最后是一个SoftMax层。输入训练数据集D i =,输出为一个三元预测向量,分别用于表示数据对(f i ,c j )之间的关系:(f i →c j , f i c j , f i ← c j )。
所述正则化学习模块22,用于采用正则化规则,进一步改良因果分类模型21的输出结果,包括正则化规则库22a,和正则化学习模块22b。
所述正则化规则库22a,用于定义建立因果关系规则,用于惩罚在因果发现中违背这些规则的学习过程。正则化规则库用R表示,来源由应用领域决定,可以是公理,也可以来自领域知识。规则用概率软逻辑(Probabilistic Soft Logic,PSL)定义,规则形式定义为:。
所述正则化学习模块22b,用于实现基于正则化的因果分类,其输入为组合分类模型21的三组不同变量的因果方向输出,其输出为修正后的因果方向结果。
二者联合训练的目标函数是令损失函数达到最小。
与现有技术相比,本申请提供的一种结合深度学习的因果发现方法的有益效果在于:1)利用深度学习方法,利用深度神经网络获取深度特征,再将特征与疾病形成变量对,以进一步挖掘疾病表征所隐藏的本质规律;2)因果发现模块利用神经网络实现,可嵌入到当前任意一个自动诊疗模型中,且整体方法可用梯度下降方法进行学习和优化;3)采用了基于知识的正则化技术,结合公理和领域知识改良神经网络分类结果,使得因果发现更加稳健。
附图说明
图1 为本发明实施例提供的一种结合深度学习和因果发现正则化技术的疾病推理诊断模型;
图2 为本发明实施例提供的因果分类模型。
具体实施方式
以下是本发明的具体实施例,输入数据为12导联心电时序信号,输出是深度特征与具体疾病之间的病理依赖关系。结合附图,对本发明的技术方案作进一步的描述。需要注意的是,这里所使用的输入数据和输出目标,仅是为了结合特定实例以便描述具体算法;所采用的神经网络类型,是根据特定输入实例所采用的,而非意图限制根据本发明给公开的示例性实施方式。其中所使用的技术或者术语,例如卷积神经网络(CNN),均为现有技术中的定义,这里不再赘述。
图1是本实施例提供的一种结合深度学习和因果发现正则化技术的疾病推理诊断模型,包括两个组件:诊疗模型1,带正则化处理的因果性学习模块2。
所述诊疗模型1,用于通过深度神经网络,获取深度特征;
其中特征分类模型11,输入12导联心电信号X={X 1, X 2, …, X 12},输出为疾病C={c 1, c 2, …, c 9}。
由于本实例使用的是多维时序信号,故分类模型采用二维卷积神经网络,共包括10个卷积块和1个分类层。分类层包括一个全局平均池化(Global Average Pooling,GAP)层和SoftMax层。在SoftMax层之前的特征向量为f={f 1, f 2, …, f 10}。
所述带正则化处理的因果性学习模块2,包括因果分类模型21,和正则化学习模块22。
因果分类模型21如图2所示,包括五个卷积块、三个全连接层和一个SoftMax层。每个卷积块包括2个卷积层和一个全局最大层,其中,卷积核大小为16,每个卷积层的卷积核数量为32×2 k ,每2个卷积层k递增1(k从0开始)。每次输入三对数据样本,输出为三元组p=[p 1, p 2, p 3],分别对应的是一对变量(x i ,y i )的三种关系的概率。形如:数据对(x 1,x 2)预测的三种关系概率分别为:p (x1,x2)=[0.9, 0.02, 0.08];数据对(x 1,x 3)预测的三种关系概率分别为:p (x1,x3)=[0.1, 0.2, 0.7];数据对(x 2,x 3)预测的三种关系概率分别为:p (x2,x3)=[0.8, 0.1, 0.1]。
正则化学习模块22包括正则化规则库22a和正则化学习22b两个模块。
所述正则化规则库22a定义如下:
(1)可传递性:
(2)不对称性:
所述正则化学习模块22b,输入为因果分类模型21的输出,对每一条可传递性规则,用样本代入规则头,并计算PSL规则的匹配距离。具体方法如下:
S1:规则的实例代入(grounding)和匹配距离定义:
其中,每个规则的实例代入过程,指用实例取代所有变量的过程。用Łukasiewiczt-norm来将规则匹配为实值,其中I是通过t-norm将谓词或者从句匹配为一个真值的过程。基本逻辑操作为:
S2:对每一条传递性规则,代入样本空间,计算其实例基准距离:
p(x 1→x 2) = 0.9, p(x 2→x 3) = 0.8
计算该规则的规则头的软真值为:I(body) =max{(0.9+0.8)-1, 0}=0.7。其中p(x 1→x 3) =0.1,则d(r) = max {0.7-0.1, 0} = 0.6。
Claims (9)
1.一种基于深度学习的因果医疗诊断方法,其特征在于,包括基于深度神经网络的诊疗模型,和带知识正则化处理的因果性学习模块。
2.根据权利要求1所述的基于深度神经网络的诊疗模型,其特征在于,包括特征分类模型和嵌入层。
3.根据权利要求2所述的特征分类模型,其特征在于,根据输入的多维生理信号,输出疾病类型C=(C 1,…, C K );同时,通过特征分类神经网络11获取到深度特征f=(f 1,…, f T ),其中特征f i 为logits向量。
5.根据权利要求1所述的带知识正则化处理的因果性学习模块,其特征在于,包括因果分类模型,和正则化学习模块。
7.根据权利要求5所述的正则化学习模块,其特征在于,包括正则化规则库,和正则化学习模块。
9.2 正则化学习的损失函数定义为: ,其中是正则化规则库中被输入样本匹配的规则集合,I是通过t-norm将谓词或者从句匹配为一个真值的过程,表示二者的实例基准距离(grounding distance),则在一个解释I下满足一条规则r(表示为)的所有实例基准距离(grounding distance)定义为:;
9.3 二者联合训练令损失函数达到最小。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111046470.8A CN113808734A (zh) | 2021-09-08 | 2021-09-08 | 一种基于深度学习的因果医疗诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111046470.8A CN113808734A (zh) | 2021-09-08 | 2021-09-08 | 一种基于深度学习的因果医疗诊断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113808734A true CN113808734A (zh) | 2021-12-17 |
Family
ID=78940792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111046470.8A Withdrawn CN113808734A (zh) | 2021-09-08 | 2021-09-08 | 一种基于深度学习的因果医疗诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113808734A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116682551A (zh) * | 2023-07-27 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
WO2024008043A1 (zh) * | 2022-07-05 | 2024-01-11 | 浙江大学 | 一种基于因果关系挖掘的临床数据自动化生成方法及系统 |
-
2021
- 2021-09-08 CN CN202111046470.8A patent/CN113808734A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024008043A1 (zh) * | 2022-07-05 | 2024-01-11 | 浙江大学 | 一种基于因果关系挖掘的临床数据自动化生成方法及系统 |
CN116682551A (zh) * | 2023-07-27 | 2023-09-01 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
CN116682551B (zh) * | 2023-07-27 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 疾病预测方法、疾病预测模型训练方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Improved deep hashing with soft pairwise similarity for multi-label image retrieval | |
Luo et al. | Decision-tree-initialized dendritic neuron model for fast and accurate data classification | |
Wong et al. | On equivalence of FIS and ELM for interpretable rule-based knowledge representation | |
CN113033309B (zh) | 一种基于信号下采样及一维卷积神经网络的故障诊断方法 | |
CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
Chen et al. | Machine fault classification using deep belief network | |
CN111461322A (zh) | 一种深度神经网络模型压缩方法 | |
CN113808734A (zh) | 一种基于深度学习的因果医疗诊断方法 | |
Chen et al. | Fast and efficient deep sparse multi-strength spiking neural networks with dynamic pruning | |
CN112765370B (zh) | 知识图谱的实体对齐方法、装置、计算机设备和存储介质 | |
CN110851654A (zh) | 基于张量化数据降维的工业设备故障检测分类方法 | |
CN109409434B (zh) | 基于随机森林的肝脏疾病数据分类规则提取的方法 | |
CN116403730A (zh) | 一种基于图神经网络的药物相互作用预测方法及系统 | |
Asadi et al. | Review of feed forward neural network classification preprocessing techniques | |
Yang et al. | Classification of medical images with synergic graph convolutional networks | |
Wiharto et al. | System diagnosis of coronary heart disease using a combination of dimensional reduction and data mining techniques: A review | |
CN117272195A (zh) | 基于图卷积注意力网络的区块链异常节点检测方法及系统 | |
El Alaoui-Elfels et al. | From auto-encoders to capsule networks: A survey | |
Karegowda et al. | Cascading GA & CFS for feature subset selection in medical data mining | |
Sun et al. | A fuzzy brain emotional learning classifier design and application in medical diagnosis | |
Azam et al. | Classification of COVID-19 symptoms using multilayer perceptron | |
Li et al. | Aero-engine sensor fault diagnosis based on convolutional neural network | |
Sang et al. | Image recognition based on multiscale pooling deep convolution neural networks | |
CN111798455A (zh) | 一种基于全卷积密集空洞网络的甲状腺结节实时分割方法 | |
Kasihmuddin et al. | Systematic satisfiability programming in Hopfield neural network-a hybrid expert system for medical screening |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211217 |
|
WW01 | Invention patent application withdrawn after publication |