CN111882066A - 基于深度表征学习的反事实推理设备 - Google Patents

基于深度表征学习的反事实推理设备 Download PDF

Info

Publication number
CN111882066A
CN111882066A CN202010719276.0A CN202010719276A CN111882066A CN 111882066 A CN111882066 A CN 111882066A CN 202010719276 A CN202010719276 A CN 202010719276A CN 111882066 A CN111882066 A CN 111882066A
Authority
CN
China
Prior art keywords
treatment
module
strategy
layer
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010719276.0A
Other languages
English (en)
Other versions
CN111882066B (zh
Inventor
黄正行
陈晋飙
楚杰斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202010719276.0A priority Critical patent/CN111882066B/zh
Publication of CN111882066A publication Critical patent/CN111882066A/zh
Application granted granted Critical
Publication of CN111882066B publication Critical patent/CN111882066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/042—Backward inferencing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

本发明公开了一种基于深度表征学习的反事实推理设备，包含：基于深度表征学习的反事实推理模型单元和数据输入单元；反事实推理模型单元包括深度表征学习模块、正交损失模块、治疗策略预测模块、治疗策略预测对抗性模块和治疗效果预测模块；数据输入单元向模型单元输入训练数据集对其进行训练；数据输入单元向训练好的模型单元输入待预测的个体状态以得到预测结果。本发明的基于深度表征学习的反事实推理设备，通过治疗策略预测模块、治疗策略预测对抗性模块和正交损失模块的结合，使得表征学习模块中输出的表征ht，hy分别只与治疗策略和治疗效果相关，去掉了其中的混淆性因素，使基于表征hy的治疗效果预测模块能更加准确和科学地预测治疗效果。

Description

基于深度表征学习的反事实推理设备
技术领域
本发明涉及一种基于深度表征学习的反事实推理设备。
背景技术
预测行为对个体的影响是许多领域的核心问题。例如医生确定哪种药物对病人的疗效更好；政府判断谁将从就业培训补贴中受益最多；或者老师决定哪个学习项目对某个特定的学生最有利。
在医学领域，个体化治疗效果(individualized treatment effects，ITE)是一种基于患者健康状况来确定特定治疗策略对该患者的治疗效果的方法。ITE被定义为处理结果和控制结果之间的预期差异，也经常在其他领域被用来作为判断处理方法有效性的指标。ITE的常用方法主要可分为前瞻性研究和回顾性研究，前瞻性研究一般是设置临床随机对照试验(randomized controlled trials，RCTs)，回顾性研究一般根据真实世界数据来估计治疗效果。
RCT是将患者随机分配到不同的治疗组中，观察不同治疗组中患者的治疗效果差异。然而RCT存在几个严重的局限性：(1)要求严格的纳入和排除标准；(2)RCT研究的结论不能自动应用于其他地区；(3)由于道德原因，RCT可能无法实行。
回顾性研究则直接根据真实世界数据估计治疗效果。由于真实世界数据的易获取，回顾性研究被广泛应用于各个领域。然而从真实世界数据估计个体治疗效果也面临两个主要挑战：反事实结果缺失和治疗选择偏差。由于在同一时间一位患者只能接受一种治疗方案，所以我们无从得知其他治疗(即反事实)的结果。此外，真实世界数据中可能存在某些变量会同时影响治疗策略和治疗结果，从而导致混淆。例如，在不同情况下，人们对于治疗的偏好不同，因此治疗策略在不同人群中可能存在相当大的分布差异，分布差异进一步导致对反事实的不准确估计。
为了克服上述挑战，一些传统的ITE估计方法将治疗作为特征，并训练回归模型来估计反事实结果，比如普通最小二乘法(Ordinary least squares，OLS)回归；还有研究采用基于最近邻匹配的方法来找到相似的训练样本，从而估计反事实结果，比如倾向性评分匹配(Propensity score matching，PSM)。
然而这些传统的方法很少从患者输入特征中提取特定于治疗的表征，使得预测结果仍旧受到治疗选择偏差的影响。
发明内容
本发明提供了一种基于深度表征学习的反事实推理设备，采用如下的技术方案：
一种基于深度表征学习的反事实推理设备，包含：基于深度表征学习的反事实推理模型单元和数据输入单元；
反事实推理模型单元包括：
深度表征学习模块，用于从输入特征中提取仅与治疗策略相关的策略表征ht和仅与治疗效果相关的效果表征hy；
正交损失模块，用于对深度表征学习模块输出的策略表征ht和效果表征hy进行正交化处理，消除同时影响治疗策略和治疗结果的混淆性因素；
治疗策略预测模块，用于对深度表征学习模块输出的策略表征ht进行拟合，确保策略表征ht与治疗策略相关；
治疗策略预测对抗性模块，用于对深度表征学习模块输出的效果表征hy进行拟合，确保效果表征hy与治疗策略无关；
治疗效果预测模块，用于对深度表征学习模块输出的效果表征hy进行处理得到不同治疗策略下个体的治疗效果；
数据输入单元用于向反事实推理模型单元输入训练数据集以对反事实推理模型单元进行训练，数据集包括：描述个体特征的数据的自然状态集Θ＝{θ1，θ2，…,θn}、对个体可能采取的不同治疗策略的治疗策略集D＝{d1，d2，…,dm}和治疗效果集O＝{oij}，(i＝1,…,n；j＝1,…,m)，其中oij即个体在真实自然状态θi下采取策略dj时的治疗效果；
数据输入单元还用于向训练好的反事实推理模型单元输入待预测的个体状态以得到预测结果。
进一步地，深度表征学习模块包括两个独立且结构相同的第一多层感知机，其中一个用于提取策略表征ht，另一个用于提取效果表征hy；
第一多层感知机的结构设定为三层，以数据集中的数据作为第一多层感知机的输入层；
设定第一层输出ni1个节点，第二层输出ni2个节点，第三层输出ni3个节点，第一多层感知机通过以下公式进行计算：
h1＝σ(W1x+b1)，
h2＝σ(W2h1+b2)，
h3＝σ(W3h2+b3)，
其中，x表示输入层，x∈R|n|×|x|，W1表示第一层节点的权重矩阵，
Figure BDA0002599371240000021
b1表示第一层的偏置，
Figure BDA0002599371240000031
W2表示第二层节点的权重矩阵，
Figure BDA0002599371240000032
b2表示第二层的偏置，
Figure BDA0002599371240000033
W3表示第三层节点的权重矩阵，
Figure BDA0002599371240000034
b3表示第三层的偏置，
Figure BDA0002599371240000035
h1，h2，h3分别表示第一层、第二层和第三层输出的表征。
进一步地，正交损失模块对策略表征ht和效果表征hy进行正交化的计算公式如下：
Figure BDA0002599371240000036
其中，Orthogonal
Figure BDA0002599371240000037
表示正交损失，nx表示输入样本的数目，ni3代表表征层的节点数，hij表示第j个个体表征层第i个节点的值。
进一步地，治疗策略预测模块为第一SoftMax输出层，第一SoftMax输出层的神经元个数为nt，nt为治疗方案集D的方案总数，治疗策略预测模块通过以下公式进行计算：
ti＝φ(Wtht+bt)i，(i＝1,…,nt)，
Figure BDA0002599371240000038
其中，策略表征ht表示输入层，Wt表示权重矩阵，bt表示偏置，ti表示采用第i个策略的可能性，yt表示预测的治疗策略。
进一步地，治疗策略预测对抗性模块为第二SoftMax输出层，第二SoftMax输出层的神经元个数也为nt，治疗策略预测对抗性模块通过以下公式进行计算：
tanti_ti＝φ(Wanti_thy+banti_t)i，(i＝1,…,nt)，
Figure BDA0002599371240000039
其中，效果表征hy表示输入层，Wanti_t表示权重矩阵，banti_t表示偏置，tanti_ti表示采用第i个策略的可能性，yanti_t表示预测的治疗策略。
进一步地，治疗效果预测模块由nt个独立且结构相同的第二多层感知机组成；
每个第二多层感知机的结构设定为两层，设定第一层输出no1个节点，第二层输出1个节点，第二多层感知机通过以下公式进行计算；
ho1＝σ(Wo1hy+bo1)，
ho2＝Wo2ho1+bo2，
其中，效果表征hy表示输入层，Wo1表示第一层节点的权重矩阵，bo1代表第一层的偏置，Wo2表示第二层节点的权重矩阵，bo2代表第二层的偏置，ho1，ho2分别表示第一层和第二层的输出。
进一步地，数据输入单元用于向反事实推理模型单元输入训练数据集以对反事实推理模型单元进行训练的具体方法为：
将数据集按照一定比例划分为训练集、测试集和验证集；
将训练集输入反事实推理模型单元对其进行训练；
将测试集和验证集输入反事实推理模型单元对其进行验证。
进一步地，将训练集输入反事实推理模型单元对其进行训练的具体方法为：
选择交叉熵函数作为治疗策略预测模块的损失函数，选择准确率作为治疗策略预测模块的评价指标，其中，
Figure BDA0002599371240000041
其中，treatment
Figure BDA0002599371240000042
为治疗策略预测模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，tij表示模型预测的第j位个体采用第i个策略的可能性；
选择交叉熵函数的负值作为治疗策略预测对抗性模块的损失函数，选择准确率作为治疗策略预测对抗性模块的评价指标，其中，
Figure BDA0002599371240000043
其中，anti_treatment
Figure BDA0002599371240000044
为治疗策略预测对抗性模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，anti_tij表示模型预测的第j位个体采用第i个策略的可能性；
选择绝对误差函数作为治疗效果预测模块的损失函数，
Figure BDA0002599371240000045
其中，treatment outcome
Figure BDA0002599371240000046
为治疗效果预测模块的损失函数，Yj表示第j位个体在真实世界中所采取治疗方案的治疗效果，yoj表示模型预测的第j位个体在真实世界中所采取治疗方案的治疗效果；
将训练集输入反事实推理模型单元；
反事实推理模型单元的总损失函数
Figure BDA0002599371240000047
为：
Figure BDA0002599371240000048
优化总损失函数
Figure BDA0002599371240000049
在总损失函数
Figure BDA00025993712400000410
不再下降时，停止训练。
进一步地，通过Adam算法优化优化总损失函数
Figure BDA00025993712400000411
本发明的有益之处在于所提供的基于深度表征学习的反事实推理设备，通过治疗策略预测模块、治疗策略预测对抗性模块和正交损失模块的结合，使得表征学习模块中输出的表征ht，hy分别只与治疗策略和治疗效果相关，去掉了其中的混淆性因素，因此基于表征hy的治疗效果预测模块能更加准确和科学地预测治疗效果。
附图说明
图1是本发明的反事实推理模型单元的示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
本发明提供一种基于深度表征学习的反事实推理设备，包含：基于深度表征学习的反事实推理模型单元和数据输入单元。
如图1所示，反事实推理模型单元包括：深度表征学习模块、正交损失模块、治疗策略预测模块、治疗策略预测对抗性模块和治疗效果预测模块。输入部分中，深色的代表仅与治疗策略相关特征，稍浅色代表仅与治疗结果相关特征，浅色代表与治疗策略和治疗结果均相关的特征。
数据输入单元用于向反事实推理模型单元输入训练数据集以对反事实推理模型单元进行训练，数据集包括：描述个体特征的数据的自然状态集Θ＝{θ1，θ2，…,θn}、对个体可能采取的不同治疗策略的治疗策略集D＝{d1，d2，…,dm}和治疗效果集O＝{oij}，(i＝1,…,n；j＝1,…,m)，其中oij即个体在真实自然状态θi下采取策略dj时的治疗效果。数据输入单元还用于向训练好的反事实推理模型单元输入待预测的个体状态以得到预测结果。
具体而言，深度表征学习模块用于从输入特征中提取仅与治疗策略相关的策略表征ht和仅与治疗效果相关的效果表征hy。深度表征学习模块包括两个独立且结构相同的第一多层感知机，其中一个用于提取策略表征ht，另一个用于提取效果表征hy。第一多层感知机的结构设定为三层，以数据集中的数据作为第一多层感知机的输入层。设定第一层输出ni1个节点，第二层输出ni2个节点，第三层输出ni3个节点，第一多层感知机通过以下公式进行计算：
h1＝σ(W1x+b1)，
h2＝σ(W2h1+b2)，
h3＝σ(W3h2+b3)，
其中，x表示输入层，x∈R|n|×|x|，W1表示第一层节点的权重矩阵，
Figure BDA0002599371240000051
b1表示第一层的偏置，
Figure BDA0002599371240000052
W2表示第二层节点的权重矩阵，
Figure BDA0002599371240000053
b2表示第二层的偏置，
Figure BDA0002599371240000054
W3表示第三层节点的权重矩阵，
Figure BDA0002599371240000055
b3表示第三层的偏置，
Figure BDA0002599371240000061
h1，h2，h3分别表示第一层、第二层和第三层输出的表征。
Figure BDA0002599371240000062
为elu激活函数。两个第一多层感知机最终输出的表征分别为ht和hy。经过训练后，期望ht仅与治疗策略相关，hy仅与治疗效果相关。
正交损失模块用于对深度表征学习模块输出的策略表征ht和效果表征hy进行正交化处理，消除同时影响治疗策略和治疗结果的混淆性因素。具体的，正交损失模块对深度表征学习模块输出的策略表征ht和效果表征hy进行正交化处理，通过对输出的正交化结果最小化，可以去掉会同时影响治疗策略和治疗结果的混淆性因素，从而解决治疗选择偏差问题。正交损失模块对表征ht，hy进行正交化的计算公式如下：
Figure BDA0002599371240000063
其中，Orthogonal
Figure BDA0002599371240000064
表示正交损失，nx表示输入样本的数目，ni3代表表征层的节点数，hij表示第j个个体表征层第i个节点的值。
治疗策略预测模块用于对深度表征学习模块输出的策略表征ht进行拟合，确保策略表征ht与治疗策略相关。治疗策略预测模块为第一SoftMax输出层，第一SoftMax输出层的神经元个数为nt，nt为治疗方案集D的方案总数，输出层中数值最大的节点下标即为预测的治疗策略，治疗策略预测模块通过以下公式进行计算：
ti＝φ(Wtht+bt)i，(i＝1,…,nt)，
Figure BDA0002599371240000065
其中，策略表征ht表示输入层，Wt表示权重矩阵，bt表示偏置，ti表示采用第i个策略的可能性，yt表示预测的治疗策略。
Figure BDA0002599371240000066
表示‘SoftMax’激活函数，argmax表示取向量中最大值的下标。
治疗策略预测对抗性模块用于对深度表征学习模块输出的效果表征hy进行拟合，确保效果表征hy与治疗策略无关。治疗策略预测对抗性模块为第二SoftMax输出层，第二SoftMax输出层的神经元个数也为nt，治疗策略预测对抗性模块通过以下公式进行计算：
tanti_ti＝φ(Wanti_t+hy+banti_t)i，(i＝1,…,nt)，
Figure BDA0002599371240000067
其中，效果表征hy表示输入层，Wanti_t表示权重矩阵，banti_t表示偏置，tanti_ti表示采用第i个策略的可能性，yanti_t表示预测的治疗策略。
Figure BDA0002599371240000071
表示‘SoftMax’激活函数，argmax表示取向量中最大值的下标。
治疗效果预测模块用于对深度表征学习模块输出的效果表征hy进行处理得到不同治疗策略下个体的治疗效果。治疗效果预测模块由nt个独立且结构相同的第二多层感知机组成。每个第二多层感知机的结构设定为两层，设定第一层输出no1个节点，第二层输出1个节点，第二多层感知机通过以下公式进行计算。
ho1＝σ(Wo1hy+bo1)，
ho2＝Wo2ho1+bo2，
其中，效果表征hy表示输入层，Wo1表示第一层节点的权重矩阵，bo1代表第一层的偏置，Wo2表示第二层节点的权重矩阵，bo2代表第二层的偏置，ho1，ho2分别表示第一层和第二层的输出。
Figure BDA0002599371240000072
为elu激活函数。本模块最终输出nt个ho2值，表示为向量
Figure BDA0002599371240000073
代表不同治疗策略下个体的治疗效果。
结合以上五个模块，完成最终反事实推理模型单元的构建。数据输入单元向模型单元输入训练集，经过基于多层感知机的深度表征学习模块的特征提取分别输出表征ht(与治疗策略相关)和表征hy(与治疗效果相关)。ht和hy通过正交损失模块去掉表征中会同时影响治疗策略和治疗结果的混淆性因素。治疗策略预测模块以ht为输入，治疗策略预测对抗性模块以hy为输入，分别输出对于真实世界治疗策略的预测。同时治疗效果预测模块以hy为输入，输出对于不同治疗策略下治疗效果的预测。
数据输入单元用于向反事实推理模型单元输入训练数据集以对反事实推理模型单元进行训练的具体方法为：
将数据集按照一定比例划分为训练集、测试集和验证集。根据需求将数据集中的数据随机打乱后(自然状态、治疗方案、治疗效果需一一对应)，按照a:b:c的比例划分为训练集、测试集和验证集，其中a，b，c为整数。
利用训练集训练基于深度表征学习的反事实推理模型。
通过测试集和验证集对基于深度表征学习的反事实推理模型进行验证。
其中，将所述训练集输入所述反事实推理模型单元对其进行训练的具体方法为：
选择交叉熵函数作为治疗策略预测模块的损失函数，选择准确率作为治疗策略预测模块的评价指标，其中，
Figure BDA0002599371240000081
其中，treatment
Figure BDA0002599371240000082
为治疗策略预测模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，tij表示模型预测的第j位个体采用第i个策略的可能性，
准确率
Figure BDA0002599371240000083
其中NA是被模块预测正确的标签数据的总数，N是所有标签数据的总数。
选择交叉熵函数的负值作为治疗策略预测对抗性模块的损失函数，选择准确率作为治疗策略预测对抗性模块的评价指标，其中，
Figure BDA0002599371240000084
其中，anti_treatment
Figure BDA0002599371240000085
为治疗策略预测对抗性模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，anti_tij表示模型预测的第j位个体采用第i个策略的可能性，
准确率
Figure BDA0002599371240000086
其中NA是被模块预测正确的标签数据的总数，N是所有标签数据的总数。
选择绝对误差函数作为治疗效果预测模块的损失函数，
Figure BDA0002599371240000087
其中，treatment outcome
Figure BDA0002599371240000088
为治疗效果预测模块的损失函数，Yj表示第j位个体在真实世界中所采取治疗方案的治疗效果，yoj表示模型预测的第j位个体在真实世界中所采取治疗方案的治疗效果。
将训练集输入到模型中，基于深度表征学习的反事实推理模型的总损失函数
Figure BDA0002599371240000089
为：
Figure BDA00025993712400000810
优化总损失函数
Figure BDA00025993712400000811
在总损失函数
Figure BDA00025993712400000812
不再下降时，停止训练。
作为一种优选的实施方式，具体的，调用TensorFlow内置的tf.train.Optimizer函数来使总损失函数L最小化，通过Adam算法优化优化总损失函数
Figure BDA00025993712400000813
应用时，反事实推理模型单元首先利用深度表征学习模块从真实世界数据中分别提取表征ht和表征hy。表征ht和表征hy通过治疗策略预测模块、治疗策略预测对抗性模块和正交损失模块去掉会同时影响治疗策略和治疗结果的混淆性因素，使得表征ht仅与治疗策略相关，表征hy仅与治疗效果相关。最后治疗效果预测模块以hy为输入，输出对于不同治疗策略下治疗效果的预测。
当完成模型训练后，将预测的个体状态输入训练好的反事实推理模型单元中，模型单元能够根据个体状态输出不同的医疗策略下的医疗结果预测。
以现有的IHDP数据集，分别采用本发明的设备以及现有的倾向性评分匹配(PSM)设备和普通最小二乘法(OLS)回归设备进行对比。IHDP数据集是2011年Hill构建并公开的婴儿健康与发展计划数据集(the Infant Health and Development Program，IHDP)，是一项针对低体重早产儿的随机实验，旨在研究专家家访对三岁以下儿童未来认知测验成绩的影响。IHDP数据集包含747个婴儿样本、是否接受家访的标签、其他25个描述孩子及其母亲属性的特征、以及1000次在接受家访和未接受家访时对认知能力的仿真结果。
对于个体化治疗效果预测的评估，IHDP数据集存在仿真结果，所以用平均治疗效应(average treatment effect error，ATE)和异质效应估算精度(Precision in theestimation of heterogeneous effect，PEHE)来作为评估指标，ATE和PEHE越小就说明预测结果越准确。两者计算公式如下：
Figure BDA0002599371240000091
Figure BDA0002599371240000092
其中，Y1(xi)表示在治疗干预下的仿真结果，Y0(xi)表示无治疗干预下的仿真结果，y1(xi)表示模型预测的有治疗干预的结果，y0(xi)表示模型预测的无治疗干预的结果。对比结果如下，可见，本发明的设备预测效果更好。
表1IHDP数据集上本发明的预测设备与对比设备的表现
模型 PEHE(测试集) ATE(测试集) PEHE(验证集) ATE(验证集)
本发明设备 1.420±1.014 0.200±0.189 1.414±1.053 0.245±0.257
PSM设备 7.188±2.679 0.847±0.850 7.290±3.389 0.821±0.971
(OLS)回归设备 10.280±3.794 0.730±0.410 5.245±0.986 0.943±0.625
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (9)

1.一种基于深度表征学习的反事实推理设备，其特征在于，包含：基于深度表征学习的反事实推理模型单元和数据输入单元；
所述反事实推理模型单元包括：
深度表征学习模块，用于从输入特征中提取仅与治疗策略相关的策略表征ht和仅与治疗效果相关的效果表征hy；
正交损失模块，用于对所述深度表征学习模块输出的所述策略表征ht和所述效果表征hy进行正交化处理，消除同时影响治疗策略和治疗结果的混淆性因素；
治疗策略预测模块，用于对所述深度表征学习模块输出的所述策略表征ht进行拟合，确保所述策略表征ht与治疗策略相关；
治疗策略预测对抗性模块，用于对所述深度表征学习模块输出的所述效果表征hy进行拟合，确保效果表征hy与治疗策略无关；
治疗效果预测模块，用于对所述深度表征学习模块输出的所述效果表征hy进行处理得到不同治疗策略下个体的治疗效果；
所述数据输入单元用于向所述反事实推理模型单元输入训练数据集以对所述反事实推理模型单元进行训练，所述数据集包括：描述个体特征的数据的自然状态集Θ＝{θ1，θ2，…,θn}、对个体可能采取的不同治疗策略的治疗策略集D＝{d1，d2，…,dm}和治疗效果集O＝{oij}，(i＝1,…,n；j＝1,…,m)，其中oij即个体在真实自然状态θi下采取策略dj时的治疗效果；
所述数据输入单元还用于向训练好的所述反事实推理模型单元输入待预测的个体状态以得到预测结果。
2.根据权利要求1所述的基于深度表征学习的反事实推理设备，其特征在于，
所述深度表征学习模块包括两个独立且结构相同的第一多层感知机，其中一个用于提取所述策略表征ht，另一个用于提取所述效果表征hy；
所述第一多层感知机的结构设定为三层，以所述数据集中的数据作为所述第一多层感知机的输入层；
设定第一层输出ni1个节点，第二层输出ni2个节点，第三层输出ni3个节点，所述第一多层感知机通过以下公式进行计算：
h1＝σ(W1x+b1)，
h2＝σ(W2h1+b2)，
h3＝σ(W3h2+b3)，
其中，x表示输入层，x∈R|n|×|x|，W1表示第一层节点的权重矩阵，
Figure FDA0002599371230000021
b1表示第一层的偏置，
Figure FDA0002599371230000022
W2表示第二层节点的权重矩阵，
Figure FDA0002599371230000023
b2表示第二层的偏置，
Figure FDA0002599371230000024
W3表示第三层节点的权重矩阵，
Figure FDA0002599371230000025
b3表示第三层的偏置，
Figure FDA0002599371230000026
h1，h2，h3分别表示第一层、第二层和第三层输出的表征。
3.根据权利要求2所述的基于深度表征学习的反事实推理设备，其特征在于，
所述正交损失模块对所述策略表征ht和所述效果表征hy进行正交化的计算公式如下：
Figure FDA0002599371230000027
其中，Orthogonal
Figure FDA0002599371230000028
表示正交损失，nx表示输入样本的数目，ni3代表表征层的节点数，hij表示第j个个体表征层第i个节点的值。
4.根据权利要求3所述的基于深度表征学习的反事实推理设备，其特征在于，
所述治疗策略预测模块为第一SoftMax输出层，所述第一SoftMax输出层的神经元个数为nt，nt为治疗方案集D的方案总数，所述治疗策略预测模块通过以下公式进行计算：
ti＝φ(Wtht+bt)i，(i＝l，…，nt)，
Figure FDA0002599371230000029
其中，所述策略表征ht表示输入层，Wt表示权重矩阵，bt表示偏置，ti表示采用第i个策略的可能性，yt表示预测的治疗策略。
5.根据权利要求4所述的基于深度表征学习的反事实推理设备，其特征在于，
所述治疗策略预测对抗性模块为第二SoftMax输出层，所述第二SoftMax输出层的神经元个数也为nt，所述治疗策略预测对抗性模块通过以下公式进行计算：
tanti_ti＝φ(Wanti_thy+banti_t)i，(i＝1，…，nt)，
Figure FDA00025993712300000210
其中，所述效果表征hy表示输入层，Wanti_t表示权重矩阵，banti_t表示偏置，tanti_ti表示采用第i个策略的可能性，yanti_t表示预测的治疗策略。
6.根据权利要求5所述的基于深度表征学习的反事实推理设备，其特征在于，
所述治疗效果预测模块由nt个独立且结构相同的第二多层感知机组成；
每个所述第二多层感知机的结构设定为两层，设定第一层输出no1个节点，第二层输出1个节点，所述第二多层感知机通过以下公式进行计算；
ho1＝σ(Wo1hy+bo1)，
ho2＝Wo2ho1+bo2，
其中，所述效果表征hy表示输入层，Wo1表示第一层节点的权重矩阵，bo1代表第一层的偏置，Wo2表示第二层节点的权重矩阵，bo2代表第二层的偏置，ho1，ho2分别表示第一层和第二层的输出。
7.根据权利要求6所述的基于深度表征学习的反事实推理设备，其特征在于，
所述数据输入单元用于向所述反事实推理模型单元输入训练数据集以对所述反事实推理模型单元进行训练的具体方法为：
将所述数据集按照一定比例划分为训练集、测试集和验证集；
将所述训练集输入所述反事实推理模型单元对其进行训练；
将所述测试集和所述验证集输入所述反事实推理模型单元对其进行验证。
8.根据权利要求7所述的基于深度表征学习的反事实推理设备，其特征在于，
将所述训练集输入所述反事实推理模型单元对其进行训练的具体方法为：
选择交叉熵函数作为所述治疗策略预测模块的损失函数，选择准确率作为所述治疗策略预测模块的评价指标，其中，
Figure FDA0002599371230000031
其中，treatment
Figure FDA0002599371230000032
为所述治疗策略预测模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，tij表示模型预测的第j位个体采用第i个策略的可能性；
选择交叉熵函数的负值作为所述治疗策略预测对抗性模块的损失函数，选择准确率作为所述治疗策略预测对抗性模块的评价指标，其中，
Figure FDA0002599371230000033
其中，anti_treatment
Figure FDA0002599371230000034
为所述治疗策略预测对抗性模块的损失函数,nt为治疗方案集D的方案总数，nx表示输入样本的数目，Tij表示第j位个体在第i种治疗方案的真实标签数据，anti_tij表示模型预测的第j位个体采用第i个策略的可能性；
选择绝对误差函数作为治疗效果预测模块的损失函数，
Figure FDA0002599371230000035
其中，treatment outcome
Figure FDA0002599371230000036
为治疗效果预测模块的损失函数，Yj表示第j位个体在真实世界中所采取治疗方案的治疗效果，
Figure FDA0002599371230000041
表示模型预测的第j位个体在真实世界中所采取治疗方案的治疗效果；
将所述训练集输入所述反事实推理模型单元；
所述反事实推理模型单元的总损失函数
Figure FDA0002599371230000042
为：
Figure FDA0002599371230000043
优化所述总损失函数
Figure FDA0002599371230000044
在所述总损失函数
Figure FDA0002599371230000045
不再下降时，停止训练。
9.根据权利要求8所述的基于深度表征学习的反事实推理设备，其特征在于，
通过Adam算法优化优化所述总损失函数
Figure FDA0002599371230000046
CN202010719276.0A 2020-07-23 2020-07-23 基于深度表征学习的反事实推理设备 Active CN111882066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010719276.0A CN111882066B (zh) 2020-07-23 2020-07-23 基于深度表征学习的反事实推理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010719276.0A CN111882066B (zh) 2020-07-23 2020-07-23 基于深度表征学习的反事实推理设备

Publications (2)

Publication Number Publication Date
CN111882066A true CN111882066A (zh) 2020-11-03
CN111882066B CN111882066B (zh) 2023-11-14

Family

ID=73156170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010719276.0A Active CN111882066B (zh) 2020-07-23 2020-07-23 基于深度表征学习的反事实推理设备

Country Status (1)

Country Link
CN (1) CN111882066B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863622A (zh) * 2021-01-18 2021-05-28 北京大学 利用历史对照数据的双稳健临床试验数据处理方法及系统
CN112988851A (zh) * 2021-04-27 2021-06-18 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
CN113539517A (zh) * 2021-08-05 2021-10-22 浙江大学 时序干预效果的预测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110383389A (zh) * 2017-03-01 2019-10-25 怡素数字健康有限公司 心理治疗分类方法
CN110515732B (zh) * 2019-08-23 2021-06-18 中国人民解放军国防科技大学 一种基于资源受限机器人深度学习推理的任务分配方法
CN111276187B (zh) * 2020-01-12 2021-09-10 湖南大学 一种基于自编码器的基因表达谱特征学习方法
CN111223577A (zh) * 2020-01-17 2020-06-02 江苏大学 一种基于深度学习的协同抗肿瘤多药组合效果预测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863622A (zh) * 2021-01-18 2021-05-28 北京大学 利用历史对照数据的双稳健临床试验数据处理方法及系统
CN112863622B (zh) * 2021-01-18 2024-03-22 北京大学 利用历史对照数据的双稳健临床试验数据处理方法及系统
CN112988851A (zh) * 2021-04-27 2021-06-18 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
CN112988851B (zh) * 2021-04-27 2021-07-27 腾讯科技（深圳）有限公司 反事实预测模型数据处理方法、装置、设备及存储介质
CN113539517A (zh) * 2021-08-05 2021-10-22 浙江大学 时序干预效果的预测方法
CN113539517B (zh) * 2021-08-05 2024-04-16 浙江大学 时序干预效果的预测方法

Also Published As

Publication number Publication date
CN111882066B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
Wilson et al. Ten simple rules for the computational modeling of behavioral data
CN111882066B (zh) 基于深度表征学习的反事实推理设备
CN106295186A (zh) 一种基于智能推理的辅助疾病诊断的方法与系统
KR102285665B1 (ko) 학습 커리큘럼 제공 방법, 시스템 및 장치
CN110502636A (zh) 一种面向主客观试题的联合建模及挖掘方法及系统
CN110111885B (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
Somoza et al. A neural-network approach to predicting admission decisions in a psychiatric emergency room
Heller et al. Using the cross-match test to appraise covariate balance in matched pairs
CN109935337A (zh) 一种基于相似性度量的病案查找方法及系统
Intisar et al. Cluster analysis to estimate the difficulty of programming problems
CN111418024A (zh) 康复状况评估与管理系统及相关方法
Iraji Prediction of post-operative survival expectancy in thoracic lung cancer surgery with soft computing
CN111477337A (zh) 基于个体自适应传播网络的传染病预警方法、系统及介质
CN112329921B (zh) 基于深度表征学习和强化学习的利尿剂剂量推理设备
US20160342901A1 (en) Method of state transition prediction and state improvement of liveware, and an implementation device of the method
Nurmaini et al. Breast cancer classification using deep learning
CN113705092A (zh) 基于机器学习的疾病预测方法及装置
Mumtaz et al. Evaluation of three neural network models using Wisconsin breast cancer database
Chandna et al. Pattern recognition of vertical strabismus using an artificial neural network (StrabNet©)
Vinothini et al. Heart disease prediction
Fancsali Constructing variables that support causal inference
Payá et al. Development of an artificial neural network for helping to diagnose diseases in urology
Setiawan et al. Software Development to Detecting the use of Mask using Convolutional Neural Networks
Stensmo Adaptive Automated Diagnosis
Toledo et al. Check for updates Data Mining Application for the Generation of User Profiles in Serious Games Aimed at Attention and Memory Training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant