CN114239744B - 一种基于变分生成对抗网络的个体处理效应评估方法 - Google Patents

Abstract

本发明公开了一种基于变分生成对抗网络的个体处理效应评估方法，采用变分自编码器推断观测特征的隐表示，来获取完整的潜在因素，设计生成对抗网络推断反事实结果并指导变分自编码器更好地解耦潜在因素为工具因素，混淆因素以及调整因素，同时引入了一种自适应加权的方法基于解耦的混淆因素进一步控制数据偏差。本发明基于变分自编码器与生成对抗网络设计协同学习策略，提出变分生成对抗网络模型来估计个体处理效应，与现有方法相比，提高了个体处理效应评估的准确率。

Description

一种基于变分生成对抗网络的个体处理效应评估方法

技术领域

本发明涉及机器学习与因果推理相结合的技术领域，具体的说是一种基于变分生成对抗网络的个体处理效应评估方法。

背景技术

目前使用机器学习算法来解决医疗，社会，经济领域的因果推理问题吸引了很多研究者的兴趣。尤其是从观测数据中推断个体处理效应(Individual Treatment Effect，ITE)对精准医疗等具有重要的应用价值。例如，准确的评估某种治疗对每个患者的处理(治疗)效应将有助于医生决定对每个患者采用哪种合适的治疗方式。处理效应评估的黄金标准是随机对照试验(Randomized Controlled Trials，RCTs)，然而，随机对照试验往往成本很高，有时甚至是不道德，不可行的，而且无法评估个体层面的处理效应。所以人们将关注的重点转移到了如何从观测数据估计个体处理效应。个体处理效应对比的是同一个体，除了接受不同治疗之外，其他所有条件相同下的潜在结果之间的差异。本发明感兴趣的是二元处理变量t_i∈{0，1}，例如t_i＝1，表示吃药，t_i＝0表示不吃药，则y_i(t_i)表示个体i接受处理t_i的潜在结果，分别为y_i(0)，y_i(1)，所以个体处理效应ITE_i＝y_i(1)-y_i(0)。然而潜在结果只能观测到一个，另一个无法观测，分别称为事实与反事实结果，所以从观测数据中评估个体处理效应的基本问题是反事实结果无法获得。因此评估个体处理效应需要回答反事实问题，例如，如果某个吃药的病人当初没有吃药，他会痊愈的更快吗？首先，这不同于标准的监督学习问题，反事实的标签是完全缺失的。其次，观测数据与随机对照试验不同，观测数据处理的分配不是随机的，由于观测数据存在混淆因素，既影响处理分配又影响处理结果，从而导致观测数据存在偏差，即选择偏差P(T|X)≠P(T)，其中T代表处理变量，X代表观测特征。选择偏差意味着处理的分配与样本的观测特征相关，例如：老年人大多在治疗组(t_i＝1)且痊愈的较慢，而年轻人大多在控制组(t_i＝0)且痊愈的较快，从而导致每个组的特定区域样本是稀疏的，这种稀疏性会降低在该区域估计反事实结果的准确性和可信度。

为了缓解选择偏差带来的影响，一些方法将从观测数据估计个体处理效应定义为一种域适应场景，模型在源域(事实)数据上训练预测事实结果，同时需要在目标域(反事实)数据上很好的预测反事实结果。P^f(X，T)为观测数据的事实分布，p^cf(X，T)为反事实分布，二者分布是否一致无法控制，因为P^f(X，T)＝P(X)·Pf(T|X)，而p^cf(X，T)＝P(X)·P^cf(T|X)，二者之间的不同体现在处理分配机制P(T|X)上。如果处理分配与样本特征独立，那么事实与反事实的分布将是一致的。但观测数据中由于混淆因素的存在，导致治疗的分配并不是随机的，所以如何平衡混淆因素从而缓解选择偏差带来的影响，成为了研究的重点。我们认为现有的方法可以分为两大类：第一类采用倾向得分，包括匹配、分层、双稳健以及加权的方式，来应对观测数据中的选择偏差，然而这些传统的方法很难应对高维数据的场景。第二类使用表示学习的方法。有些模型尝试学习一个表示空间，使得学到的空间中不同处理组样本特征分布尽可能一致，达到平衡混淆的作用，然后基于学到的表示空间分别学习相应治疗的潜在结果，进而估计个体处理效应。然而，由于混淆因素同时影响处理的分配以及处理结果，所以这些方法需要在去除有偏的混淆因素与保留具有预测性的混淆因素之间进行平衡，导致学习到的表示中仍然存在剩余混淆所带来的选择偏差，个体处理效应的估计不准确。使用对抗生成网络评估个体处理效应(Estimation of Individual Treatment Effect Using Generative AdversarialNets，GANITE)的方法并没有尝试学习平衡的表示空间，而是根据样本所有的观测特征建模事实结果的条件分布，进而使用对抗学习的方式，生成与事实结果条件分布近似的反事实结果，进而估计个体处理效应。

但是现有的大多数方法将所有的观测特征当作混淆因素来解释选择偏差，忽视了识别混淆与非混淆因素的重要性。已有研究表明，如果控制非混淆因素，如只影响处理分配的工具因素，会给处理效应的估计带来较大的偏差。此外，大部分方法假设完整的混淆因素已经包含在观测特征中，没有未观测到的混淆因素。然而该假设在实际应用中是难以满足的。所以如何从观测特征推断完整的潜在因素，并正确识别影响处理分配与处理结果的混淆因素，只影响处理分配的工具因素和只影响处理结果的调整因素，对从观测数据估计个体处理效应至关重要。

发明内容

本发明针对现有的从观测数据估计个体处理效应的方法存在的两点不足：忽视混淆与非混淆因素的识别以及假设完整的混淆因素已经被观测到，提出一种变分生成对抗网络模型来估计个体处理效应。设计变分自编码器与生成对抗网络的协同学习策略，构建变分生成对抗网络模型，从观测特征推断潜在因素的分布来解释未被观测到的混淆因素，并将潜在因素解耦为工具因素，混淆因素以及调整因素，同时基于解耦的潜在因素估计反事实结果，补齐缺失反事实结果的数据之后，使用条件生成对抗网络模型进而推断个体处理效应，取得较好的准确率。

为了达到上述目的，本发明是通过以下技术方案来实现的：

本发明是一种基于变分生成对抗网络的个体处理效应评估方法，具体步骤如下：

步骤1，获取带有标签信息的用于个体处理效应评估的数据集，从该数据集中创建作为训练数据，其中，i表示个体，x表示观测特征，t表示处理变量(t∈{0，1})，y^f表示观测到的事实结果；

步骤2，创建变分生成对抗网络结构模型，包括变分自编码器与生成对抗网络两个模块，基于观测特征x，训练变分自编码器学习解耦的潜在因素，分别为工具因素z^t，混淆因素z^c以及调整因素z^y；

步骤3：基于步骤2解耦的混淆因素z^c、调整因素z^y和处理变量训练生成对抗网络生成事实结果与反事实结果并使用混淆因素z^c学习样本权重，与生成事实结果的监督损失按位相乘，得到最终的加权监督损失，以此来控制数据选择偏差；

步骤4：基于步骤3生成的反事实结果，创建具有事实以及反事实结果的完整数据集

步骤5：创建个体处理效应估计的网络结构模型，基于步骤4创建的完整数据集，训练模型输入观测特征x，输出潜在结果

步骤6：使用步骤5训练的个体处理效应估计模型，输入测试数据观测特征x_i，输出预测的潜在结果包含进而得到并给出估计的置信度估计。

本发明的进一步改进在于：在步骤2中，使用三个独立的编码器基于观测特征x学习并解耦潜在因素为工具因素z^t，混淆因素z^c以及调整因素z^y，并使用解码器p_θ(x|z^t，z^c，z^y)来重构特征向量x；其中，三种潜在因素的先验分布p(z^t)，p(z^c)，p(z^y)如下：

其中D_t，D_c，D_y分别定义为工具因素，混淆因素以及调整因素的维度；

在编码器中，变分后验为：

其中，和分别定义为使用神经网络参数化高斯分布的均值以及方差；

通过最大化证据下界获得：

在编码器学到潜在表示z^t与z^c后使用神经网络f_t(z^t，z^c)基于z^t与z^c推断处理变量的后验分布来重构处理变量t，从而指导编码器更好的学习解耦的工具与混淆因素为z^t与z^c，Bern(p)定义为标准的参数为p的伯努利分布，f_t的损失函数为：

当损失函数收敛后，则学到的潜在表示z^t与z^c分别对应工具因素以及混淆因素；在编码器学到潜在表示z^c与z^y之后，使用生成对抗网络模型基于z^c与z^y预测事实结果变量y^f，训练生成对抗网络模型指导预测事实结果的损失收敛，其中，预测事实结果的损失为：

当损失收敛后，得到事实结果变量y^f的分布p(y^f|t，z^t，z^c)，从而指导编码器学习解耦的混淆与调整因素为z^c与z^y。

本发明的进一步改进在于：步骤3中，生成对抗网络模型生成反事实结果，具体步骤如下：

步骤3.1，将入z^c，z^y以及t输入至生成对抗网络的生成器中来生成潜在结果向量结果向量包含预测的事实结果以及反事实结果使用y^f代替将包含事实结果y^f与预测的反事实结果的向量定义为将输入判别器，判别器判断向量中事实结果的部分与反事实结果的部分，若判别器无法判别，则生成的反事实结果视为事实结果的分布，其中，定义生成对抗网络中的生成器G与判别器D_G的优化函数为：

其中，

步骤3.2，控制选择偏差；

基于分解的混淆因素学习π₀网络，其损失函数为：

使用学到的π₀网络学习样本权重：

其中P(t_i)是数据集中t_i＝1或者t_i＝0的概率；

加权后的监督损失为

最终，解耦潜在因素与推断反事实结果的总损失为：

其中L_G＝V_CF，α，β，γ为超参数。

本发明的进一步改进在于：步骤5中，训练模型具体为：向生成器I输入观测特征向量x以及随机向量z_I，生成潜在结果向量判别器D_I判断输入的向量是否为真实的潜在结果；

个体处理效应估计的网络结构模型的目标函数为：

损失函数为：

其中，L_I＝V_ITE，ω是超参数。

本发明的进一步改进在于：采用监督损失实现个体处理效应估计的网络结构模型的目标函数的优化，其中，监督损失为：

本发明的有益效果是：1、本发明所述方法考虑基于观测特征学习解耦的潜在工具因素、混淆因素以及调整因素，而不是简单的将所有观测特征视为混淆因素。已有研究证明，如果使用与处理分配高度相关而与处理结果无关的工具因素来预测结果，将会对个体处理效应估计带来较大的偏差。而本发明可以将混淆因素与非混淆因素分离，然后基于混淆以及调整因素来估计结果，并通过混淆因素对样本加权来处理选择偏差，有效提高了评估个体处理效应的准确率。

2、本发明的方法并未假设完整的混淆变量已被观测到，考虑未观测混淆因素的存在，并尝试基于观测特征推断潜在因素的分布，而不是具体的值，放松了现有大部分方法依赖的完整混淆都被观测到的假设。

3、在获得具有事实以及反事实结果的完整数据之后，使用一种生成对抗网络模型估计个体处理效应，并给出估计的置信度估计，这在医疗领域是非常重要的。

附图说明

图1为本发明中基于变分生成对抗网络评估个体处理效应方法的步骤流程图；

图2为本发明中学习潜在因素并解耦为工具因素，混淆因素以及调整因素的示意图；

图3为本发明中学习解耦的潜在因素并进行反事实估计的模型架构图；

图4为本发明中使用具有事实以及反事实结果的完整数据集进行个体处理效应评估的模型架构图。

具体实施方式

为了使本发明的目的、技术方案以及创新点更加清晰，下面结合附图以及具体实施例对本发明进行详细描述。

本发明是一种从观测数据评估个体处理效应的方法，方法思想请参阅图2所示，观测特征可以视作潜在因素的代理，基于观测特征学习并解耦潜在因素为只影响治疗分配的工具因素，同时影响治疗分配以及结果的混淆因素和只影响结果的调整因素，三种因素分别服从相应的分布。然后使用解耦的潜在因素进行个体处理效应评估。

在本实施例中，定义为样本特征空间，定义为潜在结果的集合，定义为处理的集合。对于一个标记为i的样本，其特征处理潜在结果表示样本选择了处理t_i的潜在结果。本发明只关心处理是二元变量的情况，意味着t_i∈{0，1}。在二元处理变量的设置中，对于每一个样本定义为观测到的事实结果，定义为未观测到的反事实结果，其中 个体处理效应估计的基本问题是给定样本特征，只有事实结果是可以观测到的，但个体处理效应ITE_i＝y_i(1)-y_i(0)，因此需要推断接受另一种处理下的潜在结果。

如图1所示，一种基于变分生成对抗网络的个体处理效应评估方法的具体步骤如下：

步骤1，获取带有标签信息的可用于个体处理效应评估的数据集。从该数据集中创建作为训练数据，其中x表示观测特征，t表示处理变量(t∈{0，1})，y^f表示观测到的事实结果；

步骤2，解耦潜在因素：如图3所示，本发明的目标是学习观测特征的隐表示z＝{z^t，z^c，z^y}的后验分布，并将其分解为工具因素z^t，混淆因素z^c以及调整因素zy。本发明使用三个独立的编码器然后使用解码器p_θ(x|z^t，z^c，z^y)基于三种潜在因素重构观测特征x。

三种潜在因素的先验分布p(z^t)，p(z^c)，p(z^y)选择为标准高斯分布：

其中D_t，D_c，D_y分别定义为工具因素，混淆因素以及调整因素的维度。在编码器中，变分后验可以近似为：

其中，和分别定义为使用神经网络参数化高斯分布的均值以及方差。与标准的变分自编码器优化方法一样，最优参数可以通过最大化证据下界(Evidence Lower Bund，ELBO)获得：

如图2所示，工具因素和混淆因素与处理分配相关，为了更好的解耦潜在因素，在编码器学到潜在表示z^t与z^c后使用神经网络f_t(z^t，z^c)基于z^t与z^c推断处理变量的后验分布来重构(预测)处理变量t，从而指导编码器更好的学习解耦的工具与混淆因素为z^t与z^c，Bern(p)定义为标准的参数为p的伯努利分布，f_t的损失函数为：

当损失函数收敛后，可以认为学到的潜在表示z^t与z^c分别对应工具因素以及混淆因素。由于混淆因素以及调整因素可以很好的预测结果，所以在编码器学到潜在表示z^c与z^y之后，使用生成对抗网络模型基于z^c与z^y预测事实结果变量y^f的分布p(y^f|t，z^t，z^c)，从而指导编码器更好地学习解耦的混淆与调整因素为z^c与z^y。

步骤3：推断反事实结果。使用分离的潜在混淆z^c以及调整因素z^y作为生成器的输入。如图3所示，经过步骤2，学到潜在混淆因素z^c以及调整因素z^y。向生成器输入z^c，z^y以及处理变量t来生成潜在结果向量包含预测的事实结果以及反事实结果然后使用y^f代替将包含事实结果y^f与预测的反事实结果的向量定义为输入判别器，判别器判断向量中哪部分是事实结果，哪部分是反事实结果。如果判别器无法判别，那么生成的反事实结果将近似于事实结果的分布。基于上面的分析，我们定义生成器G与判别器D_G的优化函数为：

其中，此外，使用监督损失来强化事实结果的预测：

本发明中使用混淆平衡的方法来应对选择偏差，正如图3所示，基于分解的混淆因素学习π₀网络，其损失函数为：

然后使用学到的π₀网络学习样本权重：

其中P(t_i)是数据集中t_i＝1或者t_i＝0的概率。有了样本权重，加权后的监督损失为

解耦潜在因素与推断反事实结果模块联合训练，总的损失函数为：

其中L_G＝V_CF，α，β，γ为超参数。

步骤4：基于步骤3生成的反事实结果，创建具有事实以及反事实结果的完整数据集

步骤5：推断个体处理效应。经过步骤4，已经获得了完整的带有事实以及反事实结果的数据集基于完整的数据集，使用标准的条件生成对抗网络推断个体处理效应。如图4所示，生成器I根据输入观测特征向量x以及随机向量z_I，生成潜在结果向量包含生成的事实以及反事实结果，判别器D_I判断输入的向量是否为真实的潜在结果。目标函数可以定义为：

为了更好的优化目标函数，同样使用监督损失所以个体处理效应估计模块损失函数为：

其中L_I＝V_ITE，ω是超参数。

步骤6：以上步骤均为训练阶段，测试阶段，本发明仅使用个体处理效应评估模块的生成器以及判别器部分，输入样本特征x_i，生成潜在结果然后判别器输出概率值，表示生成的潜在结果有多大的概率与真实潜在结果相同，该概率值可作为估计的置信度估计，这在医疗领域是非常重要的。获得潜在结果之后，个体处理效应可通过计算得到。

以上所述仅是本发明的优选实施例而已，并非对本发明做任何形式上的限制，虽然本发明已以优选实施例论述如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本实用发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于变分生成对抗网络的个体处理效应评估方法，其特征在于：具体步骤如下：

步骤1：获取带有标签信息的用于个体处理效应评估的数据集，从该数据集中创建作为训练数据，其中，i表示个体，x表示观测特征，t表示处理变量(t∈{0,1}),y^f表示观测到的事实结果；

步骤2：创建变分生成对抗网络结构模型，包括变分自编码器与生成对抗网络两个模块，基于观测特征x，训练变分自编码器学习解耦的潜在因素，分别为工具因素z^t，混淆因素z^c以及调整因素z^y；

使用三个独立的编码器基于观测特征x学习并解耦潜在因素为工具因素z^t,混淆因素z^c以及调整因素z^y，并使用解码器p_θ(x|z^t,z^c,z^y)来重构特征向量x；其中，三种潜在因素的先验分布p(z^t),p(z^c),p(z^y)如下：

其中D_t,D_c,D_y分别定义为工具因素，混淆因素以及调整因素的维度；

在编码器中，变分后验为：

其中，和 分别定义为使用神经网络参数化高斯分布的均值以及方差；

通过最大化证据下界获得:

在编码器学到潜在表示z^t与z^c后使用神经网络f_t(z^t,z^c)基于z^t与z^c推断处理变量的后验分布来重构处理变量t，从而指导编码器更好的学习解耦的工具与混淆因素为z^t与z^c，Bern(p)定义为标准的参数为p的伯努利分布，f_t的损失函数为：

当损失函数收敛后，则学到的潜在表示z^t与z^c分别对应工具因素以及混淆因素；在编码器学到潜在表示z^c与z^y之后，使用生成对抗网络模型基于z^c与z^y预测事实结果变量y^f，训练生成对抗网络模型指导预测事实结果的损失收敛，其中，预测事实结果的损失为：

从而指导编码器学习解耦的混淆与调整因素为z^c与z^y；

步骤3：基于步骤2解耦的混淆因素z^c、调整因素z^y和处理变量t训练生成对抗网络生成事实结果与反事实结果并使用混淆因素z^c学习样本权重，与生成事实结果的监督损失按位相乘，得到最终的加权监督损失，以此来控制数据选择偏差；

步骤4：基于步骤3生成的反事实结果，创建具有事实以及反事实结果的完整数据集

步骤5：创建个体处理效应估计的网络结构模型，基于步骤4创建的完整数据集，训练模型输入观测特征x,输出潜在结果

步骤6：使用步骤5训练的个体处理效应估计模型，输入测试数据观测特征x_i,输出预测的潜在结果包含进而得到并给出估计的置信度估计。

2.根据权利要求1所述的一种基于变分生成对抗网络的个体处理效应评估方法，其特征在于，步骤3中，生成对抗网络模型生成反事实结果，具体步骤如下：

步骤3.1：将z^c,z^y以及t输入至生成对抗网络的生成器中来生成潜在结果向量结果向量包含预测的事实结果以及反事实结果使用y^f代替将包含事实结果y^f与预测的反事实结果的向量定义为将输入判别器，判别器判断向量中事实结果的部分与反事实结果的部分，若判别器无法判别，则生成的反事实结果视为事实结果的分布，其中，定义生成对抗网络中的生成器G与判别器D_G的优化函数为：

其中，

步骤3.2：控制选择偏差；

基于分解的混淆因素学习π₀网络，其损失函数为：

使用学到的π₀网络学习样本权重：

其中P(t_i)是数据集中t_i＝1或者t_i＝0的概率；

加权后的监督损失为

最终，解耦潜在因素与推断反事实结果的总损失为：

其中，L_G＝V_CF,α,β,γ为超参数。

3.根据权利要求1所述的一种基于变分生成对抗网络的个体处理效应评估方法，其特征在于：步骤5中，训练模型具体为：向生成器I输入观测特征向量x以及随机向量z_I,生成潜在结果向量判别器D_I判断输入的向量是否为真实的潜在结果；

个体处理效应估计的网络结构模型的目标函数为：

损失函数为：

其中，L_I＝V_ITE，ω是超参数。

4.根据权利要求3所述的一种基于变分生成对抗网络的个体处理效应评估方法，其特征在于：采用监督损失实现个体处理效应估计的网络结构模型的目标函数的优化，其中，监督损失为：