CN112085252B - 一种关于集合类型决策效果的反事实预测方法 - Google Patents

Abstract

本发明提出一种关于集合类型决策效果的反事实预测方法，属于机器学习技术领域。本发明将决策变量与混淆变量去相关问题转化为更低维度的决策变量隐表征和混淆变量去相关问题，采用基于深度神经网络的概率密度比估计方法，将观测数据样本对应的决策变量隐表征和混淆变量的联合分布与决策变量隐表征和混淆变量无关联的联合分布的概率密度比作为决策变量隐表征和混淆变量构成的数据点的权重。采用变分样本重加权方法把决策变量隐表征和混淆变量构成的数据点的权重综合为观测数据中样本的权重，利用加权后的观测数据样本训练反事实预测模型可对个体在特定决策影响下的效果进行反事实预测。本发明提高了反事实预测的准确度，有很高的应用价值。

Description

一种关于集合类型决策效果的反事实预测方法

技术领域

本发明属于机器学习技术领域，特别提出一种关于集合类型决策效果的反事实预测方法。

背景技术

利用大量的观测数据，对异质性个体被施以不同决策后所产生的效果进行反事实预测是一个在许多领域都有重要意义的问题。通过预测不同决策所产生的效果，可以帮助相关领域的技术人员做更准确的决策，例如在工业生产领域中对某一种产品选择一系列加工工序，使得产品的品质达到最理想的情况。

为了预测不同决策所产生的效果，随机对照试验是解决此类反事实预测问题的标准方法，即对研究对象随机地分配决策，并观察其效果。如在工业生产中，尝试利用不同的加工工序，并测试加工后产品的品质(强度、纯度等指标)，从而指导选择最优的一系列工序。但是随机对照试验往往代价很高，会消耗大量时间和成本。而现如今大量的观测数据的积累，例如过去的时间里人们根据经验对产品选择工序加工，并测量品质的记录。这些观测数据给出了一种替代方法，就是利用机器学习技术从中学习得到一个对不同决策的效果进行反事实预测的模型。监督学习的方法可以被直接利用于对模型的训练，但是由于在观测数据中，决策的选择往往受到混淆变量的影响。直接使用监督学习的技术，学习从决策到效果的模型可能会错误地把混淆变量对效果的影响归为决策变量的影响。例如观测数据中某类产品原材料的质量条件(混淆变量)不佳，因此采用了一些的加工工序(决策变量)来处理之后，产品品质(结果变量)依然低下，这可能会使预测模型误以为是加工工序引起的低品质。因此为了能准确地评估不同决策变量影响下的效果，需要对观测数据进行去混淆偏差处理，即去除混淆变量与决策变量之间的相关性。在此去除混淆偏差的数据上训练得到的机器学习模型，能够更准确地对不同决策对个体影响的效果进行反事实预测。在工业生产中可以更准确地估计出不同加工工序下的品质，从而选择最优的加工工序。

现有的对不同决策产生的效果的反事实预测技术为了对观测数据进行去混淆偏差处理，采用了以重要度采样权重对样本进行加权的方法，使得加权后的数据中决策变量和混淆变量相关性降低。这类技术的不足之处在于其只解决决策变量为单变量下的反事实预测，应用范围过窄。而实际中很多决策是基于高维度的向量进行的，例如选择的加工方案是若干道工序的集合，如果用现有的对单变量决策的效果的反事实预测方法处理这类问题，可以用二进制编码的方式把高维向量转化为一个单变量的整数。但是这样的做法，会引起复杂度过高的问题。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种关于集合类型决策效果的反事实预测方法。利用本发明方法训练得到的反事实预测模型，相比于普通的监督学习得到的反事实预测模型，对各个对象个体在施加不同决策下的效果的反事实预测误差会有明显的降低，提高了反事实预测的准确度，有很高的应用价值。

本发明提出一种关于集合类型决策效果的反事实预测方法，其特征在于，包括以下步骤：

1)收集过去设定时间段内的观测数据样本，观测数据样本表示为{(x_i,t_i,y_i)}_1≤i≤n，其中，x_i为第i个观测数据样本的混淆变量，t_i为第i个观测数据样本的决策变量，y_i为第i个观测数据样本的效果变量，n为观测数据样本总数；

所有样本的x_i组成混淆变量X，所有样本的t_i组成决策变量其中p为决策变量的维度，每一维为一个0-1变量，值为1代表该维度在对应的决策集合中，值为0代表该维度不在对应的决策集合中，所有样本的y_i组成效果变量y；

2)构建一个变分自编码器学习决策变量的隐表征并进行训练，利用训练完毕的变分自编码器得到决策变量的隐表征；具体步骤如下：

2-1)构建一个变分自编码器，所述变分自编码器包括编码器q_φ(z|T)和解码器两部分，其中z代表决策变量对应的隐表征；编码器和解码器的参数训练是通过最大化似然估计的下界得到，似然估计的下界为：

训练的方式采用了分批梯度下降的方式，p(z)是变分自编码器定义的隐表征的先验分布；编码器输出的隐表征的分布q_φ(z|T)是一个隐空间上的各维独立的高斯分布，q_φ(z|T)＝其中，μ_φ(T)为该高斯分布的中心，σ_φ(T)为各维的方差；

参数训练收敛后，得到训练完毕的编码器和解码器；

2-2)将每个观测数据样本的决策变量t_i输入训练完毕的编码器q_φ(z|T)得到该决策变量t_i的隐表征的分布；最终，利用训练完毕的编码器得到观测数据样本对应的决策变量隐表征与混淆变量的联合分布中采样得到的数据点{(x_i,z)}_1≤i≤n,z～q_φ(z|t_i)；决策变量隐表征与混淆变量无关联的联合分布中采样得到的数据点为{(x_i,z)}_1≤i≤n,z～p(z)；

3)利用步骤2-2)得到的数据点计算在决策变量隐表征和混淆变量联合空间上的数据点的权重函数w_z(x,z)；具体步骤如下：

3-1)为观测数据样本对应的决策变量隐表征与混淆变量的联合分布采样得到的数据点{(x_i,z)}_1≤i≤n,z～q_φ(z|t_i)打上正例的标签L＝1，为决策变量隐表征与混淆变量无关联的联合分布采样得到的每个数据点{(x_i,z)}_1≤i≤n,z～p(z)打上负例的标签L＝0；

3-2)利用一个基于深度神经网络的二分类器对每个数据点及其对应标签进行训练，训练收敛后，将任一决策变量隐表征与混淆变量构成的数据点(x,z)输入该二分类器，该二分类器计算得到该数据点分别属于正例的概率和负例的概率/>其中，二分类器训练中最小化的目标函数为:

3-3)计算该数据点(x,z)的权重，表达式如下：

4)利用步骤3)的结果，计算每个观测数据样本对应的变分样本重加权VSR权重，其中第i个观测数据样本对应的VSR权重w_i计算表达式如下：

其中，从第i个观测数据样本中的决策变量t_i对应的隐表征分布q_φ(z|t_i)采样出m个点z₁,z₂,...,z_m，则

5)为每个观测数据样本赋予步骤4)得到的VSR权重之后，得到对应的加权后的观测数据样本{w_i(x_i,t_i,y_i)}_1≤i≤n；然后利用所有加权后的观测数据样本训练一个机器学习模型作为预测模型，得到训练完毕的预测模型；

其中，该预测模型为一个深度神经网络其最小化的目标函数为：

其中，为损失函数，/>是以θ_p为参数的机器学习模型；

6)利用步骤5)训练完毕的预测模型，对于一个混淆变量为X′、决策变量为T′的测试样本，将混淆变量X′与决策变量T′输入步骤5)训练完毕的预测模型，该模型输出 即为对该测试样本效果的反事实预测结果。

本发明的特点及有益效果：

本发明为了降低去除混淆偏差过程的复杂性，假设了集合类型的决策变量具有低维度的隐结构，可以用低维度的隐表征来表示。例如工序的组合选择往往遵循一些的原则。从而将原来的决策变量与混淆变量去相关问题，转化为了更低维度的决策变量隐表征和混淆变量去相关问题。为了计算令决策变量隐表征和混淆变量去相关的权重，本发明采用了基于深度神经网络的概率密度比估计的方法，计算观测数据对应的决策变量隐表征和混淆变量的联合分布与决策变量隐表征和混淆变量无关联联合分布的概率密度比作为决策变量隐表征和混淆变量构成的数据点的权重。由于一个决策变量所对应的隐表征是一个隐空间上的分布，本发明提出了一种变分样本重加权方法把分布中各点的权重综合为样本权重的方法。通过样本加权的方式有效地降低了观测数据中混淆变量与决策变量的相关性，去除了观测数据中的混淆偏差，使得在加权后的数据上训练得到的反事实预测模型可以更准确地对个体在特定决策影响下的效果进行反事实预测。本发明相对于现有方法的优势在于利用了集合类型的决策变量的具有低维隐结构的性质，把原始高维的决策变量转化为了低维的隐表征，并去除决策变量隐表征与混淆变量的相关性，解决了现有方法只去除单变量的决策变量和混淆变量相关性的问题。利用本发明方法训练得到的反事实预测模型，相比于普通的监督学习得到的反事实预测模型，对各个对象个体在施加不同决策下的效果的反事实预测误差会有明显的降低。在生产领域中，本发明可以用于对各种产品在不同加工工序的选择方案下的品质进行反事实预测，具有更小的预测误差，从而能帮助选择使产品品质达到最优的工序选择方案。

附图说明

图1是本发明方法的整体流程图。

具体实施方式

本发明提出一种关于集合类型决策效果的反事实预测方法，下面结合附图和具体实施例详细说明如下。

本发明提出一种关于集合类型决策效果的反事实预测方法，整体流程如图1所示，包括以下步骤：

1)收集过去设定时间段内的观测数据。观测数据包括三个部分，混淆变量X∈x(例如工业生产领域中产品的各项参数指标，例如原材料的质量、成分等。其对后续加工工序选择的决策以及加工后产品品质都有影响)，决策变量(例如工业生产领域中工序组成的集合，p为决策变量的维度，每一维代表了某一种工序是否被选择在集合中，值为1代表对应工序在集合中，值为0代表对应工序不在集合中)，以及效果变量/>(例如工业生产领域中用所选择的工序加工后的产品品质，如强度、纯度等)。因此，观测数据样本可以表示为{(x_i,t_i,y_i)}_1≤i≤n，其中，x_i为第i个观测数据样本的混淆变量，t_i为第i个观测数据样本的决策变量，y_i为第i个观测数据样本的效果变量，n为观测数据样本总数；

2)假设高维度的决策变量往往是由低维的隐表征所产生的，而隐表征和决策变量之间转化的关系往往很复杂，因此本发明使用了变分自编码器学习决策变量的隐表征。具体步骤如下：

2-1)设置变分自编码器包括编码器q_φ(z|T)和解码器两部分(z是决策变量对应的隐表征，T是决策变量)。编码器和解码器的构成基于深度神经网络，其参数的训练是通过最大化似然估计的下界得到。似然估计的下界为：

训练的方式采用了分批梯度下降的方式，p(z)是变分自编码器定义的隐表征的先验分布，通常定义为高斯分布编码器输出的隐表征的分布q_φ(z|T)是一个隐空间上的各维独立的高斯分布，具体输出结果为高斯分布的中心μ_φ(T)和各维的方差σ_φ(T),即

参数训练收敛后，得到训练完毕的编码器和解码器。

2-2)将每个观测数据样本的的决策变量t_i输入训练完毕的编码器q_φ(z|T)，得到该决策变量t_i的隐表征的分布；最终利用训练完毕编码器可以得到观测数据样本对应的决策变量隐表征与混淆变量的联合分布中采样得到的数据点{(x_i,z)}_1≤i≤n,z～q_φ(z|t_i)。而决策变量隐表征与混淆变量无关联的联合分布中采样得到的数据点为{(x_i,z)}_1≤i≤n,z～p(z)。

3)利用步骤2-2)得到的两组决策变量隐表征和混淆变量的联合分布中采样得到的数据点计算在决策变量隐表征和混淆变量联合空间上的数据点的权重函数w_z(x,z)。具体步骤如下：

3-1)为观测数据样本对应的决策变量隐表征与混淆变量的联合分布中采样得到的每个数据点{(x_i,z)}_1≤i≤n,z～q_φ(z|t_i)打上正例的标签L＝1，为决策变量隐表征与混淆变量无关联的联合分布中采样得到的每个数据点{(x_i,z)}_1≤i≤n,z～p(z)打上负例的标签L＝0。

3-2)计算定义在决策变量隐表征和混淆变量联合空间上的权重函数w_z(x,z)。权重函数w_z(x,z)计算为所述两个联合分布的概率密度比。由于概率分布往往很复杂，本发明借助了深度神经网络强大的预测能力来计算概率密度比。具体地，将每个数据点和对应标签放入一个基于深度神经网络的二分类器并训练，训练收敛后，该二分类器可以对给定的决策变量隐表征与混淆变量构成的数据点给出其分别属于正例的概率和负例的概率/>二分类器训练中最小化的目标函数为:

3-3)为了消除决策变量隐表征和混淆变量的相关性。对于决策变量隐表征和混淆变量构成的一个数据点(x,z)，其权重定义为上述两个分布的概率密度比，计算方法如下：

4)利用步骤3)得到的权重函数w_z(x,z)，为每个观测数据样本计算变分样本重加权(VSR)权重。由于一个决策变量t_i所对应的隐表征不是一个数据点，而是一个分布，因而要考虑到该分布内所有数据点的权重，为第i个观测数据中的样本(对应混淆变量x_i和决策变量t_i)计算对应的VSR权重w_i。本发明设计的变分样本重加权(VSR)权重算法计算样本权重如下：

具体地，从第i个观测数据样本中的决策变量t_i对应的隐表征分布q_φ(z|t_i)采样出m(m可取50以上的数，每个样本都一致)个点z₁,z₂,...,z_m。可以计算为/>

5)为每个观测数据样本赋予步骤4)中得到的VSR权重之后，混淆变量与决策变量的相关性很大程度上被削弱了。本发明用此加权后的数据{w_i(x_i,t_i,y_i)}_1≤i≤n，训练出一个机器学习模型作为预测模型用于给定混淆变量和决策变量，预测决策的效果。具体地，考虑到效果与决策变量、混淆变量之间的关系会很复杂，往往不能用简单的线性模型来刻画。因此所用的预测模型为一个深度神经网络其最小化的目标函数为：

是特定任务下的损失函数，对于回归模型来说，可以选择为平方误差。/>是以θ_p为参数的机器学习模型。

6)利用步骤5)训练完毕的预测模型，对于一个混淆变量为X′的样本个体，反事实预测该个体在被施加决策变量T′下所产生的效果变量y′，需将混淆变量与决策变量一起输入步骤5)中训练完毕的预测模型，得到输出即为对该样本效果的反事实预测结果，在工业生产领域中即得到对应该加工工序的产品品质的预测结果。

Claims (1)

1.一种关于集合类型决策效果的反事实预测方法，用于对产品进行加工工序的选择，其特征在于，包括以下步骤：

1)收集过去设定时间段内的观测数据样本，观测数据样本表示为{(x_i，t_i，y_i)}_1≤i≤n，其中，x_i为第i个观测数据样本的混淆变量，所述混淆变量为原材料的质量条件，t_i为第i个观测数据样本的决策变量，所述决策变量为加工工序，y_i为第i个观测数据样本的效果变量，所述效果变量为产品品质，n为观测数据样本总数；

所有样本的x_i组成混淆变量X，所有样本的t_i组成决策变量其中p为决策变量的维度，每一维为一个0-1变量，值为1代表该维度在对应的决策集合中，值为0代表该维度不在对应的决策集合中，所有样本的y_i组成效果变量y；

2)构建一个变分自编码器学习决策变量的隐表征并进行训练，利用训练完毕的变分自编码器得到决策变量的隐表征；具体步骤如下：

2-1)构建一个变分自编码器，所述变分自编码器包括编码器q_φ(z|T)和解码器两部分，其中z代表决策变量对应的隐表征；编码器和解码器的参数训练是通过最大化似然估计的下界得到，似然估计的下界为：

训练的方式采用了分批梯度下降的方式，p(z)是变分自编码器定义的隐表征的先验分布；编码器输出的隐表征的分布q_φ(z|T)是一个隐空间上的各维独立的高斯分布， 其中，μ_φ(T)为该高斯分布的中心，σ_φ(T)为各维的方差；

参数训练收敛后，得到训练完毕的编码器和解码器；

2-2)将每个观测数据样本的决策变量t_i输入训练完毕的编码器q_φ(z|T)得到该决策变量t_i的隐表征的分布；最终，利用训练完毕的编码器得到观测数据样本对应的决策变量隐表征与混淆变量的联合分布中采样得到的数据点{(x_i，z)}_1≤i≤n，z～q_φ(z|t_i)；决策变量隐表征与混淆变量无关联的联合分布中采样得到的数据点为{(x_i，z)}_1≤i≤n，z～p(z)；

3)利用步骤2-2)得到的数据点计算在决策变量隐表征和混淆变量联合空间上的数据点的权重函数w_z(x，z)；具体步骤如下：

3-1)为观测数据样本对应的决策变量隐表征与混淆变量的联合分布采样得到的数据点{(x_i，z)}_1≤i≤n，z～q_φ(z|t_i)打上正例的标签L＝1，为决策变量隐表征与混淆变量无关联的联合分布采样得到的每个数据点{(x_i，z)}_1≤i≤n，z～p(z)打上负例的标签L＝0；

3-2)利用一个基于深度神经网络的二分类器对每个数据点及其对应标签进行训练，训练收敛后，将任一决策变量隐表征与混淆变量构成的数据点(x，z)输入该二分类器，该二分类器计算得到该数据点分别属于正例的概率和负例的概率/>其中，二分类器训练中最小化的目标函数为：

3-3)计算该数据点(x，z)的权重，表达式如下：

4)利用步骤3)的结果，计算每个观测数据样本对应的变分样本重加权VSR权重，其中第i个观测数据样本对应的VSR权重w_i计算表达式如下：

其中，从第i个观测数据样本中的决策变量t_i对应的隐表征分布q_φ(z|t_i)采样出m个点z₁，z₂，...，z_m，则

5)为每个观测数据样本赋予步骤4)得到的VSR权重之后，得到对应的加权后的观测数据样本{w_i(x_i，t_i，y_i)}_1≤i≤n；然后利用所有加权后的观测数据样本训练一个机器学习模型作为预测模型，得到训练完毕的预测模型；

其中，该预测模型为一个深度神经网络其最小化的目标函数为：

其中，为损失函数，/>是以θ_p为参数的机器学习模型；

6)利用步骤5)训练完毕的预测模型，对于一个混淆变量为X′、决策变量为T′的测试样本，将混淆变量X′与决策变量T′输入步骤5)训练完毕的预测模型，该模型输出 即为对该测试样本效果的反事实预测结果。