CN116050507A - 一种二氧化碳排放监测方法与系统 - Google Patents

Abstract

本发明的一种二氧化碳排放监测方法与系统，其方法包括以下步骤，对源域和目标域数据进行采集，得到有标签的源域数据以及无标签的目标域数据；对源域数据和目标域数据进行归一化处理；采用双流结构构建二氧化碳排放监测模型；对二氧化碳排放监测模型进行训练和测试；采用测试好的二氧化碳排放监测模型进行二氧化碳排放监测。而本发明基于深度无监督迁移学习方法可以在缺少目标域标签的情况下训练出模型。与传统的对抗式领域自适应方法相比，本发明采用双流结构，同时关注边缘分布差异的影响和条件分布的差异，通过平衡因子表示特征可迁移性与可分性的相对重要性。

Description

一种二氧化碳排放监测方法与系统

技术领域

本发明涉及二氧化碳浓度监测技术领域，具体涉及一种二氧化碳排放监测方法与系统。

背景技术

碳中和的一个有效途径是碳交易，而碳交易的前提是准确的碳监测。对于不同型号的碳排放设备，碳排放数据的数据分布可能会发生很大变化，所以根据随机采集的训练样本直接构建的二氧化碳浓度预测模型的泛化性较差，从而将导致训练过程中采用的训练样本集与预测过程中的预测样本集在数据分布上存在较大差异，影响二氧化碳浓度预测的准确度。

发明内容

本发明提出的一种二氧化碳排放监测方法，可至少解决上述技术问题之一。

为实现上述目的，本发明采用了以下技术方案：

一种二氧化碳排放监测方法，包括以下步骤，

对源域和目标域数据进行采集，得到有标签的源域数据以及无标签的目标域数据；

对源域数据和目标域数据进行归一化处理；

采用双流结构构建二氧化碳排放监测模型；

对二氧化碳排放监测模型进行训练和测试；

采用测试好的二氧化碳排放监测模型进行二氧化碳排放监测。

进一步的，对源域和目标域数据进行采集，得到有标签的源域数据以及无标签的目标域数据；具体包括，

获取第一碳排放设备对应的第一碳排放数据和第二碳排放设备对应的第二碳排放数据，其中，所述第一碳排放设备和所述第二碳排放设备的型号不同；以第一碳排放设备作为源域数据，第二碳排放设备作为目标域数据；对源域和目标域数据进行采集，得到有标签的源域数据<X^s,Y^s>以及无标签的目标域数据X^t，其中X表示数据，Y表示其对应标签。

进一步的，所述采用双流结构构建二氧化碳排放监测模型，具体包括，

所述二氧化碳排放监测模型包括两个特征提取神经网络G1,G2；两个标签分类器C1,C2，C1为初级分类器，C2为终极分类器；一个对抗领域鉴别器D，其中D包括全局鉴别器G_d和局部鉴别器

k＝1,2,…,K，K为数据类别数；以及分布差异显式度量模块，模型搭建的方法如下：

S31、选择设定的网络作为特征提取器，将有标签的源域数据以及无标签的目标域数据输入到G1,G2中，经过G1，G2的输出特征为fs1,ft1，fs2,ft2,其中fs1,ft1分别表示X^s经过G1的输出特征、X^t经过G1输出特征；fs2,ft2分别表示X^s经过G2的输出特征、X^t经过G2输出特征；

S32、采用源域有标签数据进行训练标签分类器，采用交叉熵损失训练，标签分类器损失通用表达式如下：

D_s表示源域数据，n_s表示源域数据个数，

表示X_i属于k类的概率，C_y表示标签分类器，G_f表示特征提取器；

S33、将fs1,ft1作为对抗领域鉴别器D的输入，D通过鉴别输入特征来自源域或目标域；域鉴别器由多层感知机以及Softmax函数构成；将源域数据标记为1，目标域数据标记为0，对于一个样本的输入，输出该样本来自源域或目标域，根据实际结果与预测值计算出领域判别器的损失值；

S34、为平衡其可迁移性与可分性引入一个平衡因子τ：

用基于线性判别分析的鉴别评估方法maxJ(W)来衡量域中类别的可分性，其定义如下：

其中，S_b为类间散射矩阵，S_w为类内散射矩阵；进一步将估计值进行归一化处理，得到

平衡因子τ定义如下：

其中较小的

表示更好的域对齐，较小的

表示更好的类可鉴别性；

S35、结合上述S31、S32、S33、S34，最终上层结构的损失定义为：

其中，τ和ω均为网络自计算出的参数；

S36、在下层结构中，根据最大均值差异方法的优点，选择使用联合分布的希尔伯特空间嵌入来测量两个联合分布P和Q的差异，将一个域中的分布转移到再生核希尔伯特空间RKHS中，通过直接计算RKHS中源域和目标域的MMD距离，得到其联合概率分布损失：

P_S(x_s,y_s),P_T(x_T,y_T)分别表示源域和目标域的联合概率分布，

分别表示D_s,D_t中第i个数据对应的RKHS中的特征，

分别表示D_s,D_t中第i和j个数据对应的类标签。

进一步的，步骤S33中，以交叉熵损失函数训练，则对抗领域鉴别器的损失表示为：

x∈X^s∪X^t,m表示一个batch的样本数量，dⁱ表示第i个样本的域标签，

表示第i个样本经过D的输出,θ_G1,θ_d分别表示G1、D中参数；

其中全局域鉴别器G_d损失表示为：

D_s表示源域数据，D_t表示目标域数据，n_s,n_t分别表示D_s,D_t中数据个数，L_ce表示以交叉熵损失作为域分类器的损失函数；

局部域鉴别器细分为K个域鉴别器

k＝1,2,…,K，每个类鉴别器都负责匹配与类k相关联的源域数据和目标域数据，目标域上的划分根据标签分类器产生的伪标签来进行；局部域鉴别器的损失函数计算为：

是域鉴别器，

是域鉴别器对应的类k的交叉熵损失，

是X_i被预测为k类的概率分布。

进一步的，步骤S33中使用

来衡量域鉴别器的重要性，包括将全局域鉴别器的全局

表示为：

局部域鉴别器的局部

表示为：

分别表示源域和目标域中k类的样本，

表示k类上的局部子域鉴别器的损失，最终，动态对抗因子ω被表示为：

在上述对抗式领域自适应结构中，其最终学习目标表示为：

分别表示G1，C1，G_d,

的参数，其中ω的值通过网络自计算得到。

进一步的，所述对二氧化碳排放监测模型进行训练还包括，

S41、上层结构中，将X^s,X^t作为G1输入，采用对抗性训练来训练G1和D得到最优参数；由于目标域不含标签，则只采用源域数据训练C1，将训练后的C1用于目标域数据类别的预测，C1的输出作为目标域数据的伪标签

C1的训练损失如下：

结合S35可得到上层结构中的损失：

S42、下层结构中将X^s,X^t作为G2的输入，得到经G2提取后的特征Z^s,Z^t，Z^s,Z^t分别为X^s,X^t经过G2得到的输出特征；利用<X^s,Y^s>,<Z^t,

>计算L_jmmd；

S43、为了整合训练后G1，G2的迁移能力，将X^s通过G1，G2的输出进行融合，并将融合后的特征作为C2的输入进行训练，C2的训练损失表示如下：

S44、根据上面S41、S42、S43所述的网络损失，模型的优化目标表示为

另一方面，本发明还公开一种计算机可读存储系统，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。

由上述技术方案可知，本发明的二氧化碳排放监测方法与系统，具体为基于深度迁移学习的无监督二氧化碳排放监测方法具有如下优点和效果：在迁移学习过程中目标域数据的标签通常难以获取或获取的代价非常大。用普通的非迁移方法仅仅使用源域有标注数据训练的模型直接用于对目标域进行预测结果往往不能令人满意。而基于深度无监督迁移学习方法可以在缺少目标域标签的情况下训练出模型。与传统的对抗式领域自适应方法相比，本发明采用双流结构，同时关注边缘分布差异的影响和条件分布的差异，通过平衡因子表示特征可迁移性与可分性的相对重要性。

附图说明

图1是本发明的模型原理图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

本实施例所述的二氧化碳排放监测方法，简单的说包括如下步骤：1)收集数据；

2)数据预处理；

3)模型搭建；

4)模型训练；

5)模型测试。

结合图1以下具体说明：

上述步骤1)获取第一碳排放设备对应的第一碳排放数据和第二碳排放设备对应的第二碳排放数据，其中，所述第一碳排放设备和所述第二碳排放设备的型号不同；以第一碳排放设备作为源域数据，第二碳排放设备作为目标域数据；对源域和目标域数据进行采集,得到有标签的源域数据<X^s,Y^s>以及无标签的目标域数据X^t，其中X表示碳排放数据，Y表示其对应标签；以采集电厂的碳排放数据集为例，某个采样时间的温度、湿度、用煤量等数据组成特征向量，一个特征向量即为一个样本X，X为d维的横向量，d表示特征维度，Y是标量，也即为样本对应的标签，表示二氧化碳浓度，通过一段时间的数据收集，可以得到标注样本集合{(x_i,y_i),i＝1,…,n}，对不同型号的锅炉进行区分，可以得到对应到每个型号锅炉的标注样本集合。

上述步骤2)包括对源域数据和目标域数据进行归一化处理，本实施例选用常用minmax进行归一化处理，其目的是为了消除原始数据样本中的数量级差异化、数据取值范围不一样、数据趋势不明显等问题对模型训练的影响，同时也能够提高模型精度以及模型训练速度。

上述步骤3)包括以下部分：

模型网络采用双流结构，主要包括两个特征提取神经网络G1,G2；两个标签分类器C1,C2，C1为初级分类器，C2为终极分类器；一个对抗领域鉴别器D，其中D包括全局鉴别器G_d和局部鉴别器

k＝1,2,…,K，K为数据类别数；以及分布差异显式度量模块，模型搭建的方法如下：

31)选择合适的网络作为特征提取器，将有标签的源域数据以及无标签的目标域数据输入到G1,G2中，经过G1，G2的输出特征为fs1,ft1，fs2,ft2,其中fs1,ft1分别表示X^s经过G1的输出特征、X^t经过G1输出特征；fs2,ft2分别表示X^s经过G2的输出特征、X^t经过G2输出特征；G1、G2可采用Resnet、VGG以及多重CNN网络等。其中，G1和G2使用同一种网络，可以具有不同参数，

32)C1、C2为常规的标签分类器，如神经网络、支持向量机；用于对数据进行分类。采用源域有标签数据进行训练标签分类器，若采用交叉熵损失训练，标签分类器损失通用表达式如下：

D_s表示源域数据，n_s表示源域数据个数，

表示X_i属于k类的概率，C_y表示标签分类器，G_f表示特征提取器。

33)将fs1,ft1作为对抗领域鉴别器D的输入，D通过鉴别输入特征来自源域或目标域从而能够减少源域和目标域数据之间的边缘分布差异；常用的域鉴别器由多层感知机以及Softmax函数构成；将源域数据标记为1，目标域数据标记为0，如对于一个样本的输入，输出该样本来自源域或目标域，根据实际结果与预测值计算出领域判别器的损失值。若以交叉熵损失函数训练，则对抗领域鉴别器的损失可表示为：

x∈X^s∪X^t,m表示一个batch的样本数量，dⁱ表示第i个样本的域标签，

表示第i个样本经过D的输出,θ_G1,θ_d分别表示G1、D中参数。

其中全局域鉴别器G_d损失可表示为：

D_s表示源域数据，D_t表示目标域数据，n_s,n_t分别表示D_s,D_t中数据个数，L_ce表示以交叉熵损失作为域分类器的损失函数；

局部域鉴别器细分为K个域鉴别器

k＝1,2,…,K，每个类鉴别器都负责匹配与类k相关联的源域数据和目标域数据，目标域上的划分根据标签分类器产生的伪标签来进行。局部域鉴别器的损失函数可计算为：

是域鉴别器，

是域鉴别器对应的类k的交叉熵损失，

是X_i被预测为k类的概率分布，n_s，n_t分别表示源域和目标域样本数量。

使用A-distance来衡量域鉴别器的重要性，将全局域鉴别器的全局

表示为：

局部域鉴别器的局部

表示为：

分别表示源域和目标域中第k类的样本，

表示k类上的局部子域鉴别器的损失。最终，动态对抗因子ω被表示为：

在上述对抗式领域自适应结构中，其最终学习目标可表示为：

分别表示G1，C1，G_d,

的参数，其中ω的值通过网络自计算得到。

34)域鉴别器保证了特征所包含的可迁移性，但过于关注数据的可迁移性会导致数据中类别的可分性降低，为平衡其可迁移性与可分性引入一个平衡因子τ：

最大均值差异MMD(D_s,D_t)是一种常用的计算两个域间数据分布对齐程度的估计方法，在此用于衡量域的可迁移性；用基于线性判别分析的鉴别评估方法maxJ(W)来衡量域中类别的可分性，其定义如下：

其中，S_b为类间散射矩阵，S_w为类内散射矩阵。显然，maxJ(W)越大，意味着更好的可分性。

由于这两个评价标准的估计值通常不在同一个数量级上，因此需要进一步将估计值进行归一化处理，得到

平衡因子τ定义如下：

其中较小的

表示更好的域对齐，较小的

表示更好的类可鉴别性。

35)结合上述31)32)33)34)，最终上层结构的损失定义为：

其中，τ和ω均为网络自计算出的参数。

36)在下层结构中，本发明根据最大均值差异方法的优点，选择使用联合分布的希尔伯特空间嵌入来测量两个联合分布P和Q的差异，将一个域中的分布转移到再生核希尔伯特空间(RKHS)中，通过直接计算RKHS中源域和目标域的MMD距离，可以得到其联合概率分布损失：

P_S(x_s,y_s),P_T(x_T,y_T)分别表示源域和目标域的联合概率分布，

分别表示D_s,D_t中第i个数据对应的RKHS中的特征，

分别表示D_s,D_t中第i和j个数据对应的类标签。

上述步骤4)包括：

41)上层结构中，将X^s,X^t作为G1输入，采用对抗性训练来训练G1和D得到最优参数；由于目标域不含标签，则只采用源域数据训练C1，将训练后的C1用于目标域数据类别的预测，C1的输出作为目标域数据的伪标签

C1的训练损失如下：

结合35)可得到上层结构中的损失：

42)下层结构中将X^s,X^t作为G2的输入，得到经G2提取后的特征Z^s,Z^t，Z^s,Zt分别为X^s,X^t经过G2得到的输出特征；利用

计算L_jmmd；

43)为了整合训练后G1，G2的迁移能力，将X^s通过G1，G2的输出进行融合，并将融合后的特征作为C2的输入进行训练，C2的训练损失表示如下：

44)根据上面41)42)43)所讨论的网络损失，本发明所提出的模型的优化目标可以表示为

上述步骤5，训练结束后，使用特征提取器G1、G2和分类网络C2对测试数据进行预测。

本发明的二氧化碳排放监测方法，基于深度无监督迁移学习方法可以在缺少目标域标签的情况下训练出模型。与传统的对抗式领域自适应方法相比，本发明采用双流结构，同时关注边缘分布差异的影响和条件分布的差异，通过平衡因子表示特征可迁移性与可分性的相对重要性。

又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。

再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。

可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种二氧化碳排放监测方法，其特征在于，包括以下步骤，

对源域和目标域数据进行采集，得到有标签的源域数据以及无标签的目标域数据；

对源域数据和目标域数据进行归一化处理；

采用双流结构构建二氧化碳排放监测模型；

对二氧化碳排放监测模型进行训练和测试；

采用测试好的二氧化碳排放监测模型进行二氧化碳排放监测。

2.根据权利要求1所述的二氧化碳排放监测方法，其特征在于：对源域和目标域数据进行采集，得到有标签的源域数据以及无标签的目标域数据；具体包括，

获取第一碳排放设备对应的第一碳排放数据和第二碳排放设备对应的第二碳排放数据，其中，所述第一碳排放设备和所述第二碳排放设备的型号不同；以第一碳排放设备作为源域数据，第二碳排放设备作为目标域数据；对源域和目标域数据进行采集，得到有标签的源域数据<X^s,Y^s>以及无标签的目标域数据X^t，其中X表示数据，Y表示其对应标签。

3.根据权利要求1所述的二氧化碳排放监测方法，其特征在于：所述采用双流结构构建二氧化碳排放监测模型，具体包括，

所述二氧化碳排放监测模型包括两个特征提取神经网络G1,G2；两个标签分类器C1,C2，C1为初级分类器，C2为终极分类器；一个对抗领域鉴别器D，其中D包括全局鉴别器G_d和局部鉴别器

K为数据类别数；以及分布差异显式度量模块，模型搭建的方法如下：

S31、选择设定的网络作为特征提取器，将有标签的源域数据以及无标签的目标域数据输入到G1,G2中，经过G1，G2的输出特征为fs1,ft1，fs2,ft2,其中fs1,ft1分别表示X^s经过G1的输出特征、X^t经过G1输出特征；fs2,ft2分别表示X^s经过G2的输出特征、X^t经过G2输出特征；

S32、采用源域有标签数据进行训练标签分类器，采用交叉熵损失训练，标签分类器损失通用表达式如下：

D_s表示源域数据，n_s表示源域数据个数，

表示X_i属于k类的概率，C_y表示标签分类器，G_f表示特征提取器；

S33、将fs1,ft1作为对抗领域鉴别器D的输入，D通过鉴别输入特征来自源域或目标域；域鉴别器由多层感知机以及Softmax函数构成；将源域数据标记为1，目标域数据标记为0，对于一个样本的输入，输出该样本来自源域或目标域，根据实际结果与预测值计算出领域判别器的损失值；

S34、为平衡其可迁移性与可分性引入一个平衡因子τ：

用基于线性判别分析的鉴别评估方法maxJ(W)来衡量域中类别的可分性，其定义如下：

其中，S_b为类间散射矩阵，S_w为类内散射矩阵；进一步将估计值进行归一化处理，得到

平衡因子τ定义如下：

其中较小的

表示更好的域对齐，较小的

表示更好的类可鉴别性；

S35、结合上述S31、S32、S33、S34，最终上层结构的损失定义为：

其中，τ和ω均为网络自计算出的参数；

S36、在下层结构中，根据最大均值差异方法的优点，选择使用联合分布的希尔伯特空间嵌入来测量两个联合分布P和Q的差异，将一个域中的分布转移到再生核希尔伯特空间RKHS中，通过直接计算RKHS中源域和目标域的MMD距离，得到其联合概率分布损失：

P_S(x_s，y_s)，P_T(x_T，y_T)分别表示源域和目标域的联合概率分布，

分别表示D_s，D_t中第i个数据对应的RKHS中的特征，

分别表示D_s，D_t中第i和j个数据对应的类标签。

4.根据权利要求3所述的二氧化碳排放监测方法，其特征在于：所述G1、G2采用Resnet、VGG以及多重CNN网络。

5.根据权利要求3所述的二氧化碳排放监测方法，其特征在于：

C1、C2为常规的标签分类器，包括神经网络、支持向量机，用于对数据进行分类。

6.根据权利要求3所述的二氧化碳排放监测方法，其特征在于：

步骤S33中，以交叉熵损失函数训练，则对抗领域鉴别器的损失表示为：

x∈X^s∪X^t，m表示一个batch的样本数量，dⁱ表示第i个样本的域标签，

表示第i个样本经过D的输出，θ_G1，θ_d分别表示G1、D中参数；

其中全局域鉴别器G_d损失表示为：

D_s表示源域数据，D_t表示目标域数据，n_s，n_t分别表示D_s，D_t中数据个数，L_ce表示以交叉熵损失作为域分类器的损失函数；

局部域鉴别器细分为K个域鉴别器

每个类鉴别器都负责匹配与类k相关联的源域数据和目标域数据，目标域上的划分根据标签分类器产生的伪标签来进行；局部域鉴别器的损失函数计算为：

是域鉴别器，

是域鉴别器对应的类k的交叉熵损失，

是X_i被预测为k类的概率分布。

7.根据权利要求6所述的二氧化碳排放监测方法，其特征在于：

步骤S33中使用

来衡量域鉴别器的重要性，包括将全局域鉴别器的全局

表示为：

局部域鉴别器的局部

表示为：

分别表示源域和目标域中k类的样本，

表示k类上的局部子域鉴别器的损失，最终，动态对抗因子ω被表示为：

在上述对抗式领域自适应结构中，其最终学习目标表示为：

θ_f,θ_y,θ_d,

分别表示G1，C1，G_d,

的参数，其中ω的值通过网络自计算得到。

8.根据权利要求3所述的二氧化碳排放监测方法，其特征在于：

所述对二氧化碳排放监测模型进行训练还包括，

S41、上层结构中，将X^s,X^t作为G1输入，采用对抗性训练来训练G1和D得到最优参数；由于目标域不含标签，则只采用源域数据训练C1，将训练后的C1用于目标域数据类别的预测，C1的输出作为目标域数据的伪标签

C1的训练损失如下：

结合S35可得到上层结构中的损失：

S42、下层结构中将X^s,X^t作为G2的输入，得到经G2提取后的特征Z^s,Z^t，Z^s,Zt分别为X^s,X^t经过G2得到的输出特征；利用<Z^s,Y^s>,

计算L_jmmd；

S43、为了整合训练后G1，G2的迁移能力，将X^s通过G1，G2的输出进行融合，并将融合后的特征作为C2的输入进行训练，C2的训练损失表示如下：

S44、根据上面S41、S42、S43所述的网络损失，模型的优化目标表示为

9.一种计算机可读存储系统，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。

Images