CN118246479A - 一种污水处理集成装备的碳足迹计算方法及系统 - Google Patents
一种污水处理集成装备的碳足迹计算方法及系统 Download PDFInfo
- Publication number
- CN118246479A CN118246479A CN202410417119.2A CN202410417119A CN118246479A CN 118246479 A CN118246479 A CN 118246479A CN 202410417119 A CN202410417119 A CN 202410417119A CN 118246479 A CN118246479 A CN 118246479A
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- nodes
- sewage treatment
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011282 treatment Methods 0.000 title claims abstract description 155
- 239000010865 sewage Substances 0.000 title claims abstract description 141
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 title claims abstract description 67
- 229910052799 carbon Inorganic materials 0.000 title claims abstract description 67
- 238000004364 calculation method Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 335
- 238000003062 neural network model Methods 0.000 claims abstract description 108
- 238000012549 training Methods 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000003993 interaction Effects 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 20
- 238000004065 wastewater treatment Methods 0.000 claims description 11
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004220 aggregation Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 107
- 230000006870 function Effects 0.000 description 20
- 230000004913 activation Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000011068 loading method Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000005431 greenhouse gas Substances 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241001229889 Metis Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- -1 energy consumption Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000010802 sludge Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明适用于环境工程技术领域,提供了一种污水处理集成装备的碳足迹计算方法及系统,该方法包括收集各个污水处理集成装备历史运行过程中所采集的相关数据并进行预处理;根据各个相关数据构建一个图结构;根据图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;根据回归模型对目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹。本发明提供的方法,解决了现有污水处理集成装备的碳足迹计算效率低的问题。
Description
技术领域
本发明属于环境工程技术领域,尤其涉及一种污水处理集成装备的碳足迹计算方法及系统。
背景技术
污水处理集成装备是一种将预处理、一级处理、二级处理、三级处理、污泥处理、能源回收等多个环节集成在一个装置中的污水处理设备。这种装备具有占地少、运行稳定、效率高、成本低等优点,适用于小型和中型的城镇、工业园区、农村等场所的污水处理。然而,污水处理集成装备在处理污水的过程中,也会消耗能源和资源,产生温室气体排放,造成一定的环境影响。因此,评估和优化污水处理集成装备的碳足迹,即在污水处理集成装备的整个生命周期中,直接或间接产生的二氧化碳当量的总量,是污水处理集成装备的一个重要课题。
目前,已有一些关于污水处理集成装备的碳足迹计算方法,能够综合考虑污水处理的各个环节,以及各个环节之间的相互影响,从而更准确地评估污水处理的环境效益,为污水处理的优化提供依据。然而,这些方法存在以下几个方面的挑战:
数据获取和参数确定的难度:这些方法需要获取和确定大量的数据和参数,例如各个子系统的碳足迹、各个子系统之间的能量和物质的流动、各个子系统之间的碳足迹的传递系数等。这些数据和参数可能会受到污水的来源、成分、流量、温度等因素的影响,而且可能会随着时间和地点的变化而变化。
计算过程的复杂度和效率:这些方法需要进行复杂的计算过程,例如计算各个子系统的碳足迹、计算各个子系统之间的碳足迹的传递系数、计算污水处理集成装备的总碳足迹等。这些计算过程涉及到大量的数据处理和运算,需要消耗大量的时间和资源。
发明内容
本发明实施例的目的在于提供一种污水处理集成装备的碳足迹计算方法,旨在解决现有的问题。
本发明实施例是这样实现的,一种污水处理集成装备的碳足迹计算方法,所述方法包括:
收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
根据所收集的各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
根据回归模型对目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹。
更进一步地,所述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
对所构建的图结构进行分割得到多个子图,每个子图包含一定数量的节点和边,并保持子图之间的连通性;
根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步。
更进一步地,所述对所构建的图结构进行分割得到多个子图的步骤包括:
根据聚类算法对图结构中的各个节点进行划分得到若干个簇;
对每个簇中的节点和边构建子图,并为每个子图分配一个唯一的标识符;
对每个子图中与其他子图相连的边进行标记,并记录所连接的子图标识符。
4、如权利要求3所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据聚类算法对图结构中的各个节点进行划分得到若干个簇的步骤包括:
根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签;
计算每个聚类中心与其他节点之间的距离或相似度并按照预设顺序进行排序;
将各个聚类中心及与各个聚类中心相距最近或最相似的节点依次分别加入到所对应的簇中,直至各个簇中包含有预设的节点数目、或包含有聚类中所有的节点、或节点与聚类中心之间的距离或相似度超过预设的阈值;
判断目标边所连接的两个节点是否都处在同一簇中;
若是,则将目标边加入至所连接的节点对应的簇中。
更进一步地,所述根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签的步骤包括:
根据图结构中各个节点之间的相似度或距离构建相似度矩阵;
根据相似度矩阵计算图结构的度矩阵和拉普拉斯矩阵;
对拉普拉斯矩阵进行特征值分解,得到特征向量和特征值;
根据特征值的大小选择前预设数量的特征向量作为新的特征空间;
对新的特征空间中的各个特征向量进行聚类,得到预设数量的聚类中心和每个节点所属的聚类标签。
更进一步地,所述根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量的步骤包括:
根据所给定的当前污水处理集成装备运行时所采集的相关数据计算所生成的节点特征向量与各个子图的相似度;
根据与各个子图的相似度确定相似度最高的子图作为目标子图,并将所生成的节点特征向量加入到目标子图中计算与其他节点的边特征向量。
更进一步地,所述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上;
在每个计算节点上对所应用的图神经网络模型进行初始化并设置训练参数,训练参数包括学习率、批次大小、迭代次数;
在每个计算节点上对所分配的子图进行局部训练,从而学习子图上每个节点的低维向量表示;
在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,并更新各个计算节点上的图神经网络模型。
更进一步地,所述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
在每个计算节点上初始化一个本地图神经网络模型,并为其分配一个本地模型参数向量,所述本地模型参数向量由本地图神经网络模型的权重和偏置参数组成;
根据每个子图中的各个节点对所对应计算节点上的本地图神经网络模型进行前向传播和反向传播,以学习每个节点的低维向量表示,并更新本地模型参数向量;
在每轮训练后,根据预设通信协议将各个计算节点上所更新的本地模型参数向量发送至一个中心服务器或其他计算节点,并从中心服务器或其他计算节点接收其他计算节点上所更新的本地模型参数向量;
在每轮训练后,各个计算节点根据预设聚合算法将接收到的其他计算节点上所更新的本地模型参数向量与自身的本地模型参数向量进行融合或平均,得到一个全局模型参数向量,并根据全局模型参数向量替换自身的本地模型参数向量。
进一步的,所述图神经网络模型包括输入层、卷积层、注意力层、池化层及全连接层;
所述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
根据卷积层对输入层所输入的每个节点特征向量和边特征向量进行编码,得到编码后的特征向量;
根据注意力层对每个节点和边与其邻居节点和边之间的关系进行加权,得到加权后的特征向量;
根据池化层对所有节点和边的加权后的特征向量进行聚合,得到聚合后的特征向量;
根据全连接层对聚合后的特征向量进行映射,得到每个节点和边的低维向量表示。
本发明另一实施例的目的还在于提供一种污水处理集成装备的碳足迹计算系统,所述系统包括:
数据收集处理模块,用于收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
图结构构建模块,用于根据所收集各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
模型训练模块,用于根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
节点特征生成模块,用于根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
目标向量生成模块,用于根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
碳足迹计算模块,用于根据回归模型对目标低维向量表示进行计算,得到污水处理集成装备的碳足迹。
本发明实施例提供的污水处理集成装备的碳足迹计算方法,通过收集各个污水处理集成装备历史运行过程中所采集的相关数据可以为后续的碳足迹计算提供充分的数据支持,同时通过预处理可以去除噪声、缺失值、异常值等影响数据质量的因素,提高数据的可靠性和有效性;通过根据所收集各个污水处理集成装备历史运行过程中所采集的相关数据构建一个图结构,可以将污水处理集成装备的数据以图结构的形式进行组织和表示,通过利用图结构可以更好地捕捉各个处理单元之间的复杂关系;通过根据所构建的图结构对图神经网络模型进行训练,可以得到每个节点的低维向量表示,其向量表示可以有效地融合节点自身的特征和邻居节点的特征,从而更好地表达污水处理集成装备的内在属性和外在关系;通过根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量,可以将当前污水处理集成装备作为一个新节点加入到已有的图结构中,并根据其相关数据生成节点特征向量,同时计算与其他节点之间的边特征向量,使得可以将当前污水处理集成装备与已有数据进行关联和比较,为后续的碳足迹计算提供依据;通过根据训练好的图神经网络模型对加入到图结构中的当前污水处理集成装备对应的节点进行处理得到目标低维向量表示,可以对新加入的当前污水处理集成装备对应的节点进行处理,从而得到其目标低维向量表示,其向量表示可以反映出当前污水处理集成装备在整个图结构中所处的位置和角色,以及其与其他已知碳足迹的各个现有污水处理集成装备之间的相对关系;通过根据回归模型对当前污水处理集成装备对应的目标低维向量表示进行预测,从而得到其碳足迹计算,从而提供一个合理和准确的碳足迹计算结果,因此通过构建图结构,能够有效地表达污水处理集成装备之间的关联性和互动性,以及各种因素对污水处理集成装备的碳足迹的影响;通过使用图神经网络模型,能够有效地学习污水处理集成装备的低维向量表示;通过使用回归模型,能够有效地计算污水处理集成装备的碳足迹,提高计算的准确性和效率,解决了现有污水处理集成装备的碳足迹计算效率低的问题。
附图说明
图1是本发明实施例提供的污水处理集成装备的碳足迹计算方法的流程图;
图2是本发明实施例提供的污水处理集成装备的碳足迹计算系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参阅图1,是本发明第一实施例提供的污水处理集成装备的碳足迹计算方法的流程示意图,为了便于说明,仅示出了与本发明实施例相关的部分,该方法包括:
步骤S10,收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
其中,在本发明的一个实施例中,收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理具体包括以下步骤:
通过传感器、数据库、网络等手段,实时地获取和分析污水处理集成装备的运行相关数据,如污水的来源、成分、流量等,以及各个子系统的能耗、药耗、温室气体排放等,将这些数据上传到云端进行存储和处理。
对所获取的相关数据进行清洗、去重、填补缺失值、归一化等操作,以保证数据的完整性、一致性和可用性;
对所获取的相关数据进行特征工程,提取或生成有助于描述或区分各个污水处理集成装备的相关数据的特征变量,如污水流量、化学品使用量、能源消耗等;
对所获取的相关数据进行降维或压缩,减少数据维度或大小,以便于后续处理和存储。
步骤S20,根据所收集的各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
其中,本发明实施例中,构建图结构主要包括以下几个步骤:
第一步,确定节点的属性和类型。节点表示各个处理单元,可以根据所收集的相关数据为每个节点设置一些属性,如处理单元特征、能耗数据、物质转化率、排放情况、运行参数等。
第二步,确定边的属性和类型。边表示各个处理单元之间的关系,可以根据所收集的相关数据为每条边设置一些属性,如物质传递速率、能量传递速率、传递系数等。
第三步,构建图结构。根据确定的节点和边的属性和类型,将所有的处理单元和它们之间的关系用图形方式表示出来。可以使用一些专业的图形软件或工具来绘制图结构,如Gephi1、Neo4j2、Graphviz3等。
第四步,分析和可视化图结构。根据所构建的图结构,可以进行一些数据分析和可视化操作,如计算节点和边的度数、中心度、聚类系数等指标,或者使用不同的颜色、大小、形状等方式来突出显示不同类型或特征的节点和边。
其中,在本发明的一个实施例中,上述根据所收集各个相关数据构建一个图结构的步骤包括:
将每个处理单元作为一个节点,并为每个节点分配一个唯一标识符和一个节点特征向量,所述节点特征向量由处理单元的相关数据组成;
根据处理单元之间的相似度或距离计算每两个节点之间的边权重,并根据两个节点之间的边权重与预设阈值的比较确定是否在两个节点之间建立一条边,并将边权重作为边特征向量,所述边权重由处理单元之间的相关数据组成;
将所有节点特征向量和边特征向量分别组合成邻接矩阵和特征矩阵,得到一个图结构。
具体地,对于每个处理单元,将每个处理单元作为一个节点,并为每个节点分配一个唯一标识符,并使用其预处理后的相关数据作为节点特征向量;然后根据各个处理单元的特征变量计算节点之间的也即相似度或距离,例如使用欧氏距离、余弦相似度、皮尔逊相关系数等方式计算;根据节点之间的边权重确定节点之间是否存在边,对于任意两个处理单元,其所计算的节点之间的边权重大于预设阈值时,在两个节点之间建立一条边,并使用边权重作为边特征向量。最终将每个节点的特征变量作为节点特征向量,将每条边的权重作为边特征向量,构建一个图结构。也即将所有节点特征向量和边特征向量分别组合成邻接矩阵和特征矩阵,得到一个图结构。。
具体的,在本发明的一个实施例中,根据处理单元之间的相似度或距离计算每两个节点之间的边权重采用以下公式进行计算:
其中,sij表示第i个处理单元和第j个处理单元之间的边权重;n表示处理单元的相关数据中属性的数量;wk表示第k个属性的权重;xik表示第i个处理单元在第k个属性上的取值,xjk表示第j个处理单元在第k个属性上的取值。
其中,本实施例中,通过采用基于余弦相似度的计算方法衡量两个处理单元在各种属性上的相似程度(也即得到每两个节点之间的边权重),其中在该公式中通过根据不同的属性赋予不同的权重,以反映不同属性对相似度或关联度的影响程度,例如化学品使用量可能比能源消耗更重要;同时公式可以将每个处理单元在各种属性上的取值转化为一个特征向量,然后计算两个特征向量之间的余弦值,作为两个节点之间的边权重。其中余弦值越接近1,表示两个处理单元越相似或越相关;余弦值越接近-1,表示两个处理单元越不相似或越无关;余弦值接近0,表示两个处理单元之间没有明显的相似性或关联性。因此通过将该余弦值与预设阈值进行比较,并当余弦值大于预设阈值时则在两个节点之间建立一条边,并使用边权重作为边特征向量。
步骤S30,根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
其中,在本发明的一个实施例中,根据所构建的图结构对图神经网络模型进行训练目的是利用图神经网络模型的强大能力,能够有效地处理处理单元之间的复杂关系,并提取出每个节点的重要特征。其中图神经网络模块是一种用于处理图结构数据的深度学习模型,通过利用图的拓扑信息和节点特征来学习每个节点的低维向量表示。
具体的,根据所构建的图结构对图神经网络模型进行训练的步骤主要包括选择合适的图神经网络模型,并定义模型结构(如层数、激活函数、损失函数等);然后根据图结构中的各个节点对图神经网络模型进行训练,以学习每个节点的低维向量表示;在训练过程中,监测图神经网络模型的性能指标(如准确率、损失值等),并根据需要进行调整和优化。其中根据图结构的特点和目标任务的需求,选择最适合的图神经网络模型,并确定其参数和超参数;同时还可以使用不同的模型选择和优化方法,如网格搜索、随机搜索、贝叶斯优化等。
具体的,在本发明的一个实施例中,图神经网络模型包括输入层、卷积层、注意力层、池化层及全连接层;上述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
根据卷积层对输入层所输入的每个节点特征向量和边特征向量进行编码,得到编码后的特征向量;
根据注意力层对每个节点和边与其邻居节点和边之间的关系进行加权,得到加权后的特征向量;
根据池化层对所有节点和边的加权后的特征向量进行聚合,得到聚合后的特征向量;
根据全连接层对聚合后的特征向量进行映射,得到每个节点和边的低维向量表示。
其中,卷积层为了将输入层所输入的每个节点特征向量和边特征向量进行非线性变换,以增加其表达能力和复杂度,同时减少节点特征的维度。其卷积层可以使用不同的卷积操作,如一维卷积、二维卷积、三维卷积等;同时也可以使用不同的卷积参数,如卷积核大小、卷积核数量、步长、填充等;同时该卷积层输出一个编码后的特征向量,其维度与输入层所输入的特征向量相同或不同。
进一步的,根据卷积层对输入层所输入的每个节点特征向量和边特征向量进行编码,得到编码后的特征向量采用以下公式进行计算:
其中,表示第l层第i个节点的隐藏特征向量,σ表示激活函数,N(i)表示第i个节点的邻居集合,di表示第i个节点的度数,dj表示第j个节点的度数,W(l)表示第l层的权重矩阵,b(l)表示第l层偏置向量,/>表示第l-1层第j个节点的输入特征向量。
其中,本实施例中,通过对于每个节点i,首先遍历其所有邻居节点j,并将邻居节点j的输入特征向量乘以权重矩阵W(l)得到一个新的向量;然后将所有邻居节点得到的新向量按照/>的比例进行加权求和,这个比例是为了归一化邻接矩阵,避免特征向量的范数随着层数增加而爆炸或消失;再加上一个偏置向量b(l),得到一个未激活的隐藏特征向量;最后对这个隐藏特征向量应用一个激活函数σ,如ReLU、sigmoid、tanh等,得到最终的隐藏特征向量/>这样每个节点都可以根据自己和邻居节点的输入特征向量得到一个新的隐藏特征向量,从而实现了卷积层的功能。
其中,注意力层为了根据每个节点和边与其邻居节点和边之间的关系进行加权,以突出其重要性和影响力,从而获得新的特征向量,同时保持图结构的结构不变。注意力层可以使用不同的注意力机制,如自注意力、多头注意力、图注意力等;同时也可以使用不同的注意力参数,如注意力头数、注意力维度、注意力缩放因子等;同时注意力层可以输出一个加权后的特征向量,其维度与编码后的特征向量相同或不同。
进一步的,根据注意力层对每个节点和边与其邻居节点和边之间的关系进行加权,得到加权后的特征向量采用以下公式进行计算:
其中,表示第l+1层第i个节点的隐藏特征向量,σ表示激活函数,N(i)表示第i个节点的邻居集合,K表示每个节点使用的不同的注意力头数的一个超参数,/>表示第k个注意力头计算的节点i和j之间的注意力权重,Wk和bk表示第k个注意力头的可学习参数,表示第l层第j个节点的隐藏特征向量;
其中采用以下公式进行计算:
其中,∥表示向量拼接操作,ak表示第k个注意力头的注意力向量,LeakyReLU表示带有泄露参数的线性整流单元函数,表示第l层第i个节点的隐藏特征向量。
其中,本实施例中,对于每个节点i,首先遍历其所有邻居节点j,并计算出每个邻居节点对于当前节点的重要程度,即注意力权重然后将每个邻居节点j的特征向量乘以相应的注意力权重/>和权重矩阵Wk得到一个新的向量;接着将所有邻居节点得到的新向量按照不同的注意力头进行求和或拼接操作,得到一个未激活的隐藏特征向量;最后对这个隐藏特征向量应用一个激活函数σ,如ReLU、sigmoid、tanh等,得到最终的隐藏特征向量/>这样,每个节点都可以根据自己和邻居节点的特征向量得到一个新的隐藏特征向量,从而实现了图注意力层的功能。其中注意力权重计算公式主要为用一个单层神经网络来度量两个节点之间的相似性,并用进行归一化。
其中,池化层为了图结构中所有节点和边的加权后的特征向量进行聚合,以减少计算复杂度和提高效率;池化层的实现方法一般是先学习图结构的分配矩阵,然后根据分配矩阵对图结构中的节点和边进行分组,从而减少节点的数量,其中可以使用不同的池化操作,如最大池化、平均池化、求和池化等;同时也可以使用不同的池化参数,如池化窗口大小、池化窗口移动距离等;池化层输出一个聚合后的特征向量,其维度与加权后的特征向量相同或不同。其中池化层通过对输入的图像进行降维或聚合,从而提取图像的全局特征或局部特征。同时池化层还具有以下几点作用:降低信息冗余,减少计算量和参数数量;增强模型的尺度不变性、旋转不变性和平移不变性;防止过拟合,提高模型的泛化能力;实现非线性变换,增加模型的表达能力。
进一步的,根据池化层对所有节点和边的加权后的特征向量进行聚合,得到聚合后的特征向量采用以下公式进行计算:
S(l)=softmax(Z(l)W(l))
X(l+1)=S(l)TZ(l)
A(l+1)=l(l)TA(l)l(l)
其中,S(l)表示第l层的分配矩阵,Z(l)表示第l层的输出,W(l)表示可学习的权重矩阵,softmax表示归一化函数。X(l+1)表示第l+1层的节点特征,A(l+1)表示第l+1层的邻接矩阵,A(l)表示第l层输入。
其中,本发明实施例中,通过将图结构中的节点分配到不同的簇中,通常使用一个可学习的矩阵来表示每个节点属于每个簇的概率。具体的通过使用了一个基于图卷积网络的模型来学习分配矩阵,使得可以根据节点的特征和邻接关系来划分簇,使同一个簇中的节点更相似,不同簇中的节点更不相似。然后根据分配矩阵将图结构中的节点特征和邻接矩阵进行聚合,得到下一层的输入,具体通过对每个簇中的节点特征进行加权平均,然后将加权平均后的特征作为新的节点特征。同时对邻接矩阵进行更新,使得新的节点之间有边相连。
其中,全连接层为了对聚合后的特征向量进行映射,以得到每个节点和边的低维向量表示,以便于后续的处理和预测;全连接层的实现方法一般是使用一个或多个线性变换或者神经网络来将高维特征向量映射到低维空间。其可以使用不同的全连接层,如线性层、非线性层、残差层等;同时可以使用不同的全连接层参数,如权重矩阵、偏置向量、激活函数等;其全连接层输出一个低维向量表示,其维度与聚合后的特征向量相同或不同。
进一步的,根据全连接层对聚合后的特征向量进行映射,得到每个节点和边的低维向量表示采用以下公式进行计算:
其中,表示第l+1层第i个节点的隐藏特征向量,σ表示激活函数,W(l)表示第l层的权重矩阵,b(l)表示第l层的偏置向量,/>表示第l层第i个节点的隐藏特征向量。
其中,本实施例中,对于每个节点i的特征向量乘以一个权重矩阵W(l),得到一个新的特征向量,用于对特征向量进行一个线性变换,可以改变特征向量的维度和方向。然后,对每个节点的新特征向量加上一个偏置向量b(l),得到一个更新的特征向量,用于对特征向量进行一个平移,可以改变特征向量的位置和范围。最后,对每个节点的更新特征向量应用一个激活函数,得到最终的特征向量,用于对特征向量进行一个非线性变换,可以增加特征向量的复杂度和表达能力。此时全连接层可以将每个节点的高维特征向量映射到一个低维空间,以得到对应的低维向量表示。
其中,在本发明实施例,通过上述方式可实现对图神经网络模型的训练,然而由于整个图结构加载到内存中进行计算,此时在处理大规模图时会消耗大量资源;而由于图神经网络模型需要处理图结构中的大量的节点特征向量和边特征向量,以及进行卷积操作等,同样需要消耗大量的计算资源和内存空间。此时,在本发明的其他实施例中,还提出将图结构进行分割得到多个子图,可以减少每个子图中节点和边的数量,可以提高图神经网络模型的训练效率和准确度,同时降低计算复杂度和资源消耗。
具体的,在本发明的其他实施例中,上述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
对所构建的图结构进行分割得到多个子图,每个子图包含一定数量的节点和边,并保持子图之间的连通性;
根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步。
其中,通过将图结构划分为多个可管理和可计算的子图,以便利用分布式计算资源进行高效和并行的训练;同时使用不同的图划分算法,如谱聚类、Metis、Louvain等,同时输出多个子图及其对应的标识符和邻接矩阵。然后根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步,此时利用分布式计算资源对每个子图上的节点进行局部训练,并通过信息交互和同步保证全局一致性。
具体的,对所构建的图结构进行分割是需要保持子图之间的连通性,其主要有以下作用:1、避免丢失重要的结构信息和关系信息,从而提高图神经网络模型学习和预测的准确性和鲁棒性。如果子图之间不连通,可能会出现一些孤立的节点或边,其无法与其他节点或边交换信息,从而影响图神经网络模型对其特征表示和标签预测。2、方便地对子图进行合并和划分,从而实现动态的图结构更新。如果子图之间不连通,可能会出现一些冗余或冲突的节点或边,它们会增加图结构的复杂度和不一致性,从而影响图神经网络模型对它们的处理和适应。3、有效地利用分布式计算资源,从而提高图神经网络模型训练和推理的效率和速度。如果子图之间不连通,那么可能会出现一些负载不均衡或通信不畅的问题,它们会降低图神经网络模型在多个计算节点上的并行性能和可扩展性。
因此,为保持子图的连通性,本实施例在分割图结构后,对每个子图中与其他子图相连的边进行标记,并记录其连接的子图标识符。这样可以在后续的图神经网络模型训练和推理时,根据边的标记和连接信息,对跨子图的边进行特殊处理,例如增加权重、增加注意力、增加信息传递等,从而保持子图之间的连通性。
其中,在本发明的其他实施例中,上述对所构建的图结构进行分割得到多个子图的步骤包括:
根据聚类算法对图结构中的各个节点进行划分得到若干个簇;
对每个簇中的节点和边构建子图,并为每个子图分配一个唯一的标识符;
对每个子图中与其他子图相连的边进行标记,并记录所连接的子图标识符。
其中,上述根据所构建的图结构进行分割的具体实现步骤如下:
首先使用聚类算法对图结构中的节点进行划分,得到若干个簇。聚类算法是一种无监督学习的方法,可以将数据集中的数据点根据它们之间的相似度或距离划分为若干个组别,称为簇。聚类算法的目标是使同一个簇中的数据点尽可能相似,而不同簇中的数据点尽可能不同。本实施例中可以选择合适的聚类算法,例如K-means、谱聚类、基于模块度的聚类等,来根据节点的特征向量来计算它们之间的相似度或距离,并根据某种准则将它们划分为若干个簇。其中不同的聚类算法有不同的划分准则和优化目标,例如基于距离、基于密度、基于导数、基于谱等。
其次,对每个簇中的节点和边构建一个子图,并为每个子图分配一个唯一的标识符。上述步骤中得到有每个节点所属簇的标签,此时根据这些标签来对节点和边进行分组,从而形成若干个子图。每个子图包含了一个簇中的所有节点和边,这些节点和边具有相似或相关的特征。同时为每个子图分配一个唯一的标识符,例如一个整数或一个字符串,以便于后续对子图进行索引和操作。
最后,对每个子图中与其他子图相连的边进行标记,并记录其连接的子图标识符。上述步骤中得到有若干个子图,由于子图之间并不是完全孤立的,它们之间可能还存在一些跨越不同簇的边,这些边反映了不同处理单元之间的关系或影响。因此对这些边进行特殊处理,以保持子图之间的连通性,并避免丢失重要的结构信息和关系信息。通过对每个子图中与其他子图相连的边进行标记,并记录其连接的两个子图的标识符,从而形成一个跨子图边集合。
其中,对每个簇中的节点和边构建子图,并为每个子图分配一个唯一的标识符详细实现步骤为对每个簇中的节点和边进行编号,并根据编号生成一个唯一的标识符,如哈希值、编码值等;将每个簇中的节点和边特征向量分别组合成邻接矩阵和特征矩阵,得到一个子图结构;将每个子图结构及其对应的标识符存储在一个数据结构中,如列表、字典等。
其中,对每个子图中与其他子图相连的边进行标记,并记录所连接的子图标识符详细实现步骤:遍历每个子图中的所有边,判断目标边所连接的两个节点是否都处在同一簇中;若否,则将目标边加入至所连接的节点对应的簇中,并为目标边分配一个边权重和一个边特征向量;对目标边进行标记,如添加一个特殊符号、修改一个特征值等,并记录所连接的两个子图标识符。
进一步的,上述根据聚类算法对图结构中的各个节点进行划分得到若干个簇的步骤包括:
根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签;
计算每个聚类中心与其他节点之间的距离或相似度并按照预设顺序进行排序;
将各个聚类中心及与各个聚类中心相距最近或最相似的节点依次分别加入到所对应的簇中,直至各个簇中包含有预设的节点数目、或包含有聚类中所有的节点、或节点与聚类中心之间的距离或相似度超过预设的阈值;
判断目标边所连接的两个节点是否都处在同一簇中;
若是,则将目标边加入至所连接的节点对应的簇中。
更进一步的,上述根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签的步骤包括:
根据图结构中各个节点之间的相似度或距离构建相似度矩阵;
根据相似度矩阵计算图结构的度矩阵和拉普拉斯矩阵;
对拉普拉斯矩阵进行特征值分解,得到特征向量和特征值;
根据特征值的大小选择前预设数量的特征向量作为新的特征空间;
对新的特征空间中的各个特征向量进行聚类,得到预设数量的聚类中心和每个节点所属的聚类标签。
具体的,聚类算法可以有多种选择,如K-means、谱聚类、GMM等。本发明实施例中主要以谱聚类为例,其基本思想是利用图的拉普拉斯矩阵的特征值和特征向量来划分图中的节点。具体步骤如下:
根据图结构中节点之间的相似度或距离构建一个相似度矩阵S;
根据相似度矩阵S计算图的度矩阵D和拉普拉斯矩阵L=D-S;
对拉普拉斯矩阵L进行特征值分解,取最小的k个特征值对应的特征向量组成一个n×k的矩阵U,其中n为节点数,k为预设的聚类数;
将矩阵U的每一行视为一个k维向量,对这些向量进行K-means聚类,得到k个聚类中心和每个节点所属的聚类标签。
进一步的,对于每个聚类中心,计算其与其他节点之间的距离或相似度,并按照升序或降序排列;从最近或最相似的节点开始,依次将其加入到子图中,直到满足以下条件之一:子图中包含了预设的节点数目;子图中包含了该聚类中所有的节点;节点与聚类中心之间的距离或相似度超过了预设的阈值;将子图中所有节点之间存在的边也加入到子图中,形成一个完整的子图结构。
进一步的,在本发明的其他实施例中,上述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上;
在每个计算节点上对所应用的图神经网络模型进行初始化并设置训练参数,训练参数包括学习率、批次大小、迭代次数;
在每个计算节点上对所分配的子图进行局部训练,从而学习子图上每个节点的低维向量表示;
在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,并更新各个计算节点上的图神经网络模型。
具体的,上述为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上的步骤为了将大规模的图结构划分为多个子图,并将各个子图并行地分配给不同的计算资源,以提高训练效率、扩展性和并行度。计算集群是由多个相互连接的计算设备组成的,例如CPU、GPU或TPU。计算节点是指集群中的一个单元,可以执行图神经网络模型的训练任务。为了将子图分配给计算节点,需要考虑以下几个因素:子图的大小和复杂度:子图应该尽可能地平衡,以避免负载不均衡和资源浪费。子图之间的连接:子图应该尽可能地减少跨节点的边,以降低通信开销和同步延迟。计算设备的性能和容量:计算设备应该根据其处理能力和内存空间来匹配合适的子图,以提高利用率和稳定性。根据这些因素可以使用不同的划分策略来实现子图到计算节点的映射,例如随机划分、哈希划分、范围划分、社区划分等。同时该步骤可以使用不同的分布式计算框架,如TensorFlow、PyTorch、Horovod等;同时该步骤可以使用不同的分布式计算策略,如参数服务器、环形全约简、集中式全约简等;进一步的,该步骤可以输出一个计算节点与子图之间的映射关系,以及各个计算节点之间的通信协议。
进一步的,上述为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上的步骤是为了在每个计算节点上的图神经网络模型准备好训练所需的模型和参数,以便进行局部训练。其中训练参数是影响模型性能和收敛速度的重要因素,需要根据具体的任务和数据来调整。其中训练参数主要包括学习率、批次大小、迭代次数等。其中学习率用于控制模型参数更新的幅度,其过大或过小都会影响模型收敛;而批次大小用于控制每次前向和后向传播时输入模型的数据量,其过大或过小都会影响模型泛化能力和内存消耗。而迭代次数用于控制模型在整个数据集上重复训练的次数,其过多或过少都会影响模型拟合程度和训练时间。其中该步骤可以使用不同的模型初始化方法,如随机初始化、预训练初始化、正交初始化等。同时该步骤可以使用不同的训练参数设置方法,如固定值、动态调整、学习率衰减等;进一步的,该子步骤可以输出一个初始化后的图神经网络模型及其对应的训练参数。
进一步的,上述在每个计算节点上对所分配的子图进行局部训练,从而学习子图上每个节点的低维向量表示的步骤是为了利用图神经网络模型对每个子图上的节点进行特征提取和降维,以得到每个节点的低维向量表示;在每个计算节点上,根据所选择的图神经网络模型对所分配的子图进行局部训练。其中局部训练包括以下几个步骤:一、前向传播:从输入层开始,将子图上的节点特征向量和边特征向量依次通过图神经网络的各个层,直到全连接层得到每个节点的低维向量表示。二、损失计算:根据预先定义的损失函数,如交叉熵、均方误差等,计算全连接层中各个节点的低维向量表示与真实标签之间的差异。三、反向传播:从输出层开始,将损失函数的梯度沿着图神经网络的各个层反向传播,直到输入层,得到每个模型参数的梯度。四、参数更新:根据预先设定的优化器,如随机梯度下降、Adam等,使用梯度和学习率来更新每个模型参数的值。其中步骤可以使用不同的局部训练方法,如随机梯度下降、小批次梯度下降、动量法等;同时该步骤也可以使用不同的局部训练指标,如损失函数、准确率、召回率等;进一步的,该子步骤可以输出一个局部训练后的图神经网络模型及其对应的局部训练指标。
进一步的,上述在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,并更新各个计算节点上的图神经网络模型的步骤为了在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,以保证各个子图之间的一致性和全局最优,实现分布式训练过程中保证模型一致性和收敛性;其中由于每个计算节点只能训练自身所分配的子图,因此需要在每轮局部训练后进行信息交互和同步,以使各个计算节点上的图神经网络模型达成一致。因此具体的信息交互和同步的目的是为了保证每个节点的低维向量表示能够充分反映其在整个图结构中的位置和关系,而不仅仅是其在子图中的局部信息。例如,对于一个跨越多个子图的节点,其低维向量表示应该综合考虑其在各个子图中的邻居节点的特征向量,而不仅仅是其在当前子图中的邻居节点的特征向量。其中信息交互和同步包括以下几个步骤:一、通信协议:根据预先定义的通信协议,如AllReduce、Parameter Server等,确定各个计算节点之间的通信方式和顺序。二、信息发送:每个计算节点将自己的模型参数或梯度打包成消息,并发送给其他计算节点或中心服务器。三、信息接收:每个计算节点接收来自其他计算节点或中心服务器的消息,并解包得到模型参数或梯度。四、信息聚合:每个计算节点根据预先定义的聚合函数,如平均、最大、最小等,对收到的模型参数或梯度进行聚合操作。五、模型更新:每个计算节点使用聚合后的模型参数或梯度来更新自身的图神经网络模型。其中步骤可以输出一个信息交互和同步后的图神经网络模型及其对应的信息交互和同步指标。
其中,在本发明的其他实施例中,上述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
在每个计算节点上初始化一个本地图神经网络模型,并为其分配一个本地模型参数向量,所述本地模型参数向量由本地图神经网络模型的权重和偏置参数组成;
根据每个子图中的各个节点对所对应计算节点上的本地图神经网络模型进行前向传播和反向传播,以学习每个节点的低维向量表示,并更新本地模型参数向量;
在每轮训练后,根据预设通信协议将各个计算节点上所更新的本地模型参数向量发送至一个中心服务器或其他计算节点,并从中心服务器或其他计算节点接收其他计算节点上所更新的本地模型参数向量;
在每轮训练后,各个计算节点根据预设聚合算法将接收到的其他计算节点上所更新的本地模型参数向量与自身的本地模型参数向量进行融合或平均,得到一个全局模型参数向量,并根据全局模型参数向量替换自身的本地模型参数向量。
因此,本发明实施例中,通过对图结构进行分割,得到多个子图,可以减少每个子图中节点和边的数量,降低图神经网络模型训练和推理的计算复杂度和资源消耗,同时可以提高图神经网络模型的训练效率和准确度;通过保持子图之间的连通性,可以避免丢失重要的结构信息和关系信息,从而提高图神经网络模型学习和预测的准确性和鲁棒性;通过对每个子图分别应用图神经网络模型进行训练,可以提高训练速度和效果,同时可以增强模型对于异常节点或噪声节点的鲁棒性,还可以增加模型的多样性和灵活性,从而适应不同子图中节点和边特征的分布和变化。
步骤S40,根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
其中,在本发明的一个实施例中,根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量目的是将当前污水处理集成装备与已知碳足迹的各个现有污水处理集成装备进行关联,以便利用图神经网络模型对其进行处理和预测。其中对于当前污水处理集成装备,使用其预处理后的相关数据作为节点特征向量,并将其作为一个新的节点加入到图结构中;然后根据如上述所述判断该新节点与其他节点是否存在边,并计算边特征向量。具体的,根据所给定的污水处理集成装备运行时所采集的相关数据计算所生成的节点特征向量的步骤是为了根据当前污水处理集成装备的相关数据,计算所生成的节点特征向量,以表示当前污水处理集成装备的属性和特点;其中,该步骤具体可以使用不同的特征提取和编码方法,如数值化、标准化、归一化、独热编码、词嵌入等;同时该步骤可以输出一个节点特征向量,其维度与已知碳足迹的各个现有污水处理集成装备的节点特征向量相同或不同。进一步的,上述将当前污水处理集成装备的节点特征向量加入到图结构中的步骤为了将当前污水处理集成装备作为一个新节点加入到图结构中,以便利用图神经网络模型对其进行处理;其中该步骤可以使用不同的图构建方法,如邻接矩阵、邻接列表、边列表等;同时该步骤可以输出一个更新后的图结构,其包含了当前污水处理集成装备的节点特征向量。而计算与其他节点的边特征向量的步骤是为了计算当前污水处理集成装备与其他节点之间的边特征向量,以表示两个节点之间的关系和相似度;其中该步骤可以使用不同的边特征向量计算方法,如基于节点特征向量的相似度或距离、基于边的相关数据的统计量等;进一步的该步骤输出一个边特征向量,其维度与已知碳足迹的各个现有污水处理集成装备之间的边特征向量相同或不同。
进一步的,在本发明的其他实施例中,参照上述所述,当图结构进行分割为多个子图时,则上述根据所给定的当前污水处理集成装备的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量可通过如下步骤实现:
根据所给定的当前污水处理集成装备运行时所采集的相关数据计算所生成的节点特征向量与各个子图的相似度;
根据与各个子图的相似度确定相似度最高的子图作为目标子图,并将所生成的节点特征向量加入到目标子图中计算与其他节点的边特征向量。
更进一步的,根据当前污水处理集成装备的节点特征向量与目标子图中其他节点计算出的边特征向量与预设阈值的比较确定是否在当前污水处理集成装备对应的节点与其他节点之间建立一条边,并为每条边分配一个边特征向量。
因此,在本发明实施例中,通过将当前污水处理集成装备加入到与其相对应的子图中进行处理,可以提高待评估当前污水处理集成装备与其他节点之间边特征向量的质量,保证其与其他节点之间的关系不被破坏,从而提高目标低维向量表示的表达能力,因此提高评估结果的可信度。
步骤S50,根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
其中,在本发明的一个实施例中,根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示的步骤目的是利用图神经网络模型的强大能力,能够有效地处理处理单元之间的复杂关系,并提取当前出污水处理集成装备的重要特征。该步骤具体包括:一、将训练好的图神经网络模型加载到计算设备上;二、将当前污水处理集成装备对应的节点作为输入层输入到图神经网络模型中;三、对输入层所输入的当前污水处理集成装备对应的节点进行前向传播,得到目标低维向量表示。其中将训练好的图神经网络模型加载到计算设备上的步骤是为了将之前训练好的图神经网络模型从存储设备上读取到计算设备上,以便进行预测;该步骤可以使用不同的模型加载方法,如文件读取、序列化、反序列化等;该步骤可以输出一个加载后的图神经网络模型及其对应的模型结构和参数。而将当前污水处理集成装备对应的节点作为输入层输入到图神经网络模型中为了进行前向传播;该步骤可以使用不同的输入层方法,如张量、矩阵、向量等;该步骤可以输出一个输入层及其对应的输入特征向量。而对输入层所输入的当前污水处理集成装备对应的节点进行前向传播,得到目标低维向量表示的步骤是为了利用图神经网络模型对输入层所输入的当前污水处理集成装备对应的节点进行前向传播,以得到目标低维向量表示,以表示当前污水处理集成装备的重要特征;该步骤可以使用不同的前向传播方法,如本发明实施例中的卷积层、注意力层、池化层、全连接层;该步骤可以输出全连接层的低维向量表示,并作为目标低维向量表示。进一步的,当图结构进行分割为多个子图时,则根据当前污水处理集成装备的节点所加入的目标子图选择所对应的计算节点进行图神经网络模型的计算。
步骤S60,根据回归模型对目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹;
其中,在本发明的一个实施例中,使用线性回归或其他回归模型作为回归模型,将目标低维向量表示作为输入,得到一个数值型输出,作为当前污水处理集成装备的碳足迹。
其中,上述根据回归模型对目标低维向量表示进行计算步骤包括:
选择合适的回归模型;
将当前污水处理集成装备对应的目标低维向量表示作为输入层输入到回归模型中;
对输入层所输入的当前污水处理集成装备对应的目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹。
具体的,选择合适的回归模型的步骤是为了选择合适的回归模型来对当前污水处理集成装备进行预测,其中不同的回归模型有不同的优缺点和适用范围;该步骤可以使用不同的回归模型,如线性回归、岭回归、决策树回归、支持向量机回归等;进一步的该步骤可以输出一个选择后的回归模型及其对应的参数和超参数。
其中,将当前污水处理集成装备对应的目标低维向量表示作为输入层输入到回归模型中的子步骤是为了将当前污水处理集成装备对应的目标低维向量表示作为输入层输入到回归模型中,以便进行预测;该步骤可以使用不同的输入层方法,如张量、矩阵、向量等;同时该步骤可以输出一个输入层及其对应的输入特征向量。
其中,对输入层所输入的当前污水处理集成装备对应的目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹的步骤是为了利用回归模型对输入层所输入的当前污水处理集成装备对应的目标低维向量表示进行计算,得到其碳足迹格;该步骤可以使用不同的计算方法,如线性函数、非线性函数、概率分布等;同时该步骤可以输出一个计算值及其对应的置信区间或误差范围。
其中,在本发明实施例中,通过使用回归模型,能够有效地计算当前污水处理集成装备的碳足迹,提高计算的准确性和效率。
本实施例中,通过收集各个污水处理集成装备历史运行过程中所采集的相关数据可以为后续的碳足迹计算提供充分的数据支持,同时通过预处理可以去除噪声、缺失值、异常值等影响数据质量的因素,提高数据的可靠性和有效性;通过根据所收集各个污水处理集成装备历史运行过程中所采集的相关数据构建一个图结构,可以将污水处理集成装备的数据以图结构的形式进行组织和表示,通过利用图结构可以更好地捕捉各个处理单元之间的复杂关系;通过根据所构建的图结构对图神经网络模型进行训练,可以得到每个节点的低维向量表示,其向量表示可以有效地融合节点自身的特征和邻居节点的特征,从而更好地表达污水处理集成装备的内在属性和外在关系;通过根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量,可以将当前污水处理集成装备作为一个新节点加入到已有的图结构中,并根据其相关数据生成节点特征向量,同时计算与其他节点之间的边特征向量,使得可以将当前污水处理集成装备与已有数据进行关联和比较,为后续的碳足迹计算提供依据;通过根据训练好的图神经网络模型对加入到图结构中的当前污水处理集成装备对应的节点进行处理得到目标低维向量表示,可以对新加入的当前污水处理集成装备对应的节点进行处理,从而得到其目标低维向量表示,其向量表示可以反映出当前污水处理集成装备在整个图结构中所处的位置和角色,以及其与其他已知碳足迹的各个现有污水处理集成装备之间的相对关系;通过根据回归模型对当前污水处理集成装备对应的目标低维向量表示进行预测,从而得到其碳足迹计算,从而提供一个合理和准确的碳足迹计算结果,因此通过构建图结构,能够有效地表达污水处理集成装备之间的关联性和互动性,以及各种因素对污水处理集成装备的碳足迹的影响;通过使用图神经网络模型,能够有效地学习污水处理集成装备的低维向量表示;通过使用回归模型,能够有效地计算污水处理集成装备的碳足迹,提高计算的准确性和效率,解决了现有污水处理集成装备的碳足迹计算效率低的问题。
实施例二
请参阅图2,是本发明第二实施例提供的一种污水处理集成装备的碳足迹计算系统的结构图,为了便于说明,仅示出了与本发明实施例相关的部分,该系统包括:
数据收集处理模块10,用于收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
图结构构建模块20,用于根据所收集各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
模型训练模块30,用于根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
节点特征生成模块40,用于根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
目标向量生成模块50,用于根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
碳足迹计算模块60,用于根据回归模型对目标低维向量表示进行计算,得到污水处理集成装备的碳足迹。
进一步的,在本发明的一个实施例中,模型训练模块30包括:
图结构分割单元,用于对所构建的图结构进行分割得到多个子图,每个子图包含一定数量的节点和边,并保持子图之间的连通性;
模型训练单元,用于根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步。
进一步的,在本发明的一个实施例中,图结构分割单元包括:
簇划分子单元,用于根据聚类算法对图结构中的各个节点进行划分得到若干个簇;
子图构建子单元,用于对每个簇中的节点和边构建子图,并为每个子图分配一个唯一的标识符;
标记子单元,用于对对每个子图中与其他子图相连的边进行标记,并记录所连接的子图标识符。
进一步的,在本发明的一个实施例中,簇划分子单元用于:
根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签;
计算每个聚类中心与其他节点之间的距离或相似度并按照预设顺序进行排序;
将各个聚类中心及与各个聚类中心相距最近或最相似的节点依次分别加入到所对应的簇中,直至各个簇中包含有预设的节点数目、或包含有聚类中所有的节点、或节点与聚类中心之间的距离或相似度超过预设的阈值;
判断目标边所连接的两个节点是否都处在同一簇中;
若是,则将目标边加入至所连接的节点对应的簇中。
进一步的,在本发明的一个实施例中,节点特征生成模块40包括:
相似度计算单元,用于根据所给定的当前污水处理集成装备运行时所采集的相关数据计算所生成的节点特征向量与各个子图的相似度;
节点特征生成单元,用于根据与各个子图的相似度确定相似度最高的子图作为目标子图,并将所生成的节点特征向量加入到目标子图中计算与其他节点的边特征向量。
进一步的,在本发明的一个实施例中,模型训练单元用于:
为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上;
在每个计算节点上对所应用的图神经网络模型进行初始化并设置训练参数,训练参数包括学习率、批次大小、迭代次数;
在每个计算节点上对所分配的子图进行局部训练,从而学习子图上每个节点的低维向量表示;
在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,并更新各个计算节点上的图神经网络模型。
进一步的,在本发明的一个实施例中,模型训练单元还用于:
在每个计算节点上初始化一个本地图神经网络模型,并为其分配一个本地模型参数向量,所述本地模型参数向量由本地图神经网络模型的权重和偏置参数组成;
根据每个子图中的各个节点对所对应计算节点上的本地图神经网络模型进行前向传播和反向传播,以学习每个节点的低维向量表示,并更新本地模型参数向量;
在每轮训练后,根据预设通信协议将各个计算节点上所更新的本地模型参数向量发送至一个中心服务器或其他计算节点,并从中心服务器或其他计算节点接收其他计算节点上所更新的本地模型参数向量;
在每轮训练后,各个计算节点根据预设聚合算法将接收到的其他计算节点上所更新的本地模型参数向量与自身的本地模型参数向量进行融合或平均,得到一个全局模型参数向量,并根据全局模型参数向量替换自身的本地模型参数向量。
进一步的,在本发明的一个实施例中,所述图神经网络模型包括输入层、卷积层、注意力层、池化层及全连接层;
模型训练模块30包括:
卷积层处理单元,用于根据卷积层对输入层所输入的每个节点特征向量和边特征向量进行编码,得到编码后的特征向量;
注意力层处理单元,用于根据注意力层对每个节点和边与其邻居节点和边之间的关系进行加权,得到加权后的特征向量;
池化层处理单元,用于根据池化层对所有节点和边的加权后的特征向量进行聚合,得到聚合后的特征向量;
全连接层处理单元,用于根据全连接层对聚合后的特征向量进行映射,得到每个节点和边的低维向量表示。
本发明实施例所提供的污水处理集成装备的碳足迹计算系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例还提供了一种可读存储介质,其上存储有程序,该程序被处理器执行时实现如上述实施例所述的污水处理集成装备的碳足迹计算方法步骤。所述可读存储介质,如:ROM/RAM、磁碟、光盘等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元或模块完成,即将存储装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施方式中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种污水处理集成装备的碳足迹计算方法,其特征在于,所述方法包括:
收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
根据所收集的各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
根据回归模型对目标低维向量表示进行计算,得到当前污水处理集成装备的碳足迹。
2.如权利要求1所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
对所构建的图结构进行分割得到多个子图,每个子图包含一定数量的节点和边,并保持子图之间的连通性;
根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步。
3.如权利要求2所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述对所构建的图结构进行分割得到多个子图的步骤包括:
根据聚类算法对图结构中的各个节点进行划分得到若干个簇;
对每个簇中的节点和边构建子图,并为每个子图分配一个唯一的标识符;
对每个子图中与其他子图相连的边进行标记,并记录所连接的子图标识符。
4.如权利要求3所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据聚类算法对图结构中的各个节点进行划分得到若干个簇的步骤包括:
根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签;
计算每个聚类中心与其他节点之间的距离或相似度并按照预设顺序进行排序;
将各个聚类中心及与各个聚类中心相距最近或最相似的节点依次分别加入到所对应的簇中,直至各个簇中包含有预设的节点数目、或包含有聚类中所有的节点、或节点与聚类中心之间的距离或相似度超过预设的阈值;
判断目标边所连接的两个节点是否都处在同一簇中;
若是,则将目标边加入至所连接的节点对应的簇中。
5.如权利要求4所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据聚类算法对图结构中各个节点进行聚类得到预设数量的聚类中心和每个节点所属的聚类标签的步骤包括:
根据图结构中各个节点之间的相似度或距离构建相似度矩阵;
根据相似度矩阵计算图结构的度矩阵和拉普拉斯矩阵;
对拉普拉斯矩阵进行特征值分解,得到特征向量和特征值;
根据特征值的大小选择前预设数量的特征向量作为新的特征空间;
对新的特征空间中的各个特征向量进行聚类,得到预设数量的聚类中心和每个节点所属的聚类标签。
6.如权利要求2所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量的步骤包括:
根据所给定的当前污水处理集成装备运行时所采集的相关数据计算所生成的节点特征向量与各个子图的相似度;
根据与各个子图的相似度确定相似度最高的子图作为目标子图,并将所生成的节点特征向量加入到目标子图中计算与其他节点的边特征向量。
7.如权利要求2所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
为每个子图分配计算集群中的一个计算节点,并将计算集群中的各个计算节点分布式部署在不同的计算设备上;
在每个计算节点上对所应用的图神经网络模型进行初始化并设置训练参数,训练参数包括学习率、批次大小、迭代次数;
在每个计算节点上对所分配的子图进行局部训练,从而学习子图上每个节点的低维向量表示;
在每轮局部训练后,根据预设通信协议进行各个计算节点之间的信息交互和同步,并更新各个计算节点上的图神经网络模型。
8.如权利要求7所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述根据所分割得到的每个子图对图神经网络模型进行分布式训练,以学习每个节点的低维向量表示,并使各个子图之间的信息交互和同步的步骤包括:
在每个计算节点上初始化一个本地图神经网络模型,并为其分配一个本地模型参数向量,所述本地模型参数向量由本地图神经网络模型的权重和偏置参数组成;
根据每个子图中的各个节点对所对应计算节点上的本地图神经网络模型进行前向传播和反向传播,以学习每个节点的低维向量表示,并更新本地模型参数向量;
在每轮训练后,根据预设通信协议将各个计算节点上所更新的本地模型参数向量发送至一个中心服务器或其他计算节点,并从中心服务器或其他计算节点接收其他计算节点上所更新的本地模型参数向量;
在每轮训练后,各个计算节点根据预设聚合算法将接收到的其他计算节点上所更新的本地模型参数向量与自身的本地模型参数向量进行融合或平均,得到一个全局模型参数向量,并根据全局模型参数向量替换自身的本地模型参数向量。
9.如权利要求1所述的污水处理集成装备的碳足迹计算方法,其特征在于,所述图神经网络模型包括输入层、卷积层、注意力层、池化层及全连接层;
所述根据所构建的图结构对图神经网络模型进行训练的步骤包括:
根据卷积层对输入层所输入的每个节点特征向量和边特征向量进行编码,得到编码后的特征向量;
根据注意力层对每个节点和边与其邻居节点和边之间的关系进行加权,得到加权后的特征向量;
根据池化层对所有节点和边的加权后的特征向量进行聚合,得到聚合后的特征向量;
根据全连接层对聚合后的特征向量进行映射,得到每个节点和边的低维向量表示。
10.一种污水处理集成装备的碳足迹计算系统,其特征在于,所述系统包括:
数据收集处理模块,用于收集各个污水处理集成装备历史运行过程中所采集的各个相关数据并进行预处理;
图结构构建模块,用于根据所收集各个相关数据构建一个图结构,其中节点表示污水处理的各个处理单元,边表示各个处理单元之间的关系;
模型训练模块,用于根据所构建的图结构对图神经网络模型进行训练,以学习每个节点的低维向量表示;
节点特征生成模块,用于根据所给定的当前污水处理集成装备运行时所采集的相关数据生成节点特征向量,并加入到图结构中计算与其他节点的边特征向量;
目标向量生成模块,用于根据训练好的图神经网络模型对加入到图结构中的节点进行处理得到目标低维向量表示;
碳足迹计算模块,用于根据回归模型对目标低维向量表示进行计算,得到污水处理集成装备的碳足迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410417119.2A CN118246479A (zh) | 2024-04-08 | 2024-04-08 | 一种污水处理集成装备的碳足迹计算方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410417119.2A CN118246479A (zh) | 2024-04-08 | 2024-04-08 | 一种污水处理集成装备的碳足迹计算方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118246479A true CN118246479A (zh) | 2024-06-25 |
Family
ID=91564381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410417119.2A Pending CN118246479A (zh) | 2024-04-08 | 2024-04-08 | 一种污水处理集成装备的碳足迹计算方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118246479A (zh) |
-
2024
- 2024-04-08 CN CN202410417119.2A patent/CN118246479A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11042802B2 (en) | System and method for hierarchically building predictive analytic models on a dataset | |
CN111104522A (zh) | 一种基于知识图谱的区域产业关联效应趋势预测方法 | |
CN108805193B (zh) | 一种基于混合策略的电力缺失数据填充方法 | |
CN110059875B (zh) | 基于分布式鲸鱼优化算法的公共自行车需求量预测方法 | |
Wang et al. | An evolutionary autoencoder for dynamic community detection | |
CN106874478A (zh) | 基于Spark的并行化随机标签子集多标签文本分类方法 | |
CN110533112A (zh) | 车联网大数据跨域分析融合方法 | |
Al-Janabi et al. | Development of deep learning method for predicting DC power based on renewable solar energy and multi-parameters function | |
CN103324954A (zh) | 一种基于树结构的图像分类方法及其系统 | |
CN114861890B (zh) | 构建神经网络的方法、装置、计算设备及存储介质 | |
Rabie et al. | A fog based load forecasting strategy based on multi-ensemble classification for smart grids | |
Hong et al. | Variational gridded graph convolution network for node classification | |
Zhang et al. | Hierarchical community detection based on partial matrix convergence using random walks | |
CN115080795A (zh) | 一种多充电站协同负荷预测方法及装置 | |
Chen et al. | A Spark-based Ant Lion algorithm for parameters optimization of random forest in credit classification | |
CN115001978B (zh) | 一种基于强化学习模型的云租户虚拟网络智能映射方法 | |
CN118246479A (zh) | 一种污水处理集成装备的碳足迹计算方法及系统 | |
CN116599683A (zh) | 一种恶意流量检测方法、系统、装置及存储介质 | |
CN115762183A (zh) | 基于几何代数和超图的交通速度预测方法 | |
CN114612914A (zh) | 一种多标签不平衡数据分类的机器学习方法及系统 | |
Zhan et al. | Magcn: A multi-adaptive graph convolutional network for traffic forecasting | |
Kaveh et al. | Optimal decomposition of finite element meshes via k-median methodology and different metaheuristics | |
CN117057890A (zh) | 租赁性住房的市场价值评估方法及系统 | |
CN113283174B (zh) | 基于算法集成与自控制的储层产能预测方法、系统及终端 | |
US20230289563A1 (en) | Multi-node neural network constructed from pre-trained small networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |