CN117395164B - 工业物联网的网络属性预测方法及系统 - Google Patents

工业物联网的网络属性预测方法及系统 Download PDF

Info

Publication number
CN117395164B
CN117395164B CN202311694257.7A CN202311694257A CN117395164B CN 117395164 B CN117395164 B CN 117395164B CN 202311694257 A CN202311694257 A CN 202311694257A CN 117395164 B CN117395164 B CN 117395164B
Authority
CN
China
Prior art keywords
graph
parameters
model
branch
things
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311694257.7A
Other languages
English (en)
Other versions
CN117395164A (zh
Inventor
刘兆伟
姜一凡
王占宇
郭德志
徐金东
王海洋
王涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202311694257.7A priority Critical patent/CN117395164B/zh
Publication of CN117395164A publication Critical patent/CN117395164A/zh
Application granted granted Critical
Publication of CN117395164B publication Critical patent/CN117395164B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及工业物联网技术领域，具体为工业物联网的网络属性预测方法及系统，以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中，通过应用联邦学习技术，每个分支中训练的局部图神经网络模型在确定各自的参数后，通过聚合其余分支的模型参数更新当前分支中模型的参数，从而只共享数据中的知识而不共享数据自身，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型。

Description

工业物联网的网络属性预测方法及系统
技术领域
本发明涉及工业物联网技术领域，具体为工业物联网的网络属性预测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
利用计算方法和机器学习技术来预测物联网网络的性质，例如连接稳定性、数据流量、设备互操作性和网络延迟，从而实现工业物联网的网络属性预测，这一过程有助于优化工业物联网的性能，提高生产效率，并降低维护成本。目前通常选用图神经网络来执行上述预测。
图神经网络是一种能够处理网络结构数据的机器学习模型，通过对网络拓扑结构建模和学习，图神经网络能够从网络的拓扑连接、设备之间的通信以及网络环境等信息中提取有用的特征。而工业物联网数据往往包含敏感信息，例如生产工艺和商业机密等，企业不愿意公开或共享这些数据，尤其是在传统的中心化数据共享模式下。其次，现有的工业物联网网络属性预测模型没有充分考虑网络结构特征，网络结构具有复杂的拓扑特性和通信模式，其中不同尺度的特征对于描述这些复杂性起着关键作用。与此同时，物联网设备之间可能存在较长的依赖关系，传统的图神经网络在处理长序列时面临梯度消失或难以捕捉长期依赖的问题。
综上，目前采用图神经网络进行工业物联网的网络属性预测时的准确性不理想。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供工业物联网的网络属性预测方法及系统，应用联邦学习技术，每个分支中训练的局部图神经网络模型在确定各自的参数后，通过聚合其余分支的模型参数更新当前分支中模型的参数，从而只共享数据中的知识而不共享数据自身，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型。
为了实现上述目的，本发明采用如下技术实施例：
本发明的第一个方面提供工业物联网的网络属性预测方法，包括以下步骤：
以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中；
每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征并池化处理，池化处理后的特征经聚合后与原始图数据相加，作为输入数据；
每个分支通过训练图神经网络模型，确定各自模型的参数，在每个联邦学习轮次后聚合所有模型的参数，每个分支根据聚合后的参数更新模型并进行下一轮次的训练，直至达到设定训练次数；
利用输入数据和每个分支中训练完毕的图神经网络模型，得到物联网的网络属性。
进一步的，形成的图数据具有多组，多组图数据形成数据集，数据集中的每个图表示一个样本，每个样本均包括节点特征矩阵、边特征矩阵和相应的目标值。
进一步的，节点特征矩阵包括设备类型、设备状态信息和设备位置信息中的至少一种。
进一步的，边特征矩阵包括设备之间的连接类型、通信带宽和延迟信息中的至少一种。
进一步的，每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征，具体为：基于不同尺度的卷积核并行的处理输入的图数据，以获取不同尺度的节点特征表示。
进一步的，池化处理具体为：在每个分支提取的特征矩阵上进行，将池化区域内的节点特征进行最大池化操作。
进一步的，池化处理后的特征经聚合后与原始图数据相加，作为输入数据，具体为：将每个分支池化操作后的特征聚合，基于残差连接将聚合后的特征与多尺度特征提取前的输入特征相加，得到输入数据。
进一步的，聚合所有模型的参数期间，在每个分支上传的模型参数数据中增加噪声。
进一步的，增加的噪声与隐私预算成反比，隐私预算表示允许的隐私损失程度。
进一步的，增加噪声，具体为：向查询结果添加Laplace噪声来实现差分隐私。
本发明的第二个方面提供实现上述方法所需的系统，包括：
图数据采集模块，被配置为：以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中；
图数据更新模块，被配置为：每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征并池化处理，池化处理后的特征经聚合后与原始图数据相加，作为输入数据；
模型参数更新模块，被配置为：每个分支通过训练图神经网络模型，确定各自模型的参数，在每个联邦学习轮次后聚合所有模型的参数，每个分支根据聚合后的参数更新模型并进行下一轮次的训练，直至达到设定训练次数；
网络属性预测模块，被配置为：利用输入数据和每个分支中训练完毕的图神经网络模型，得到物联网的网络属性。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的工业物联网的网络属性预测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的工业物联网的网络属性预测方法中的步骤。
与现有技术相比，以上一个或多个技术实施例存在以下有益效果：
1、应用联邦学习技术，每个分支中训练的局部图神经网络模型在确定各自的参数后，通过聚合其余分支的模型参数更新当前分支中模型的参数，从而只共享数据中的知识而不共享数据自身，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型。
2、每个分支对应的客户端上传的局部模型参数通过增加噪声，提高从模型参数中得到用户因素的难度，进一步保护数据隐私。
3、通过融入多尺度特征提取，学习工业物联网网络结构中不同尺度的特征，并通过提取的多尺度特征可以学习更复杂的特征表示，从而更好的捕捉工业物联网网络的抽象特性和通信行为，有助于提高工业物联网网络属性预测模型的表达能力和推理能力，进而更加准确的预测能力。
4、通过引入残差连接，构建更深层次的网络，使其能够更好地建模工业物联网网络的复杂性，从而捕捉工业物联网网络结构中多个层次的特征表示，进一步提升预测的准确性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明一个或多个实施例提供的工业物联网的网络属性预测过程示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
正如背景技术中所介绍的，工业物联网数据往往包含敏感信息，例如生产工艺和商业机密等，企业不愿意公开或共享这些数据，尤其是在传统的中心化数据共享模式下。其次，现有的工业物联网网络属性预测模型没有充分考虑网络结构特征，网络结构具有复杂的拓扑特性和通信模式，其中不同尺度的特征对于描述这些复杂性起着关键作用。与此同时，物联网设备之间可能存在较长的依赖关系，传统的图神经网络在处理长序列时面临梯度消失或难以捕捉长期依赖的问题。
因此，以下实施例给出工业物联网的网络属性预测方法及系统，应用联邦学习技术，每个分支中训练的局部图神经网络模型在确定各自的参数后，通过聚合其余分支的模型参数更新当前分支中模型的参数，从而只共享数据中的知识而不共享数据自身，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型。
实施例一：
如图1所示，工业物联网的网络属性预测方法，包括以下步骤：
S1：每个客户端本地生成包含工业物联网网络结构信息的图，将许多网络的图数据组成一个数据集，每个图表示一个样本。每个样本都包括节点特征矩阵、边特征矩阵和相应的目标值。
将工业物联网中的设备表示为图的节点，将设备之间的连接视为图的边。为每个节点和边添加特征。节点特征可以包括设备的类型（例如传感器、控制器等）、状态信息、位置等。边特征可以包括连接的类型（有线连接、无线连接等）以及通信的带宽、延迟等信息。将工业物联网的图表示为邻接矩阵或边列表。邻接矩阵是一个二维矩阵，其中行和列对应于图中的节点，矩阵中的元素表示节点之间是否存在连接。边列表则列出了图中的所有连接以及它们的特征。
S2：在每个客户端本地的图神经网络模型中引入多尺度特征提取。多尺度特征提取通过并行的应用不同尺度的卷积核来处理输入的图数据，以获取不同尺度的节点特征表示。
多尺度特征提取由三个分支组成，每个分支采用不同大小卷积核进行多尺度特征提取操作，以1x1的卷积核为例，多尺度特征提取操作如下：；其中，/>是/>卷积操作的输出特征图，/>是输入特征图，/>是/>卷积核，/>是偏置，/>是激活函数。
S3：多尺度池化操作在分支提取的特征矩阵上进行，将池化区域内的节点特征进行最大池化操作，降低图的规模并提取主要特征，为后续的多尺度信息聚合提供更紧凑和具有代表性的输入。
多尺度池化操作对局部区域进行池化以降低图的规模并提取主要特征。具体来说，对池化区域内的每个节点的特征进行最大池化。在最大池化中，从区域内的节点特征中选择最大值。多尺度池化操作不改变图的拓扑结构，即节点之间的连接关系。多尺度池化操作输出一个新的特征矩阵，其中每行对应一个节点，并包含了每个节点的新特征。这个新的特征矩阵通常规模较小，但仍然包含了原始节点特征的主要信息。
S4：将每个分支池化操作后的特征聚合，运用残差连接将聚合后的特征与多尺度特征提取前的输入特征相加，增强特征的表示能力。
残差连接将每个多尺度分支中池化操作输出的特征矩阵与多尺度特征提取前的输入特征相结合，进一步补充和调整这些特征。残差连接的公式如下：；其中，/>表示残差连接的输出特征矩阵，/>表示多尺度池化部分的输出特征矩阵，x表示主线流程中多尺度特征提取前的输入特征矩阵，/>表示残差连接中的权重参数，/>表示主线流程中的权重参数，/>表示激活函数。
此外，在工业物联网网络属性预测中，残差连接的另一个重要优势是可以帮助模型处理网络中的长程依赖关系。残差连接通过跨越多个层次的连接，提供更长程的信息传递，从而帮助模型更好地理解工业物联网的全局结构和设备之间的相互作用。
S5：每个客户端通过训练局部图神经网络模型，得到各自的模型参数，在每个联邦学习轮次后，中央服务器执行模型参数的聚合，以获得全局模型的更新，并且传递给客户端继续进行下一轮次的训练。
在中央服务器执行模型参数的聚合过程中，将差分隐私技术应用于客户端上传的局部模型参数中。差分隐私技术的核心思想是通过随机化技术在每个用户的本地对数据进行加噪处理，使得从这些梯度中恢复用户的隐私数据变得更加困难。隐私预算表示允许的隐私损失程度，通常以表示。向查询结果添加Laplace噪声来实现差分隐私。
Laplace分布是一个具有特定尺度参数的概率分布，可以在模型参数上添加噪声以保护隐私。添加的噪声量与隐私预算成反比。假设模型参数为θ，客户端在上传参数时会添加差分隐私噪声：/>；其中，θ'是添加了差分隐私噪声的模型参数，θ是原始的未添加噪声的模型参数，/>表示均值为0，尺度参数为/>的Laplace噪声，/>是模型参数的全局敏感度。在联邦学习中，/>通常取决于模型参数的范围或梯度的范围。
S6：当达到设置的指定训练轮次后，完成联邦图神经网络模型训练，使用全局模型完成图回归和图分类任务，从而进行工业物联网网络属性预测。
上述过程运用联邦学习技术，使得客户端可以在不共享隐私数据的情况下共同训练全局模型，并且将差分隐私技术应用于客户端上传的局部模型参数中，进一步保护数据隐私。
该模型融入多尺度特征提取，学习工业物联网网络结构中不同尺度的特征。通过多尺度特征提取，模型可以学习更复杂的特征表示，从而更好地捕捉工业物联网网络的抽象特性和通信行为。这有助于提高工业物联网网络属性预测模型的表达能力和推理能力。
为了捕捉工业物联网网络结构中多个层次的特征表示，残差连接被用于该模型中。传统的图神经网络可能受限于深度和复杂性，难以有效地捕捉这些层次的特征。通过引入残差连接，可以构建更深层次的联邦图神经网络，使其能够更好地建模工业物联网网络的复杂性。
与目前的网络属性预测模型相比，在保护数据隐私的情况下，预测准确性更高，根据相关测试，能够提升4%-6%的预测准确性能。
实施例二：
工业物联网的网络属性预测系统，包括：
图数据采集模块，被配置为：以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中；
图数据更新模块，被配置为：每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征并池化处理，池化处理后的特征经聚合后与原始图数据相加，作为输入数据；
模型参数更新模块，被配置为：每个分支通过训练图神经网络模型，确定各自模型的参数，在每个联邦学习轮次后聚合所有模型的参数，每个分支根据聚合后的参数更新模型并进行下一轮次的训练，直至达到设定训练次数；
网络属性预测模块，被配置为：利用输入数据和每个分支中训练完毕的图神经网络模型，得到物联网的网络属性。
上述系统应用联邦学习技术，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型，并且每个分支对应的客户端上传的局部模型参数通过人为增加噪声，进一步保护数据隐私。
通过融入多尺度特征提取，学习工业物联网网络结构中不同尺度的特征。通过提取的多尺度特征可以学习更复杂的特征表示，从而更好的捕捉工业物联网网络的抽象特性和通信行为，有助于提高工业物联网网络属性预测模型的表达能力和推理能力。
通过引入残差连接，构建更深层次的联邦图神经网络，使其能够更好地建模工业物联网网络的复杂性，从而捕捉工业物联网网络结构中多个层次的特征表示。
实施例三：
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的工业物联网的网络属性预测方法中的步骤。
应用联邦学习技术，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型，并且每个分支对应的客户端上传的局部模型参数通过人为增加噪声，进一步保护数据隐私。
通过融入多尺度特征提取，学习工业物联网网络结构中不同尺度的特征。通过提取的多尺度特征可以学习更复杂的特征表示，从而更好的捕捉工业物联网网络的抽象特性和通信行为，有助于提高工业物联网网络属性预测模型的表达能力和推理能力。
通过引入残差连接，构建更深层次的联邦图神经网络，使其能够更好地建模工业物联网网络的复杂性，从而捕捉工业物联网网络结构中多个层次的特征表示。
实施例四：
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的工业物联网的网络属性预测方法中的步骤。
应用联邦学习技术，使得分支对应的客户端可以在不共享隐私数据的情况下共同训练全局模型，并且每个分支对应的客户端上传的局部模型参数通过人为增加噪声，进一步保护数据隐私。
通过融入多尺度特征提取，学习工业物联网网络结构中不同尺度的特征。通过提取的多尺度特征可以学习更复杂的特征表示，从而更好的捕捉工业物联网网络的抽象特性和通信行为，有助于提高工业物联网网络属性预测模型的表达能力和推理能力。
通过引入残差连接，构建更深层次的联邦图神经网络，使其能够更好地建模工业物联网网络的复杂性，从而捕捉工业物联网网络结构中多个层次的特征表示。
以上实施例二至四中涉及的各步骤或模块与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

Claims (6)

1.工业物联网的网络属性预测方法，其特征在于，包括以下步骤：
以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中；
每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征并池化处理，池化处理后的特征经聚合后与原始图数据相加，作为输入数据；每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征，具体为：基于不同尺度的卷积核并行的处理输入的图数据，以获取不同尺度的节点特征表示；
多尺度特征提取由三个分支组成，每个分支采用不同大小卷积核进行多尺度特征提取操作，以1x1的卷积核为例，多尺度特征提取操作如下：；其中，/>是/>卷积操作的输出特征图，/>是输入特征图，/> 是/>卷积核，/>是偏置，/>是激活函数；
池化处理后的特征经聚合后与原始图数据相加，作为输入数据，具体为：将每个分支池化操作后的特征聚合，基于残差连接将聚合后的特征与多尺度特征提取前的输入特征相加，得到输入数据；残差连接将每个多尺度分支中池化操作输出的特征矩阵与多尺度特征提取前的输入特征相结合，进一步补充和调整这些特征；残差连接的公式如下：；其中，/>表示残差连接的输出特征矩阵，/>表示多尺度池化部分的输出特征矩阵，x表示主线流程中多尺度特征提取前的输入特征矩阵，/>表示残差连接中的权重参数，/>表示主线流程中的权重参数，/>表示激活函数；
每个分支通过训练图神经网络模型，确定各自模型的参数，在每个联邦学习轮次后聚合所有模型的参数，每个分支根据聚合后的参数更新模型并进行下一轮次的训练，直至达到设定训练次数；中央服务器执行模型参数的聚合，以获得全局模型的更新，并且传递给客户端继续进行下一轮次的训练；在中央服务器执行模型参数的聚合过程中，将差分隐私技术应用于客户端上传的局部模型参数中；
利用输入数据和每个分支中训练完毕的图神经网络模型，得到物联网的网络属性；
聚合所有模型的参数期间，在每个分支上传的模型参数数据中增加噪声；
增加噪声，具体为：向查询结果添加Laplace噪声来实现差分隐私；
Laplace分布是一个具有特定尺度参数的概率分布，能在模型参数上添加噪声以保护隐私；添加的噪声量与隐私预算成反比；模型参数为θ，客户端在上传参数时会添加差分隐私噪声：/>；其中，θ'是添加了差分隐私噪声的模型参数，θ是原始的未添加噪声的模型参数，/>表示均值为0，尺度参数为/>的Laplace噪声，/>是模型参数的全局敏感度；在联邦学习中，/>取决于模型参数的范围或梯度的范围。
2.如权利要求1所述的工业物联网的网络属性预测方法，其特征在于，形成的图数据具有多组，多组图数据形成数据集，数据集中的每个图表示一个样本，每个样本均包括节点特征矩阵、边特征矩阵和相应的目标值。
3.如权利要求2所述的工业物联网的网络属性预测方法，其特征在于，所述节点特征矩阵包括设备类型、设备状态信息和设备位置信息中的至少一种，所述边特征矩阵包括设备之间的连接类型、通信带宽和延迟信息中的至少一种。
4.如权利要求1所述的工业物联网的网络属性预测方法，其特征在于，池化处理，具体为：在每个分支提取的特征矩阵上进行，将池化区域内的节点特征进行最大池化操作。
5.如权利要求1所述的工业物联网的网络属性预测方法，其特征在于，增加的噪声与隐私预算成反比，隐私预算表示允许的隐私损失程度。
6.工业物联网的网络属性预测系统，其特征在于，包括：
图数据采集模块，被配置为：以工业物联网中的每个设备为图的节点，设备之间的连接为图的边，生成工业物联网网络结构信息图，并形成图数据保存在对应的分支中；
图数据更新模块，被配置为：每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征并池化处理，池化处理后的特征经聚合后与原始图数据相加，作为输入数据；
模型参数更新模块，被配置为：每个分支通过训练图神经网络模型，确定各自模型的参数，在每个联邦学习轮次后聚合所有模型的参数，每个分支根据聚合后的参数更新模型并进行下一轮次的训练，直至达到设定训练次数；
网络属性预测模块，被配置为：利用输入数据和每个分支中训练完毕的图神经网络模型，得到物联网的网络属性；
中央服务器执行模型参数的聚合，以获得全局模型的更新，并且传递给客户端继续进行下一轮次的训练；在中央服务器执行模型参数的聚合过程中，将差分隐私技术应用于客户端上传的局部模型参数中
每个分支中的图数据基于图神经网络模型提取不同尺度的节点特征，具体为：基于不同尺度的卷积核并行的处理输入的图数据，以获取不同尺度的节点特征表示；多尺度特征提取由三个分支组成，每个分支采用不同大小卷积核进行多尺度特征提取操作，以1x1的卷积核为例，多尺度特征提取操作如下：；其中，/>是/>卷积操作的输出特征图，/>是输入特征图，/> 是/>卷积核，是偏置，/>是激活函数；
池化处理后的特征经聚合后与原始图数据相加，作为输入数据，具体为：将每个分支池化操作后的特征聚合，基于残差连接将聚合后的特征与多尺度特征提取前的输入特征相加，得到输入数据；残差连接将每个多尺度分支中池化操作输出的特征矩阵与多尺度特征提取前的输入特征相结合，进一步补充和调整这些特征；残差连接的公式如下：；其中，/>表示残差连接的输出特征矩阵，/>表示多尺度池化部分的输出特征矩阵，x表示主线流程中多尺度特征提取前的输入特征矩阵，/>表示残差连接中的权重参数，/>表示主线流程中的权重参数，/>表示激活函数；
聚合所有模型的参数期间，在每个分支上传的模型参数数据中增加噪声；
增加噪声，具体为：向查询结果添加Laplace噪声来实现差分隐私；
Laplace分布是一个具有特定尺度参数的概率分布，能在模型参数上添加噪声以保护隐私；添加的噪声量与隐私预算成反比；模型参数为θ，客户端在上传参数时会添加差分隐私噪声：/>；其中，θ'是添加了差分隐私噪声的模型参数，θ是原始的未添加噪声的模型参数，/>表示均值为0，尺度参数为/>的Laplace噪声，/>是模型参数的全局敏感度；在联邦学习中，/>取决于模型参数的范围或梯度的范围。
CN202311694257.7A 2023-12-12 2023-12-12 工业物联网的网络属性预测方法及系统 Active CN117395164B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311694257.7A CN117395164B (zh) 2023-12-12 2023-12-12 工业物联网的网络属性预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311694257.7A CN117395164B (zh) 2023-12-12 2023-12-12 工业物联网的网络属性预测方法及系统

Publications (2)

Publication Number Publication Date
CN117395164A CN117395164A (zh) 2024-01-12
CN117395164B true CN117395164B (zh) 2024-03-26

Family

ID=89466997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311694257.7A Active CN117395164B (zh) 2023-12-12 2023-12-12 工业物联网的网络属性预测方法及系统

Country Status (1)

Country Link
CN (1) CN117395164B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077811A (zh) * 2022-01-19 2022-02-22 华东交通大学 一种基于图神经网络的电力物联网设备异常检测方法
CN114418124A (zh) * 2022-02-23 2022-04-29 京东科技信息技术有限公司 生成图神经网络模型的方法、装置、设备及存储介质
CN114580654A (zh) * 2022-02-23 2022-06-03 亿景智联(北京)科技有限公司 基于联邦学习的图神经网络模型训练方法以及装置
CN114757364A (zh) * 2022-05-05 2022-07-15 支付宝实验室(新加坡)有限公司 基于图神经网络的联邦学习方法、装置及联邦学习系统
CN114998005A (zh) * 2022-04-24 2022-09-02 北京理工大学 一种基于联邦图神经网络技术的比特币异常交易识别方法
CN115424223A (zh) * 2022-07-27 2022-12-02 浙江大华技术股份有限公司 图神经网络训练方法、点云特征提取方法、设备及介质
CN116502175A (zh) * 2023-03-15 2023-07-28 华南理工大学 一种图神经网络故障诊断方法、装置和存储介质
CN116662924A (zh) * 2023-03-20 2023-08-29 重庆邮电大学 基于双通道与注意力机制的方面级多模态情感分析方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077811A (zh) * 2022-01-19 2022-02-22 华东交通大学 一种基于图神经网络的电力物联网设备异常检测方法
CN114418124A (zh) * 2022-02-23 2022-04-29 京东科技信息技术有限公司 生成图神经网络模型的方法、装置、设备及存储介质
CN114580654A (zh) * 2022-02-23 2022-06-03 亿景智联(北京)科技有限公司 基于联邦学习的图神经网络模型训练方法以及装置
CN114998005A (zh) * 2022-04-24 2022-09-02 北京理工大学 一种基于联邦图神经网络技术的比特币异常交易识别方法
CN114757364A (zh) * 2022-05-05 2022-07-15 支付宝实验室(新加坡)有限公司 基于图神经网络的联邦学习方法、装置及联邦学习系统
CN115424223A (zh) * 2022-07-27 2022-12-02 浙江大华技术股份有限公司 图神经网络训练方法、点云特征提取方法、设备及介质
CN116502175A (zh) * 2023-03-15 2023-07-28 华南理工大学 一种图神经网络故障诊断方法、装置和存储介质
CN116662924A (zh) * 2023-03-20 2023-08-29 重庆邮电大学 基于双通道与注意力机制的方面级多模态情感分析方法

Also Published As

Publication number Publication date
CN117395164A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN112465151A (zh) 一种基于深度强化学习的多智能体联邦协作方法
WO2021233342A1 (zh) 一种神经网络构建方法以及系统
WO2021218517A1 (zh) 获取神经网络模型的方法、图像处理方法及装置
CN111935724B (zh) 基于异步深度强化学习的无线传感器网络拓扑优化方法
CN114387486A (zh) 基于持续学习的图像分类方法以及装置
Walton et al. A review of the development and applications of the Cuckoo search algorithm
CN113609398A (zh) 一种基于异构图神经网络的社交推荐方法
CN113077052A (zh) 用于稀疏奖励环境的强化学习方法、装置、设备及介质
CN115186821A (zh) 面向芯粒的神经网络推理开销估计方法及装置、电子设备
CN113065974A (zh) 一种基于动态网络表示学习的链路预测方法
CN111931901A (zh) 一种神经网络构建方法以及装置
CN114091554A (zh) 一种训练集处理方法和装置
US20240078428A1 (en) Neural network model training method, data processing method, and apparatus
CN113887704A (zh) 交通信息预测方法、装置、设备及存储介质
WO2023207013A1 (zh) 一种基于图嵌入的关系图谱关键人员分析方法及系统
CN111260660B (zh) 一种基于元学习的3d点云语义分割迁移方法
Zhang et al. R $^{2} $ fed: resilient reinforcement federated learning for industrial applications
CN116310318A (zh) 交互式的图像分割方法、装置、计算机设备和存储介质
CN117395164B (zh) 工业物联网的网络属性预测方法及系统
CN110866866B (zh) 图像仿色处理方法、装置、电子设备及存储介质
WO2022127603A1 (zh) 一种模型处理方法及相关装置
US11508067B2 (en) Method for quantifying algal for management of water quality
CN115544307A (zh) 基于关联矩阵的有向图数据特征提取与表达方法和系统
CN115001937A (zh) 面向智慧城市物联网的故障预测方法及装置
CN113887708A (zh) 基于平均场的多智能体学习方法、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant