CN112685504A - 一种面向生产过程的分布式迁移图学习方法 - Google Patents

一种面向生产过程的分布式迁移图学习方法 Download PDF

Info

Publication number
CN112685504A
CN112685504A CN202110010986.0A CN202110010986A CN112685504A CN 112685504 A CN112685504 A CN 112685504A CN 202110010986 A CN202110010986 A CN 202110010986A CN 112685504 A CN112685504 A CN 112685504A
Authority
CN
China
Prior art keywords
neural network
distributed
node
network model
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110010986.0A
Other languages
English (en)
Other versions
CN112685504B (zh
Inventor
冷杰武
阮国磊
刘强
张虎
苏倩怡
周满
王德文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110010986.0A priority Critical patent/CN112685504B/zh
Publication of CN112685504A publication Critical patent/CN112685504A/zh
Application granted granted Critical
Publication of CN112685504B publication Critical patent/CN112685504B/zh
Priority to US17/529,311 priority patent/US11367002B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/021—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a variable is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向生产过程的分布式迁移图学习方法，首先确定总节点、分布式节点和各个分布式节点的节点粒度，并搭建区块链网络；接着搭建并训练图神经网络模型；设置参数更新阈值、总训练次数、计数变量和训练次数，当图神经网络模型的计数变量等于参数更新阈值或者为参数更新阈值的整数倍时，则将图神经网络模型的网络权重参数和生产过程参数上传至区块链网络，总节点对网络权重参数取加权平均值，并将加权平均值发布至区块链网络，分布式节点分别从区块链网络上获取平均值，并将平均值加载至图神经网络模型中进行更新。本发明将各个分布式节点的网络权重参数进行加权融合，并以此对各个图神经网络模型进行更新，因此具有较佳的泛化能力。

Description

一种面向生产过程的分布式迁移图学习方法
技术领域
本发明涉及信息技术领域，尤其涉及一种面向生产过程的分布式迁移图学习方法。
背景技术
近年来，深度卷积神经网络快速发展，并借由其强大的建模能力引起广泛关注。相比传统方法，深度卷积神经网络的引入给图像处理和自然语言处理等领域带来了很大的提升，如机器翻译，图像识别，语音识别等。
但是对于数据量较大的复杂工业生产环境，深度卷积神经网络模型训练对算力提出了较高的要求，花费的训练时间较多，模型的训练效率较低。而且工业生产环境中生产状况多变，对于特定生产状况下的生产数据所训练出来的深度卷积神经网络算法模型，用在其他生产状况所获得的效果比较差，训练所得到的算法模型泛化能力和迁移能力较差。对于生产状况多变得工业生产环境中，采用深度卷积神经网络并不能取得很好得效果。
发明内容
本发明的目的在于提出一种面向生产过程的分布式迁移图学习方法，以解决上述问题。
为达此目的，本发明采用以下技术方案：
一种面向生产过程的分布式迁移图学习方法，包括以下步骤：
步骤A、根据生产过程确定分布式迁移图学习的需求，然后根据分布式迁移图学习的需求确定总节点、分布式节点和各个所述分布式节点的节点粒度；
步骤B、确定区块链网络的分布式节点的个数，并搭建区块链网络；
步骤C、根据所述节点粒度收集各分布式节点的生产过程参数，然后根据所述生产过程参数搭建图神经网络模型，并将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点；
步骤D、设置参数更新阈值update和总训练次数epoch,所述参数更新阈值update和总训练次数epoch分别为常数；
设置计数变量和训练次数，所述计数变量和所述训练次数的初始值均为0；所述步骤D包括以下步骤：
步骤D1、判断所述训练次数是否不小于所述总训练次数epoch，若是，则进入步骤D2，否则模型训练结束；
步骤D2、判断所述计数变量是否等于所述参数更新阈值或者为所述参数更新阈值的整数倍，若是，则进入步骤D5，否则进入步骤D4；
步骤D4、对部署于所述分布式节点的图神经网络模型进行一次模型训练；所述计数变量和所述训练次数分别加1；然后返回所述步骤D2；
步骤D5、所述计数变量归零；然后分别导出部署于各所述分布式节点的所述图神经网络模型的网络权重参数pi，然后将所述网络权重参数pi和所述生产过程参数上传至所述区块链网络，接着进入步骤D6；
步骤D6、所述总节点从所述区块链网络上获取各个所述分布式节点的网络权重参数pi和所述生产过程参数，然后对所述网络权重参数取加权平均值
Figure BDA0002884997870000021
其中，n为所述分布式节点的个数，wi为第i个节点的权重；然后将所述加权平均值pa加载到所述总节点的图神经网络模型中，并将所述加权平均值pa发布至所述区块链网络；然后进入步骤D7；
步骤D7、各个所述分布式节点分别从所述区块链网络上获取所述加权平均值pa，然后将所述加权平均值pa加载至所述分布式节点的图神经网络模型中，并对所述图神经网络模型进行更新；然后进入步骤D8；
步骤D8、所述训练次数加1，并返回所述步骤D1。
优选地，将所述生产过程作为一个有向图结构G，所述步骤C包括：
生产过程参数收集阶段，收集与所述分布式节点对应的图神经网络模型的训练数据，其中：
所述有向图结构G中的每一个生产工序分别作为一个节点v，所述节点v中包含的若干加工特征属性用高维张量表示；
所述有向图结构G中的各个生产工序之间的流转关系作为边e，所述边e中包含的若干运输特征属性用高维张量表示；
所有的所述节点v构成所述有向图结构的节点集V，所有的所述边e构成所述有向图结构的边集E，则所述有向图结构G＝(V,E)；
图神经网络模型搭建阶段，其中；
设定一个维度为N×F0的特征矩阵X来表示所述有向图结构G的各个所述节点v，其中，N表示有向图结构中的节点v的数量，F0表示每个节点v的加工特征属性；
设定一个维度为N×N的邻接矩阵A来表示所述有向图结构G的各个所述节点v之间的连接关系；
则所述图神经网络模型的输入为所述特征矩阵X和所述邻接矩阵A，根据所述特征矩阵X和所述邻接矩阵A搭建图神经网络模型；
图神经网络模型部署阶段，将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点。
优选地，在所述步骤C中，设定所述图神经网络模型的前向传播方式为：
Figure BDA0002884997870000031
其中，σ为激活函数ReLU，H(l)为所述有向图结构在第l层卷积的表示状态，H(0)＝X，W(l)为第l层卷积的权重矩阵，D是一个对角矩阵对角线上每个元素表示所述有向图结构G中的节点的度。
优选地，在所述步骤C中，获取历史生产数据，然后在所述历史生产数据中选择多个原始数据，并对各个所述原始数据分别打上分类标签，并对所述原始数据按照训练集：验证集：测试集＝7：2：1的比例随机切分。
优选地，在所述步骤C中，所述图神经网络在前向训练过程后，对所述图神经网络模型的问题性质进行判断，然后根据所述问题性质选择交叉熵损失函数：
若所述问题性质为二分类性质，则所述交叉熵损失函数为：
Figure BDA0002884997870000041
其中，
Figure BDA0002884997870000042
是所述图神经网络预测数据样本是正例的概率，y是数据样本的分类标签，如果数据样本的分类标签为正例，则y＝1；若数据样本的分类标签为负例，则y＝0；
若所述问题性质为多分类性质，则所述交叉熵损失函数为：
Figure BDA0002884997870000043
其中，J是数据样本的个数，j是数据样本中的第j个数据样本，
Figure BDA0002884997870000044
是所述图神经网络模型的预测样本是第j个数据样本的概率，yj是第j个数据样本的分类标签。
本发明的有益效果是：引用迁移模式算法，通过将不同的分布式节点的不同数据分别对图神经网络模型进行训练，然后将各个分布式节点所训练得到的图神经网络模型的不同网络权重参数进行加权融合，最后由总节点生成一个总的图神经网络模型的网络权重参数，这样使得最终总的图神经网络模型对每个分布式节点的数据适应都很好，从而能够有效地提高图神经网络模型的泛化能力，实现了广义上的迁移，从而使得人工智能得以规模化应用。
附图说明
附图对本发明做进一步说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明其中一个实施例的训练过程的流程示意图；
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
本实施例的一种面向生产过程的分布式迁移图学习方法，包括以下步骤：
步骤A、根据生产过程确定分布式迁移图学习的需求，然后根据分布式迁移图学习的需求确定总节点、分布式节点和各个所述分布式节点的节点粒度；
步骤B、确定区块链网络的分布式节点的个数，并搭建区块链网络；
步骤C、根据所述节点粒度收集各分布式节点的生产过程参数，然后根据所述生产过程参数搭建图神经网络模型，并将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点；
步骤D、设置参数更新阈值update和总训练次数epoch,所述参数更新阈值update和总训练次数epoch分别为常数；
设置计数变量和训练次数，所述计数变量和所述训练次数的初始值均为0；所述步骤D包括以下步骤：
步骤D1、判断所述训练次数是否不小于所述总训练次数epoch，若是，则进入步骤D2，否则模型训练结束；
步骤D2、判断所述计数变量是否等于所述参数更新阈值或者为所述参数更新阈值的整数倍，若是，则进入步骤D5，否则进入步骤D4；
步骤D4、对部署于所述分布式节点的图神经网络模型进行一次模型训练；所述计数变量和所述训练次数分别加1；然后返回所述步骤D2；
步骤D5、所述计数变量归零；然后分别导出部署于各所述分布式节点的所述图神经网络模型的网络权重参数pi，然后将所述网络权重参数pi和所述生产过程参数上传至所述区块链网络，接着进入步骤D6；
步骤D6、所述总节点从所述区块链网络上获取各个所述分布式节点的网络权重参数pi和所述生产过程参数，然后对所述网络权重参数取加权平均值
Figure BDA0002884997870000061
其中，n为所述分布式节点的个数，wi为第i个节点的权重；然后将所述加权平均值pa加载到所述总节点的图神经网络模型中，并将所述加权平均值pa发布至所述区块链网络；然后进入步骤D7；
步骤D7、各个所述分布式节点分别从所述区块链网络上获取所述加权平均值pa，然后将所述加权平均值pa加载至所述分布式节点的图神经网络模型中，并对所述图神经网络模型进行更新；然后进入步骤D8；
步骤D8、所述训练次数加1，并返回所述步骤D1。
目前的人工智能算法模型训练方式多是将数据集中到一起进行训练，这种集中式数据存储训练模式对硬件的计算能力要求较高且降低了算法模型训练效率。不同于数据集中处理的集中训练模式，本发明通过引入区块链技术，将数据分布式存储到区块链的每个分布式节点中，并在各自的分布式节点中用本地数据对图神经网络模型进行训练，提高了图神经网络模型的训练效率。此外，在人工智能落地的过程中，数据的匮乏(数据量级小/标签少)、算法人对业务认知的匮乏、“一事一模型”的难泛化算法都困扰着人工智能的规模化应用。一个模型只适用于某种特定情况，放到其他情况下，模型效果就大打折扣，算法的可迁移能力亟待提升。这背后的核心原因是，仅靠局部数据驱动的模型很难具备较好的全局泛化能力，各个系统记录的数据存在一定的差异互补性。针对这一缺点，本发明引用迁移模式算法，通过将不同的分布式节点的不同数据分别对图神经网络模型进行训练，然后将各个分布式节点所训练得到的图神经网络模型的不同网络权重参数进行加权融合，最后由总节点生成一个总的图神经网络模型的网络权重参数，这样使得最终总的图神经网络模型对每个分布式节点的数据适应都很好，从而能够有效地提高图神经网络模型的泛化能力，实现了广义上的迁移，从而使得人工智能得以规模化应用。
根据实际生产过程的需求，可以对本申请的分布式迁移图学习方法分成两类，第一类是通过图回归或者节点回归来解决的生产过程中相关指标预测类；第二类是通过矩阵补全或者连接预测来提供的生产过程相关辅助决策类。而根据参加图神经网络模型训练的数据的范围，可以将参加训练的分布式节点分为基于大粒度节点的分布式迁移图学习方法和基于小粒度节点的分布式迁移图学习方法，其中，第一类以整个加工车间为节点的基于大粒度节点的分布式迁移图学习方法；第二类以将生产车间里的加工过程拆分为制造单元以每个制造单元为节点的基于小粒度的分布式迁移图学习方法；其具体的分类过程是：先根据分布式迁移图学习方法具体的需求，包括指标预测类和决策改进类，去分析采集原始数据的范围，再根据数据范围去确定分布式节点的粒度，例如要以整个集团收益最大化为目标而进行生产决策，这样就需要获集团下每个分公司的生产数据，这样使用到的就是以每一个分公司为一个节点的基于大粒度分布式迁移图学习方法；如果要对某条产线上的某一道工序的生产故障进行预测，而为了使模型有更好的泛化效果需要将其他相似产品生产线上对应的相似工序的生产数据用来一起去训练网络模型，这样用到的就是以某到工序为制造单元的基于小粒度的分布式迁移图学习方法。
确定分布式节点的粒度之后，可以去选定具体的分布式节点。每个提供训练数据的计算机或者云服务都作为一个分布式节点，假设这种类型分布式节点个数为n；确定好所有分布式图学习的各个分布式节点之后再加一个总节点来训练总的图神经网络模型，总节点的数量为1，所以训练参与图神经网络模型训练的节点总数为n+1。
进一步地，将所述生产过程作为一个有向图结构G，所述步骤C包括：
生产过程参数收集阶段，收集与所述分布式节点对应的图神经网络模型的训练数据，其中：
所述有向图结构G中的每一个生产工序分别作为一个节点v，所述节点v中包含的若干加工特征属性用高维张量表示；
所述有向图结构G中的各个生产工序之间的流转关系作为边e，所述边e中包含的若干运输特征属性用高维张量表示；
所有的所述节点v构成所述有向图结构的节点集V，所有的所述边e构成所述有向图结构的边集E，则所述有向图结构G＝(V,E)；
图神经网络模型搭建阶段，其中；
设定一个维度为N×F0的特征矩阵X来表示所述有向图结构G的各个所述节点v，其中，N表示有向图结构中的节点v的数量，F0表示每个所述节点v的加工特征属性；
设定一个维度为N×N的邻接矩阵A来表示所述有向图结构G的各个所述节点v之间的连接关系；
则所述图神经网络模型的输入为所述特征矩阵X和所述邻接矩阵A，根据所述特征矩阵X和所述邻接矩阵A搭建图神经网络模型；
图神经网络模型部署阶段，将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点。
生产过程中的工序流程图可以看成一个有向图结构，可以根据生产过程的工序流程图来设计对应图神经网络模型的训练数据。以手机组装工艺主流程为例，手机组装的每一个过程可以看成有向图结构中的节点v，节点v里面包含的若干个加工特征属性可以用高维张量来表示；手机组装工序之间的流转可以看成有向图结构中的边e，边e中包含的若干个运输特征属性可以用高维张量来表示。
其中节点v的加工特征属性就是该工序加工过程中的一些参数，如：加工时间、加工方式等，根据节点v的不同，加工特征属性的数量和类型有所区别；边e表示零件在两道工序之间运输过程中的一些参数，如：产品从上一道工序到下一道工序的运输方式、时间、空间距离等可以影响最终预测影响预测结果的运输特征属性，具体的数据根据最后的需求来确定。所有的节点v构成该有向图结构的节点集V，所有的边e构成该有向图结构的边集E，因此可以用G＝(V,E)来表示手机组装工艺主流程的有向图结构的数据。
进一步地，在所述步骤C中，设定所述图神经网络模型的前向传播方式为：
Figure BDA0002884997870000091
其中，σ为激活函数ReLU，H(l)为所述有向图结构在第l层卷积的表示状态，H(0)＝X，W(l)为第l层卷积的权重矩阵，D是一个对角矩阵对角线上每个元素表示所述有向图结构G中的节点的度。
采用图卷积神经网络对车间生产状态进行特征提取，相比于普通的卷积神经网络，车间生产状态更适合用图结构数据(拓扑网络结构)描述，而图卷积神经网络是针对有向图结构数据设计的特征提取网络，可以更好的提取到车间生产状态之间的隐含联系，为后续的分类或其他任务提供更好的支持。
进一步地，在所述步骤C中，获取历史生产数据，然后在所述历史生产数据中选择多个原始数据，并对各个所述原始数据分别打上分类标签，并对所述原始数据按照训练集：验证集：测试集＝7：2：1的比例随机切分。
由于在生产的过程中，并非全部的历史生产数据都可用于对图神经网络模型进行训练，因此需要对数据进行筛选，并挑选出所需要的多个原始数据；然后对原始数据打上分类标签，如果原始数据为二分类问题的数据，则打上正例或负例的标签，例如，正例为1，负例为0；如原始数据为多分类问题的数据，则可以根据需要，分别对数据相应的标签，这样能够方便使用原始数据对图神经网络模型的训练；此外，为了使图神经网络模型能够得到更好的训练效果，因此在对原始数据进行切分时，训练集所占的比例最大，而验证集和测试集则用于对完成训练的图神经网络进行验证和测试，因此验证集和测试集所点的比例较小。
进一步地，所述图神经网络在前向训练过程后，对所述图神经网络模型的问题性质进行判断，然后根据所述问题性质选择熵损失函数：
若所述问题性质为二分类性质，则所述熵损失函数为：
Figure BDA0002884997870000101
其中，
Figure BDA0002884997870000102
是所述图神经网络预测数据样本是正例的概率，y是数据样本的分类标签，如果数据样本的分类标签为正例，则y＝1；若数据样本的分类标签为负例，则y＝0；在二分类问题上，交叉熵损失函数可以为图神经网络模型的迭代过程提供依据。
若所述问题性质为多分类性质，则所述交叉熵损失函数为：
Figure BDA0002884997870000103
其中，J是数据样本的个数，j是数据样本中的第j个数据样本，
Figure BDA0002884997870000111
是所述图神经网络模型的预测样本是第j个数据样本的概率，yj是第j个数据样本的分类标签。
根据不同的问题性质选择不同的交叉熵损失函数，这样能够使得图神经网络模型能够更加贴近生产过程，从而使得图神经网络模型的预判结构更加准确。
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种面向生产过程的分布式迁移图学习方法，其特征在于：包括以下步骤：
步骤A、根据生产过程确定分布式迁移图学习的需求，然后根据分布式迁移图学习的需求确定总节点、分布式节点和各个所述分布式节点的节点粒度；
步骤B、确定区块链网络的分布式节点的个数，并搭建区块链网络；
步骤C、根据所述节点粒度收集各分布式节点的生产过程参数，然后根据所述生产过程参数搭建图神经网络模型，并将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点；
步骤D、设置参数更新阈值update和总训练次数epoch,所述参数更新阈值update和总训练次数epoch分别为常数；
设置计数变量和训练次数，所述计数变量和所述训练次数的初始值均为0；所述步骤D包括以下步骤：
步骤D1、判断所述训练次数是否不小于所述总训练次数epoch，若是，则进入步骤D2，否则模型训练结束；
步骤D2、判断所述计数变量是否等于所述参数更新阈值或者为所述参数更新阈值的整数倍，若是，则进入步骤D5，否则进入步骤D4；
步骤D4、对部署于所述分布式节点的图神经网络模型进行一次模型训练；所述计数变量和所述训练次数分别加1；然后返回所述步骤D2；
步骤D5、所述计数变量归零；然后分别导出部署于各所述分布式节点的所述图神经网络模型的网络权重参数pi，然后将所述网络权重参数pi和所述生产过程参数上传至所述区块链网络，接着进入步骤D6；
步骤D6、所述总节点从所述区块链网络上获取各个所述分布式节点的网络权重参数pi和所述生产过程参数，然后对所述网络权重参数取加权平均值
Figure FDA0002884997860000021
其中，n为所述分布式节点的个数，wi为第i个节点的权重；然后将所述加权平均值pa加载到所述总节点的图神经网络模型中，并将所述加权平均值pa发布至所述区块链网络；然后进入步骤D7；
步骤D7、各个所述分布式节点分别从所述区块链网络上获取所述加权平均值pa，然后将所述加权平均值pa加载至所述分布式节点的图神经网络模型中，并对所述图神经网络模型进行更新；然后进入步骤D8；
步骤D8、所述训练次数加1，并返回所述步骤D1。
2.根据权利要求1所述的一种面向生产过程的分布式迁移图学习方法，其特征在于：将所述生产过程作为一个有向图结构G，所述步骤C包括：
生产过程参数收集阶段，收集与所述分布式节点对应的图神经网络模型的训练数据，其中：
所述有向图结构G中的每一个生产工序分别作为一节点v，所述节点v中包含的若干加工特征属性用高维张量表示；
所述有向图结构G中的各个生产工序之间的流转关系作为边e，所述边e中包含的若干运输特征属性用高维张量表示；
所有的所述节点v构成所述有向图结构的节点集V，所有的所述边e构成所述有向图结构的边集E，则所述有向图结构G＝(V,E)；
图神经网络模型搭建阶段，其中；
设定一个维度为N×F0的特征矩阵X来表示所述有向图结构G的各个所述节点v，其中，N表示有向图结构中的节点v的数量，F0表示每个所述节点v的加工特征属性；
设定一个维度为N×N的邻接矩阵A来表示所述有向图结构G的各个所述节点v之间的连接关系；
则所述图神经网络模型的输入为所述特征矩阵X和所述邻接矩阵A，根据所述特征矩阵X和所述邻接矩阵A搭建图神经网络模型；
图神经网络模型部署阶段，将所述图神经网络模型部署到区块链网络的总节点和各个分布式节点。
3.根据权利要求2所述的一种面向生产过程的分布式迁移图学习方法，其特征在于：在所述步骤C中，设定所述图神经网络模型的前向传播方式为：
Figure FDA0002884997860000031
其中，σ为激活函数ReLU，H(l)为所述有向图结构在第l层卷积的表示状态，H(0)＝X，W(l)为第l层卷积的权重矩阵，D是一个对角矩阵，对角线上每个元素分别表示所述有向图结构G中的节点的度。
4.根据权利要求3所述的一种面向生产过程的分布式迁移图学习方法，其特征在于：在所述步骤C中，获取历史生产数据，然后在所述历史生产数据中选择多个原始数据，并对各个所述原始数据分别打上分类标签，并对所述原始数据按照训练集：验证集：测试集＝7：2：1的比例随机切分。
5.根据权利要求4所述的一种面向生产过程的分布式迁移图学习方法，其特征在于：在所述步骤C中，所述图神经网络在前向训练过程后，对所述图神经网络模型的问题性质进行判断，然后根据所述问题性质选择熵损失函数：
若所述问题性质为二分类性质，则所述熵损失函数为：
Figure FDA0002884997860000032
其中，
Figure FDA0002884997860000033
是所述图神经网络预测数据样本是正例的概率，y是数据样本的分类标签，如果数据样本的分类标签为正例，则y＝1；若数据样本的分类标签为负例，则y＝0；
若所述问题性质为多分类性质，则所述交叉熵损失函数为：
Figure FDA0002884997860000041
其中，J是数据样本的个数，j是数据样本中的第j个数据样本，
Figure FDA0002884997860000042
是所述图神经网络模型的预测样本是第j个数据样本的概率，yj是第j个数据样本的分类标签。
CN202110010986.0A 2021-01-06 2021-01-06 一种面向生产过程的分布式迁移图学习方法 Active CN112685504B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110010986.0A CN112685504B (zh) 2021-01-06 2021-01-06 一种面向生产过程的分布式迁移图学习方法
US17/529,311 US11367002B1 (en) 2021-01-06 2021-11-18 Method for constructing and training decentralized migration diagram neural network model for production process

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110010986.0A CN112685504B (zh) 2021-01-06 2021-01-06 一种面向生产过程的分布式迁移图学习方法

Publications (2)

Publication Number Publication Date
CN112685504A true CN112685504A (zh) 2021-04-20
CN112685504B CN112685504B (zh) 2021-10-08

Family

ID=75457420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110010986.0A Active CN112685504B (zh) 2021-01-06 2021-01-06 一种面向生产过程的分布式迁移图学习方法

Country Status (2)

Country Link
US (1) US11367002B1 (zh)
CN (1) CN112685504B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407552A (zh) * 2021-05-13 2021-09-17 太极计算机股份有限公司 一种基于区块链的电子卷宗全链条监管方法及系统
CN117376170A (zh) * 2023-12-06 2024-01-09 广州思涵信息科技有限公司 用于窄带网络的大并行ai分析方法、系统和计算机介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115454655B (zh) * 2022-11-11 2023-03-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种异步流水线并行训练过程中的动态层迁移方法
CN115688913B (zh) * 2022-12-29 2023-06-27 中南大学 一种云边端协同个性化联邦学习方法、系统、设备及介质
CN116500998B (zh) * 2023-05-29 2023-10-20 北京市永康药业有限公司 一种药品生产设备的智能化控制方法及系统
CN116663725A (zh) * 2023-05-30 2023-08-29 北京网藤科技有限公司 一种用于工业互联网的工艺流程智能预测优化方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268638A (zh) * 2018-01-18 2018-07-10 浙江工业大学 一种基于Spark框架的生成对抗网络分布式实现方法
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统
US20190005384A1 (en) * 2017-06-29 2019-01-03 General Electric Company Topology aware graph neural nets
US20190026624A1 (en) * 2017-07-21 2019-01-24 Google Llc Hierarchical device placement with reinforcement learning
CN110262233A (zh) * 2019-05-31 2019-09-20 江苏大学 一种基于遗传算法和bp神经网络的磁控镀膜仪工艺参数的优化方法
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110348854A (zh) * 2019-03-12 2019-10-18 深圳证券信息有限公司 一种基于区块链的上市公司评价方法及相关设备
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111552797A (zh) * 2020-04-30 2020-08-18 腾讯科技（深圳）有限公司 名称预测模型的训练方法、装置、电子设备及存储介质
CN111819676A (zh) * 2018-03-28 2020-10-23 科磊股份有限公司 训练用于低分辨率图像中的缺陷检测的神经网络
CN112100442A (zh) * 2020-11-13 2020-12-18 腾讯科技（深圳）有限公司 用户倾向性识别方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831416B2 (en) 2007-07-17 2010-11-09 Caterpillar Inc Probabilistic modeling system for product design
US10296258B1 (en) 2018-03-09 2019-05-21 Pure Storage, Inc. Offloading data storage to a decentralized storage network
US20210383187A1 (en) * 2020-06-05 2021-12-09 Suman Kalyan Decentralized machine learning system and a method to operate the same

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005384A1 (en) * 2017-06-29 2019-01-03 General Electric Company Topology aware graph neural nets
US20190026624A1 (en) * 2017-07-21 2019-01-24 Google Llc Hierarchical device placement with reinforcement learning
CN108268638A (zh) * 2018-01-18 2018-07-10 浙江工业大学 一种基于Spark框架的生成对抗网络分布式实现方法
CN111819676A (zh) * 2018-03-28 2020-10-23 科磊股份有限公司 训练用于低分辨率图像中的缺陷检测的神经网络
CN109032671A (zh) * 2018-06-25 2018-12-18 电子科技大学 一种基于数据并行策略的分布式深度学习方法及系统
CN110348854A (zh) * 2019-03-12 2019-10-18 深圳证券信息有限公司 一种基于区块链的上市公司评价方法及相关设备
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110262233A (zh) * 2019-05-31 2019-09-20 江苏大学 一种基于遗传算法和bp神经网络的磁控镀膜仪工艺参数的优化方法
CN110929029A (zh) * 2019-11-04 2020-03-27 中国科学院信息工程研究所 一种基于图卷积神经网络的文本分类方法及系统
CN111046664A (zh) * 2019-11-26 2020-04-21 哈尔滨工业大学（深圳） 基于多粒度的图卷积神经网络的假新闻检测方法及系统
CN111552797A (zh) * 2020-04-30 2020-08-18 腾讯科技（深圳）有限公司 名称预测模型的训练方法、装置、电子设备及存储介质
CN112100442A (zh) * 2020-11-13 2020-12-18 腾讯科技（深圳）有限公司 用户倾向性识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAO WEIXIN等: "The oil transmission station operational guidance calculation algorithm based on Hopfield neural network", 《PROCEEDINGS 2010 SIXTH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION (ICNC 2010)》 *
丁凯等: "基于数字孪生的多维多尺度智能制造空间及其建模方法", 《计算机集成制造系统》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113407552A (zh) * 2021-05-13 2021-09-17 太极计算机股份有限公司 一种基于区块链的电子卷宗全链条监管方法及系统
CN117376170A (zh) * 2023-12-06 2024-01-09 广州思涵信息科技有限公司 用于窄带网络的大并行ai分析方法、系统和计算机介质
CN117376170B (zh) * 2023-12-06 2024-03-08 广州思涵信息科技有限公司 用于窄带网络的大并行ai分析方法、系统和计算机介质

Also Published As

Publication number Publication date
CN112685504B (zh) 2021-10-08
US20220215246A1 (en) 2022-07-07
US11367002B1 (en) 2022-06-21

Similar Documents

Publication Publication Date Title
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN113378913B (zh) 一种基于自监督学习的半监督节点分类方法
CN112699247A (zh) 一种基于多类交叉熵对比补全编码的知识表示学习框架
CN108805193B (zh) 一种基于混合策略的电力缺失数据填充方法
CN112039687A (zh) 一种面向小样本特征的基于改进生成对抗网络的故障诊断方法
CN110164129B (zh) 基于gernn的单交叉口多车道交通流量预测方法
CN112925908A (zh) 一种基于Attention的图注意力网络的文本分类方法及系统
CN113269239B (zh) 一种基于多通道卷积神经网络的关系网络节点分类方法
CN116503676B (zh) 一种基于知识蒸馏小样本增量学习的图片分类方法及系统
CN114781611A (zh) 自然语言处理方法、语言模型训练方法及其相关设备
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN114417063A (zh) 一种基于多视图的图神经网络的重要节点识别方法
CN110796260B (zh) 一种基于类扩张学习的神经网络模型优化方法
CN112163069A (zh) 一种基于图神经网络节点特征传播优化的文本分类方法
CN116541166A (zh) 一种超算算力调度服务器及资源管理方法
CN114265954B (zh) 基于位置与结构信息的图表示学习方法
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法
CN110866838A (zh) 基于转移概率预处理的网络表示学习算法
CN114417938B (zh) 一种利用知识向量嵌入的电磁目标分类方法
CN115510948A (zh) 一种基于鲁棒图分类的区块链钓鱼检测方法
CN115456093A (zh) 一种基于注意力图神经网络的高性能图聚类方法
CN114840717A (zh) 面向图数据的挖掘方法、装置、电子设备及可读存储介质
CN112465253A (zh) 一种城市路网中的链路预测方法及装置
CN114826921B (zh) 基于抽样子图的网络资源动态分配方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant