CN117112369B - 一种基于区块链的设备管理SaaS系统 - Google Patents
一种基于区块链的设备管理SaaS系统 Download PDFInfo
- Publication number
- CN117112369B CN117112369B CN202311358207.1A CN202311358207A CN117112369B CN 117112369 B CN117112369 B CN 117112369B CN 202311358207 A CN202311358207 A CN 202311358207A CN 117112369 B CN117112369 B CN 117112369B
- Authority
- CN
- China
- Prior art keywords
- data
- computing
- node
- equipment
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims abstract description 111
- 230000007246 mechanism Effects 0.000 claims abstract description 36
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 22
- 238000011156 evaluation Methods 0.000 claims description 30
- 230000006399 behavior Effects 0.000 claims description 26
- 239000012634 fragment Substances 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 16
- 238000012423 maintenance Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013475 authorization Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 52
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/20—Analytics; Diagnosis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于区块链的设备管理SaaS系统,系统包括多个计算节点、多个设备节点和权限节点,其中:计算节点根据双向权限管理模块确定的当前计算节点权限获得共享在区块链上的加密设备产生数据;当参与训练任务的计算节点将新的预测模型参数块被添加到区块链中时,其他所有计算节点解析新块中的交易数据并从中提取模型参数后,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数用来更新节点本地的预测模型。本发明通过灵活管理设备使用权和数据权,以及快速构建和优化设备状态预测模型,提高设备管理的效率和安全性。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种基于区块链的设备管理SaaS系统。
背景技术
随着云计算、物联网(IoT)等技术的广泛应用,设备管理已经从传统的本地管理模式转变为更加灵活的云端管理模式。这种模式通常被称为设备管理的SaaS(软件即服务)系统。
传统的设备管理系统依赖于定期的或者手动的设备检查,而这种方法往往无法实时掌握设备的状态信息,且效率较低。无法准确预测设备的运行状态,从而无法提前预防设备的故障。
在设备租赁的过程中,设备的使用权和设备产生的数据权通常是绑定在一起的。然而,有时候,租赁方可能只需要设备的使用权,而不需要设备产生的数据权,或者希望将数据权交给其他的厂商。传统的设备管理系统往往无法灵活地处理这种情况。
因此,需要一种设备管理系统能够实现设备状态的实时监控和预测,能够灵活地管理设备的使用权和数据权,并且能够快速并准确预测设备维修状态。
发明内容
针对上述现有技术中存在的缺陷,本发明提供一种基于区块链的设备管理SaaS系统,所述系统包括多个计算节点、多个设备节点和权限节点;
所述计算节点包括分布式设备状态预测训练模块和分布式设备状态预测模块;
其中,所述分布式设备状态预测训练模块通过区块链网络中的计算节点分布式计算能力,利用设备产生数据进行预测模型训练,并将预测模型参数上传至区块链上;
其中,所述计算节点根据双向权限管理模块确定的当前计算节点权限获得共享在区块链上的加密设备产生数据;
其中,当参与训练任务的计算节点将新的预测模型参数块被添加到区块链中时,其他所有计算节点解析新块中的交易数据并从中提取模型参数后,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数用来更新节点本地的预测模型;
以及,所述分布式设备状态预测模块用于根据双向权限管理模块的授权对指定设备的设备状态进行实时监测。
其中,所述权限节点包括双向权限管理模块;
所述双向权限管理模块通过智能合约实现对设备和计算节点的双向权限管理,并对设备产生数据进行区块链的数据加密和上链操作,以及确定并记录在每一训练事件触发周期确定的设备和计算节点的身份信息和对应的权限信息。
其中,对于多个设备节点,设备的所有行为被记录在区块链上,形成设备产生数据的行为日志;
以及,对于多个计算节点,计算节点对设备产生数据的所有访问行为被记录在区块链上,形成计算节点行为日志。
其中,基于带有注意力机制的LSTM模型对维护需求预测进行预测;
设备产生数据即设备的行为数据包括设备启动、关闭、故障、维修,和设备的状态数据包括设备的使用时间、使用强度按照时间序列进行组合作为带有注意力机制的LSTM模型的输入;
带有注意力机制的LSTM模型的输出是设备在未来时间段内的维护需求概率y。
其中,在所述注意力机制LSTM模型中,基于区块链通过分布式梯度下降方式来学习模型的参数。
其中,基于区块链通过分布式梯度下降方式来学习模型的参数,包括:
将整个训练数据集分成多个分片,将分片分配给参与训练任务的计算节点上;
每个参与训练任务的计算节点独立地运行前向传播和反向传播,计算其所持有的数据分片上的梯度;
在所有的参与训练任务的计算节点都计算出了自己的梯度后,聚合梯度得到平均梯度;
每个参与训练任务的计算节点接收到平均梯度后,用平均梯度来更新其本地的模型参数;
更新后的模型参数用于该计算节点在下一轮的训练中使用。
其中,当新数据被上传时达到触发条件,智能合约会触发一个事件;
智能合约评估所有计算节点的当前状态根据评估结果,确定哪些节点有资格参与训练任务, 对于每个有资格的计算节点,智能合约确定它的数据分片大小;
智能合约将数据分片的权限分配给各个节点,包括将设备产生数据的访问权限写入区块链,并将数据分片的访问密钥发送给各个计算节点,设备基于密钥对设备产生数据加密后进行数据上链后,计算节点根据更新的访问权限确认自身当前是否有对设备产生数据的访问权限,确认为有资格的计算节点时获取对应的设备产生数据进行解码操作。
其中,智能合约评估所有计算节点的当前状态根据评估结果,确定哪些节点有资格参与训练任务,包括:
计算节点的状态评估值(E)可以由以下公式计算:
E = C /(wF * (1 - F) + wM * (1 - M) + wS * (1 - S)))* sqrt(N),
其中,
E 是节点的状态评估值;
C 是计算节点中处理器最高工作频率;
F是计算节点中处理器利用率;
M 和 S 是内存使用率和存储空间使用率;
(1 - F)、(1 - M)和(1 - S)分别表示处理器、内存、和存储空间的空闲率;
处理器使用率的权重为wF,内存使用率的权重为wM,存储空间使用率的权重为wS;
N 是计算节点的近期活跃度;
只有当节点的状态评估值大于预设的第一阈值,并且节点的计算能力大于预设的第二阈值时,计算节点有资格参与训练任务。
其中,智能合约确定数据分片大小,包括根据以下公式确定数据分片大小:
D = E * R / Sum(Ei),
其中,D表示节点的数据分片大小,R表示确定的总的预测模型训练任务的训练数据集合大小,Sum(Ei)是所有有资格的节点的状态评估值的总和;
其中,总数据集合大小R可以根据上链的所有设备产生数据的数据包大小之和确定。
其中,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,所述共识机制基于工作量证明和参数平均值的接近程度确定用于更新本地预测模型参数的计算节点,将所述计算节点广播的预测模型参数用于更新本地的预测模型参数。
本发明通过将设备管理与区块链技术相结合,实现了设备状态的实时监控,能及时发现和处理设备问题,提高设备的使用效率和设备的寿命。本发明通过区块链的智能合约,实现了设备的使用权和数据权的分离,使得数据的权限管理更加灵活。此外,通过智能合约实现对设备和计算节点的双向权限管理,保护数据的安全性,并提高分布式计算的效率,同时利用区块链网络中的节点分布式计算能力,快速构建和优化设备状态预测模型,提高设备管理的效率。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是示出根据本发明实施例的一种基于区块链的设备管理SaaS系统的示意图。
图2是示出根据本发明实施例的一种计算节点的示意图;
图3是示出根据本发明实施例的一种权限节点的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……,但这些……不应限于这些术语。这些术语仅用来将……区分开。例如,在不脱离本发明实施例范围的情况下,第一……也可以被称为第二……,类似地,第二……也可以被称为第一……。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
传统的设备管理系统往往无法实时、准确地监控设备的状态,这可能导致在设备出现问题时无法及时进行处理,从而影响了设备的使用效率和设备的寿命。在设备租赁的过程中,设备的使用权和设备产生的数据权通常是绑定在一起的,设备产生的数据权可以交给其他不同厂商。传统的设备管理系统无法灵活地满足这种需求。并且在设备管理中,设备状态预测模型的构建和优化是非常重要的。然而,利用传统的方法构建和优化设备状态预测模型往往需要大量的时间和计算资源。
如图1所示,针对现有技术中存在的问题,本发明提出了一种基于区块链的设备管理 SaaS 系统,所述系统包括多个计算节点、多个设备节点和权限节点,
如图2所示,所述计算节点包括以下模块:
分布式设备状态预测训练模块:所述分布式设备状态预测训练模块通过区块链网络中的计算节点分布式计算能力,利用设备产生数据进行预测模型训练,并将预测模型参数上传至区块链上。其中,计算节点根据双向权限管理模块确定的当前计算节点权限获得共享在区块链上的加密设备产生数据。
分布式设备状态预测模块:当参与训练任务的计算节点将新的预测模型参数块被添加到区块链中时,其他所有计算节点解析新块中的交易数据并从中提取模型参数后,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,这些参数被用来更新节点本地的预测模型。所述分布式设备状态预测模块用于根据双向权限管理模块的授权对指定设备的设备状态进行实时监测。
如图3所示,所述权限节点包括以下模块:
双向权限管理模块:所述模块通过智能合约实现对设备和计算节点的双向权限管理,并对设备产生数据进行区块链的数据加密和上链操作,以及确定并记录在每一训练事件触发周期确定的设备和计算节点的身份信息和对应的权限信息。
对于多个设备节点,设备的所有行为被记录在区块链上,形成设备产生数据的行为日志。
以及,对于多个计算节点,计算节点对设备产生数据的所有访问行为被记录在区块链上,形成计算节点行为日志。
本发明的所述基于区块链的设备管理 SaaS 系统通过将设备管理与区块链技术相结合,实现了设备状态的实时监控、设备使用权和数据权的灵活管理以及设备和计算节点的双向权限管理,提高了设备管理的效率和安全性,满足了设备管理 SaaS 系统的需求。
本发明利用区块链网络中的节点分布式计算能力,构建设备状态预测模型。每个计算节点可以利用本地的设备数据进行模型训练,所有计算节点可以共享在区块链上的梯度参数,以此达到快速更新和优化预测模型的目的。
在设备租赁的过程中,设备的使用权和设备产生的数据权通常是绑定在一起的,设备产生数据包括但不限于设备的所有行为数据如启动、关闭、故障、维修。但在某些情况下,企业可能只需要设备的使用权,而设备产生的数据权可以交给其他不同厂商。所述模块通过区块链的智能合约,将设备的使用权和数据权进行分离,以满足不同的需求。本发明通过设备权益管理模块实现设备使用权和设备产生的数据权的分离,便于分布式训练利用数据,以及使得数据的权限管理更加灵活。
本发明的基于区块链的设备管理SaaS系统架构可以充分利用区块链网络中的计算资源,同时避免了传统集中式计算模式的计算瓶颈和数据隐私问题。
在某一实施例中,分布式设备状态预测模块利用区块链网络中的计算节点进行分布式计算的过程包括:
通过将设备产生数据打包成交易并广播到区块链网络实现将设备产生数据被发送到区块链网络中。每个计算节点在接收到交易数据后,会根据双向权限管理模块确认的自身权限来确定是否有权访问和存储这些设备产生数据。
通过智能合约将预测模型生成或更新的任务分配给区块链网络中的各个计算节点,所述智能合约能自动分配任务给具有相应权限的计算节点,通过设备产生数据访问权限实现进行对计算节点进行任务分配。
每个有资格的计算节点开始并行地执行预测模型训练任务,包括利用有权限访问的设备数据训练预测模型。
各个参与任务分配的计算节点完成预设次数的训练迭代计算后,将生成或者更新的模型参数上传回区块链,包括通过创建新的交易并将模型参数作为交易数据实现。然后,所述交易被广播到区块链网络,其他计算节点基于共识机制选择是否添加或替换到本地预测模型中。
以及,当参与训练任务的计算节点将新的预测模型参数块被添加到区块链中时,解析新块中的交易数据并从中提取模型参数后,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,这些参数被用来更新节点本地的预测模型。
上述过程中,每个计算节点都根据自己的权限来访问和处理设备数据,从而确保了数据的安全性和隐私性。同时,通过合理的任务分配和并行计算,可以有效地利用区块链网络中的分布式计算资源。
在某一实施例中,双向权限管理模块可以在区块链网络中对设备产生数据访问权限进行控制的系统。在分布式设备状态预测模块中,它可以用于控制计算节点对设备产生数据的访问。
双向权限管理模块将根据预设的权限规则来判断计算节点是否有权访问请求的设备产生数据,通过访问权限的控制实现对预测模型训练任务的计算节点分配。
获得数据分片的计算节点被允许从区块链上获取预测对应的设备产生数据,通过查询区块链上存储的交易数据实现。设备产生数据被包含在某些交易中,计算节点需要解析这些交易数据来提取参数。
在某一实施例中,设备产生数据被加密存储,计算节点需要进行解密操作。双向权限管理模块可以管理设备和计算节点所使用的密钥,以实现安全的加密和解密操作。
获取并解密设备产生数据后,计算节点可以使用设备产生数据执行预测模型训练的任务。
在某一实施例中,在设备管理中,维护需求预测是比较常见的需求,通过跟踪设备的使用历史、故障历史、维护历史信息。基于带有注意力机制的LSTM模型,注意力机制使得模型更好地关注对预测结果影响最大的历史信息。
设备产生数据即设备的行为数据包括设备启动、关闭、故障、维修,和设备的状态数据包括设备的使用时间、使用强度按照时间序列进行组合作为模型的输入。模型的输出是设备在未来一段时间内的维护需求概率y。
以下是带有注意力机制的LSTM模型的具体模型表示:
其中LSTM部分可表示为:
遗忘门:f_t = σ(W_f · [h_(t-1), x_t] + b_f)
输入门:i_t = σ(W_i · [h_(t-1), x_t] + b_i)
单元状态:= tanh(W_C · [h_(t-1), x_t] + b_C)
最终单元状态:C_t = f_t * C_(t-1) + i_t *
输出门:o_t = σ(W_o · [h_(t-1), x_t] + b_o)
最终输出:h_t = o_t * tanh(C_t)
注意力部分可以表示为:
注意力权重:α_t = softmax(e_t)
注意力得分:e_t = tanh(W_a · h_t + b_a)
上下文向量:c = Σ_t α_t * h_t
最终预测故障概率的结果为:
预测:y = σ(W_y · [c, h_T] + b_y)
其中,σ表示sigmoid激活函数,tanh表示双曲正切激活函数,softmax是softmax激活函数,*表示元素乘法,[h_(t-1), x_t]表示将h_(t-1)和x_t进行连接,W和b表示模型的参数。
其中,对于LSTM部分的参数有:
x_t:在时间步t的设备行为和状态数据;
h_(t-1):在时间步t-1的隐藏状态,即模型在时间步t-1的输出。这个状态包含了到时间步t-1为止的设备历史信息。
f_t、i_t、o_t:遗忘门、输入门和输出门的激活值,用于控制信息在LSTM单元中的流动。
、C_t:候选单元状态和最终单元状态,用于存储和更新设备的历史信息。
W_f、W_i、W_C、W_o,以及b_f、b_i、b_C、b_o:LSTM单元的参数,需要通过训练过程来学习。
对于注意力部分的参数定义有:
e_t:在时间步t的注意力得分,用于衡量在时间步t的隐藏状态的重要性。
α_t:在时间步t的注意力权重,由注意力得分通过softmax函数归一化得到。这个权重表示了在时间步t的隐藏状态在最终预测中的贡献度。
c:上下文向量,由所有隐藏状态和对应的注意力权重计算得到。这个向量包含了输入序列中的重要信息。
W_a和b_a:注意力机制的参数,需要通过训练过程来学习。
对于最终预测部分的参数有:
y:模型的最终预测结果,表示设备在未来时间段内的维护需求概率的预测。
W_y和b_y:最终预测的参数,通过训练过程来学习。
在所述注意力机制LSTM模型中,基于区块链通过分布式梯度下降方式来学习模型的参数。
在训练过程中,模型会按照时间步骤顺序处理输入序列,每个时间步更新隐藏状态 h_t 和单元状态 C_t。LSTM 在生成 h_t 时会考虑到所有先前的输入序列,这就使得LSTM 能够捕捉时间序列数据中的长期依赖关系。
在预测阶段,给定一个输入序列(设备的状态数据和行为数据),LSTM 会生成一个对应的隐藏状态序列。然后,这个隐藏状态序列会被送入注意力机制,生成一个上下文向量c。最后,这个上下文向量和最后一个隐藏状态 h_T 一起被用来计算预测结果 y。
上下文向量 c 是由整个隐藏状态序列通过注意力机制计算得到的,能够考虑到输入序列中的所有信息。因此模型能够处理多个时间步骤的序列,而且能够在预测时考虑到序列中的所有信息。
在某一实施例中,x_t为在时间步t的设备行为和状态数据,包括设备的启动、关闭、故障、维修行为,以及设备的使用时间、使用强度状态。
具体地,定义设备有以下的行为和状态数据:
设备行为数据:设备启动(表示为 1)、设备关闭(表示为 0)、设备故障(表示为1)、设备正常运行(表示为 0)、设备维修(表示为 1)、设备未维修(表示为 0)。
设备状态数据:设备使用时间(单位:小时)、设备使用强度(范围:0-100)。
例如在某个时间步t,有以下的输入序列 x_t:
x_t = [设备启动, 设备未故障, 设备未维修, 使用时间, 使用强度]= [1, 0,0, 5, 70]。
以上 x_t 的数据表示,在时间步t,设备已启动,没有故障,没有维修,使用了5小时,使用强度为70%。
下面以一个简单的具体示例来解释带有注意力机制的LSTM模型的实现机制。例如,有以下的输入序列:
x_1 = [1, 0, 0, 5, 70]# 时间步 1
x_2 = [0, 0, 0, 6, 75]# 时间步 2
x_3 = [0, 1, 0, 7, 80]# 时间步 3
首先将 x_1 输入 LSTM,得到 h_1 和 C_1,然后将 x_2 输入 LSTM,得到 h_2 和C_2,以此类推。然后将 [h_1, h_2, h_3] 输入注意力机制,得到上下文向量 c。最后将 c和 h_3 一起用来计算预测结果 y。
在某一实施例中,在所述注意力机制LSTM模型中,基于区块链通过分布式梯度下降方式来学习模型的参数,包括以下步骤:
步骤1: 将整个训练数据集分成多个子集(称为"分片"),将分片分配给参与训练任务的计算节点上。
步骤2: 在训练开始之前,参与训练任务的计算节点需要有模型的初始参数,可以通过预设的初始参数来设置。
步骤3: 每个参与训练任务的计算节点独立地运行前向传播和反向传播,计算其所持有的数据分片上的梯度。由于计算是在不同的节点上并行进行的,可以显著加速训练过程。
步骤4: 在所有的参与训练任务的计算节点都计算出了自己的梯度后,聚合梯度得到平均梯度。
步骤5: 每个参与训练任务的计算节点接收到平均梯度后,用平均梯度来更新其本地的模型参数。更新后的参数用于该计算节点在下一轮的训练中使用。
步骤6: 重复步骤3-5,直到达到预设的训练步数。
在某一实施例中,对于LSTM模型与注意力机制,需要计算的参数包括以下几个部分:
针对LSTM部分,有以下参数需要计算梯度并进行更新:
遗忘门参数:W_f, b_f;
输入门参数:W_i, b_i;
单元状态参数:W_C, b_C;
输出门参数:W_o, b_o。
对于注意力部分有以下参数需要计算梯度并进行更新:
注意力权重参数:W_a, b_a;
预测参数:W_y, b_y。
使用反向传播算法来计算损失函数相对于这些参数的梯度。
在分布式训练系统中,不论是 LSTM 部分还是注意力部分,所有的参数更新过程大体类似。以 LSTM 部分的输入门参数 W_i 和 b_i,以及注意力部分的注意力权重参数W_a 和 b_a 为例解释如何在分布式训练系统中计算梯度和更新模型参数,包括以下过程:在每个计算节点上进行前向传播并计算损失值。在每个计算节点上进行反向传播,计算损失函数相对于各个参数的梯度,计算、/>、/>和/>,该步骤在每个节点上都是独立进行的。每个参与训练任务的节点会将它计算出的梯度共享给其他参与训练任务的节点,该过程可以通过区块链的交易进行。接下来,每个参与训练任务的节点都会收集所有其他参与训练任务的节点共享的梯度,并计算平均值,如计算/>、、/>和/>的平均值。然后每个参与训练任务的节点都会使用这些平均梯度来更新自己的参数,如更新 W_i、b_i、W_a 和 b_a。循环上述过程,直至最后一个训练步结束后,每个参与训练任务的计算节点通过区块链的交易将它的参数更新广播给系统中的所有其他计算节点。
最后,区块链系统中的所有计算节点都会收集参与任务训练的计算节点的参数更新,并基于区块链的分布式共识算法来决定哪个节点的参数更新被接受。
在某一实施例中,以 LSTM 部分的遗忘门的参数 W_f 和 b_f 为例进一步说明分布式更新的过程。
在每个参与训练任务的计算节点上进行前向传播,并计算损失值。在这个过程中会使用到 W_f 和 b_f。然后进行反向传播,计算损失函数相对于各个参数的梯度。例如计算和/>。这个步骤在每个节点上都是独立进行的。
然后,每个参与训练任务的计算节点会将它计算出的梯度共享给其他参与训练任务的计算节点。这个过程可能会通过区块链的交易进行。
每个参与训练任务的计算节点都会收集所有其他参与训练任务的计算节点共享的梯度,并计算平均值。例如,它会计算和/>的平均值:/>L//>W_f_avg =(1/m) * ∑(/>L//>W_f)_i,/>L//>b_f_avg = (1/m) * ∑(/>L//>b_f)_i;其中,"∑" 表示求和运算,i 是节点的索引,m 是参与训练任务的计算节点的总数。
每个参与训练任务的计算节点都会使用这些平均梯度来更新本地计算节点的参数,例如更新 W_f 和 b_f:W_f = W_f - η *L//>W_f_avg,b_f = b_f - η */>L//>b_f_avg;其中,η 是学习率,是一个超参数。
循环上述过程,直至最后一个训练步结束后,每个参与训练任务的计算节点通过区块链的交易将它的参数更新广播给其他系统中的所有计算节点。
在某一实施例中,将整个训练数据集分成多个子集,并将分片分配给参与训练任务的计算节点,包括基于区块链的双向权限管理模块进行权限确认和分片。使用双向权限管理模块,该模块在区块链上作为一个智能合约运行。以下是权限确认和分片的流程:
当设备产生新的数据时,这些设备产生数据被加密上传到区块链上。这个过程可以通过一个数据上链组件来实现,该组件可以是一个独立的应用程序,也可以是设备固件的一部分。
智能合约(双向权限管理模块)在区块链上运行,监视新上传的数据。当新数据被上传时达到触发条件(如预设的收集周期时钟达到后),智能合约会触发一个事件。
智能合约评估所有计算节点的当前状态,包括它们的计算能力和当前的空闲资源,所述评估过程基于以下指标:处理器使用率,内存使用率,存储空间。智能合约从每个节点获取这些信息,这些计算节点信息可以定期上链。
智能合约根据评估结果,确定哪些节点有资格参与训练任务,包括同时基于以下条件:节点有足够的空闲资源(上一步骤对计算节点的评估结果大于阈值),以及节点的计算能力必须高于一个根据训练任务确定的预设的阈值。
对于每个有资格的计算节点,智能合约确定它的数据分片大小。所述分片大小基于节点的计算能力和空闲资源来计算,其中计算能力更高或有更多空闲资源的节点得到更大的数据分片。
智能合约将数据分片的权限分配给各个节点,包括将设备产生数据的访问权限写入区块链,并将数据分片的访问密钥发送给各个计算节点,设备基于密钥对设备产生数据加密后进行数据上链(属性信息不加密)后,计算节点根据更新的访问权限确认自身当前是否有对设备产生数据(根据属性信息确认)的访问权限,确认为有资格的计算节点时获取对应的设备产生数据进行解码操作。
通过上述过程,在权限管理和数据分片方面充分利用了区块链的优点,使得整个系统在没有中心化管理的情况下自动进行,提高了系统的灵活性和可扩展性。
在某一实施例中,智能合约通过监听区块链上的相关事件来收集计算节点提供的信息,所述计算节点的信息包括处理器利用率(F)、内存使用率(M)、存储空间使用率(S)。所述信息由各计算节点定期上链。
节点的状态评估值(E)可以由以下公式计算:
E = C /(wF * (1 - F) + wM * (1 - M) + wS * (1 - S)))* sqrt(N),
其中,
E 是节点的状态评估值。
C 是计算节点中处理器最高工作频率。
F是计算节点中处理器利用率。
M 和 S 是内存使用率和存储空间使用率。
(1 - F)、(1 - M)和(1 - S)分别表示处理器、内存、和存储空间的空闲率。
处理器使用率的权重为wF,内存使用率的权重为wM,存储空间使用率的权重为wS。权重可以根据实际情况进行调整。
N 是计算节点的近期活跃度。
N(近期活跃度)是一个表示计算节点在最近一段时间内活动程度的指标。可选地,使用计算节点在最近一段时间内完成的任务数量来作为N。例如定义N为在过去24小时内该节点成功完成的任务数量,所述任务数量的数值可以通过区块链的执行任务的日志系统来获取。
如果希望N能够反映出节点的长期稳定性,可以考虑使用一个倾向于长期行为的指标,比如在过去30天内每天的平均活跃度。这个值可以通过计算每天完成的任务数量,然后求这30天的平均值来得到。
计算节点的资格可以由以下公式确定:Q = E>T&&P>P0。
在这个公式中,Q表示节点是否有资格参与训练任务,T是一个预设的阈值,表示节点的最低空闲资源要求,P是节点的计算能力,P可以取值为计算节点中处理器最高工作频率C即P=C,P0是一个预设的阈值,表示参与训练任务的最低计算能力要求。
表明只有当节点的状态评估值大于预设的阈值,并且节点的计算能力大于预设的阈值时,节点才有资格参与训练任务。
在某一实施例中,确定数据分片大小,包括根据以下公式确定数据分片大小:
D = E * R / Sum(Ei),
其中,D表示节点的数据分片大小,R表示确定的总的预测模型训练任务的训练数据集合大小,Sum(Ei)是所有有资格的节点的状态评估值的总和。
其中,总数据集合大小R可以根据上链的所有设备产生数据的数据包大小之和确定。
数据分片的大小与节点的状态评估值成正比。状态评估值更高的节点(即资源更空闲和/或计算能力更强的节点)会得到更大的数据分片。
在某一实施例中,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,所述共识机制基于工作量证明和参数平均值的接近程度确定用于更新本地预测模型参数的计算节点,将所述计算节点广播的预测模型参数用于更新本地的预测模型参数。在所述共识机制中定义评估函数 Q,用于评估每个参与训练任务的计算节点提交的模型参数的质量,选择评估函数Q最高的计算节点作为用于更新本地预测模型参数的计算节点。
在某一实施例中,评估函数 Q 可以用以下公式来表示:
Q = (W / W_max) * exp(-||P - P_avg||_2),
其中,
W 是计算节点处理的数据分片大小,表示节点的工作量。
W_max 是所有节点处理的数据分片大小的最大值。
P 是计算节点提交的模型参数向量。
P_avg 是所有计算节点提交的模型参数向量的平均值。
||P - P_avg||_2 是 P 和 P_avg 之间的欧氏距离,用于衡量参数 P 与平均值P_avg 的接近程度。
exp(-||P - P_avg||_2) 是一个衰减因子,在 P 接近 P_avg 时接近 1,而在 P远离 P_avg 时接近 0。Q 是评估得分,值越大表示该计算节点提交的模型参数越可靠。
P_avg 是所有计算节点提交的模型参数向量的平均值。在一般的机器学习模型中,参数是以向量形式存在的,我们可以对每个参数分别求平均值以得到 P_avg。
假设有 n 个参与训练任务的计算节点,每个上述节点都提交了一个 d 维的模型参数向量 P_i = [p_{i1}, p_{i2}, ..., p_{id}],其中 i 是节点的索引,d 是参数的数量。那么,对于每个参数 j,计算其平均值 p_avg_j为:p_avg_j = (p_{1j} + p_{2j} +... + p_{nj}) / n。
将所有的 p_avg_j 组合成一个向量 P_avg = [p_avg_1, p_avg_2, ..., p_avg_d],即为所有计算节点提交的模型参数向量的平均值P_avg。
所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,基于工作量证明和参数平均值的接近程度确定所述共识机制,具体为选择所述评估函数Q得分最高的计算节点提交的模型参数,作为最终确认的预测模型的参数。
在某一实施例中,通过智能合约和密钥管理来实现对不同数据类型和交易的控制,具体地:
双向权限管理模块通过智能合约向所有设备节点分配密钥K_d用于设备产生数据的加密上链。可选地,如果部分设备的数据权限被锁定,或者被临时/永久设置为不被允许访问,则智能合约不向这些设备分配密钥K_d,这些设备不会因为收到密钥K_d触发后续的设备产生数据上报流程。
收到密钥K_d的设备对设备产生数据加密,加密的密钥为K_d,然后打包成一个交易并发送至区块链。这个交易的数据属性被标记为“设备数据”。可选地,所述数据属性标记可以位于数据包头不受到加密影响,使得所有链上节点可以获知其属性。
当满足预设条件时,智能合约会触发智能合约触发训练事件,具体为预测模型训练的事件。确定参与训练任务的计算节点后,所述事件为参与训练任务的计算节点分发两个密钥:解密设备数据的密钥K_d、将用于加密梯度数据的密钥K_g、以及将用于模型参数的密钥K_m。
参与训练任务的计算节点接收到密钥K_d和K_g后,使用K_d解密设备数据并开始模型训练。在训练过程中,计算节点会计算新的梯度,并使用K_g加密梯度。然后,参与训练任务的计算节点接收设备数据并开始训练,会创建一个新的交易,将加密的梯度附加到该交易中,该交易的数据属性被标记为“梯度数据”。
其他参与训练任务的计算节点接收设备数据,包括区块链上接收这个梯度数据交易,并使用密钥K_g来解密梯度数据。这样,所有的参与训练任务的计算节点可以共享每个节点计算出的梯度,并计算出梯度的平均值。
当所有的参与训练任务的计算节点完成训练后,它们会将训练得到的模型参数加密(模型参数加密和解密的密钥为K_m),并创建一个新的交易,将加密的模型参数附加到该交易中,该交易的数据属性被标记为“模型参数”。
智能合约会在模型参数交易被添加到区块链后,向所有计算节点分发模型参数的密钥K_m,所有的计算节点都可以解密并接收新的模型参数。
其中,所有的数据属性信息都不被加密,使得链上的每个节点可以获知数据包的属性信息。
其中,区块链上使用对称加密密钥,由于权限节点基于密钥的目的用于控制任务分配和数据包的分配,因此使用对称加密而不是非对称加密以减少加密和解密的计算处理负担。
在某一实施例中,在区块链上实现身份信息、权限信息和行为日志的记录,可以通过智能合约和交易来完成。
记录在每一训练事件触发周期确定的设备和计算节点的身份信息和对应的权限信息,当每一训练事件触发周期开始时,智能合约会计算并确定参与训练任务的设备和计算节点。这个信息可以被存储在一个新的交易中,并被添加到区块链上。
每当设备产生新的数据或者执行其他的行为时,它可以创建一个新的交易来记录这个行为。这些交易一旦被添加到区块链上,就可以形成一个设备行为日志。
对于多个计算节点,计算节点对设备产生数据的所有访问行为被记录在区块链上,形成计算节点行为日志,每当计算节点访问设备数据或者执行其他的行为时,它也可以创建一个新的交易来记录这个行为。这些交易一旦被添加到区块链上,就可以形成一个计算节点行为日志。
本发明通过将设备管理与区块链技术相结合,实现了设备状态的实时监控,能及时发现和处理设备问题,提高设备的使用效率和设备的寿命。本发明通过区块链的智能合约,实现了设备的使用权和数据权的分离,使得数据的权限管理更加灵活。此外,通过智能合约实现对设备和计算节点的双向权限管理,保护数据的安全性,并提高分布式计算的效率,同时利用区块链网络中的节点分布式计算能力,快速构建以及根据实时设备数据更新优化设备状态预测模型,提高设备管理的准确性和效率。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式,旨在使得本发明的精神更加清楚和便于理解,并不是为了限制本发明,凡在本发明的精神和原则之内,所做的修改、替换、改进,均应包含在本发明所附的权利要求概括的保护范围之内。
Claims (6)
1.一种基于区块链的设备管理SaaS系统,所述系统包括多个计算节点、多个设备节点和权限节点,其特征在于:
所述计算节点包括分布式设备状态预测训练模块和分布式设备状态预测模块;
其中,所述分布式设备状态预测训练模块通过区块链网络中的计算节点分布式计算能力,利用设备产生数据进行预测模型训练,并将预测模型参数上传至区块链上;
其中,所述计算节点根据双向权限管理模块确定的当前计算节点权限获得共享在区块链上的加密设备产生数据;
其中,当参与训练任务的计算节点将新的预测模型参数块添加到区块链中时,其他所有计算节点解析新块中的交易数据并从中提取模型参数后,所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,这些参数被用来更新节点本地的预测模型;
以及,所述分布式设备状态预测模块用于根据双向权限管理模块的授权对指定设备的设备状态进行实时监测;
其中,通过智能合约将预测模型生成或更新的任务分配给区块链网络中的各个计算节点,所述智能合约能自动分配任务给具有相应权限的计算节点,通过设备产生数据访问权限实现对计算节点进行任务分配;
每个有资格的计算节点开始并行地执行预测模型训练任务,包括利用有权限访问的设备数据训练预测模型;
各个参与任务分配的计算节点完成预设次数的训练迭代计算后,将生成或者更新的模型参数上传回区块链,包括通过创建新的交易并将模型参数作为交易数据实现;
然后,所述交易被广播到区块链网络,其他计算节点基于共识机制选择是否添加或替换到本地预测模型中;
基于带有注意力机制的LSTM模型对维护需求预测进行预测;
设备产生数据即设备的行为数据和设备的状态数据,设备的行为数据和设备的状态数据按照时间序列进行组合作为带有注意力机制的LSTM模型的输入;
所述的设备的行为数据包括设备启动、关闭、故障、维修;所述的设备的状态数据包括设备的使用时间、使用强度;
带有注意力机制的LSTM模型的输出是设备在未来时间段内的维护需求概率y;
其中,在所述注意力机制LSTM模型中,基于区块链通过分布式梯度下降方式来学习模型的参数;
其中基于区块链通过分布式梯度下降方式来学习模型的参数,包括:
将整个训练数据集分成多个分片,将分片分配给参与训练任务的计算节点上;
每个参与训练任务的计算节点独立地运行前向传播和反向传播,计算其所持有的数据分片上的梯度;
在所有的参与训练任务的计算节点都计算出了自己的梯度后,聚合梯度得到平均梯度;
每个参与训练任务的计算节点接收到平均梯度后,用平均梯度来更新其本地的模型参数;
更新后的模型参数用于该计算节点在下一轮的训练中使用;
所有的计算节点的分布式设备状态预测模块将基于共识机制确定更新本地的预测模型参数,所述共识机制基于工作量证明和参数平均值的接近程度确定用于更新本地预测模型参数的计算节点,将所述计算节点广播的预测模型参数用于更新本地的预测模型参数;
在所述共识机制中定义评估函数 Q,用于评估每个参与训练任务的计算节点提交的模型参数的质量,选择评估函数Q最高的计算节点作为用于更新本地预测模型参数的计算节点;
评估函数 Q 可以用以下公式来表示:
Q = (W / W_max) * exp(-||P - P_avg||_2),
其中,
W 是计算节点处理的数据分片大小,表示节点的工作量;
W_max 是所有节点处理的数据分片大小的最大值;
P 是计算节点提交的模型参数向量;
P_avg 是所有计算节点提交的模型参数向量的平均值;
||P - P_avg||_2 是 P 和 P_avg 之间的欧氏距离,用于衡量参数 P 与平均值 P_avg 的接近程度;
exp(-||P - P_avg||_2) 是一个衰减因子,在 P 接近 P_avg 时接近 1,而在 P 远离P_avg 时接近 0;
Q 是评估得分,值越大表示该计算节点提交的模型参数越可靠。
2.如权利要求1所述的一种基于区块链的设备管理SaaS系统,其特征在于,
所述权限节点包括双向权限管理模块;
所述双向权限管理模块通过智能合约实现对设备和计算节点的双向权限管理,并对设备产生数据进行区块链的数据加密和上链操作,以及确定并记录在每一训练事件触发周期确定的设备和计算节点的身份信息和对应的权限信息。
3.如权利要求1所述的一种基于区块链的设备管理SaaS系统,其特征在于,
对于多个设备节点,设备的所有行为被记录在区块链上,形成设备产生数据的行为日志;
以及,对于多个计算节点,计算节点对设备产生数据的所有访问行为被记录在区块链上,形成计算节点行为日志。
4.如权利要求1所述的一种基于区块链的设备管理SaaS系统,其特征在于,当新数据被上传时达到触发条件,智能合约会触发一个事件;
智能合约评估所有计算节点的当前状态,根据评估结果确定哪些节点有资格参与训练任务, 对于每个有资格的计算节点,智能合约确定它的数据分片大小;智能合约将数据分片的权限分配给各个节点,包括将设备产生数据的访问权限写入区块链,并将数据分片的访问密钥发送给各个计算节点,设备基于密钥对设备产生数据加密后进行数据上链后,计算节点根据更新的访问权限确认自身当前是否有对设备产生数据的访问权限,确认为有资格的计算节点时获取对应的设备产生数据进行解码操作。
5.如权利要求4所述的一种基于区块链的设备管理SaaS系统,其特征在于,智能合约评估所有计算节点的当前状态,根据评估结果确定哪些节点有资格参与训练任务,包括:
计算节点的状态评估值E可以由以下公式计算:
E = C /(wF * (1 - F) + wM * (1 - M) + wS * (1 - S)))* sqrt(N),
其中,
E 是节点的状态评估值;
C 是计算节点中处理器最高工作频率;
F是计算节点中处理器利用率;
M 和 S 是内存使用率和存储空间使用率;
(1 - F)、(1 - M)和(1 - S)分别表示处理器、内存、和存储空间的空闲率;
处理器使用率的权重为wF,内存使用率的权重为wM,存储空间使用率的权重为wS;
N 是计算节点的近期活跃度;
只有当节点的状态评估值大于预设的第一阈值,并且节点的计算能力大于预设的第二阈值时,计算节点有资格参与训练任务。
6.如权利要求5所述的一种基于区块链的设备管理SaaS系统,其特征在于,智能合约确定数据分片大小,包括根据以下公式确定数据分片大小:
D = E * R / Sum(Ei),
其中,D表示节点的数据分片大小,R表示确定的总的预测模型训练任务的训练数据集合大小,Sum(Ei)是所有有资格的节点的状态评估值的总和;
其中,总数据集合大小R可以根据上链的所有设备产生数据的数据包大小之和确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311358207.1A CN117112369B (zh) | 2023-10-19 | 2023-10-19 | 一种基于区块链的设备管理SaaS系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311358207.1A CN117112369B (zh) | 2023-10-19 | 2023-10-19 | 一种基于区块链的设备管理SaaS系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117112369A CN117112369A (zh) | 2023-11-24 |
CN117112369B true CN117112369B (zh) | 2024-03-01 |
Family
ID=88796857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311358207.1A Active CN117112369B (zh) | 2023-10-19 | 2023-10-19 | 一种基于区块链的设备管理SaaS系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112369B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639368A (zh) * | 2020-06-03 | 2020-09-08 | 汪金玲 | 一种基于区块链的增量学习分布式计算方法、系统和节点 |
CN111698322A (zh) * | 2020-06-11 | 2020-09-22 | 福州数据技术研究院有限公司 | 一种基于区块链和联邦学习的医疗数据安全共享方法 |
CN113434269A (zh) * | 2021-06-10 | 2021-09-24 | 湖南天河国云科技有限公司 | 基于区块链的分布式隐私计算方法及装置 |
CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
CN114244835A (zh) * | 2021-11-19 | 2022-03-25 | 海南火链科技有限公司 | 基于区块链的去中心化自适应协同训练方法和装置 |
CN114358907A (zh) * | 2022-01-06 | 2022-04-15 | 广东启链科技有限公司 | 一种基于区块链联邦学习的金融风险预测方法和系统 |
CN116664205A (zh) * | 2023-08-01 | 2023-08-29 | 北京力码科技有限公司 | 一种基于区块链技术的金融保险推荐系统 |
CN116777042A (zh) * | 2023-05-08 | 2023-09-19 | 安徽大学 | 一种基于区块链与联邦学习融合的交通流预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200272945A1 (en) * | 2019-02-21 | 2020-08-27 | Hewlett Packard Enterprise Development Lp | System and method of decentralized model building for machine learning and data privacy preserving using blockchain |
US11562228B2 (en) * | 2019-06-12 | 2023-01-24 | International Business Machines Corporation | Efficient verification of machine learning applications |
-
2023
- 2023-10-19 CN CN202311358207.1A patent/CN117112369B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639368A (zh) * | 2020-06-03 | 2020-09-08 | 汪金玲 | 一种基于区块链的增量学习分布式计算方法、系统和节点 |
CN111698322A (zh) * | 2020-06-11 | 2020-09-22 | 福州数据技术研究院有限公司 | 一种基于区块链和联邦学习的医疗数据安全共享方法 |
CN113434269A (zh) * | 2021-06-10 | 2021-09-24 | 湖南天河国云科技有限公司 | 基于区块链的分布式隐私计算方法及装置 |
CN113792347A (zh) * | 2021-08-24 | 2021-12-14 | 上海点融信息科技有限责任公司 | 基于区块链的联邦学习方法、装置、设备及存储介质 |
CN114244835A (zh) * | 2021-11-19 | 2022-03-25 | 海南火链科技有限公司 | 基于区块链的去中心化自适应协同训练方法和装置 |
CN114358907A (zh) * | 2022-01-06 | 2022-04-15 | 广东启链科技有限公司 | 一种基于区块链联邦学习的金融风险预测方法和系统 |
CN116777042A (zh) * | 2023-05-08 | 2023-09-19 | 安徽大学 | 一种基于区块链与联邦学习融合的交通流预测方法 |
CN116664205A (zh) * | 2023-08-01 | 2023-08-29 | 北京力码科技有限公司 | 一种基于区块链技术的金融保险推荐系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117112369A (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2021343372B2 (en) | Computer-based systems, computing components and computing objects configured to implement dynamic outlier bias reduction in machine learning models | |
US20220092346A1 (en) | Computer-based systems, computing components and computing objects configured to implement dynamic outlier bias reduction in machine learning models | |
Donti et al. | Task-based end-to-end model learning in stochastic optimization | |
Tofighy et al. | An ensemble CPU load prediction algorithm using a Bayesian information criterion and smooth filters in a cloud computing environment | |
US11425000B2 (en) | On-the-fly reorganization of directed acyclic graph nodes of a computing service for high integration flexibility | |
JP2023055853A (ja) | 学習済み動的制御複合システム | |
US20220101189A1 (en) | Federated inference | |
CN109522742A (zh) | 一种计算机大数据的批处理方法 | |
CN113342418A (zh) | 基于区块链的分布式机器学习任务卸载方法 | |
Sajid et al. | Blockchain-based decentralized workload and energy management of geo-distributed data centers | |
Qiu et al. | [Retracted] Blockchain and K‐Means Algorithm for Edge AI Computing | |
KR20210077176A (ko) | 뉴럴 블록 클러스터 기반의 안전한 블록 체인 네트워크 시스템 | |
CN117112369B (zh) | 一种基于区块链的设备管理SaaS系统 | |
Stübs et al. | Business-driven blockchain-mempool model for cooperative optimization in smart grids | |
US20230334333A1 (en) | Methods, apparatuses, and systems for training model by using multiple data owners | |
Chamkoori et al. | Security and storage improvement in distributed cloud data centers by increasing reliability based on particle swarm optimization and artificial immune system algorithms | |
CN114581220B (zh) | 数据处理方法、设备及分布式计算系统 | |
US20220051129A1 (en) | Blockchain-enabled model drift management | |
CA3228130A1 (en) | Methods, systems, apparatuses, and devices for facilitating controlling and managing cloud usage costs for using cloud resources | |
Wang et al. | LearningChain: A Highly Scalable and Applicable Learning-Based Blockchain Performance Optimization Framework | |
Qi et al. | A fault recovery‐based scheduling algorithm for cloud service reliability | |
KR20210066348A (ko) | 뉴럴 블록 클러스터 기반의 안전한 블록 체인을 구축하는 장치 및 그 동작 방법 | |
US20240305522A1 (en) | Method to Clone Failure Models for Real-Time Action Sequencing | |
Amjad | Novel information and data exchange within power systems using enhanced blockchain technologies | |
Dos Passos et al. | Towards a Decentralized Blockchain-Based Resource Monitoring Solution For Distributed Environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |