CN118052302A - 材料数据模型联邦学习方法和装置 - Google Patents
材料数据模型联邦学习方法和装置 Download PDFInfo
- Publication number
- CN118052302A CN118052302A CN202410433970.4A CN202410433970A CN118052302A CN 118052302 A CN118052302 A CN 118052302A CN 202410433970 A CN202410433970 A CN 202410433970A CN 118052302 A CN118052302 A CN 118052302A
- Authority
- CN
- China
- Prior art keywords
- node
- target
- data model
- nodes
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000000463 material Substances 0.000 title claims abstract description 638
- 238000013499 data model Methods 0.000 title claims abstract description 403
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000013077 target material Substances 0.000 claims abstract description 125
- 238000012549 training Methods 0.000 claims abstract description 112
- 230000004931 aggregating effect Effects 0.000 claims description 10
- 230000000875 corresponding effect Effects 0.000 description 59
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000012827 research and development Methods 0.000 description 6
- 239000000956 alloy Substances 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 229910000831 Steel Inorganic materials 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000010959 steel Substances 0.000 description 4
- 229910000838 Al alloy Inorganic materials 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 229910000601 superalloy Inorganic materials 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
- G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种材料数据模型联邦学习方法和装置，包括：在目标材料链的至少两个节点中确定满足预设要求的多个目标节点；向监管节点发送训练材料数据模型的联邦学习请求，联邦学习请求中包含该目标节点的标识信息、对应的目标共享材料信息以及原始数据模型信息，以使得监管节点基于联邦学习请求向目标节点反馈原始数据模型；接收监管节点发送的原始数据模型；基于本节点中目标共享材料信息对应的第一材料数据训练原始数据模型，得到第一数据模型；将第一数据模型发送给监管节点，以使得监管节点将各个目标节点训练得到的数据模型聚合得到材料数据模型；接收监管节点发送的材料数据模型。
Description
技术领域
本申请涉及信息技术领域，更具体的说，是涉及一种材料数据模型联邦学习方法和装置。
背景技术
数据驱动的材料发现借助于高性能计算算力、数据传输能力、数据存储能力等，利用大数据、机器学习等技术，可以实现材料设计、成分-工艺-性能优化/预测等应用，逐渐代替试错法成为材料研发的新模式，有效地提高研发效率、降低研发成本。
传统的机器学习数据获取手段为数据汇交，机构将材料数据发送至第三方平台，平台统一进行管理、共享。然而，材料数据是企业、研发机构的重要资源，涉及产品隐私，企业大多不愿意将数据发送至外部平台。因此，虽然目前材料行业累积了大量数据，但却形成了多个数据孤岛，无法基于全部数据进行材料数据模型的训练。
发明内容
有鉴于此，本申请提供了一种材料数据模型联邦学习方法和装置，如下：
一种材料数据模型联邦学习方法，应用于第一节点，包括：
在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；
将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
接收所述监管节点发送的材料数据模型。
可选的，上述的方法，所述在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点，包括：
获得目标材料链的数据记录，所述数据记录包括至少两个节点的共享材料信息，所述共享材料信息至少包括所述目标共享材料信息，所述共享材料信息是对应节点共享的材料信息，所述节点中还包括未共享的材料数据；
基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点，所述目标节点的共享材料信息中至少部分与所述预设共享材料信息匹配。
可选的，上述的方法，获得目标材料链中至少两个节点的训练共享材料信息，包括：
基于所述目标材料链的数据发现合约，获得所述目标材料链中数据记录，所述数据记录包括所述目标材料链中至少两个节点的训练共享材料信息。
可选的，上述的方法，还包括：
接收第一材料信息；
将所述第一材料信息更新第一节点中目标材料链的数据记录；
基于预设同步规则，控制更新所述目标材料链中除第一节点的其他节点的数据记录。
可选的，上述的方法，所述在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点之前，还包括：
生成认证请求，所述认证请求至少包括第一节点的共享材料信息；
发送认证请求至监管节点，以使得所述监管节点基于第一节点的共享材料信息确定所述第一节点属于目标材料链，将所述第一节点加入目标材料链。
一种材料数据模型联邦学习方法，应用于监管节点，包括：
接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
接收并聚合所述至少两个数据模型，得到材料数据模型；
将所述材料数据模型分别发送给所述至少两个目标节点。
可选的，上述的方法，所述接收第一节点发送的训练材料数据模型的联邦学习请求之前，还包括：
接收第一节点的认证请求，所述认证请求至少包括所述第一节点的共享材料信息；
基于所述认证请求，确定所述第一节点属于目标材料链；
将所述第一节点加入所述目标材料链。
可选的，上述的方法，所述将所述材料数据模型分别发送给所述至少两个目标节点之后，还包括：
分别获得所述至少两个目标节点训练原始数据模型时采用的样本数量，所述样本数量与所述目标共享材料信息对应；
基于所述样本数量，确定所述至少两个目标节点的贡献度。
一种材料数据模型联邦学习装置，应用于第一节点，包括：
确定模块，用于在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
第一发送模块，用于向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
第一接收模块，用于基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
训练模块，用于基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；
第二发送模块，用于将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
第二接收模块，用于接收所述监管节点发送的材料数据模型。
一种材料数据模型联邦学习装置，应用于监管节点，包括：
第三接收模块，用于接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
第三发送模块，用于基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
第四接收模块，用于接收并聚合所述至少两个数据模型，得到材料数据模型；
第四发送模块，用于将所述材料数据模型分别发送给所述至少两个目标节点。
综上，本申请提供的一种材料数据模型联邦学习方法和装置，包括：在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；向监管节点发送训练材料数据模型的联邦学习请求，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型；基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；接收所述监管节点发送的材料数据模型。本实施例中，在目标材料链中确定满足预设要求的多个目标节点，向监管节点请求该多个目标节点进行联邦学习，而参与联邦学习的各个节点是基于本地存储的共享材料信息对应的材料数据分别对于原始数据模型进行训练得到第一数据模型和第二数据模型，该第一数据模型是由第一节点训练得到，第二数据模型是由第二节点训练得到，由监管节点将第一数据模型和第二数据模型聚合，得到材料数据模型，并反馈给各个目标节点，无需将各个节点将数据安全要求较高的材料数据统一发送到一个节点，也无需上传给监管节点，保证了各个节点的材料数据安全。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例1提供的一种材料数据模型联邦学习方法的流程图；
图2是本申请实施例2提供的一种材料数据模型联邦学习方法的流程图；
图3是本申请实施例3提供的一种材料数据模型联邦学习方法的流程图；
图4是本申请实施例4提供的一种材料数据模型联邦学习方法的流程图；
图5是本申请实施例5提供的一种材料数据模型联邦学习方法的流程图；
图6是本申请实施例5提供的一种材料数据模型联邦学习方法中材料链示意图；
图7是本申请实施例6提供的一种材料数据模型联邦学习方法的流程图；
图8是本申请实施例7提供的一种材料数据模型联邦学习方法的流程图；
图9是本申请实施例8提供的一种材料数据模型联邦学习方法的流程图；
图10是本申请提供的一种材料数据模型联邦学习装置实施例1的结构示意图；
图11是本申请提供的一种材料数据模型联邦学习装置实施例2的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
如图1所示的，为本申请提供的一种材料数据模型联邦学习方法实施例1的流程图，该方法应用于一电子设备，该电子设备是提供共享材料信息的数据源的第一节点，该方法包括以下步骤：
步骤S101：在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
其中，该目标节点包括第一节点和至少一个第二节点，或者该目标节点包括至少两个第二节点。
需要说明的是，该第一节点和第二节点仅是用于区分不同的节点，该第一节点是本次作为请求进行联邦学习的节点，第二节点是本次仅参与联邦学习的节点。
其中，该目标节点满足预设要求，该预设要求是该节点在本次联邦学习中能够提供训练所需的材料数据。
其中，该目标材料链是若干材料链中的一个，具体是该第一节点所属的一个材料链。
其中，每个节点是作为一个数据源，其上存储有大量的共享材料信息和材料数据，该共享材料信息是能够与其他节点共享的信息，该材料数据是安全要求较高的数据，只在节点本地存储，不进行共享。
其中，相同材料链中的节点存储的材料数据是属于同一种类材料，其存储的数据能够作为训练样本进行训练模型，但是，不同节点上的共享材料信息可能相同也可能不同。
具体的，该材料链是基于不同的材料类别划分，如钢铁材料、高温合金、耐蚀合金、铝合金、金属功能材料、钛合金等，当然，具体实施中材料链的种类不限制于此，还可以有其他的种类，本申请中不做限制。
其中，同一材料链中的节点涉及的材料类型相同，如高温合金材料链中的各个节点均提供高温合金材料信息和材料数据，该材料信息和材料塑化剂是能够进行训练材料数据模型的信息。
具体实施中，该若干材料链组成材料联盟链，该材料联盟链统一由监管节点管理。
例如，一个材料联盟链中包括：材料链A、材料链B、材料链C以及监管节点，其中，材料链A、材料链B和材料链C分别为不同的材料。
例如，该第一节点是一个高温材料节点，如炼钢厂的数据设备，相应的，目标材料链是高温材料链，该高温材料链中的各个节点是不同的高温材料的企业、科研单位等。
需要说明的是，后续实施例中会针对该确定目标节点的过程进行详细说明，本实施例中不做详述。
步骤S102：向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型；
其中，该联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息。
其中，第一节点请求训练材料数据模型。
其中，该第一节点作为请求训练材料数据模型的请求方，生成联邦学习请求，并且将该联邦学习请求发送给监管节点，以开启训练过程。
具体实施中，该联邦学习请求可以以合约的形式发送给监管节点，监管节点向该联邦学习请求对应的目标节点发送该合约，目标节点接受该合约进行联邦学习，若目标节点不接受该合约，则不进行联邦学习。
其中，该联邦学习请求中包括各个目标节点的标识信息，各个目标节点属于同一个材料链，而且，该联邦学习请求中还包括目标共享材料信息，该目标共享材料信息是该各个目标节点中存储的材料数据对应的共享材料信息。
需要说明的是，不同的目标节点的目标共享材料信息可能不同，目标节点的目标共享材料信息与其共享的共享材料信息也可能不同。
例如，节点A中的20条目标共享材料信息符合本次训练需求，节点B中的30条目标共享材料信息符合本次训练需求。
例如，节点A中有80条数据与目标材料链中的各个节点共享，其中的20条目标共享材料信息符合本次训练需求，相应的，在该联邦学习请求中携带该节点A中符合本次训练需求的20条目标共享材料信息的相关消息。
需要说明的是，该目标材料链可以只包括第一节点和第二节点，可以在除了第一节点和第二节点，还包括其他节点，确定目标节点的过程在后续实施例中会详细说明，本实施例中不做详述。
其中，不同的材料链有不同的特征数据，共享材料信息和材料数据分别包括特征数据的部分，而该目标共享材料信息则表征了训练材料数据模型对应的预测方向。
具体的，联邦学习请求中包括原始数据模型信息，相应的，监管节点基于该联邦学习请求能够确定待训练的是哪个原始数据模型，将该原始数据模型发送给各个目标节点。
其中，监管节点中存储有若干原始数据模型，为其监管的多个材料链提供训练基础。
步骤S103：基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
其中，监管节点将确定的原始数据模型分别发送给各个目标节点。
其中，该目标节点中包括第一节点时，该第一节点接收该监管节点发送的原始数据模型，相应的，第二节点也接收到该原始数据模型。
具体实施中，若该目标节点仅包括第二节点不包括第一节点时，监管节点仅将原始数据模型发送给各个第二节点，不发送给第一节点，该第一节点不执行步骤S103-105，直接执行步骤S106。
步骤S104：基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；
其中，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求。
其中，该第一节点本地存储有共享材料信息和材料数据，该共享材料信息的安全要求高于材料数据的安全要求。
具体实施中，该共享材料信息和材料数据可以是针对同材料的不同维度的数据信息。
例如，针对一种合金材料，其共享材料信息是包含成分A、B和C，以及成分A、B、C各自的含量，其材料数据可以是其还包含成分D以及成分D的含量、该合金材料的生产工艺以及相应的效果等。
具体的，该共享材料信息可以包括材料数据结构、材料数据样例等，本申请中不对于该共享材料信息和材料数据的内容做限制，具体实施中可以根据实际情况设置该共享材料信息和材料数据具体内容。
本申请中不对于共享材料信息和材料数据的具体内容做限制。
需要说明的是，共享材料信息的数据安全要求不高，能够与其他节点共享；而材料数据的数据安全要求高并不被其他节点所知，仅是各节点本地存储，保证了数据安全。
其中，该第一节点在接收到原始数据模型后，基于本地存储的目标共享材料信息对应的第一材料数据以及该目标共享材料，对于该原始数据模型进行训练，得到第一数据模型。
相应的，各个第二节点在接收到原始数据模型后，基于本地存储的目标共享材料信息对应的第二材料数据以及该目标共享材料，对于该原始数据模型进行训练，得到第二数据模型。
需要说明的是，由于各个节点中的共享材料信息和材料数据不同，其训练得到的数据模型也不相同。
步骤S105：将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
其中，第一节点在训练得到第一数据模型，第二节点训练得到第二数据模型后，分别将该第一数据模型和第二数据模型发送给监管节点。
其中，该监管节点将该第一数据模型和第二数据模型进行聚合，得到联邦学习的材料数据模型。
具体的，该第一数据模型和第二数据模型进行聚合的方法，可以采用联邦平均（Federated Averaging， FedAvg）算法，当然，也可也采用其他算法，本申请中不做限制。
例如，联邦平均算法是基于持续的迭代过程。各节点利用原始数据模型进行本地训练（第一节点得到第一数据模型，第二节点得到第二数据模型），本地模型训练后将更新的模型和参数传给监管节点。重复以上步骤，直至模型达到理想收敛效果。
步骤S106：接收所述监管节点发送的材料数据模型。
其中，在监管节点得到材料数据模型后，将该材料数据模块反馈给各个参与联邦学习的节点，具体包括第一节点和每个第二节点。
需要说明的是，本申请中的联邦学习过程，是各个数据源节点在本地对于原始数据模型进行训练，在监管节点将各个节点训练得到的数据模型进行聚合，得到材料数据模型，无需各个节点将数据发送到联邦学习终端，能够保证各个节点的数据安全。
综上，本实施例提供的一种材料数据模型联邦学习方法，包括：在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点，所述目标节点包括第一节点和第二节点；向监管节点发送训练材料数据模型的联邦学习请求，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型；基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；接收所述监管节点发送的材料数据模型。本实施例中，在目标材料链中确定满足预设要求的多个目标节点，该目标节点包括第一节点和第二节点，向监管节点请求该多个目标节点进行联邦学习，而参与联邦学习的各个节点是基于本地存储的共享材料信息对应的材料数据分别对于原始数据模型进行训练得到第一数据模型和第二数据模型，该第一数据模型是由第一节点训练得到，第二数据模型是由第二节点训练得到，由监管节点将第一数据模型和第二数据模型聚合，得到材料数据模型，并反馈给各个目标节点，无需将各个节点将数据安全要求较高的材料数据统一发送到一个节点，也无需上传给监管节点，保证了各个节点的材料数据安全。
如图2所示的，为本申请提供的一种材料数据模型联邦学习方法实施例2的流程图，该方法包括以下步骤：
步骤S201：获得目标材料链的数据记录；
其中，所述数据记录包括至少两个节点的共享材料信息，所述共享材料信息至少包括所述目标共享材料信息，所述共享材料信息是对应节点共享的共享材料信息，所述节点中还包括未共享的材料数据。
其中，同一个材料链中的各节点中的共享材料信息不完全相同，部分相同。
其中，同一个材料链中的各个节点中的共享材料信息是采用区块链方式存储，每个节点作为一个区块链中的一个节点，对于该材料链中的各个节点的材料索引样本参数分别存储。
需要说明的是，该区块链中仅存储各个节点的共享材料信息，该各节点的共享材料信息对应的材料数据仅存储在作为数据源的节点上，不采用区块链方式存储。
其中，区块链的特点是每个节点都拥有完整区块链账本数据，本实施例中为该目标材料链的数据记录。
其中，作为目标材料链中一个节点的第一节点，其上也存储由该目标材料链的数据记录，获得该数据记录为后续选择第二节点提供基础。
步骤S202：基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点；
其中，所述目标节点的目标共享材料信息中至少部分与所述预设共享材料信息匹配；
其中，所述第二节点的目标共享材料信息与所述第一节点的目标共享材料信息满足预设相似条件。
其中，第一节点基于其想要预测内容，选择其进行预测内容所需的预设共享材料信息，进而基于该预设共享材料信息，在该目标材料链中确定与该预设共享材料信息相近/相关的第二节点。
其中，该数据记录中包括各个节点的共享材料信息，该共享材料信息具体是节点中数据主体的索引信息，各个节点将其共享材料信息以元数据、材料特征数据以及数据主体哈希值的方式形式上传材料链，材料链中各个节点共享。
其中，该数据主体具体是指该材料数据的数据主体。
其中，元数据包括唯一标识、材料名称、数据所有者、数据来源类型，时间戳，用于标记数据的版权信息。材料特征数据至少包括成分、性能数据中的一种，也可包括结构、工艺、形状、尺寸、用途数据，作为区块链中的共享材料信息实现跨节点的数据发现。
需要说明的是，数据主体本身还存储在共享材料信息所属原节点方的私有云或本地服务中。
其中，该目标共享材料信息可以是该第一节点中的某一项材料的共享材料信息，也可也是多项材料的共享材料信息，具体可以根据实际情况进行设置，本申请中不做限制。
其中，该目标材料链中各个节点中包括的共享材料信息在数据记录中均有记载，则该第一节点基于其确定的预设共享材料信息，在该数据记录中确定目标节点。
具体的，该目标节点是其部分或者全部共享材料信息与该预设共享材料信息满足相似条件的节点。
具体实施中，第一节点基于该数据记录，将目标材料链中各个节点中的共享材料信息与该预设共享材料信息计算相似度，然后按照相似度从高到低对于各个节点进行排序，选择其中的部分节点作为目标节点。
其中，选择的依据可以是相似度，也可以是设定的节点个数。
如下表1所示的是一个排序列表。
表1
具体实施中，该第一节点可以是该列表中的任意公司，如A公司，可以按照相似度，选择N个排序靠前的数据所有者的节点作为目标节点，也可以选择相似度在预设阈值内的数据所有者的节点作为目标节点，本申请中不对于选择目标节点的具体方式做限制。
需要说明的是，若该第一节点在N个排序靠前的节点中，或者是相似度在预设阈值内的节点中，该第一节点后续参与联邦学习，若该第一节点不在N个排序靠前的节点中，或者是相似度不在预设阈值内的节点中，仅采用第二节点进行联邦学习。
需要说明的是，由于各材料链中各个节点将其各种共享材料信息均共享，因此，本步骤中，筛选得到的目标节点是存储有符合本次训练的共享材料信息样本的节点，而该第二节点中还有其他共享材料信息，所以，在确定了目标节点后，第一节点还向监管节点发送训练请求时，将该目标节点中符合本次训练的目标共享材料信息一同发送给监管节点，以使得监管节点通知第二节点基于其目标共享材料信息对应的材料数据进行训练数据模型得到第二数据模型。
步骤S203：向监管节点发送训练材料数据模型的联邦学习请求；
步骤S204：基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
步骤S205：基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；
步骤S206：将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
步骤S207：接收所述监管节点发送的材料数据模型。
其中，该步骤S203-207与实施例1中的相应步骤一致，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习方法，包括：获得目标材料链的数据记录，所述数据记录包括至少两个节点的共享材料信息，所述共享材料信息至少包括所述目标共享材料信息，所述共享材料信息是对应节点共享的共享材料信息，所述节点中还包括未共享的材料数据；基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点，所述目标节点的共享材料信息中至少部分与所述预设共享材料信息匹配。本实施例中，目标材料链中各个节点的共享材料信息统一记录在数据记录中，基于各个节点的共享材料信息在该数据记录中确定与该预设共享材料信息满足相似条件的目标节点，基于预设共享材料信息筛选第二节点，为后续联邦学习训练材料数据模型提供基础。
如图3所示的，为本申请提供的一种材料数据模型联邦学习方法实施例3的流程图，该方法包括以下步骤：
步骤S301：基于所述目标材料链的数据发现合约，获得所述目标材料链中数据记录，所述数据记录包括所述目标材料链中至少两个节点的训练共享材料信息；
其中，同一材料链中的各个节点预先约定了数据发现合约，基于该合约保证了属于同一材料链中的各个节点能够组成区块链。
其中，组成区块链的各个节点上均存储该材料链中的数据记录，并且，各个节点均能够对于该数据记录进行查看。
具体的，为了后续实现联邦学习训练材料数据模型，该第一节点作为请求学习的节点，其先基于该目标材料链中的数据发现合约，获得其存储的目标材料链的数据记录。
具体的，该目标材料链的数据发现合约，可以是第一节点向监管节点发送的数据发现请求，调用数据发现合约，该数据发现合约中包括与该数据发现请求中请求的共享材料信息以及材料发现函数/模型，该监管节点将该数据发现合约发送给目标材料链中的各个节点以与各个节点达成共识，若各个节点基于该数据发现合约达成共识，该数据发现合约生效。
需要说明的是，不同材料有不同的特征数据，例如钢铁材料的特征数据为成分（C\Si\Mn\P\S\Cr\Ni\Mo\Ni\V\Ti等）+力学性能（抗拉强度\屈服强度\冲击功等），铝合金特征数据为成分（Si/Fe/Cu/Mn/Mg/Zn/Ti/Al等）+力学性能（抗拉强度/延伸率等）。不同材料的材料发现函数/模型也不同，使用的算法也不同。
需要说明的是，后续步骤中确定目标节点以及目标节点参与训练得到数据模型，均是基于该数据发现合约实现。
步骤S302：基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点；
步骤S303：向监管节点发送训练材料数据模型的联邦学习请求；
步骤S304：基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
步骤S305：基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；
步骤S306：将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
步骤S307：接收所述监管节点发送的材料数据模型。
其中，该步骤S302-307与实施例2中的相应步骤一致，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习方法，包括：基于所述目标材料链的数据发现合约，获得所述目标材料链中数据记录，所述数据记录包括所述目标材料链中至少两个节点的训练共享材料信息。本实施例中，基于该目标材料链中各个节点约定的数据发现合约，该第一节点获得目标材料链中数据记录，以基于该数据记录确定能够参与联邦学习的第二节点，为后续联邦学习训练材料数据模型提供基础。
如图4所示的，为本申请提供的一种材料数据模型联邦学习方法实施例4的流程图，该方法包括以下步骤：
步骤S401：接收第一材料信息；
其中，目标材料链中的各个节点是作为区块链的节点，因此，某一个节点的特征数据中的共享材料信息发生变化，则需要将该变化更新到该目标材料链。
本实施例中，是以第一节点中有共享材料信息更新为例进行说明，该目标材料链中各个节点中的数据记录中记录的共享材料信息更新类似。
其中，若第一节点中有共享材料信息更新，获得该更新的第一共享材料信息。
具体实施中，该第一共享材料信息，可以新增的共享材料信息，也可以是对于旧共享材料信息进行的修改。
例如，节点A中，第一共享材料信息包括合成材料甲、合成材料乙的共享材料信息，新增合成材料丙，或者是对于合成材料甲的组成成分进行修改。
步骤S402：将所述第一材料信息更新第一节点中目标材料链的数据记录；
其中，第一节点中存储有目标材料链的数据记录，该数据记录记录有该目标材料链中各个节点的共享材料信息。
其中，基于该第一共享材料信息更新该目标材料链的数据记录中第一节点的相应记录。
具体的，该将第一共享材料信息更新数据记录，第一节点将第一共享材料信息以元数据、材料特征数据以及材料数据主体哈希值的方式转换，将元数据、材料特征数据以及材料数据主体哈希值上传至区块链，材料数据主体本身还存在第一节点的方私有云或本地服务中。其中，元数据包括唯一标识、材料名称、数据所有者、数据来源类型，时间戳，用于标记数据的版权信息。材料特征数据至少包括成分、性能数据中的一种，也可包括结构、工艺、形状、尺寸、用途数据，作为区块链中的数据索引实现跨节点的数据发现。
步骤S403：基于预设同步规则，控制更新所述目标材料链中除第一节点的其他节点的数据记录；
其中，同一材料链中的各个节点具有同步规则，一个节点的数据记录发生变化，其余节点的数据记录需要同步。
其中，基于该第一节点中更新的目标材料链的数据记录，将该目标材料链中其他节点的数据记录更新，以使得该目标材料链中的数据记录一致。
具体实施中，可以是第一节点更新目标材料链的数据记录结束，触发其他节点的数据记录更新，也可以是按照周期轮询各个节点，若发现不同，则更新，本申请中不对于目标材料链的更新方式做限制。
步骤S404：获得目标材料链的数据记录；
步骤S405：基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点；
步骤S406：向监管节点发送训练材料数据模型的联邦学习请求；
步骤S407：基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
步骤S408：基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；
步骤S409：将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
步骤S410：接收所述监管节点发送的材料数据模型。
其中，该步骤S404-410与实施例2中的相应步骤一致，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习方法，包括：接收第一共享材料信息；将所述第一共享材料信息更新第一节点中目标材料链的数据记录；基于预设同步规则，控制更新所述目标材料链中除第一节点的其他节点的数据记录。本实施例中，基于第一节点的第一共享材料信息更新，更新其存储的目标材料链的数据记录，以及对于目标材料链中其他节点的数据记录也相应更新，以保证该作为区块链的目标材料链中的各个节点的数据记录统一，为各个节点训练材料数据模型提供基础。
如图5所示的，为本申请提供的一种材料数据模型联邦学习方法实施例5的流程图，该方法包括以下步骤：
步骤S501：生成认证请求；
其中，所述认证请求至少包括第一节点的共享材料信息。
其中，本实施例中是对于节点加入材料链的过程进行的说明。
其中，第一节点目标加入材料链，生成认证请求，该认证请求中包括该第一节点的共享材料信息。
其中，该共享材料信息可以包括材料数据结构、材料数据样例等，以及拟加入的材料链、节点产业链类型、节点信息等，该节点产业链类型包括：材料研发机构、材料生产企业、装备制造企业、材料应用企业等。
步骤S502：发送认证请求至监管节点，以使得所述监管节点基于第一节点的共享材料信息确定所述第一节点属于目标材料链，将所述第一节点加入目标材料链；
其中，该监管节点用于管理各个材料链中的节点，具体用于对于加入材料链的认证请求进行审核与验证。
具体的，将该认证请求发送给监管节点，以使得监管节点基于该第一节点的共享材料信息确定其所属的目标材料链，并将该第一节点加入该目标材料链。
其中，该第一节点加入目标材料链，该第一节点的共享材料信息等信息与该目标材料链中的各个节点共享，实现区块链方式的信息存储。
其中，将该第一节点加入目标材料链，将该认证请求中的信息，如材料样本参数以及节点产业链类型、节点信息等添加到该目标材料链的数据记录中。
如图6所示的材料链示意图，包括：钢铁材料链、铝合金材料链和高温合金材料链三条材料链，该示意图中还包括监管节点，其中，每条材料链中分别包括多个节点，任一条材料链中的各个节点相连，且各个节点均与监管节点相连。
步骤S503：在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
步骤S504：向监管节点发送训练材料数据模型的联邦学习请求；
步骤S505：基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
步骤S506：基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型；
步骤S507：将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
步骤S508：接收所述监管节点发送的材料数据模型。
其中，该步骤S503-S508与实施例1中的相应步骤一致，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习方法，还包括：生成认证请求，所述认证请求至少包括第一节点的共享材料信息；发送认证请求至监管节点，以使得所述监管节点基于第一节点的共享材料信息确定所述第一节点属于目标材料链，将所述第一节点加入目标材料链。本实施例中，第一节点加入材料链时，将生成的认证请求发送给监管节点，以使得监管节点确定其所属的材料链，并控制该第一节点加入，实现了构建材料链的过程。
与上述本申请提供的应用于第一节点的一种材料数据模型联邦学习方法实施例相对应的，本申请还提供了应用于监管节点的材料数据模型联邦学习方法实施例。
如图7所示的，为本申请提供的一种材料数据模型联邦学习方法实施例6的流程图，该方法应用于监管节点的服务器，该方法包括以下步骤：
步骤S701：接收第一节点发送的训练材料数据模型的联邦学习请求；
其中，所述联邦学习请求中包含满足预设要求的至少两个目标节点的目标共享材料信息以及原始数据模型信息。
其中，该联邦学习请求中，还包括每个目标节点的标识信息，以使得该监管节点能够基于该标识信息确定哪个节点参与本次的联邦学习。
其中，第一节点作为请求方，向监管节点请求进行联邦学习，以训练材料数据模型，并且将该联邦学习请求发送给监管节点，以开启训练过程。
需要说明的是，该第一节点和第二节点仅是用于区分不同的节点，该第一节点是作为请求进行联邦学习的节点，第二节点是仅参与联邦学习的节点。
其中，该联邦学习请求中包括各个目标节点的标识信息，该各个目标节点属于同一个材料链，而且，该联邦学习请求中还包括每个目标节点的目标共享材料信息，该目标共享材料信息是该各个目标节点中存储的材料数据对应的共享材料信息。
需要说明的是，不同的目标节点的目标共享材料信息可能不同，目标节点的目标共享材料信息与其共享的共享材料信息也可能不同。
其中，不同的材料链有不同的特征数据，共享材料信息和材料数据分别包括特征数据的部分，而该目标共享材料信息则表征了训练材料数据模型对应的预测方向。
具体的，联邦学习请求中还包括原始数据模型信息，相应的，监管节点基于该联邦学习请求能够确定待训练的是哪个原始数据模型，将该原始数据模型发送给目标节点。
其中，监管节点中存储有若干原始数据模型，为其监管的多个材料链提供训练基础。
步骤S702：基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
其中，所述目标节点满足预设要求，该预设要求是该节点在本次联邦学习中能够提供训练所需的材料数据。
其中，该监管节点基于该联邦学习请求中的原始数据模型，获得该原始数据模型，并将该原始数据模型分别反馈给第一节点以及各个第二节点。
其中，每个节点是作为一个数据源，其上存储有大量的共享材料信息和材料数据，该共享材料信息是能够与其他节点共享的信息，该材料数据是安全要求较高的数据，只在节点本地存储，不进行共享。
其中，相同材料链中的节点存储的材料数据是属于同一种类材料，其存储的数据能够作为训练样本进行训练模型，但是，不同节点上的共享材料信息可能相同也可能不同。
其中，该目标材料链种各个节点在本地存储有共享材料信息和材料数据，该共享材料信息的安全要求高于材料数据的安全要求。
具体实施中，该共享材料信息和材料数据可以是针对同材料的不同维度的数据信息。
具体的，该共享材料信息可以包括材料数据结构、材料数据样例等，本申请中不对于该共享材料信息和材料数据的内容做限制，具体实施中可以根据实际情况设置该共享材料信息和材料数据具体内容。
本申请中不对于共享材料信息和材料数据的具体内容做限制。
需要说明的是，共享材料信息的数据安全要求不高，能够与其他节点共享；而材料数据的数据安全要求高并不被其他节点所知，仅是各节点本地存储，保证了数据安全。
其中，该第一节点在接收到原始数据模型后，基于本地存储的目标共享材料信息对应的第一材料数据以及该目标共享材料，对于该原始数据模型进行训练，得到第一数据模型。
相应的，各个第二节点在接收到原始数据模型后，基于本地存储的目标共享材料信息对应的第二材料数据以及该目标共享材料，对于该原始数据模型进行训练，得到第二数据模型。
需要说明的是，由于各个节点中的共享材料信息和材料数据不同，其训练得到的数据模型也不相同。
步骤S703：接收并聚合所述至少两个数据模型，得到材料数据模型；
其中，至少两个目标节点训练得到相应个数的数据模型，将该数据模型发送给监管节点。
具体的，该多个数据模型进行聚合的方法，可以采用联邦平均算法，当然，也可也采用其他算法，本申请中不做限制。
步骤S704：将所述材料数据模型发送给所述至少两个第二节点。
其中，该材料数据模型是采用的联邦学习训练得到，因此，其结合了各个目标节点的训练结果，相对于每个节点单独训练，准确度更高。
其中，在监管节点得到材料数据模型后，将该材料数据模块反馈给各个参与联邦学习的节点，具体是该至少两个目标节点。
需要说明的是，本申请中的联邦学习过程，是各个数据源节点在本地对于原始数据模型进行训练，在监管节点将各个节点训练得到的数据模型进行聚合，得到材料数据模型，无需各个节点将数据发送到联邦学习终端，能够保证各个节点的数据安全。
综上，本实施例提供的一种材料数据模型联邦学习方法，包括：接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；接收并聚合所述至少两个数据模型，得到材料数据模型；将所述材料数据模型分别发送给所述至少两个目标节点。本实施例中，监管节点基于某个材料链中的节点请求联邦学习，向联邦学习的各个目标节点发送原始数据模型，参与联邦学习的各个目标节点基于本地存储的材料数据分别对于原始数据模型进行训练得到数据模型，由监管节点将各个目标节点训练得到的数据模型聚合，得到材料数据模型，并反馈给各个目标节点，，无需将各个节点将数据安全要求较高的材料数据统一发送到一个节点，也无需上传给监管节点，保证了各个节点的材料数据安全。
如图8所示的，为本申请提供的一种材料数据模型联邦学习方法实施例7的流程图，该方法应用于监管节点的服务器，该方法包括以下步骤：
步骤S801：接收第一节点的认证请求；
其中，所述认证请求至少包括所述第一节点的共享材料信息。
其中，本实施例中是对于节点加入材料链的过程进行的说明。
其中，第一节点目标加入材料链，生成认证请求，该认证请求中包括该第一节点的共享材料信息。
其中，该共享材料信息可以包括材料数据结构、材料数据样例等、以及拟加入的材料链、节点产业链类型、节点信息等，该节点产业链类型包括：材料研发机构、材料生产企业、装备制造企业、材料应用企业等。
其中，该监管节点接收到该第一节点的认证请求。
如下表2所示的是认证请求中的信息列表。
表2
步骤S802：基于所述认证请求，确定所述第一节点属于目标材料链；
其中，该监管节点用于管理各个材料链中的节点，具体用于对于加入材料链的认证请求进行审核与验证。
具体的，该监管节点基于该第一节点的共享材料信息确定其所属的目标材料链，并将该第一节点加入该目标材料链。
其中，该第一节点加入目标材料链，该第一节点的共享材料信息等信息与该目标材料链中的各个节点共享，实现区块链方式的信息存储。
其中，将该第一节点加入目标材料链，将该认证请求中的信息，如材料样本参数以及节点产业链类型、节点信息等添加到该目标材料链的数据记录中。
步骤S803：将所述第一节点加入所述目标材料链；
基于该第一节点属于目标材料链，控制将该第一节点加入该目标材料链。
具体的，将该第一节点的共享材料信息等发送给该目标材料链中的其他节点以使得该其他节点记录该第一节点的相关信息。
步骤S804：接收第一节点发送的训练材料数据模型的联邦学习请求；
步骤S805：基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
步骤S806：接收并聚合所述至少两个数据模型，得到材料数据模型；
步骤S807：将所述材料数据模型发送给所述至少两个第二节点。
其中，该步骤S804-807与实施例6中的相应步骤一致，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习方法，还包括：接收第一节点的认证请求，所述认证请求至少包括所述第一节点的共享材料信息；基于所述认证请求，确定所述第一节点属于目标材料链；将所述第一节点加入所述目标材料链。本实施例种，第一节点加入材料链时，将生成的认证请求发送给监管节点，监管节点确定其所属的材料链，并控制该第一节点加入，实现了构建材料链的过程。
如图9所示的，为本申请提供的一种材料数据模型联邦学习方法实施例8的流程图，该方法包括以下步骤：
步骤S901：接收第一节点发送的训练材料数据模型的联邦学习请求；
步骤S902：基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
步骤S903：接收并聚合所述至少两个数据模型，得到材料数据模型；
步骤S904：将所述材料数据模型发送给所述至少两个第二节点；
其中，该步骤S901-904与实施例6中的相应步骤一致，本实施例中不做赘述。
步骤S905：分别获得所述至少两个目标节点训练原始数据模型时采用的样本数量，所述样本数量与所述目标共享材料信息对应；
其中，第一节点和第二节点训练原始数据模型时，能够提供不同的样本数量进行训练，样本数量越大，训练得到的数据模型越精确，准确度越高。
其中，监管节点基于该样本数量对于各个节点在训练原始数据模型提供的贡献度进行计算。
其中，目标节点中参与训练原始数据模型的材料数据，是与材料信息不同维度的信息，其与材料信息共同组成训练样本，因此，该训练材料数据模型时采用的样本数量是与目标共享材料信息对应的。
具体的，各个节点可以将其训练原始数据模型采用的样本数量发送给监管节点。
步骤S906：基于所述样本数量，确定所述至少两个目标节点的贡献度。
其中，样本数量提供的越多，对于训练材料数据模型提供的贡献越大，需要该结点提供的算力越大。
具体实施中，还对于该贡献度进行存证，为后续产生的利益分配提供基础。
比如这次联邦学习过程中，参与方A贡献了100条数据，参与方B贡献了50条数据，参与方C贡献了80条数据，那么参与方A的贡献度就最大，可以计算一个贡献度指数。然后每次联邦学习后，这个贡献度都会累积，以后数据如果产生经济效益，可以为利益分配提供可信依据。
综上，本实施例提供的一种材料数据模型联邦学习方法，还包括：分别获得所述至少两个目标节点训练原始数据模型时采用的样本数量，所述样本数量与所述目标共享材料信息对应；基于所述样本数量，确定所述至少两个目标节点的贡献度。本实施例中，还基于对于各个目标节点训练原始数据模型的样本数量进行统计，以基于该样本数量计算各个节点的贡献度，为后续分配经济利益提供基础。
与上述本申请提供的一种材料数据模型联邦学习方法实施例相对应的，本申请还提供了应用该材料数据模型联邦学习方法的装置实施例。
如图10所示的为本申请提供的一种材料数据模型联邦学习装置实施例1的结构示意图，该装置包括以下结构：确定模块1001、第一发送模块1002、第一接收模块1003、训练模块1004、第二发送模块1005和第二接收模块1006；
其中，该确定模块1001，用于在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
其中，该第一发送模块1002，用于向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
其中，该第一接收模块1003，用于基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
其中，该训练模块1004，用于基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；
其中，该第二发送模块1005，用于将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
其中，该第二接收模块1006，用于接收所述监管节点发送的材料数据模型。
可选的，确定模块，包括：
获得单元，用于获得目标材料链的数据记录，所述数据记录包括至少两个节点的共享材料信息，所述共享材料信息至少包括所述目标共享材料信息，所述共享材料信息是对应节点共享的材料信息，所述节点中还包括未共享的材料数据；
确定单元，用于基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点，所述目标节点的共享材料信息中至少部分与所述预设共享材料信息匹配。
可选的，获得单元，具体用于：
基于所述目标材料链的数据发现合约，获得所述目标材料链中数据记录，所述数据记录包括所述目标材料链中至少两个节点的训练共享材料信息。
可选的，还包括：
属性接收模块，用于接收第一材料信息；
更新模块，用于将所述第一材料信息更新第一节点中目标材料链的数据记录；
同步模块，用于基于预设同步规则，控制更新所述目标材料链中除第一节点的其他节点的数据记录。
可选的，还包括：
认证请求模块，在目标材料链的至少两个节点中确定满足预设要求的至少一个第二节点之前生成认证请求，所述认证请求至少包括第一节点的共享材料信息；
认证请求发送模块，用于发送认证请求至监管节点，以使得所述监管节点基于第一节点的共享材料信息确定所述第一节点属于目标材料链，将所述第一节点加入目标材料链。
需要说明的是，本实施例中提供的一种材料数据模型联邦学习装置中的各个结构功能，请参考前述方法实施例中的解释，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习装置，包括：确定模块，用于在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；第一发送模块，用于向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；第一接收模块，用于基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；训练模块，用于基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；第二发送模块，用于将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；第二接收模块，用于接收所述监管节点发送的材料数据模型。本实施例中，在目标材料链中确定满足预设要求的多个目标节点，该目标节点包括第一节点和第二节点，向监管节点请求该多个目标节点进行联邦学习，而参与联邦学习的各个节点是基于本地存储的共享材料信息对应的材料数据分别对于原始数据模型进行训练得到第一数据模型和第二数据模型，该第一数据模型是由第一节点训练得到，第二数据模型是由第二节点训练得到，由监管节点将第一数据模型和第二数据模型聚合，得到材料数据模型，并反馈给各个目标节点，无需将各个节点将数据安全要求较高的材料数据统一发送到一个节点，也无需上传给监管节点，保证了各个节点的材料数据安全。
如图11所示的为本申请提供的一种材料数据模型联邦学习装置实施例2的结构示意图，该装置包括以下结构：第三接收模块1101、第三发送模块1102、第四接收模块1103和第四发送模块1104；
其中，该第三接收模块1101，用于接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
其中，该第三发送模块1102，用于基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
其中，该第四接收模块1103，用于接收并聚合所述至少两个数据模型，得到材料数据模型；
其中，该第四发送模块1104，用于将所述材料数据模型分别发送给所述至少两个目标节点。
可选的，还包括：
认证请求接收模块，用于所述接收第一节点发送的训练材料数据模型的联邦学习请求之前，接收第一节点的认证请求，所述认证请求至少包括所述第一节点的共享材料信息；
材料链确定模块，用于基于所述认证请求，确定所述第一节点属于目标材料链；
加入模块，用于将所述第一节点加入所述目标材料链。
可选的，还包括：
获得模块，用于在将所述材料数据模型分别发送给所述至少两个目标节点之后，分别获得所述至少两个目标节点训练原始数据模型时采用的样本数量，所述样本数量与所述目标共享材料信息对应；
贡献度确定模块，用于基于所述样本数量，确定所述至少两个目标节点的贡献度。
需要说明的是，本实施例中提供的一种材料数据模型联邦学习装置中的各个结构功能，请参考前述方法实施例中的解释，本实施例中不做赘述。
综上，本实施例提供的一种材料数据模型联邦学习装置，包括：第三接收模块，用于接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；第三发送模块，用于基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；第四接收模块，用于接收并聚合所述至少两个数据模型，得到材料数据模型；第四发送模块，用于将所述材料数据模型分别发送给所述至少两个目标节点。本实施例中，监管节点基于某个材料链中的节点请求联邦学习，向联邦学习的各个目标节点发送原始数据模型，参与联邦学习的各个目标节点基于本地存储的材料数据分别对于原始数据模型进行训练得到数据模型，由监管节点将各个目标节点训练得到的数据模型聚合，得到材料数据模型，并反馈给各个目标节点，，无需将各个节点将数据安全要求较高的材料数据统一发送到一个节点，也无需上传给监管节点，保证了各个节点的材料数据安全。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的装置而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种材料数据模型联邦学习方法，其特征在于，应用于第一节点，包括：
在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；
将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
接收所述监管节点发送的材料数据模型。
2.根据权利要求1所述的方法，其特征在于，所述在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点，包括：
获得目标材料链的数据记录，所述数据记录包括至少两个节点的共享材料信息，所述共享材料信息至少包括所述目标共享材料信息，所述共享材料信息是对应节点共享的材料信息，所述节点中还包括未共享的材料数据；
基于预设共享材料信息以及所述数据记录，在所述目标材料链的至少两个节点中确定至少两个目标节点，所述目标节点的共享材料信息中至少部分与所述预设共享材料信息匹配。
3.根据权利要求2所述的方法，其特征在于，获得目标材料链中至少两个节点的训练共享材料信息，包括：
基于所述目标材料链的数据发现合约，获得所述目标材料链中数据记录，所述数据记录包括所述目标材料链中至少两个节点的训练共享材料信息。
4.根据权利要求2所述的方法，其特征在于，还包括：
接收第一材料信息；
将所述第一材料信息更新第一节点中目标材料链的数据记录；
基于预设同步规则，控制更新所述目标材料链中除第一节点的其他节点的数据记录。
5.根据权利要求1所述的方法，其特征在于，所述在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点之前，还包括：
生成认证请求，所述认证请求至少包括第一节点的共享材料信息；
发送认证请求至监管节点，以使得所述监管节点基于第一节点的共享材料信息确定所述第一节点属于目标材料链，将所述第一节点加入目标材料链。
6.一种材料数据模型联邦学习方法，其特征在于，应用于监管节点，包括：
接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
接收并聚合所述至少两个数据模型，得到材料数据模型；
将所述材料数据模型分别发送给所述至少两个目标节点。
7.根据权利要求6所述的方法，其特征在于，所述接收第一节点发送的训练材料数据模型的联邦学习请求之前，还包括：
接收第一节点的认证请求，所述认证请求至少包括所述第一节点的共享材料信息；
基于所述认证请求，确定所述第一节点属于目标材料链；
将所述第一节点加入所述目标材料链。
8.根据权利要求6所述的方法，其特征在于，所述将所述材料数据模型分别发送给所述至少两个目标节点之后，还包括：
分别获得所述至少两个目标节点训练原始数据模型时采用的样本数量，所述样本数量与所述目标共享材料信息对应；
基于所述样本数量，确定所述至少两个目标节点的贡献度。
9.一种材料数据模型联邦学习装置，其特征在于，应用于第一节点，包括：
确定模块，用于在目标材料链的至少两个节点中确定满足预设要求的至少两个目标节点；
第一发送模块，用于向监管节点发送训练材料数据模型的联邦学习请求，以使得所述监管节点基于所述联邦学习请求和目标节点的标识信息向所述至少两个目标节点分别反馈原始数据模型，所述联邦学习请求中包含所述至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
第一接收模块，用于基于所述目标节点包括所述第一节点，接收所述监管节点发送的原始数据模型；
训练模块，用于基于所述第一节点中目标共享材料信息对应的第一材料数据训练所述原始数据模型，得到第一数据模型，所述第一材料数据的安全要求高于所述目标共享材料信息的安全要求；
第二发送模块，用于将所述第一数据模型发送给监管节点，以使得所述监管节点将所述第一节点的第一数据模型和第二节点基于目标共享材料信息对应的第二材料数据训练得到的第二数据模型聚合得到材料数据模型；
第二接收模块，用于接收所述监管节点发送的材料数据模型。
10.一种材料数据模型联邦学习装置，其特征在于，应用于监管节点，包括：
第三接收模块，用于接收第一节点发送的训练材料数据模型的联邦学习请求，所述联邦学习请求中包含满足预设要求的至少两个目标节点的标识信息、每个目标节点的目标共享材料信息以及原始数据模型信息；
第三发送模块，用于基于所述联邦学习请求和目标节点的标识信息分别向至少两个目标节点发送原始数据模型，以使得所述目标节点基于本地存储的目标共享材料信息对应的材料数据训练所述原始数据模型，分别得到至少两个数据模型；
第四接收模块，用于接收并聚合所述至少两个数据模型，得到材料数据模型；
第四发送模块，用于将所述材料数据模型分别发送给所述至少两个目标节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410433970.4A CN118052302B (zh) | 2024-04-11 | 2024-04-11 | 材料数据模型联邦学习方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410433970.4A CN118052302B (zh) | 2024-04-11 | 2024-04-11 | 材料数据模型联邦学习方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118052302A true CN118052302A (zh) | 2024-05-17 |
| CN118052302B CN118052302B (zh) | 2024-09-10 |
Family
ID=91054054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410433970.4A Active CN118052302B (zh) | 2024-04-11 | 2024-04-11 | 材料数据模型联邦学习方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118052302B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168761A1 (zh) * | 2019-02-22 | 2020-08-27 | 华为技术有限公司 | 训练模型的方法和装置 |
| CN111901309A (zh) * | 2020-07-03 | 2020-11-06 | 北京邮电大学 | 一种数据安全共享方法、系统及装置 |
| CN112632013A (zh) * | 2020-12-07 | 2021-04-09 | 国网辽宁省电力有限公司物资分公司 | 一种基于联邦学习的数据安全可信共享方法和装置 |
| US20210150269A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | Anonymizing data for preserving privacy during use for federated machine learning |
| CN113435544A (zh) * | 2021-07-23 | 2021-09-24 | 支付宝(杭州)信息技术有限公司 | 一种联邦学习系统，方法与装置 |
| CN114757361A (zh) * | 2022-03-25 | 2022-07-15 | 中国铁道科学研究院集团有限公司 | 基于联邦学习的多式联运数据共享方法及系统 |
-
2024
- 2024-04-11 CN CN202410433970.4A patent/CN118052302B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020168761A1 (zh) * | 2019-02-22 | 2020-08-27 | 华为技术有限公司 | 训练模型的方法和装置 |
| US20210150269A1 (en) * | 2019-11-18 | 2021-05-20 | International Business Machines Corporation | Anonymizing data for preserving privacy during use for federated machine learning |
| CN111901309A (zh) * | 2020-07-03 | 2020-11-06 | 北京邮电大学 | 一种数据安全共享方法、系统及装置 |
| CN112632013A (zh) * | 2020-12-07 | 2021-04-09 | 国网辽宁省电力有限公司物资分公司 | 一种基于联邦学习的数据安全可信共享方法和装置 |
| CN113435544A (zh) * | 2021-07-23 | 2021-09-24 | 支付宝(杭州)信息技术有限公司 | 一种联邦学习系统，方法与装置 |
| CN114757361A (zh) * | 2022-03-25 | 2022-07-15 | 中国铁道科学研究院集团有限公司 | 基于联邦学习的多式联运数据共享方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118052302B (zh) | 2024-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ur Rehman et al. | TrustFed: A framework for fair and trustworthy cross-device federated learning in IIoT | |
| Guo et al. | TFL-DT: A trust evaluation scheme for federated learning in digital twin for mobile networks | |
| CN110929880A (zh) | 一种联邦学习方法、装置及计算机可读存储介质 | |
| JP7527535B1 (ja) | マルチバリューチェーン進化の予測方法、システムおよび記憶媒体 | |
| CN111522846B (zh) | 一种基于时序中间态数据结构的数据聚合方法 | |
| CN108733821A (zh) | 一种监控视频截图的分发与展示方法及系统 | |
| CN104915897A (zh) | 一种电网规划评价业务的计算机实现方法 | |
| Yuan et al. | A multi-source feedback based trust calculation mechanism for edge computing | |
| Lee et al. | Trends in blockchain and federated learning for data sharing in distributed platforms | |
| CN104102968A (zh) | 一种移动关键业务的预警方法及装置 | |
| CN115563859A (zh) | 一种基于分层联邦学习的电力负荷预测方法、装置及介质 | |
| Li et al. | Decentralized PEV power allocation with power distribution and transportation constraints | |
| CN118052302B (zh) | 材料数据模型联邦学习方法和装置 | |
| Xu et al. | Splitting and placement of data-intensive applications with machine learning for power system in cloud computing | |
| CN111324429B (zh) | 一种基于多代血统参考距离的微服务组合调度方法 | |
| Cui et al. | Learning‐based deep neural network inference task offloading in multi‐device and multi‐server collaborative edge computing | |
| Montazeri et al. | Distributed mechanism design in continuous space for federated learning over vehicular networks | |
| Yu et al. | Evaluation of High‐Quality Development of Manufacturing Industry Using a Novel Grey Dynamic Double Incentive Decision‐Making Model | |
| CN106781508B (zh) | 一种Spark环境下基于多重相空间的短时交通流预测方法 | |
| CN115174615B (zh) | 一种基于起源信息的分布式车联网动态信任管理方法 | |
| CN116050557A (zh) | 电力负荷预测方法、装置、计算机设备和介质 | |
| CN116112931A (zh) | 一种基于共识机制信任聚合的终端信任评估方法及装置 | |
| CN116362103A (zh) | 一种设备剩余使用寿命的预测方法及装置 | |
| CN109102212A (zh) | 对电网企业运营监测业务数据资产进行价值评价的方法 | |
| CN113268503B (zh) | 信息聚合方法、存储介质、计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |