CN112598132A - 模型训练方法及装置、存储介质、电子装置 - Google Patents

Abstract

本发明实施例提供了一种模型训练方法及装置、存储介质、电子装置，该方法包括：获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；验证N个节点数据集；在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。通过本发明，解决了相关技术中联邦学习训练成本高的问题，达到减小运营成本，做到公开透明，解决信任成本的效果。

Description

模型训练方法及装置、存储介质、电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种模型训练方法及装置、存储介质、电子装置。

背景技术

联邦学习训练框架中，如何公平有效的评价节点的贡献程度，并可信地进行利益分配，是联邦学习技术框架中的重点。实现这一目标的关键是制定一种奖励方法，公平公正地与参与方们分享联邦产生的利润。反向拍卖可以被用来制定激励计划，提高各参与方贡献的数据质量。目前已经有了用于传感器数据的反向拍卖方法，该方法的目的是在提供有质量的数据前提下，寻求最低廉的传感器组合方式。这类方法给予一种假设，即中央实体清楚自己需要何种数据(例如地理分布)。然而，这类方法通常假设数据质量与成本或者代价无关(因为反向拍卖需要相同的物品)。一种不好的结果是，参与方可能仅仅为了获取回报，而提交不具有信息的数据来套利。另一种获取指定质量的数据的方法是发布奖励，这是一种只能接受或者放弃的方法。

反向拍卖缺点包括：联邦数据中央实体由于不受监管，中心化联邦可能会带来的舞弊，作恶成本低，授信成本高。中央实体的机制，仍然无法解决数据低成本互信的问题，联邦学习推进难度与传统分布式训练框架的难度几乎一样大。联邦学习数据中央实体的运营成本，将成为联邦学习框架运维成本的一部分。增加了学习成本。反向拍卖机制的实质与传统招投标方案类似，因此反向拍卖机制相对的公平性，效率都会有影响。没有对联邦数据中央实体的监管机制。仍然为一种信任成本很高的合作机制。

针对上述技术问题，相关技术中尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种模型训练方法及装置、存储介质、电子装置，以至少解决相关技术中联邦学习训练成本高的问题。

根据本发明的一个实施例，提供了一种模型训练方法，包括：获取区块链中的N个节点对象的N个节点数据集，其中，上述N个节点对象中的每个节点对象对应一个节点数据集，上述N是大于1的自然数；验证上述N个节点数据集；在上述N个节点数据集验证通过的情况下，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

根据本发明的另一个实施例，提供了一种模型训练装置，包括：第一获取模块，用于获取区块链中的N个节点对象的N个节点数据集，其中，上述N个节点对象中的每个节点对象对应一个节点数据集，上述N是大于1的自然数；第一验证模块，用于验证上述N个节点数据集；第一训练模块，用于在上述N个节点数据集验证通过的情况下，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

在一个示例性实施例中，上述第一验证模块包括：第一验证单元，用于验证上述N个节点数据集，包括：验证上述N个节点数据集中每个节点数据集的哈希值是否与上述每个节点数据集的预设哈希值相同；上述第一训练模块，包括：第一训练单元，用于在上述N个节点数据集中每个节点数据集的哈希值与上述每个节点数据集的预设哈希值相同的情况下，验证通过上述N个节点数据集，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

在一个示例性实施例中，上述装置还包括：第一确定模块，用于在上述N个节点数据集验证通过的情况下，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型之后，确定上述N个节点对象中的每个节点对象的在上述目标联邦学习模型中的权益值。

在一个示例性实施例中，上述第一确定模块包括：第一确定单元，用于确定上述每个节点对象对应的节点数据集中包括的数据数量；第二确定单元，用于确定上述每个节点对象对应的数据数量在上述N个节点数据集中的比例，以确定上述每个节点对象的数据贡献率；第三确定单元，用于基于上述每个节点对象的数据贡献率确定上述每个节点对象在上述目标联邦学习模型中的权益值。

在一个示例性实施例中，上述装置还包括：分配模块，用于获取区块链中的N个节点对象的N个节点数据集之前，平均分配上述N个节点对象中的每个节点对象在上述原始联邦学习模型中的权益值。

在一个示例性实施例中，上述装置还包括：第一划分模块，用于获取区块链中的N个节点对象的N个节点数据集之后，将上述N个节点数据集划分为第一预设比例的数据集和第二预设比例的数据集；第二确定模块，用于将上述第一预设比例的数据集确定为训练上述原始联邦学习模型的样本数据集；第三确定模块，用于将上述第二预设比例的数据集确定为测试上述原始联邦学习模型的样本数据集。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，通过获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；验证N个节点数据集；在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。实现了使用区块链对数据确权，可以取消设立联邦中央节点。因此，可以解决相关技术中联邦学习训练成本高的问题，达到减小运营成本，做到公开透明，解决信任成本的效果。

附图说明

图1是本发明实施例的一种模型训练方法的移动终端的硬件结构框图；

图2是根据本发明实施例的模型训练方法的流程图；

图3是根据本发明实施例的训练集的示意图；

图4是根据本发明实施例的模型训练装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种模型训练方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的模型训练方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种模型训练方法，图2是根据本发明实施例的模型训练方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；

步骤S204，验证N个节点数据集；

步骤S206，在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

其中，上述步骤的执行主体可以为服务器等，但不限于此。

可选地，在本实施例中，原始联邦学习模型是基于联邦学习进行的训练，联邦学习属于机器学习的分支，以神经网络为架构，是一种可以保护数据隐私，对数据进行表征学习的算法。神经网络：在机器学习和认知科学领域，是一种模仿生物神经网络的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。

模型增强型：联邦学习按任务目标可分为模型增强型目标与模型通用性目标，模型增强型为合作方相互之间数据标签固定统一，仅为提升联合模型准确率的任务目标。

通过上述步骤，通过获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；验证N个节点数据集；在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。实现了使用区块链对数据确权，可以取消设立联邦中央节点。因此，可以解决相关技术中联邦学习训练成本高的问题，达到减小运营成本，做到公开透明，解决信任成本的效果。

在一个示例性实施例中，验证N个节点数据集，包括：验证N个节点数据集中每个节点数据集的哈希值是否与每个节点数据集的预设哈希值相同；

在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型，包括：在N个节点数据集中每个节点数据集的哈希值与每个节点数据集的预设哈希值相同的情况下，验证通过N个节点数据集，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

可选地，在本实施例中，hash区块链确权可以取消设立联邦学习中央节点。减小运营成本，做到公开透明，另外彻底解决信任成本。

在一个示例性实施例中，在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型之后，方法还包括：

确定N个节点对象中的每个节点对象的在目标联邦学习模型中的权益值。

在一个示例性实施例中，确定N个节点对象中的每个节点对象的在目标联邦学习模型中的权益值，包括：

S1，确定每个节点对象对应的节点数据集中包括的数据数量；

S2，确定每个节点对象对应的数据数量在N个节点数据集中的比例，以确定每个节点对象的数据贡献率；

S3，基于每个节点对象的数据贡献率确定每个节点对象在目标联邦学习模型中的权益值。

可选地，在本实施例中，在联邦学习训练框架中，可以有效的评价节点的贡献程度，并可信地进行利益分配。

在一个示例性实施例中，获取区块链中的N个节点对象的N个节点数据集之前，方法还包括：

平均分配N个节点对象中的每个节点对象在原始联邦学习模型中的权益值。

可选地，本实施例可以实现去中心化的机制，最大程度的降低授信成本，能够让所有联邦成员在不分享数据，不需要同步数据给联邦中央实体的前提之下，实现公开透明的激励机制。

在一个示例性实施例中，获取区块链中的N个节点对象的N个节点数据集之后，方法还包括：

S1，将N个节点数据集划分为第一预设比例的数据集和第二预设比例的数据集；

S2，将第一预设比例的数据集确定为训练原始联邦学习模型的样本数据集；

S3，将第二预设比例的数据集确定为测试原始联邦学习模型的样本数据集。

可选地，在本实施例中，可以定义测试集为随机抽取每个对象节点提供的确权数据中的10％，其剩余90％定义为训练集，如图3所示。

例如，N节点的基于文件hash确权的联合训练后的测试集识别率。Accuracy(N)。N+1节点加入后的基于文件hash确权的测试集识别率Accuracy(N+1)。A(N+1)>A(N)，N+1即视为有效分享节点。

下面结合具体实施例对本发明进行详细说明：

在联邦学习训练框架中，如何公平有效的评价节点的贡献程度，并可信地进行利益分配，是联邦学习技术框架中的研究重点。实现这一目标的关键是制定一种奖励方法，公平公正地与参与方们分享联邦产生的利润。

本实施例提供一种基于Polkadot区块链数据确权的可用于模型增强型联邦学习有效分享节点的评价方法，装置或存储设备。

这种有效分享节点的评价算法由三个模块组成：

基于数据文件hash值记录的区块链确权模块。

一种公平有效的可用于联邦学习的训练集测试集划分方法。

在本实施例中，有效分享节点的判定规则包括：定义测试集为随机抽取每个成员节点提供的确权数据中的10％，其剩余90％定义为训练集。

N节点的基于文件hash确权的联合训练后的测试集识别率。Accuracy(N)。

N+1节点加入后的基于文件hash确权的测试集识别率Accuracy(N+1)。

A(N+1)>A(N)，N+1即视为有效分享节点。

在本实施例中，联邦学习网络搭建是基于开源共享技术方案，可以直接进行网络搭建。

在数据预处理中，将各个节点的数据1：9进行划分，10％用于有效节点判断规则。

在本实施例中，判断规则实施包括：文件在进行训练之前通过HASH记录所有文件到区块链。Polkadot平行链技术可以通过Substrate框架快速搭建区块链系统。模型增强型联邦学习任务中，已知新节点加入之前的旧模型。若干个新节点加入后，通过联邦学习再次展开训练，会得到新的模型。测试集识别率在联邦学习框架中，损失函数收敛后即可进行获取。旧节点的基于文件hash确权的联合训练后的测试集识别率。Accuracy(N)。新节点加入后的基于文件hash确权的测试集识别率Accuracy(N+1)。A(N+1)>A(N)，N+1即视为有效分享节点。

综上所述，本实施例使用区块链对数据hash值的确权，可以取消设立联邦中央节点。减小运营成本，做到公开透明，另外彻底解决信任成本。联邦学习模型训练速度目前阶段比较慢，因此有效节点的判断机制，需要非常高效，本文提出的有效节点判断方法高效，可行且可信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种模型训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的模型训练装置的结构框图，如图4所示，该装置包括：

第一获取模块42，用于获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；

第一验证模块44，用于验证N个节点数据集；

第一训练模块46，用于在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

在一个示例性实施例中，上述第一验证模块包括：第一验证单元，用于验证上述N个节点数据集，包括：验证上述N个节点数据集中每个节点数据集的哈希值是否与上述每个节点数据集的预设哈希值相同；上述第一训练模块，包括：第一训练单元，用于在上述N个节点数据集中每个节点数据集的哈希值与上述每个节点数据集的预设哈希值相同的情况下，验证通过上述N个节点数据集，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

在一个示例性实施例中，上述装置还包括：第一确定模块，用于在上述N个节点数据集验证通过的情况下，利用上述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型之后，确定上述N个节点对象中的每个节点对象的在上述目标联邦学习模型中的权益值。

在一个示例性实施例中，上述第一确定模块包括：第一确定单元，用于确定上述每个节点对象对应的节点数据集中包括的数据数量；第二确定单元，用于确定上述每个节点对象对应的数据数量在上述N个节点数据集中的比例，以确定上述每个节点对象的数据贡献率；第三确定单元，用于基于上述每个节点对象的数据贡献率确定上述每个节点对象在上述目标联邦学习模型中的权益值。

在一个示例性实施例中，上述装置还包括：分配模块，用于获取区块链中的N个节点对象的N个节点数据集之前，平均分配上述N个节点对象中的每个节点对象在上述原始联邦学习模型中的权益值。

在一个示例性实施例中，上述装置还包括：第一划分模块，用于获取区块链中的N个节点对象的N个节点数据集之后，将上述N个节点数据集划分为第一预设比例的数据集和第二预设比例的数据集；第二确定模块，用于将上述第一预设比例的数据集确定为训练上述原始联邦学习模型的样本数据集；第三确定模块，用于将上述第二预设比例的数据集确定为测试上述原始联邦学习模型的样本数据集。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；

S2，验证N个节点数据集；

S3，在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取区块链中的N个节点对象的N个节点数据集，其中，N个节点对象中的每个节点对象对应一个节点数据集，N是大于1的自然数；

S2，验证N个节点数据集；

S3，在N个节点数据集验证通过的情况下，利用N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种模型训练方法，其特征在于，包括：

获取区块链中的N个节点对象的N个节点数据集，其中，所述N个节点对象中的每个节点对象对应一个节点数据集，所述N是大于1的自然数；

验证所述N个节点数据集；

在所述N个节点数据集验证通过的情况下，利用所述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

2.根据权利要求1所述的方法，其特征在于，

验证所述N个节点数据集，包括：验证所述N个节点数据集中每个节点数据集的哈希值是否与所述每个节点数据集的预设哈希值相同；

在所述N个节点数据集验证通过的情况下，利用所述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型，包括：

在所述N个节点数据集中每个节点数据集的哈希值与所述每个节点数据集的预设哈希值相同的情况下，验证通过所述N个节点数据集，利用所述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

3.根据权利要求1所述的方法，其特征在于，在所述N个节点数据集验证通过的情况下，利用所述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型之后，所述方法还包括：

确定所述N个节点对象中的每个节点对象的在所述目标联邦学习模型中的权益值。

4.根据权利要求3所述的方法，其特征在于，确定所述N个节点对象中的每个节点对象的在所述目标联邦学习模型中的权益值，包括：

确定所述每个节点对象对应的节点数据集中包括的数据数量；

确定所述每个节点对象对应的数据数量在所述N个节点数据集中的比例，以确定所述每个节点对象的数据贡献率；

基于所述每个节点对象的数据贡献率确定所述每个节点对象在所述目标联邦学习模型中的权益值。

5.根据权利要求1所述的方法，其特征在于，获取区块链中的N个节点对象的N个节点数据集之前，所述方法还包括：

平均分配所述N个节点对象中的每个节点对象在所述原始联邦学习模型中的权益值。

6.根据权利要求1所述的方法，其特征在于，获取区块链中的N个节点对象的N个节点数据集之后，所述方法还包括：

将所述N个节点数据集划分为第一预设比例的数据集和第二预设比例的数据集；

将所述第一预设比例的数据集确定为训练所述原始联邦学习模型的样本数据集；

将所述第二预设比例的数据集确定为测试所述原始联邦学习模型的样本数据集。

7.一种模型训练装置，其特征在于，包括：

第一获取模块，用于获取区块链中的N个节点对象的N个节点数据集，其中，所述N个节点对象中的每个节点对象对应一个节点数据集，所述N是大于1的自然数；

第一验证模块，用于验证所述N个节点数据集；

第一训练模块，用于在所述N个节点数据集验证通过的情况下，利用所述N个节点数据集训练原始联邦学习模型，得到目标联邦学习模型。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。

Images