CN115544557A - 一种基于联邦学习的区块链人脸识别系统 - Google Patents

Abstract

本发明提供一种基于联邦学习的区块链人脸识别系统，包括由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，以及提供用户人脸图像数据的用户终端。通过本人脸识别系统，用户可在保证隐私安全的情况下，使用自己的人脸图像数据参与模型的训练，使训练出的模型具有更好的精度。

Description

一种基于联邦学习的区块链人脸识别系统

技术领域

本发明属于深度学习、图像处理领域，具体涉及一种人脸识别系统。

背景技术

联邦学习是由谷歌研究院在2016年率先提出的概念。该技术可在数据不共享的情况下完成联合建模。具体地说，各个数据拥有者(个人/企业/机构)的自有数据不会离开本地，通过联邦系统中加密机制下的参数交换方式(即在不违反数据隐私法规的情况下)联合建立一个全局的共享模型，建好的模型在各自的区域只为本地的目标服务。

当前，联邦学习面临着一些挑战。

首先是参与用户的互信问题。由于联邦学习的参与方来自不同的组织或机构，彼此之间缺少信任。如何在缺乏互信的场景下建立安全可靠的协作机制，是实际应用中亟待解决的问题。

其次是联邦学习需要一个中心服务器来聚合局部模型，如果这个中心服务器发生故障，将直接严重影响全局模型的训练。传统的联邦学习模型是“中心化的”——由一台主服务器统筹规划模型的训练与更新，次要服务器只负责模型的本地训练。这导致：如果主服务器发生故障，那么该联邦学习训练系统将无法正常运转。

此外，联邦学习也面临一些安全风险。一方面，参与方所提供的参数缺乏相应的质量验证机制。恶意的参与用户可能会提供虚假的模型参数来破坏学习过程。如果这些虚假参数未经验证便聚合到整体模型中，会直接影响整体模型的质量，甚至会导致整个联邦学习过程失效。另一方面，参数在传输以及存储过程中的隐私性需要进一步保护加强。

2008年，中本聪第一次提出了区块链的概念。区块链，就是一个又一个区块组成的链条。每一个区块中保存了一定的信息，它们按照各自产生的时间顺序连接成链条。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。这些服务器在区块链系统中被称为节点，它们为整个区块链系统提供存储空间和算力支持。如果要修改区块链中的信息，必须征得半数以上节点的同意并修改所有节点中的信息，而这些节点通常掌握在不同的主体手中，因此篡改区块链中的信息是一件极其困难的事。相比于传统的网络，区块链具有两大核心特点：一是数据难以篡改、二是去中心化。基于这两个特点，区块链所记录的信息更加真实可靠，可以帮助解决人们互不信任的问题。

当前，区块链技术仍面临一些挑战——计算和认证的效率问题。为了达成各个分布式参与方之间的记录一致，区块链需要消耗大量额外的计算资源。传统的共识认证机制如工作量证明(PoW)等，虽然提升了区块链的安全性，但高昂的计算开销也成为了制约区块链出块速度的瓶颈。如何提高区块链交易认证的效率，是提升区块链计算效率的关键。

人脸识别系统的研究始于20世纪60年代，80年代后随着计算机技术和光学成像技术的发展得到提高，而真正进入初级的应用阶段则在90年后期，并且以美国、德国和日本的技术实现为主；人脸识别系统成功的关键在于是否拥有尖端的核心算法，并使识别结果具有实用化的识别率和识别速度；“人脸识别系统”集成了人工智能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技术，同时需结合中间值处理的理论与实现，是生物特征识别的最新应用，其核心技术的实现，展现了弱人工智能向强人工智能的转化。

联邦学习技术与区块链技术的目标都是在去中心化网络中增强节点之间的互信。联邦学习旨在实现“数据可用不可见”的隐私保护技术，并通过融合使用各方数据提升用户服务的质量，进而创造出新的价值。区块链旨在确保交易记录不可篡改，利用共识算法、分布式技术解决在去中心化网络中的双重支付问题，最终实现数字世界的价值表示和价值转移。

区块链为联邦学习的各个参与方(用户)提供了一种可信的机制。

首先，通过区块链尤其是联盟链的授权机制、身份管理等，可以将互不可信的用户作为参与方整合到一起，建立一个安全可信的合作机制。

其次，联邦学习的模型参数可以存储在区块链中，保证了模型参数的安全性与可靠性，也能根据记录的参数来发觉潜在的攻击者。

此外，区块链的“去中心化”的思想，解决了“中心服务器”故障而导致模型训练失败的问题。由于模型参数存储在区块链上，如果中心服务器发生故障，则系统中的其他结点可以重新“选举”出一台新的中心服务器，以继续训练模型。

区块链节点有限的存储能力与区块链较大存储需求之间的矛盾，一直是限制区块链发展的瓶颈所在。

通过联邦学习对原始数据的处理，仅存储计算结果，可以降低存储资源的开销。

此外，基于联邦学习对区块链交易的认证计算、传输通信等进行优化，可以提升区块链的运行效率。

目前人工智能优越的表现能力大部分是由数据驱动的。2016年的AlphaGo使用了总共30万盘游戏作为训练数据，使得模型具备良好的表现效果。但是在现实世界中，除了少数行业外，大多数领域只有有限的数据或质量较差的数据，这使得人工智能技术的实现存在问题。同时，在大多数行业中，数据是以孤立的岛屿形式存在的。由于行业竞争、隐私安全和复杂的行政程序，即使是同一公司不同部门之间的数据整合也面临重重阻力。要整合分散在全国各地和机构的数据几乎是不可能的，或者说是成本极高。

人脸图像数据作为一种对隐私保护极为敏感的数据，难以被大规模收集用于训练人脸识别模型。

发明内容

本发明的目的在于提供一种基于联邦学习的区块链人脸识别系统。通过本人脸识别系统，用户可在保证隐私安全的情况下，使用自己的人脸图像数据参与模型的训练，使训练出的模型具有更好的精度。

一种基于联邦学习的区块链人脸识别系统，

包括由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，以及提供用户人脸图像数据的用户终端。

其中，

所述由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，包括一台主服务器、和次要服务器。

其中，

在进行所述模型训练前，所述主服务器通过选举算法在服务器集群中选举出，通常是所有服务器中性能最好的服务器。

其中，所述主服务器对全局模型进行统一处理，包括：

(1)获取次要服务器对权值的更新：主服务器处于“监听”状态，等待次要服务器发送的模型权值更新数据；

(2)模型的聚合：当主服务器接收到次要服务器返回的模型权值数据达到一定阈值时，它将用这些阈值的平均值来更新全局模型；

(3)更新次要服务器模型的权值：主服务器更新全局模型后，将模型更新后的参数通过广播的形式发送给次要服务器。

所述次要服务器负责：

(1)在本地训练模型：次要服务器使用用户通过用户终端上传的人脸图像数据在本地训练模型；

(2)从主服务器获取当前轮次模型参数：在无模型训练任务的空闲时期，次要服务器处于“监听”状态，等待主服务器发送的模型参数更新数据；当接收到主服务器发送的模型参数更新数据后，次要服务器将根据接收到的参数数据来更新本地模型参数，并使用更新后的模型来进行新一轮模型的训练；

(3)向主服务器发送训练好的权值：当次要服务器在本地训练好模型后，其将通过互联网向主服务器发送训练好的模型权值数据，而不发送用户人脸图像数据，以达到保护用户隐私的要求；

(4)与用户进行交互。

其中，

所述次要服务器负责的功能中的与用户进行交互，包括：

(1)认证用户登录：次要服务器上共享着用户的登录数据；当用户欲参与模型的训练时，服务器集群将选出一台空闲的次要服务器供用户登录，并在其上训练数据；

(2)接收用户提供的人脸图片训练数据：用户在次要服务器上登录后，便可以向该次要服务器上传用于模型训练的人脸图像数据，并向该次要服务器发送模型训练指令；此后，该次要服务器将对模型进行训练并将训练好的权值发送给主服务器。

所述分布式服务器集群中维护着一条区块链——该区块链记录着所有轮次中所有次要服务器提供的权值更新数据及主服务器对模型的聚合结果。

本发明的技术效果：

(1)在联邦学习训练系统中引入区块链，利用区块链的“去中心化”思想：此种基于联邦学习的区块链系统的模型训练结果与权值存储在该服务器集群所共享的区块链上而不仅仅是主服务器上，很好地解决了传统的联邦学习模型“中心化的”缺点：主服务器的不可替代性被大大削弱；如果主服务器发生故障，由于模型训练结果与权值存储在该服务器集群所共享的区块链上，那么该系统可以在剩余的正常工作的次要服务器中选举出一台新的主服务器并继承系统中正在训练的模型，从而该系统能较为迅速地恢复模型的训练、减少对用户的影响。

(2)在模型训练的过程中，用户数据对模型的更新可能产生正面与负面的影响。由于用户对模型训练的更新存储在区块链中，而区块链旨在确保交易记录不可篡改——可以根据造成“模型的负面更新”的更新数据在区块链中定位相应更新的发送者，从而排查出潜在的攻击者。

(3)通过使用该基于联邦学习的区块链人脸识别系统，可在保护用户隐私的情况下大批量地获取用户人脸图像数据用于人脸识别模型的训练，能促使模型达到一个更高的训练精度、人脸识别准确率达到更好的效果。

附图说明

附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。

图1示出了本发明的系统模型结构的示意图。

具体实施方式

本发明提供的一种基于联邦学习的区块链人脸识别系统，

包括由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，以及提供用户人脸图像数据的用户终端。

其中，

所述由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，包括一台主服务器、和次要服务器。

其中，

在进行所述模型训练前，所述主服务器通过选举算法在服务器集群中选举出，通常是所有服务器中性能最好的服务器。

其中，所述主服务器对全局模型进行统一处理，包括：

(1)获取次要服务器对权值的更新：主服务器处于“监听”状态，等待次要服务器发送的模型权值更新数据；

(2)模型的聚合：当主服务器接收到次要服务器返回的模型权值数据达到一定阈值时，它将用这些阈值的平均值来更新全局模型；

(3)更新次要服务器模型的权值：主服务器更新全局模型后，将模型更新后的参数通过广播的形式发送给次要服务器。

所述次要服务器负责：

(1)在本地训练模型：次要服务器使用用户通过用户终端上传的人脸图像数据在本地训练模型；

(2)从主服务器获取当前轮次模型参数：在无模型训练任务的空闲时期，次要服务器处于“监听”状态，等待主服务器发送的模型参数更新数据；当接收到主服务器发送的模型参数更新数据后，次要服务器将根据接收到的参数数据来更新本地模型参数，并使用更新后的模型来进行新一轮模型的训练；

(3)向主服务器发送训练好的权值：当次要服务器在本地训练好模型后，其将通过互联网向主服务器发送训练好的模型权值数据，而不发送用户人脸图像数据，以达到保护用户隐私的要求；

(4)与用户进行交互。

其中，

所述次要服务器负责的功能中的与用户进行交互，包括：

(1)认证用户登录：次要服务器上共享着用户的登录数据；当用户欲参与模型的训练时，服务器集群将选出一台空闲的次要服务器供用户登录，并在其上训练数据；

(2)接收用户提供的人脸图片训练数据：用户在次要服务器上登录后，便可以向该次要服务器上传用于模型训练的人脸图像数据，并向该次要服务器发送模型训练指令；此后，该次要服务器将对模型进行训练并将训练好的权值发送给主服务器。

所述分布式服务器集群中维护着一条区块链——该区块链记录着所有轮次中所有次要服务器提供的权值更新数据及主服务器对模型的聚合结果。

在区块链的挖掘过程中，该分布式服务器集群所产生的权值的更新及主服务器对模型的聚合结果存储在该集群的公共缓存中。当新的区块被成功挖掘时，公共缓存中的权值更新数据及主服务器对模型的聚合结果将被写入这个新挖掘的区块。写入完毕后，将通过广播告知集群中所有服务器：新的区块已被挖掘、清空当前公共缓存。随后进入下一轮区块链的挖掘。

请参阅图1。

权值更新算法如下：

K个客户端由符号k标识，数据集样本总量为n，E为本地训练的轮数，η为学习率。

具体算法步骤如下：

主服务器：

初始化ω₀//该分布式系统首次运行时，主服务器初始化模型权值

for每一轮t＝1,2,…do

if收到的模型权值数据达到阈值then

//所有权值的加权平均值

次要服务器：

if收到“开始训练”指令then

for本地训练轮数i from 1to E do

for b∈数据集B do

//使用梯度下降法计算权值

return w给服务器

以上所述，仅为本发明优选的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于联邦学习的区块链人脸识别系统，其特征在于，

包括由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，以及提供用户人脸图像数据的用户终端。

2.根据权利要求1所述的系统，其特征在于，

所述由分布式服务器集群组成的、进行模型训练的、基于联邦学习的区块链，包括一台主服务器、和次要服务器。

3.根据权利要求2所述的系统，其特征在于，

在进行所述模型训练前，所述主服务器通过选举算法在服务器集群中选举出，通常是所有服务器中性能最好的服务器。

4.根据权利要求2或3所述的系统，其特征在于，所述主服务器对全局模型进行统一处理，包括：

(1)获取次要服务器对权值的更新：主服务器处于“监听”状态，等待次要服务器发送的模型权值更新数据；

(2)模型的聚合：当主服务器接收到次要服务器返回的模型权值数据达到一定阈值时，它将用这些阈值的平均值来更新全局模型；

(3)更新次要服务器模型的权值：主服务器更新全局模型后，将模型更新后的参数通过广播的形式发送给次要服务器。

5.根据权利要求2所述的系统，其特征在于，

所述次要服务器负责：

(1)在本地训练模型：次要服务器使用用户通过用户终端上传的人脸图像数据在本地训练模型；

(2)从主服务器获取当前轮次模型参数：在无模型训练任务的空闲时期，次要服务器处于“监听”状态，等待主服务器发送的模型参数更新数据；当接收到主服务器发送的模型参数更新数据后，次要服务器将根据接收到的参数数据来更新本地模型参数，并使用更新后的模型来进行新一轮模型的训练；

(3)向主服务器发送训练好的权值：当次要服务器在本地训练好模型后，其将通过互联网向主服务器发送训练好的模型权值数据，而不发送用户人脸图像数据，以达到保护用户隐私的要求；

(4)与用户进行交互。

6.根据权利要求5所述的系统，其特征在于，

所述次要服务器负责的功能中的与用户进行交互，包括：

(1)认证用户登录：次要服务器上共享着用户的登录数据；当用户欲参与模型的训练时，服务器集群将选出一台空闲的次要服务器供用户登录，并在其上训练数据；

(2)接收用户提供的人脸图片训练数据：用户在次要服务器上登录后，便可以向该次要服务器上传用于模型训练的人脸图像数据，并向该次要服务器发送模型训练指令；此后，该次要服务器将对模型进行训练并将训练好的权值发送给主服务器。

7.根据权利要求1或2所述的系统，其特征在于，

所述分布式服务器集群中维护着一条区块链——该区块链记录着所有轮次中所有次要服务器提供的权值更新数据及主服务器对模型的聚合结果。

Images