CN116384514B - 可信分布式服务器集群的联邦学习方法、系统及存储介质 - Google Patents

可信分布式服务器集群的联邦学习方法、系统及存储介质 Download PDF

Info

Publication number
CN116384514B
CN116384514B CN202310643416.4A CN202310643416A CN116384514B CN 116384514 B CN116384514 B CN 116384514B CN 202310643416 A CN202310643416 A CN 202310643416A CN 116384514 B CN116384514 B CN 116384514B
Authority
CN
China
Prior art keywords
server
result
aggregation
current round
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310643416.4A
Other languages
English (en)
Other versions
CN116384514A (zh
Inventor
张殷乾
吴冠龙
牛健宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202310643416.4A priority Critical patent/CN116384514B/zh
Publication of CN116384514A publication Critical patent/CN116384514A/zh
Application granted granted Critical
Publication of CN116384514B publication Critical patent/CN116384514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • G06F9/5066Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了可信分布式服务器集群的联邦学习方法、系统及存储介质,所述方法包括:多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果,在可信执行环境下对各个第一聚合结果进行聚合,得到第二聚合结果;当前轮次的领导者服务器将第二聚合结果发送至各个跟随者服务器后,每个服务器将第二聚合结果作为下一轮次的目标模型进行广播。本发明可有效避免可信执行环境下联邦学习的安全问题。

Description

可信分布式服务器集群的联邦学习方法、系统及存储介质
技术领域
本发明涉及多方安全学习领域,尤其涉及的是可信分布式服务器集群的联邦学习方法、系统及存储介质。
背景技术
随着深度学习神经网络的提出,人工智能迎来了新的高峰,越来越多的人工智能服务被大型厂商应用于服务用户。但随着神经网络的应用,对应的安全问题也应运而生。为了应对其中的安全问题,联邦学习被提出来用以解决这样的问题。联邦学习秉承着数据可用不可见,和数据不出域等原则来守护机器学习安全。
然而联邦学习并不能完全保证机器学习的安全性,联邦学习依旧面临着包括投毒攻击和隐私窃取攻击在内的多种攻击威胁。其中的关键问题就是联邦学习环境中需要找到一个可信的第三方来实现对任务的分配和模型的聚合,而往往这样的可信第三方只存在于假设之中,现实中很难找到这种完美可信的第三方来保证联邦学习的完整性。面对这种攻击所带来的威胁,常用的解决方案就是将TEE(Trusted Execution Environment)可信执行环境当作可信第三方,并和联邦学习结合来实现联邦学习的完整性和机密性。但是,考虑到可信执行环境本身的安全性和现有的结合办法的不足,受到可信执行环境保护的联邦学习仍然会面临着不同种类攻击的威胁。
因此,现有技术存在缺陷,有待改进与发展。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供可信分布式服务器集群的联邦学习方法、系统及存储介质,旨在解决现有技术中受到可信执行环境保护的联邦学习仍然会面临着不同种类攻击威胁的问题。
本发明解决技术问题所采用的技术方案如下:
一种可信分布式服务器集群的联邦学习方法,其中,所述方法包括:
多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播。
在一种实现方式中,所述多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练,包括:
多个服务器预先建立通信连接;
每个服务器选择在当前轮次各自对应的客户端集合,并将目标模型广播至所述客户端集合中的各个客户端,以使所述客户端利用本地数据对目标模型进行训练后得到当前轮次训练结果。
在一种实现方式中,所述当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果,包括:
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果。
在一种实现方式中,所述在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果,包括:
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果;
当获取到的第一聚合结果的数量大于预设数量阈值时,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
在一种实现方式中,所述当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播,包括:
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播,并获得下一轮次训练结果。
在一种实现方式中,所述各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播的同时,还包括:
各个所述跟随者服务器对所述第二聚合结果进行共识;
若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中。
在一种实现方式中,各个所述跟随者服务器对所述第二聚合结果进行共识之后,还包括:
若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,并将区块链中保存的已更新目标模型作为下一轮次的目标模型进行广播。
在一种实现方式中,所述方法还包括:
当所述目标模型达到收敛或者所述目标模型的训练轮次达到预设阈值时,结束联邦学习。
本发明还公开了一种可信分布式服务器集群的联邦学习系统,所述系统包括多个服务器,各个服务器之间建立通信连接;每个服务器包括:
广播模块,用于确定在当前轮次对应的客户端集合,并将目标模型广播至对应的客户端集合中的客户端进行训练,以及用于将第二聚合结果作为下一轮次的目标模型进行广播;
第一聚合模块,用于当接收到对应的客户端上传的当前轮次训练结果,将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
第二聚合模块,用于当作为当前轮次中经选举产生的领导者服务器时,获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
更新模块,用于当作为当前轮次的领导者服务器时将所述第二聚合结果发送至各个跟随者服务器。
本发明还公开了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被执行以用于实现如上所述的可信分布式服务器集群的联邦学习方法的步骤。
本发明提供了可信分布式服务器集群的联邦学习方法、系统及存储介质,所述方法包括:多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果,在可信执行环境下对各个第一聚合结果进行聚合,得到第二聚合结果;当前轮次的领导者服务器将第二聚合结果发送至各个跟随者服务器后,每个服务器将第二聚合结果作为下一轮次的目标模型进行广播。本发明通过多个服务器在可信执行环境下对客户端的数据进行聚合,同时每轮再选取唯一的领导服务器对所有服务器的聚合结果进行二次聚合,可有效避免可信执行环境下联邦学习的安全问题。
附图说明
图1是现有技术中联邦学习模型。
图2是现有技术中联邦学习攻击者模型(客户端)。
图3是现有技术中联邦学习攻击者模型(服务器)。
图4是现有技术中联邦学习与可信执行环境结合示意图。
图5是本发明中可信分布式服务器集群的联邦学习的系统基础架构图。
图6是本发明中可信分布式服务器集群的联邦学习方法较佳实施例的流程图。
图7是本发明中可信分布式服务器集群的联邦学习系统较佳实施例中各个服务器的功能原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
伴随着深度学习神经网络的提出、算法改善和算力的提升、以及大数据的广泛应用,人工智能再一次迎来另一个高峰。然而想要大规模地运行和使用这些数据往往面临着极大的挑战。一方面,数据越集中,能力越大。不同场景不同组织的数据放到一起往往可以训练出相比于单体更强大更有力的模型。可另一方面,随着大数据的发展,重视数据隐私和安全已经成为一种世界性的趋势。联邦学习(Federated Learning)就是为解决传统机器学习方法所面临的数据困境的一种新的尝试。如图1所示,联邦学习旨在数据可用不可见,数据不出域的方法来确保数据在不泄漏的情况下能联合完成运算。联邦学习具有以下特点:
在联邦学习的框架下,各参与者能够公平平等地参与联合计算。
数据保留在本地,即便在运行过程中,也没有任何敏感信息出域从而泄漏隐私。
能够保证参与各方在保持独立性的情况下,实现信息与模型参数的交换从而完成联合学习。同时,最终的建模效果与传统深度学习算法建模效果相差不大。
但联邦学习并不能完全保证机器学习的安全性,现阶段如何为联邦学习找到可信第三方从而完成学习流程是联邦学习的关键问题。
可信执行环境(TEE)是CPU上的一块受保护区域。这块区域的作用是给数据和代码的执行提供一个更安全的空间,并保证它们的机密性和完整性。可信执行环境是一个与设备操作系统并行,同时又相互隔离的执行环境。可信执行环境的存在可以保护其中的数据免受一般的软件攻击。应用广泛的主流技术包括虚拟化技术如Intel VT(Intelvirtualization technology)与AMD SVM(AMD secure virtual machine)技术、基于可信平台模块(trusted platform module,简称TPM)的可信计算技术如Intel TXT(Inteltrusted execution technology)、嵌入式平台ARM TrustZone安全扩展等。TEE在安全方面注重如下:
与操作系统并行且隔离的环境,使得运行在其中的程序免于暴漏于恶意主机所带来各种攻击之下。
隐私,个人信息如联系人、短消息、照片、视频等,需要不被盗窃、丢失或者受到恶意软件的攻击。
内容保护,对于DRM而言,条件接收服务或者内容保护的许可等也倾向于使用硬件级别的保护。
公司数据,比如登陆VPN的凭据等的保护。
连接性保护,在3G,4G,wifi,乃至NFC等方面,密钥资源的保护。
金融风险,比如金融交易中的用户交互数据(交易内容,交易额,用户输入PIN等)。
在常见的联邦学习攻击者模型中,攻击者既可以是客户端(如图2所示)也可以是服务器(如图3所示)。当攻击者是客户端时,攻击者可以通过伪造上传数据来实现数据投毒攻击和后门攻击。而当攻击者是服务器时,攻击者可以直接伪造中间结果来实现模型投毒攻击,或者通过观察中间结果的方式来实现数据窃取攻击。
在这样的攻击者模型的基础上,将联邦学习和可信执行环境结合就是自然而然的决定。将联邦学习与可信执行环境结合可以从一定程度提供可信的第三方环境。将客户端和服务器都结合可信执行环境后可以让联邦学习具备不可篡改性和机密性,从而实现对攻击者制造投毒攻击和数据窃取攻击的防御。联邦学习与可信执行环境的结合是将联邦学习中的客户端和服务器分别结合可信执行环境,如图4所示。
然而,这样的第三方环境并不是无机可乘。原因就在于可信执行环境本身依旧存在着很多安全隐患,单一的可信执行环境与联邦学习的结合仍然不足以充当联邦学习中的可信第三方。下面提出几个攻击者模型来针对现有的结合机制来证明现有可信第三方的不足,攻击者模型主要利用了可信执行环境在I/O控制上的不足和现有联邦学习防御机制上的不足。
假定多方客户端想找到一个可信第三方来实现联邦学习,但是考虑到找到可信第三方的复杂性,客户端利用可信执行环境来确保第三方的可信度。同时,为了保证客户端用户不会通过伪造数据等方式攻击全局模型,假定在服务器部署了多种算法防御机制,包括Krum,multi-krum等。
攻击者一共分成两部分,第一部分就是在服务器可信执行环境外的恶意者,恶意者没办法直接操控数据或是篡改数据,而只能通过控制I/O的办法来影响数据。第二部分就是少量的客户端恶意者,而客户端恶意者无法单独通过自身的数据来影响最终结果(考虑到服务器部署了防御机制)。
接下来将证明通过看似不可能产生攻击的恶意者组合来攻击结合了可信执行环境后的联邦学习模型。
对于正常的联邦学习模型来说,每个epoch服务器会选择特定数量的client参与训练从而逐步训练出模型。考虑一个具备两千个client的联邦学习场景,服务器每轮从中选出50个client来完成一个epoch。对于少量的恶意client而言,由于每轮选取的client数量不足以保证恶意client被选中,同时现有理论也说明少部分client无法有效完成对全局模型的投毒,所以这样的攻击不能成功。但是考虑到有服务器的恶意者存在,恶意者可以通过操控I/O来任意选择每轮参与到训练的客户端,从而保证恶意客户端在每轮都可以被选中。
同理,恶意服务器同样可以利用I/O来操控想要参与的恶意客户端。对于现有的成员推理攻击而言,客户端只能判断出是否在大规模的参与者中存在对应数据,但是无法判断出具体是哪个参与者所拥有的数据。通过I/O数据操控,恶意客户端可以配合恶意服务器操控参与者,来保证参与者是由大量的恶意参与者和一个目标参与者构成,从而可以推断出参与者的数据组成。
所以仅仅将可信执行环境和联邦学习单一结合仍然无法提供有效的可信第三方环境,这样的联邦学习架构依旧会面临着潜在的安全风险。
为了解决现有技术的问题,本发明提供一种可信分布式服务器集群的联邦学习方法,所述方法包括:多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果,在可信执行环境下对各个第一聚合结果进行聚合,得到第二聚合结果;当前轮次的领导者服务器将第二聚合结果发送至各个跟随者服务器后,每个服务器将第二聚合结果作为下一轮次的目标模型进行广播。本发明通过多个服务器在可信执行环境下对客户端的数据进行聚合,同时每轮再选取唯一的领导服务器对所有服务器的聚合结果进行二次聚合,可有效避免可信执行环境下联邦学习的安全问题。
本发明提出了可信分布式服务器集群的联邦学习方法,通过将可信执行环境与区块链结合来为联邦学习建立可信的第三方,从而保证联邦学习的安全性。本发明用分布式的区块链架构来重塑联邦学习模型,同时设计并提出了新的共识协议来实现分布式机器学习。本发明为多方安全学习提出了一个新的通用架构,当多个参与者(无论是大型数据中心或是小型用户设备)想要联合学习时,他们总会需要一个第三方来参与协助对各方运算结果的聚合。传统的联邦学习架构有极大的安全问题和性能限制,所以本发明提出一个可信分布式服务器集群的联邦学习架构,此架构安全且实用。理论上本发明可以适配全部的多方安全学习的情况,无论是医疗数据的联合学习(医院和研究机构等)或是金融机构的联合学习(包括银行和投资机构等)都可以适用。本质上本发明提出了一个新的联合学习架构来保证多方联合学习过程的安全性和有效性。
请参见图5,图5是本发明中可信分布式服务器集群的联邦学习的系统基础架构图。本发明的基础架构一共可以分成三个基本部分,分别是客户端,服务器和区块链。三个部分分别负责系统中的不同工作从而完成安全实用的联邦学习工作。
在客户端中,本发明遵循传统的联邦学习架构,允许客户端为不同的用户设备,包括了个人主机、移动设备、物联网设备等在内的全部可以进行本地训练运算的个人设备。同时,考虑到可信执行环境的部署在用户端的局限性,本发明假定在用户端的设备是不具备可信执行环境,同时也意味着存在被攻击者攻击的潜在风险。
请参见图6,图6是本发明中可信分布式服务器集群的联邦学习方法较佳实施例的流程图。如图6所示,本发明实施例所述的可信分布式服务器集群的联邦学习方法包括:
步骤S100、多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练。
具体地,本发明存在多个服务器,每个服务器有一个对应的客户端集合,该客户端集合中含有多个客户端。每个服务器会根据情况任选特定数量的客户端参与每一轮的学习流程。当多个服务器确定在当前轮次各自的客户端集合时,服务器通过广播的方式将目标模型广播至对应的客户端集合中的客户端进行训练。本发明通过设置多个服务器,减少了单个服务器受攻击的概率,保证了可信执行环境下联邦学习的安全性,提高了联邦学习的效率。
在一种实施例中,所述步骤S100具体包括:
步骤S110、多个服务器预先建立通信连接;
步骤S120、每个服务器选择在当前轮次各自对应的客户端集合,并将目标模型广播至所述客户端集合中的各个客户端,以使所述客户端利用本地数据对目标模型进行训练后得到当前轮次训练结果。
具体地,每轮次服务器都会将目标模型广播至对应客户端集合中的各个客户端。多个服务器预先建立通信连接,各组服务器和对应客户端之间数据传输互不影响,有效保证了联邦学习的质量。
如图6所示,本实施例所述的可信分布式服务器集群的联邦学习方法还包括:
步骤S200、当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果。
具体地,对于客户端而言,在参与到某个特定服务器的学习流程之后,会根据本地数据对服务器共享的模型进行训练,并将训练好的结果发到对应的服务器中,由服务器进行下一步操作。即当客户端完成当前轮次训练后,将当前轮次的训练结果传输至对应的各个服务器,服务器针对客户端上传的训练结果开始第一轮聚合。本发明同时存在多个服务器对客户端的数据进行并行聚合,提高了联邦学习的效率。
在一种实施例中,所述步骤S200具体包括:
步骤S210、当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
步骤S220、每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果。
具体地,服务器每个服务器都部署在可信执行环境下,在收到客户端上传的训练结果后会在本地对客户端的上传内容进行过滤,以防恶意客户端上传恶意数据实现投毒。对客户端数据进行过滤使用的是可信执行环境内嵌的安全算法。在过滤后会舍弃属于恶意数据的当前轮次训练结果,对剩余的训练结果进行聚合。本发明通过使用可信执行环境内嵌的安全算法对客户端数据进行过滤,进一步提升了在可信执行环境下进行联邦学习的安全性,有效避免了单一服务器上的可信执行环境安全问题。
如图6所示,本实施例所述的可信分布式服务器集群的联邦学习方法还包括:
步骤S300、在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
具体地,每个轮次会有一个当轮次的领导者服务器,所有服务器会将一轮聚合后的结果发送给当轮次的领导者服务器。在当前轮次,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。本发明通过多个服务器对客户端的数据进行并行聚合,每轮再选取唯一的领导服务器对所有服务器的聚合结果进行二次聚合,服务器的每个服务器都配置可信执行环境的可信服务来确保两次聚合阶段的正确性,可以最大化的避免单一服务器上可信执行环境的安全问题的同时大幅度提升服务器的效率。
在一种实施例中,所述步骤S300具体包括:
步骤S310、在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果;
步骤S320、当获取到的第一聚合结果的数量大于预设数量阈值时,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
具体地,预设数量阈值,当领导者服务器在收集满一定数量的数据后,对收到的所有追随者服务器数据进行第二次聚合。本发明通过预设数量阈值,在领导者服务器获取到的第一聚合结果的数量大于预设数量阈值时,进行二轮聚合,有效的避免了资源的浪费,可更科学合理的利用服务器资源。
如图6所示,本实施例所述的可信分布式服务器集群的联邦学习方法还包括:
步骤S400、当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播。
具体地,第二聚合结果是在可信执行环境下聚合的,并且是由领导者服务器对第一聚合结果进行的再次聚合,可有效保证聚合结果的正确性及安全性。本发明通过将第二聚合结果作为下一轮次的目标模型进行广播,可有效的保证可信执行环境下的联邦学习的安全性和准确性。
在一种实施例中,所述步骤S400具体包括:
步骤S410、当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
步骤S420、若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播,并获得下一轮次训练结果。
具体地,因各个服务器均配置可信执行环境的可信服务,故当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行简单验证消息的正确性后就发给对应的客户端即刻开始下一轮学习过程。本发明因各个服务器均配置可信执行环境的可信服务,保证了聚合结果的正确性,故当各个跟随者服务器接收到第二聚合结果后,简单验证消息的正确性即可进行下一轮学习,提高了可信执行环境下联邦学习的效率。
在一种实施例中,所述各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播的同时,还包括:
步骤A1、各个所述跟随者服务器对所述第二聚合结果进行共识;
步骤A2、若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中。
具体地,当各个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播的同时开始共识流程。领导者服务器根据聚合结果提出共识请求,由其他服务器进行投票。因为可信执行环境的存在,领导者服务器的聚合结果可以保证正确性,各个服务器只需要简单验证消息的正确性后就可以完成共识。完成共识后,服务器将模型提交到区块链中。每一轮的共识流程后,当轮次通过投票的二次聚合结果都会生成区块后提交到区块链上。同时,为了确保共识流程不会影响学习流程的效率,本发明提出了共识的并行化架构来确保每轮次的共识最小限度的影响聚合效率。在结果上链后,每个服务器利用聚合结果来进行下一轮训练。本发明通过将共识和下一轮次广播同时进行,进一步提高了在可信执行环境下联邦学习的效率。
在一种实施例中,在共识环节,服务器的各个服务器依次充当领导者将自身的模型发给其他的服务器进行共识。
在一种实施例中,所述步骤A1之后,还包括:
若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,并将区块链中保存的已更新目标模型作为下一轮次的目标模型进行广播。
具体地,若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,所述下一轮次训练结果不参与后面轮次的训练,并将区块链中保存的已更新目标模型作为下一轮次的目标模型进行广播,以便进行下一轮次的学习。
在一种实施例中,所述可信分布式服务器集群的联邦学习方法还包括:
当所述目标模型达到收敛或者所述目标模型的训练轮次达到预设阈值时,结束联邦学习。
具体地,在模型收敛或目标模型的训练轮次到达固定轮次后,完成学习和共识流程,结束联邦学习。
在一种实施例中,一种可信分布式服务器集群的联邦学习方法应用于医疗领域,所述方法包括:
多个服务器确定在当前轮次各自的客户端集合,并分别将目标医疗模型广播至对应的客户端集合中的客户端进行训练;
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标医疗模型进行广播。
所述多个服务器确定在当前轮次各自的客户端集合,并分别将目标医疗模型广播至对应的客户端集合中的客户端进行训练,包括:
多个服务器预先建立通信连接;
每个服务器选择在当前轮次各自对应的客户端集合,并将目标医疗模型广播至所述客户端集合中的各个客户端,以使所述客户端利用本地医疗数据对目标模型进行训练后得到当前轮次训练结果。
所述当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果,包括:
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果。
所述在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果,包括:
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果;
当获取到的第一聚合结果的数量大于预设数量阈值时,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
所述当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标医疗模型进行广播,包括:
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标医疗模型进行广播,并获得下一轮次训练结果。
所述各个服务器则将所述第二聚合结果作为下一轮次的目标医疗模型进行广播的同时,还包括:
各个所述跟随者服务器对所述第二聚合结果进行共识;
若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中。
各个所述跟随者服务器对所述第二聚合结果进行共识之后,还包括:
若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,并将区块链中保存的已更新目标医疗模型作为下一轮次的目标医疗模型进行广播。
一种可信分布式服务器集群的联邦学习方法应用于医疗领域,所述方法还包括:
当所述目标医疗模型达到收敛或者所述目标医疗模型的训练轮次达到预设阈值时,结束联邦学习。
通过上述方法,将待检测的医疗数据输入到经联邦学习的目标医疗模型中,得到医疗检测结果。
在一种实施例中,一种可信分布式服务器集群的联邦学习方法应用于金融领域,所述方法包括:
多个服务器确定在当前轮次各自的客户端集合,并分别将目标金融模型广播至对应的客户端集合中的客户端进行训练;
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标金融模型进行广播。
所述多个服务器确定在当前轮次各自的客户端集合,并分别将目标金融模型广播至对应的客户端集合中的客户端进行训练,包括:
多个服务器预先建立通信连接;
每个服务器选择在当前轮次各自对应的客户端集合,并将目标金融模型广播至所述客户端集合中的各个客户端,以使所述客户端利用本地金融数据对目标模型进行训练后得到当前轮次训练结果。
所述当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果,包括:
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果。
所述在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果,包括:
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果;
当获取到的第一聚合结果的数量大于预设数量阈值时,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
所述当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标金融模型进行广播,包括:
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标金融模型进行广播,并获得下一轮次训练结果。
所述各个服务器则将所述第二聚合结果作为下一轮次的目标金融模型进行广播的同时,还包括:
各个所述跟随者服务器对所述第二聚合结果进行共识;
若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中。
各个所述跟随者服务器对所述第二聚合结果进行共识之后,还包括:
若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,并将区块链中保存的已更新目标金融模型作为下一轮次的目标金融模型进行广播。
将待检测的金融数据输入到经联邦学习的目标医疗模型中,得到医疗检测结果,还包括:
当所述目标金融模型达到收敛或者所述目标金融模型的训练轮次达到预设阈值时,结束联邦学习。
通过上述方法,将待检测的金融数据输入到经联邦学习的目标金融模型中,得到金融数据检测结果。
在一种实施例中,如图7所示,基于上述可信分布式服务器集群的联邦学习方法,本发明还相应提供了一种可信分布式服务器集群的联邦学习系统,所述系统包括多个服务器,各个服务器之间建立通信连接;每个服务器包括:
广播模块100,用于确定在当前轮次对应的客户端集合,并将目标模型广播至对应的客户端集合中的客户端进行训练,以及用于将第二聚合结果作为下一轮次的目标模型进行广播;
第一聚合模块200,用于当接收到对应的客户端上传的当前轮次训练结果,将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
第二聚合模块300,用于当当前服务器作为当前轮次中经选举产生的领导者服务器时,获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
更新模块400,用于当当前服务器作为当前轮次的领导者服务器时将所述第二聚合结果发送至各个跟随者服务器。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被执行以用于实现如上所述的可信分布式服务器集群的联邦学习方法的步骤。
综上所述,本发明提供了可信分布式服务器集群的联邦学习方法、系统及存储介质,所述方法包括:多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果,在可信执行环境下对各个第一聚合结果进行聚合,得到第二聚合结果;当前轮次的领导者服务器将第二聚合结果发送至各个跟随者服务器后,每个服务器将第二聚合结果作为下一轮次的目标模型进行广播。本发明通过多个服务器在可信执行环境下对客户端的数据进行聚合,同时每轮再选取唯一的领导服务器对所有服务器的聚合结果进行二次聚合,可有效避免可信执行环境下联邦学习的安全问题。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于可信分布式服务器集群的联邦学习方法,其特征在于,所述方法包括:
多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练;
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播;
所述当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果,包括:
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果;
所述当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播,包括:
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播,并获得下一轮次训练结果;
所述各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播的同时,还包括:
各个所述跟随者服务器对所述第二聚合结果进行共识;
若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中;
其中,使用可信执行环境内嵌的安全算法对客户端上传的当前轮次训练结果进行过滤。
2.根据权利要求1所述的基于可信分布式服务器集群的联邦学习方法,其特征在于,所述多个服务器确定在当前轮次各自的客户端集合,并分别将目标模型广播至对应的客户端集合中的客户端进行训练,包括:
每个服务器选择在当前轮次各自对应的客户端集合,并将目标模型广播至所述客户端集合中的各个客户端,以使所述客户端利用本地数据对目标模型进行训练后得到当前轮次训练结果。
3.根据权利要求1所述的基于可信分布式服务器集群的联邦学习方法,其特征在于,所述在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果,包括:
在当前轮次中经选举产生的领导者服务器获取跟随者服务器上的第一聚合结果;
当获取到的第一聚合结果的数量大于预设数量阈值时,领导者服务器在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果。
4.根据权利要求1所述的基于可信分布式服务器集群的联邦学习方法,其特征在于,各个所述跟随者服务器对所述第二聚合结果进行共识之后,还包括:
若共识失败,各个服务器则舍弃对应的所述下一轮次训练结果,并将区块链中保存的已更新目标模型作为下一轮次的目标模型进行广播。
5.根据权利要求1所述的基于可信分布式服务器集群的联邦学习方法,其特征在于,所述方法还包括:
当所述目标模型达到收敛或者所述目标模型的训练轮次达到预设阈值时,结束联邦学习。
6.一种基于可信分布式服务器集群的联邦学习系统,其特征在于,所述系统包括多个服务器,各个服务器之间建立通信连接;每个服务器包括:
广播模块,用于确定在当前轮次对应的客户端集合,并将目标模型广播至对应的客户端集合中的客户端进行训练,以及用于将第二聚合结果作为下一轮次的目标模型进行广播;
第一聚合模块,用于当接收到对应的客户端上传的当前轮次训练结果,将对应的当前轮次训练结果进行聚合,得到第一聚合结果;
第二聚合模块,用于当当前服务器作为当前轮次中经选举产生的领导者服务器时,获取跟随者服务器上的所述第一聚合结果,在可信执行环境下对各个所述第一聚合结果进行聚合,得到第二聚合结果;
更新模块,用于当当前服务器作为当前轮次的领导者服务器时将所述第二聚合结果发送至各个跟随者服务器;
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器将对应的当前轮次训练结果进行聚合,得到第一聚合结果,包括:
当各个服务器接收到对应的客户端上传的当前轮次训练结果,每个服务器对接收到的各个当前轮次训练结果进行过滤,舍弃属于恶意数据的当前轮次训练结果;
每个服务器将通过过滤的当前轮次训练结果进行聚合,得到第一聚合结果;
所述当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,每个服务器将所述第二聚合结果作为下一轮次的目标模型进行广播,包括:
当前轮次的所述领导者服务器将所述第二聚合结果发送至各个跟随者服务器后,各个所述跟随者服务器对所述第二聚合结果进行校验;
若校验通过,各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播,并获得下一轮次训练结果;
所述各个服务器则将所述第二聚合结果作为下一轮次的目标模型进行广播的同时,还包括:
各个所述跟随者服务器对所述第二聚合结果进行共识;
若共识成功,各个服务器则根据下一轮次训练结果进行下一轮次的聚合,并将当前轮次的第二聚合结果提交到区块链中;
其中,使用可信执行环境内嵌的安全算法对客户端上传的当前轮次训练结果进行过滤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序能够被执行以用于实现如权利要求1~5任意一项所述的基于可信分布式服务器集群的联邦学习方法的步骤。
CN202310643416.4A 2023-06-01 2023-06-01 可信分布式服务器集群的联邦学习方法、系统及存储介质 Active CN116384514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310643416.4A CN116384514B (zh) 2023-06-01 2023-06-01 可信分布式服务器集群的联邦学习方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310643416.4A CN116384514B (zh) 2023-06-01 2023-06-01 可信分布式服务器集群的联邦学习方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN116384514A CN116384514A (zh) 2023-07-04
CN116384514B true CN116384514B (zh) 2023-09-29

Family

ID=86979082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310643416.4A Active CN116384514B (zh) 2023-06-01 2023-06-01 可信分布式服务器集群的联邦学习方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116384514B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN114330757A (zh) * 2021-12-02 2022-04-12 刘维炜 一种群体学习方法、装置、区块链节点及存储介质
CN115510494A (zh) * 2022-10-13 2022-12-23 贵州大学 一种基于区块链与联邦学习的多方安全数据共享方法
CN115544557A (zh) * 2022-09-19 2022-12-30 哈尔滨工业大学(深圳) 一种基于联邦学习的区块链人脸识别系统
CN116049897A (zh) * 2023-03-30 2023-05-02 北京华隐熵策数据科技有限公司 基于线性同态哈希和签密的可验证隐私保护联邦学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4046333A1 (en) * 2019-10-15 2022-08-24 Telefonaktiebolaget Lm Ericsson (Publ) Method for dynamic leader selection for distributed machine learning
US20220043920A1 (en) * 2020-08-06 2022-02-10 Fujitsu Limited Blockchain-based secure federated learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN114330757A (zh) * 2021-12-02 2022-04-12 刘维炜 一种群体学习方法、装置、区块链节点及存储介质
CN115544557A (zh) * 2022-09-19 2022-12-30 哈尔滨工业大学(深圳) 一种基于联邦学习的区块链人脸识别系统
CN115510494A (zh) * 2022-10-13 2022-12-23 贵州大学 一种基于区块链与联邦学习的多方安全数据共享方法
CN116049897A (zh) * 2023-03-30 2023-05-02 北京华隐熵策数据科技有限公司 基于线性同态哈希和签密的可验证隐私保护联邦学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IoT: A Decentralized Trust Management System Using Blockchain-Empowered Federated Learning;Lirui Bi等;《sustainability》;第1-25页 *

Also Published As

Publication number Publication date
CN116384514A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Saad et al. Exploring the attack surface of blockchain: A systematic overview
CN108235805A (zh) 账户统一方法、装置及存储介质
Tug et al. CBSigIDS: towards collaborative blockchained signature-based intrusion detection
CN110417790B (zh) 区块链实名制排队系统及方法
CN108880822A (zh) 一种身份认证方法、装置、系统及一种智能无线设备
US20200204338A1 (en) Securing public key cryptographic algorithms
CN104980449B (zh) 网络请求的安全认证方法及系统
Chen et al. A provably secure key transfer protocol for the fog-enabled Social Internet of Vehicles based on a confidential computing environment
CN113849815B (zh) 一种基于零信任和机密计算的统一身份认证平台
CN115499379B (zh) 一种基于区块链的信息交互方法、装置、设备及介质
Puthal et al. Decision tree based user-centric security solution for critical IoT infrastructure
CN111711607B (zh) 一种基于区块链的流式微服务可信加载与验证方法
CN114143343A (zh) 雾计算环境中远程访问控制系统、控制方法、终端及介质
Pathak et al. TABI: Trust-based ABAC mechanism for edge-IoT using blockchain technology
US10970180B2 (en) Methods and apparatus for verifying processing results and/or taking corrective actions in response to a detected invalid result
Sharma et al. A blockchain based secure communication framework for community interaction
CN111371588A (zh) 基于区块链加密的sdn边缘计算网络系统、加密方法及介质
Smahi et al. BV-ICVs: A privacy-preserving and verifiable federated learning framework for V2X environments using blockchain and zkSNARKs
Alexander et al. Cybersecurity, information assurance, and big data based on blockchain
Pon et al. Blockchain based cloud service security architecture with distributed machine learning for smart device traffic record transaction
Akram et al. Blockchain-based privacy-preserving authentication protocol for UAV networks
CN116384514B (zh) 可信分布式服务器集群的联邦学习方法、系统及存储介质
US20230403288A1 (en) Securing data in a metaverse environment using simulated data interactions
Roy et al. Fuzzy miner selection toward Blockchain-based secure communication using multifactor authentication
CN113676494B (zh) 集中式数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant