CN117251726A - 公共卫生事件检测模型训练方法、检测方法、装置及系统 - Google Patents

公共卫生事件检测模型训练方法、检测方法、装置及系统 Download PDF

Info

Publication number
CN117251726A
CN117251726A CN202311091495.9A CN202311091495A CN117251726A CN 117251726 A CN117251726 A CN 117251726A CN 202311091495 A CN202311091495 A CN 202311091495A CN 117251726 A CN117251726 A CN 117251726A
Authority
CN
China
Prior art keywords
model
public health
gradient data
training
health event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311091495.9A
Other languages
English (en)
Inventor
李雅文
刘星辰
梁美玉
李昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202311091495.9A priority Critical patent/CN117251726A/zh
Publication of CN117251726A publication Critical patent/CN117251726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请提供公共卫生事件检测模型训练方法、检测方法、装置及系统，方法包括：向智能合约单元发送包含哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取隐私保护梯度数据并与全局分类模型进行聚合；基于本地公共卫生事件训练数据对全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，再将得到的隐私保护梯度数据传输至分布式存储系统。本申请能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。

Description

公共卫生事件检测模型训练方法、检测方法、装置及系统
技术领域
本申请涉及事件检测技术领域，尤其涉及公共卫生事件检测模型训练方法、检测方法、装置及系统。
背景技术
公共卫生事件也可以称为公共卫生突发事件，一般指突发公共卫生事件应急机制。突发公共卫生事件应急机制是为有效预防、及时控制和消除突发公共卫生事件的危害，保障公众身体健康与生命安全，维护正常的社会秩序。随着机器学习的飞速发展，为了及时有效的对公共卫生事件进行检测，如何采用机器学习的方式来实现自动化的公共卫生事件检测已成为当前领域中的研究重点。
目前，在现有的公共卫生事件检测方式中，可以采用联邦学习系统进行用于进行公共卫生事件检测的分类模型的训练，以确保训练参与者本地数据隐私以及彼此之间的数据共享安全可靠。但现有的联邦学习方式中，一旦某个训练参与者发生故障，则会影响整个公共卫生事件检测模型的训练效率和可靠性。
因此，当前亟需设计一种能够在保证训练参与者本地数据隐私的基础上，有效提高公共卫生事件检测模型的训练效率和可靠性的方式。
发明内容
鉴于此，本申请实施例提供了公共卫生事件检测模型训练方法、检测方法、装置及系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本申请的一个方面提供了一种公共卫生事件检测模型训练方法，包括：
向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；
若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
在本申请的一些实施例中，在所述得到所述分类模型的隐私保护梯度数据之后，还包括：
若确定预设的迭代过程未结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并获取该隐私保护梯度数据唯一对应的哈希值；
根据所述哈希值生成对应的即时异步聚合请求以启动下一轮迭代。
在本申请的一些实施例中，所述获取该隐私保护梯度数据唯一对应的哈希值，包括：
在本地计算并存储当前的所述隐私保护梯度数据唯一对应的哈希值；
和/或，
接收并存储所述分布式存储系统发送的所述隐私保护梯度数据唯一对应的哈希值。
在本申请的一些实施例中，所述智能合约单元在得到聚合后分类模型对应的全局模型梯度数据之后，还将该全局模型梯度数据存储至所述分布式存储系统中，并发出该全局模型梯度数据唯一对应的哈希地址；
相对应的，所述获取当前的所述全局模型梯度数据，包括：
接收所述智能合约单元发送的全局模型梯度数据唯一对应的哈希地址；
根据所述全局模型梯度数据唯一对应的哈希地址，自所述分布式存储系统调取该全局模型梯度数据。
在本申请的一些实施例中，所述将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据，包括：
对训练得到的分类模型进行梯度下降处理，以得到所述分类模型对应的梯度数据；
基于预设的自适应差分隐私优化算法对所述分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据。
本申请的第二个方面提供了一种公共卫生事件检测方法，包括：
接收目标文本数据；
将所述目标文本数据输入预设的公共卫生事件检测模型，以根据该公共卫生事件检测模型的输出确定所述目标文本数据对应的公共卫生事件检测结果，其中，所述公共卫生事件检测模型预先基于所述的公共卫生事件检测模型训练方法训练得到。
本申请的第三个方面提供了一种公共卫生事件检测模型训练装置，包括：
异步聚合模块，用于向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
本地训练及隐私优化模块，用于获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；
模型生成模块，用于若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
本申请的第四个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的公共卫生事件检测模型训练方法，和/或，用于实现所述的公共卫生事件检测方法。
本申请的第五个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的公共卫生事件检测模型训练方法，和/或，用于实现所述的公共卫生事件检测方法。
本申请的第六个方面提供了一种异步联邦学习系统，包括：各个联邦学习节点、分别与各个联邦学习节点之间通信连接的分布式存储系统和私有区块链网络中的智能合约单元；所述分布式存储系统与所述智能合约单元之间通信连接；
所述联邦学习节点用于实现所述的公共卫生事件检测模型训练方法，和/或，用于实现所述的公共卫生事件检测方法；
所述智能合约单元用于在接收到所述联邦学习节点发送的包含有一哈希值的即时异步聚合请求时，自所述分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
所述分布式存储系统用于存储所述联邦学习节点发送的所述隐私保护梯度数据以及所述智能合约单元发送的全局模型梯度数据。
本申请提供的公共卫生事件检测模型训练方法，通过向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型，能够降低在联邦学习框架中因部分节点断联引起的联邦学习任务的失败可能性，并能够有效缓解因引入智能合约而导致的模型计算量的增大，并能够有效减少联邦节点相互等待聚合的时间，大幅降低聚合梯度所需要的传输的时间，并能够优化引入智能合约而可能造成的联邦学习场景下的隐私问题，实现高效安全的联邦模型的隐私安全，也就是说，本申请提供的公共卫生事件检测模型训练方法能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
本申请的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本申请的实践而获知。本申请的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本申请实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本申请能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。附图中的部件不是成比例绘制的，而只是为了示出本申请的原理。为了便于示出和描述本申请的一些部分，附图中对应部分可能被放大，即，相对于依据本申请实际制造的示例性装置中的其它部件可能变得更大。在附图中：
图1为本申请一实施例中的公共卫生事件检测模型训练方法的第一种流程示意图。
图2为本申请一实施例中的公共卫生事件检测模型训练方法的第二种流程示意图。
图3为本申请一实施例中的公共卫生事件检测模型训练方法的第三种流程示意图。
图4为本申请一实施例中的公共卫生事件检测方法的流程示意图。
图5为本申请一实施例中的公共卫生事件检测模型训练装置的结构示意图。
图6为本申请应用实例中的应用基于智能合约和联邦存储的异步联邦学习系统实现的异步联邦学习方法的逻辑示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本申请做进一步详细说明。在此，本申请的示意性实施方式及其说明用于解释本申请，但并不作为对本申请的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本申请，在附图中仅仅示出了与根据本申请的方案密切相关的结构和/或处理步骤，而省略了与本申请关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本申请的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
机器学习已经成为了当代人工智能技术的核心。然而，传统的机器学习方法往往需要大量的数据来训练可用的模型，这往往会面临数据保护法的限制以及数据泄露的风险。近年来，随着计算设备和互联网的普及，分布式设备中所存储的数据量越来越大、更具多样性，而这需要更加复杂的数据收集和资源分配。为了应对新的环境下的挑战，联邦学习被引入到了机器学习领域。联邦学习能够使得不同参与者之间协作训练一个机器学习模型，而不需要在此过程中明文传输和共享自己本地的数据。每个参与者都只需要访问本地数据(不同的参与者拥有不同的本地数据集)，并且在本地完成第一轮训练后，上传与各自相对应的更新某些参数信息来实现全局的优化。联邦学习的这种方式有助于提高分布式机器学习的效率，并降低了数据泄露的风险。联邦学习的研究发展已为社会和工业界提供了广泛的应用前景，涉及的领域包括图像分类，语音识别以及自然语言处理等。然而，传统的分布式机器学习方法也可能存在数据泄露的风险，已经不再适合于当今的分布式数据存储和数据保护法。
中央服务器聚合每个设备上传的模型或参数，进行模型更新。总的来说，联邦学习不需要设备共享数据，既能够完成全局模型的更新，同时又不会泄露数据隐私。
目前，许多研究人员正在探索如何在大规模分布式计算中心中有效地聚合数据，以实现精确的模型训练。联邦平均是最常用的方法之一，即通过各个分布式设备来更新全局模型，并将更新的模型或相关参数上传到中央服务器上进行平均。这种方法的主要挑战是单点故障和不确定性。由于中央服务器是单一的，因此如果出现故障，整个训练过程将失败。此外，在各个参与方之间可能存在不信任，这也增加了使用该方法的不确定性。虽然该方法在保护数据隐私方面取得了很大进展，但仍然需要进一步商榷和探索，以构建更加鲁棒和安全的联邦学习系统。研究人员积极寻找新的解决方案，以应对人工智能模型训练中的种种挑战。他们考虑采用去中心化的方法，将任务分配给多个节点进行处理，以消除单点故障的风险。此外，他们还在探索使用安全多方计算等技术，以确保参与者之间的数据共享安全可靠，从而提高模型训练的可靠性和安全性。
对于本申请针对的公共卫生事件检测场景，联邦学习(或联邦平均)算法是联邦学习领域中广泛应用的算法之一。在这个算法中，一个中央服务器负责维护全局模型，每轮开始时将全局模型发送给选定的参与方，然后将来自这些参与方上传的模型或更新进行聚合。虽然联邦平均算法已经被应用到金融、医疗和推荐等领域。但其应用受到非独立同分布数据的限制。同时单点如果发生故障将影响后续联邦训练的过程。
然而，由于现有的联邦学习方式中，一旦某个训练参与者发生故障，则会影响整个公共卫生事件检测模型的训练效率和可靠性。因此，本申请的设计人首先考虑将去中心化及智能合约应用到这一场景中，使用区块链技术来实现去中心化联邦学习的方法，具体可以使用私有区块链来存储全局公共卫生事件检测模型，并根据参与者上传的更新来更新公共卫生事件检测模型。这个过程中，区块链保证了更新的安全性，历史公共卫生事件检测模型以分布式的方式存储在参与的设备中。这样即使联邦学习系统中出现了训练节点故障，联邦学习系系统的运行也不会受到影响，因为历史模型仍然存在于区块链账本中，同时使用带智能合约的私有以太坊网络来存储模型的副本，并聚合其他参与者发送的模型更新。
智能合约是一种通过编写明确的条件语句来实现自动执行的技术，与传统合约相比具有许多优势。首先，智能合约公开透明，避免了因理解不同而产生的分歧和纠纷。其次，交易过程中合约无法被篡改或被拒绝，从而降低了人力资源成本并提高了交易效率。最后，存储在分布式区块链账户中的智能合约不会因为电力故障、节点故障等原因而出错或遗失。智能合约是一种成熟的去中心化技术，在联邦学习等领域也得到了广泛应用。
由于智能合约的优势，很多工作使用区块链技术来实现去中心化的联邦学习。这种方法可以克服传统联邦学习中的单点故障风险，即使某个参与者发生故障，整个系统仍然可以继续工作。通常情况下，参与者从区块链网络中下载最新的全局模型，然后在本地使用私有数据进行更新，并将权重更新与区块链网络共享。然而，由于区块链的计算和存储限制，这种方法可能会受到一些限制。
然而，在公共卫生事件检测模型训练过程中采用私有区块链网络和智能合约的方式中，引入智能合约也带来了隐私泄露的风险，同时包含了大量的复杂运算使联邦训练的性能和效率下降。因此，为了保证训练参与者本地数据隐私并有效提高公共卫生事件检测模型的训练效率和可靠性，本申请实施例分别提供一种公共卫生事件检测模型训练方法、公共卫生事件检测方法、用于执行该公共卫生事件检测模型训练方法的公共卫生事件检测模型训练装置、实体设备、计算机可读存储介质以及异步联邦学习系统，能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
在本申请的一个或多个实施例中，联邦学习是一种分布式机器学习技术，其核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡，即“数据可用不可见”、“数据不动模型动”的应用新范式。
在本申请的一个或多个实施例中，异步聚合是指在联邦学习场景下，采用非全体聚合的方式将部分节点模型自适应的聚合。
在本申请的一个或多个实施例中，联邦存储(分布式存储系统)是一种数据存储技术，通过网络使用的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在分布式节点上。
具体通过下述实施例进行详细说明。
基于此，本申请实施例提供一种可由公共卫生事件检测模型训练装置实现的公共卫生事件检测模型训练方法，参见图1，所述公共卫生事件检测模型训练方法具体包含有如下内容：
步骤100：向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据。
在本申请的一个或多个实施例中，所述公共卫生事件检测模型训练装置具体可以由联邦学习系统中的各个或任一个联邦学习节点(也可称为训练节点等)实现。
在本申请的一个或多个实施例中，智能合约单元是指包含有智能合约的功能模块，智能合约是一种旨在以信息化方式传播、验证或执行合同的计算机协议。智能合约允许在没有第三方的情况下进行可信交易，这些交易可追踪且不可逆转。
可以理解的是，所述公共卫生事件检测模型、全局分类模型、聚合后分类模型和分类模型等为同一模型架构的不同阶段的称谓。该模型架构可以采用深度神经网络DNN(DeepNeural Networks)或基于自注意力机制的神经网络模型Transformer等。
在步骤100中，包含在即时异步聚合请求的哈希值是公共卫生事件检测模型训练装置在发送即时异步聚合请求之前，预先基于本地的公共卫生事件训练数据对前一轮获取的全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化以得到所述分类模型的隐私保护梯度数据后得到的。
在步骤100中，智能合约单元执行智能合约代码来对隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行异步聚合。
其中，将存储在所述私有区块链网络中的当前的全局分类模型写为第t轮时的全局模型参数θt；将隐私保护梯度数据写为θt *；将聚合后分类模型写为第t+1轮的参数θt+1，智能合约单元通过执行下述公式(1)来对隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行异步聚合：
该模型更新方法使用了式(1)描述的公式
其中，θt表示第t轮时的全局模型参数，θt+1表示第t+1轮的参数，nt表示用于第t轮用于模型训练的公共卫生事件训练数据的样本总数，dt表示用来训练得到θt的公共卫生事件训练数据的样本数量，nt new表示第t轮之后加入本地数据集的公共卫生事件训练数据的新样本数量，nt+1是nt和nt new的和，使用自定义值a来控制第t轮的全局模型在第t+1轮模型更新时所占的比例，a值越大表示第t轮的全局模型更加重要，a值越小则表示参与者发送的本地模型(即隐私保护梯度数据)更加重要。使用异步方法可以使得系统更加灵活，适用于使用智能合约的联邦学习。
步骤200：获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据。
在步骤200中，公共卫生事件训练数据可以基于本地的历史公共卫生事件文本数据划分为训练集和验证集等。
可以理解的是，所述公共卫生事件训练数据包括：设有类型标签的各个公共卫生事件文本数据。
其中，所述类型标签包括：分别用于表示不同的各个公共卫生事件类型的标识和用于表示非公共卫生事件的标识。
所述公共卫生事件类型可以包括：信息安全事件、食品安全事件、公共卫生安全事件、公众出行规律安全事件、避难者行为安全事件、人员疏散的场地安全事件、建筑安全事件以及城市生命线安全事件等中的至少两项。例如可以只包含有：食品安全和公共卫生安全。
举例来说，所述历史公共卫生事件文本数据可以为“文本：酒瓶内壁粘附大量附着污渍，纸纤维物、沉淀异物等！不符合食品安全标准的要求！”，其对应的标签的标识可以为“食品卫生事件”。
步骤300：若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
具体来说，在步骤300中，公共卫生事件检测模型训练装置可以判断本轮次是否为训练轮次的最后一轮，若是，则确定预设的迭代过程已结束。
从上述描述可知，本申请实施例提供的公共卫生事件检测模型训练方法，能够降低在联邦学习框架中因部分节点断联引起的联邦学习任务的失败可能性，并能够有效缓解因引入智能合约而导致的模型计算量的增大，并能够有效减少联邦节点相互等待聚合的时间，大幅降低聚合梯度所需要的传输的时间，并能够优化引入智能合约而可能造成的联邦学习场景下的隐私问题，实现高效安全的联邦模型的隐私安全，也就是说，本申请提供的公共卫生事件检测模型训练方法能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
为了进一步提高公共卫生事件检测模型训练过程的有效性及效率，在本申请实施例提供的一种公共卫生事件检测模型训练方法中，参见图2，所述公共卫生事件检测模型训练方法中的步骤200之后还具体包含有如下内容：
步骤400：若确定预设的迭代过程未结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并获取该隐私保护梯度数据唯一对应的哈希值。
其中，哈希量化是一种可以将梯度上传和下载速度进行优化的方法。在异步联邦学习中，智能合约作为类似中心节点，分布式节点将梯度文件上传到智能合约上。然后智能合约控制刚上传的梯度立即与全局模型进行聚合，然后下发给当前的联邦节点。这个过程一般需要比较长的时间，因为上传和下载梯度文件需要消耗大量的时间，尤其是在大规模的异步联邦学习中。
哈希量化被引入到异步联邦学习中。该方法首先使用一个分布式的文件系统来存储梯度文件。在上传梯度文件之前，梯度文件会先被哈希计算，并且分布式文件系统会给出一个哈希值。然后该节点将梯度文件和这个哈希值一起以文件的形式上传到分布式文件系统上。
当有节点需要下载梯度时，会向智能合约节点请求下载梯度。智能合约节点会根据节点传来的哈希值从分布式文件系统中找到相应的文件进行下载，然后与全局模型聚合。这个方式是以哈希计算为基础的，因此被称为哈希量化。
哈希量化可以大大减少上传和下载梯度文件所需的时间和网络带宽。这是因为哈希计算是一个比较快速和高效的操作，其结果可以用来验证梯度的完整性和准确度。每个节点只需上传和下载少量的数据，因此可以大大减少节点之间的通信开销。哈希量化是一种可行的方法，可以优化异步联邦学习中梯度上传和下载的速度和网络带宽。它可以加快联邦学习的速度，并为跨设备、跨机构的合作提供了可能性。
步骤500：根据所述哈希值生成对应的即时异步聚合请求以启动下一轮迭代。而后返回步骤100。
为了进一步提高公共卫生事件检测模型训练过程的有效性及效率，在本申请实施例提供的一种公共卫生事件检测模型训练方法中，参见图3，所述公共卫生事件检测模型训练方法中的步骤400具体包含有如下内容：
步骤410：若确定预设的迭代过程未结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储。
步骤420：在本地计算并存储当前的所述隐私保护梯度数据唯一对应的哈希值。
和/或，步骤430：接收并存储所述分布式存储系统发送的所述隐私保护梯度数据唯一对应的哈希值。
在步骤430之前，将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储之后，该分布式存储系统生成所述隐私保护梯度数据唯一对应的哈希值，再将该哈希值发送至公共卫生事件检测模型训练装置。
也就是说，步骤420和步骤430可以择一执行或先后执行。若步骤420和步骤430先后执行，那么在此基础上，公共卫生事件检测模型训练装置还可以进一步比较通过步骤420自己计算的哈希值和步骤430接收到的分布式存储系统生成的哈希值之间是否一致，若一致采继续执行步骤500，若不一致，则自身本地重新计算哈希值并判断重新计算哈希值是否与步骤430接收到的分布式存储系统生成的哈希值一致，以进一步确保公共卫生事件检测模型训练过程的可靠性。
为了进一步提高公共卫生事件检测模型训练过程的有效性及效率，在本申请实施例提供的一种公共卫生事件检测模型训练方法中，所述智能合约单元在得到聚合后分类模型对应的全局模型梯度数据之后，还将该全局模型梯度数据存储至所述分布式存储系统中，并发出该全局模型梯度数据唯一对应的哈希地址；
相对应的，参见图3，所述公共卫生事件检测模型训练方法中的步骤200具体包含有如下内容：
步骤210：接收所述智能合约单元发送的全局模型梯度数据唯一对应的哈希地址；
步骤220：根据所述全局模型梯度数据唯一对应的哈希地址，自所述分布式存储系统调取该全局模型梯度数据。
步骤230：基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练。
步骤240：对训练得到的分类模型进行梯度下降处理，以得到所述分类模型对应的梯度数据。
在步骤240中，可以采用随机梯度下降算法或批量梯度下降算法等对训练得到的分类模型进行梯度下降处理。
步骤250：基于预设的自适应差分隐私优化算法对所述分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据。
在步骤250中，所述预设的自适应差分隐私优化算法具体可以采用基于AdaMod算法设计的自适应差分隐私优化算法，参见表1，具体可以包含有初始化阶段、以及步骤S1至S5。
可以保护神经网络模型训练数据集的隐私。该算法具有自适应更新学习速率的特性，可以加快模型的收敛速度，减少模型优化的迭代次数，并降低隐私损失。相对于其他非自适应更新学习速率的差分隐私优化算法，该算法的训练迭代次数更少，隐私损失更小。此外，该算法继承了AdaMod算法的优越性，降低了算法对初始学习速率的敏感性，从而使得模型训练更加灵活，缓解了差分隐私优化算法调参困难的问题。
表1
采用梯度修剪解决梯度爆炸和梯度消失问题。在计算完全部梯度后进行修剪，从而改善模型不好收敛的问题。在深度学习和差分隐私结合的场景下，梯度向量会被进行L2范数修剪，从而限制其值，达到控制算法敏感度的目的。
计算学习速率的过程基于梯度累积值的一阶矩和二阶矩估计值，并计算当前时刻的指数滑动平均值，最终选取较小值作为当前的学习速率。这个过程可以帮助控制模型参数的更新速率。
在差分隐私场景下，为了防止攻击者通过模型输出判断训练数据集中的某一个数据，会在最终累积的梯度值中添加高斯噪声。噪声的大小由梯度修剪阈值和噪声参数决定，其中梯度修剪阈值限制梯度向量的值，而噪声参数控制噪声的大小。
为了进一步提高公共卫生事件检测的有效性及准确性，在本申请实施例提供的一种公共卫生事件检测模型训练方法中，参见图4，所述公共卫生事件检测方法具体包含有如下内容：
步骤600：接收目标文本数据。
步骤700：将所述目标文本数据输入预设的公共卫生事件检测模型，以根据该公共卫生事件检测模型的输出确定所述目标文本数据对应的公共卫生事件检测结果，其中，所述公共卫生事件检测模型预先基于所述的公共卫生事件检测模型训练方法训练得到。
从上述描述可知，本申请实施例提供的公共卫生事件检测方法，能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
从软件层面来说，本申请还提供一种用于执行所述公共卫生事件检测模型训练方法中全部或部分内的公共卫生事件检测模型训练装置，参见图5，所述公共卫生事件检测模型训练装置具体包含有如下内容：
异步聚合模块10，用于向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
本地训练及隐私优化模块20，用于获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；
模型生成模块30，用于若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
本申请提供的公共卫生事件检测模型训练装置的实施例具体可以用于执行上述实施例中的公共卫生事件检测模型训练方法的实施例的处理流程，其功能在此不再赘述，可以参照上述公共卫生事件检测模型训练方法实施例的详细描述。
所述公共卫生事件检测模型训练装置进行公共卫生事件检测模型训练的部分可以在客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于公共卫生事件检测模型训练的具体处理。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备端之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
从上述描述可知，本申请实施例提供的公共卫生事件检测模型训练装置，能够降低在联邦学习框架中因部分节点断联引起的联邦学习任务的失败可能性，并能够有效缓解因引入智能合约而导致的模型计算量的增大，并能够有效减少联邦节点相互等待聚合的时间，大幅降低聚合梯度所需要的传输的时间，并能够优化引入智能合约而可能造成的联邦学习场景下的隐私问题，实现高效安全的联邦模型的隐私安全，也就是说，本申请提供的公共卫生事件检测模型训练方法能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
本申请实施例还提供了一种电子设备，该电子设备可以包括处理器、存储器、接收器及发送器，处理器用于执行上述实施例提及的公共卫生事件检测模型训练和/或公共卫生事件检测方法，其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。该接收器可通过有线或无线方式与处理器、存储器连接。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的公共卫生事件检测模型训练和/或公共卫生事件检测方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的公共卫生事件检测模型训练和/或公共卫生事件检测方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行实施例中的公共卫生事件检测模型训练和/或公共卫生事件检测方法。
在本申请的一些实施例中，用户设备可以包括处理器、存储器和收发单元，该收发单元可包括接收器和发送器，处理器、存储器、接收器和发送器可通过总线系统连接，存储器用于存储计算机指令，处理器用于执行存储器中存储的计算机指令，以控制收发单元收发信号。
作为一种实现方式，本申请中接收器和发送器的功能可以考虑通过收发电路或者收发的专用芯片来实现，处理器可以考虑通过专用处理芯片、处理电路或通用芯片实现。
作为另一种实现方式，可以考虑使用通用计算机的方式来实现本申请实施例提供的服务器。即将实现处理器，接收器和发送器功能的程序代码存储在存储器中，通用处理器通过执行存储器中的代码来实现处理器，接收器和发送器的功能。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述公共卫生事件检测模型训练和/或公共卫生事件检测方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
基于前述的公共卫生事件检测模型训练和/或公共卫生事件检测方法的实施例，本申请还提供一种异步联邦学习系统，所述异步联邦学习系统具体包含有如下内容：
各个联邦学习节点、分别与各个联邦学习节点之间通信连接的分布式存储系统和私有区块链网络中的智能合约单元；所述分布式存储系统与所述智能合约单元之间通信连接；
所述联邦学习节点用于执行所述的公共卫生事件检测模型训练方法，和/或，用于执行所述的公共卫生事件检测方法；
所述智能合约单元用于在接收到所述联邦学习节点发送的包含有一哈希值的即时异步聚合请求时，自所述分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
所述分布式存储系统用于存储所述联邦学习节点发送的所述隐私保护梯度数据以及所述智能合约单元发送的全局模型梯度数据。
从上述描述可知，本申请实施例提供的异步联邦学习系统，能够降低在联邦学习框架中因部分节点断联引起的联邦学习任务的失败可能性，并能够有效缓解因引入智能合约而导致的模型计算量的增大，并能够有效减少联邦节点相互等待聚合的时间，大幅降低聚合梯度所需要的传输的时间，并能够优化引入智能合约而可能造成的联邦学习场景下的隐私问题，实现高效安全的联邦模型的隐私安全，也就是说，本申请提供的公共卫生事件检测模型训练方法能够有效提高公共卫生事件检测模型的训练效率及可靠性，并能够在降低训练过程的计算复杂度的基础上，有效提高训练过程的数据隐私安全性，进而能够有效提高采用公共卫生事件检测模型进行公共卫生事件检测的结果有效性及可靠性。
为了进一步说明本申请提供的上述公共卫生事件检测模型训练方法及公共卫生事件检测方法，本申请还提供一种应用一种基于智能合约和联邦存储的异步联邦学习系统实现的异步联邦学习方法，提出了一种联邦学习场景下的异步聚合的策略，通过智能合约对联邦节点的控制，实现单一联邦节点上传梯度的同时及时聚合梯度，节约了真实情况下联邦节点相互等待聚合的时间；设计了一种联邦学习通信效率优化策略，在联邦节点之间的梯度传递阶段通过引入梯度的哈希量化策略，大幅降低聚合梯度所需要的传输的时间；引入了自适应差分隐私，因时选择隐私保护的力度，优化了引入智能合约而可能造成的联邦学习场景下的隐私问题，实现高效安全的联邦模型的隐私安全。
参见图6，应用基于智能合约和联邦存储的异步联邦学习系统实现的异步联邦学习方法具体包含有如下内容：
①联邦层的联邦学习节点将本地训练的分类模型的初始梯度传输至本地的自适应差分隐私层进行隐私优化处理。
②联邦学习节点将自适应差分隐私加密后的梯度数据发生至分布式存储层的分布式存储系统进行存储，以使分布式存储系统生成该梯度数据的哈希值(哈希地址)。
③联邦学习节点接收哈希地址。
④联邦学习节点向智能合约层发送包含有哈希地址的即时异步聚合请求。
⑤智能合约层执行智能合约代码，智能合约fx根据哈希获取请求端梯度(即根据哈希地址去分布式存储层查找唯一对应的梯度数据。
⑥智能合约fx对预存储的模型文件(前一轮的全局模型)和所述梯度数据进行聚合处理，并将对应得到的聚合后分类模型对应的全局模型梯度数据存储至分布式存储系统中，并将该全局模型梯度数据唯一对应的哈希地址发送给发出请求的联邦学习节点。
⑦联邦学习节点根据智能合约层发送的全局模型梯度数据唯一对应的哈希地址去分布式存储系统中获取聚合后分类模型对应的全局模型梯度数据，而后再基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据。
若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
若确定预设的迭代过程未结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并获取该隐私保护梯度数据唯一对应的哈希值，并根据所述哈希值生成对应的即时异步聚合请求以启动下一轮迭代。
具体来说，面向公共卫生突发事件检测的智能合约与联邦存储的异步联邦学习方法。该公共安全数据包括的文本数据以及标签数据。此类数据是偏向隐私，一般某一个节点偏向存在某一种标签的数据，比较少的拥有全部标签的数据，数据的分布是非独立同分布的。在训练时公共卫生安全数据通常会进行全局随机采样一部分作为全局的验证集。同时每个客户端都要对本地数据进行训练。共同训练一个可以识别公共卫生安全的模型。
智能合约与联邦存储的异步联邦学习方法采用了智能合约的思想，在异步联邦学习过程中实现全局联邦模型，并增加了抗攻击能力和安全性。参与者需至少在一个节点托管智能合约地址，执行模型训练和上传等过程。智能合约在所有部署的节点上运行，保证在节点发生故障时仍可持续工作。该方法采用异步聚合方式，允许任意时刻加入并上传模型更新，并不要求最少的参与者数量。同时，该方法引入联邦隐私保护，对模型进行自适应的差分隐私保护，从而保护数据隐私。
该方法的实现过程如下：首先，初始的全局模型从私有区块链网络发送到参与者的服务器中。参与者在本地执行梯度下降算法更新模型，然后上传到分布式文件存储系统中。接着，在本地的联邦节点传输到分布式文件系统的过程中，需要对其经过联邦隐私层，对其进行自适应的差分隐私的一个联邦隐私的保护。这样新发送到区块链并执行智能合约从而将模型存储在区块链中，当至少一个参与者的模型聚合到中心模型后，就可以根据接收到的即时异步聚合请求对其进行自适应的异步的联邦聚合策略。聚合更新并得到一个新的全局模型。在这个过程中，智能合约节点通过通信交换以太坊地址、公钥、模型哈希量化等信息，但不会交换模型。
综上所述，应用基于智能合约和联邦存储的异步联邦学习系统实现的异步联邦学习方法的优点在于，它能够保护数据隐私，同时提高安全性和抗攻击能力。此外，由于智能合约的特性，该方法为每一个参与者提供了一个不可篡改的全局模型历史记录，任何一个参与者都可以从部署在私有区块链网络中的智能合约中获取任意时刻的全局模型。该方法还采用了异步聚合方式和不要求最少参与者数量的特点，从而增强了联邦学习的灵活性和鲁棒性。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本申请中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征
以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种公共卫生事件检测模型训练方法，其特征在于，包括：
向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；
若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
2.根据权利要求1所述的公共卫生事件检测模型训练方法，其特征在于，在所述得到所述分类模型的隐私保护梯度数据之后，还包括：
若确定预设的迭代过程未结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并获取该隐私保护梯度数据唯一对应的哈希值；
根据所述哈希值生成对应的即时异步聚合请求以启动下一轮迭代。
3.根据权利要求2所述的公共卫生事件检测模型训练方法，其特征在于，所述获取该隐私保护梯度数据唯一对应的哈希值，包括：
在本地计算并存储当前的所述隐私保护梯度数据唯一对应的哈希值；
和/或，
接收并存储所述分布式存储系统发送的所述隐私保护梯度数据唯一对应的哈希值。
4.根据权利要求1所述的公共卫生事件检测模型训练方法，其特征在于，所述智能合约单元在得到聚合后分类模型对应的全局模型梯度数据之后，还将该全局模型梯度数据存储至所述分布式存储系统中，并发出该全局模型梯度数据唯一对应的哈希地址；
相对应的，所述获取当前的所述全局模型梯度数据，包括：
接收所述智能合约单元发送的全局模型梯度数据唯一对应的哈希地址；
根据所述全局模型梯度数据唯一对应的哈希地址，自所述分布式存储系统调取该全局模型梯度数据。
5.根据权利要求1所述的公共卫生事件检测模型训练方法，其特征在于，所述将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据，包括：
对训练得到的分类模型进行梯度下降处理，以得到所述分类模型对应的梯度数据；
基于预设的自适应差分隐私优化算法对所述分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据。
6.一种公共卫生事件检测方法，其特征在于，包括：
接收目标文本数据；
将所述目标文本数据输入预设的公共卫生事件检测模型，以根据该公共卫生事件检测模型的输出确定所述目标文本数据对应的公共卫生事件检测结果，其中，所述公共卫生事件检测模型预先基于权利要求1至5任一项所述的公共卫生事件检测模型训练方法训练得到。
7.一种公共卫生事件检测模型训练装置，其特征在于，包括：
异步聚合模块，用于向自身所属的联邦学习系统对应的私有区块链网络中的智能合约单元发送包含有一哈希值的即时异步聚合请求，以使该智能合约单元自分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
本地训练及隐私优化模块，用于获取当前的所述全局模型梯度数据，并基于本地的公共卫生事件训练数据对该全局模型梯度数据对应的分类模型进行训练，并将训练得到的分类模型对应的梯度数据进行隐私优化，以得到所述分类模型的隐私保护梯度数据；
模型生成模块，用于若确定预设的迭代过程已结束，则将当前的所述隐私保护梯度数据传输至分布式存储系统中进行存储，并将本地当前的所述分类模型作为用于检测公共卫生事件的公共卫生事件检测模型。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的公共卫生事件检测模型训练方法，和/或，用于实现如权利要求6所述的公共卫生事件检测方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述的公共卫生事件检测模型训练方法，和/或，用于实现如权利要求6所述的公共卫生事件检测方法。
10.一种异步联邦学习系统，其特征在于，包括：各个联邦学习节点、分别与各个联邦学习节点之间通信连接的分布式存储系统和私有区块链网络中的智能合约单元；所述分布式存储系统与所述智能合约单元之间通信连接；
所述联邦学习节点用于实现如权利要求1至5任一项所述的公共卫生事件检测模型训练方法，和/或，用于实现如权利要求6所述的公共卫生事件检测方法；
所述智能合约单元用于在接收到所述联邦学习节点发送的包含有一哈希值的即时异步聚合请求时，自所述分布式存储系统中调取该哈希值唯一对应的隐私保护梯度数据，并将该隐私保护梯度数据和存储在所述私有区块链网络中的当前的全局分类模型进行聚合以得到聚合后分类模型对应的全局模型梯度数据；
所述分布式存储系统用于存储所述联邦学习节点发送的所述隐私保护梯度数据以及所述智能合约单元发送的全局模型梯度数据。
CN202311091495.9A 2023-08-28 2023-08-28 公共卫生事件检测模型训练方法、检测方法、装置及系统 Pending CN117251726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311091495.9A CN117251726A (zh) 2023-08-28 2023-08-28 公共卫生事件检测模型训练方法、检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311091495.9A CN117251726A (zh) 2023-08-28 2023-08-28 公共卫生事件检测模型训练方法、检测方法、装置及系统

Publications (1)

Publication Number Publication Date
CN117251726A true CN117251726A (zh) 2023-12-19

Family

ID=89135964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311091495.9A Pending CN117251726A (zh) 2023-08-28 2023-08-28 公共卫生事件检测模型训练方法、检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN117251726A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN113536382A (zh) * 2021-08-09 2021-10-22 北京理工大学 利用联邦学习基于区块链的医疗数据共享隐私保护方法
CN114329418A (zh) * 2021-11-19 2022-04-12 北京邮电大学 设备认证的方法及装置
CN114610813A (zh) * 2022-03-14 2022-06-10 广东工业大学 一种面向联邦学习的分布式存储方法、装置、设备及介质
CN114996762A (zh) * 2022-07-19 2022-09-02 山东省计算中心（国家超级计算济南中心） 一种基于联邦学习的医疗数据共享与隐私保护方法和系统
WO2023141809A1 (zh) * 2022-01-26 2023-08-03 深圳技术大学 一种基于元宇宙的共享信息隐私保护方法及相关装置
CN116541779A (zh) * 2023-07-07 2023-08-04 北京邮电大学 个性化公共安全突发事件检测模型训练方法、检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256874A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 模型训练方法、文本分类方法、装置、计算机设备和介质
CN113536382A (zh) * 2021-08-09 2021-10-22 北京理工大学 利用联邦学习基于区块链的医疗数据共享隐私保护方法
CN114329418A (zh) * 2021-11-19 2022-04-12 北京邮电大学 设备认证的方法及装置
WO2023141809A1 (zh) * 2022-01-26 2023-08-03 深圳技术大学 一种基于元宇宙的共享信息隐私保护方法及相关装置
CN114610813A (zh) * 2022-03-14 2022-06-10 广东工业大学 一种面向联邦学习的分布式存储方法、装置、设备及介质
CN114996762A (zh) * 2022-07-19 2022-09-02 山东省计算中心（国家超级计算济南中心） 一种基于联邦学习的医疗数据共享与隐私保护方法和系统
CN116541779A (zh) * 2023-07-07 2023-08-04 北京邮电大学 个性化公共安全突发事件检测模型训练方法、检测方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOHN NGUYEN ET AL.: "Federated Learning with Buffered Asynchronous Aggregation", 《ARXIV:2106.06639V4》, 7 March 2022 (2022-03-07), pages 1 - 27 *
LEI FENG ET AL.: "BAFL: A Blockchain-Based Asynchronous Federated Learning Framework", 《IEEE TRANSACTIONS ON COMPUTERS》, vol. 71, no. 5, 31 May 2022 (2022-05-31), pages 1092 - 1103 *
张珊: "深度学习中差分隐私保护算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 February 2023 (2023-02-15), pages 3 *
王丽华 等: "基于分布式存储框架的无中心联邦学习", 《电子科技》, 20 May 2022 (2022-05-20), pages 1 - 7 *

Similar Documents

Publication Publication Date Title
CN113408743B (zh) 联邦模型的生成方法、装置、电子设备和存储介质
TWI812623B (zh) 節點裝置、電腦實施方法及相關非暫時性處理器可讀媒體
CN114912605B (zh) 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN112166567B (zh) 通信系统中的学习
WO2020173228A1 (zh) 机器学习模型的联合训练方法、装置、设备及存储介质
WO2022057433A1 (zh) 一种机器学习模型的训练的方法以及相关设备
US20220101189A1 (en) Federated inference
CN112948885B (zh) 实现隐私保护的多方协同更新模型的方法、装置及系统
CN113392919A (zh) 基于客户端选择的联邦注意力dbn协同检测系统
CN113537495A (zh) 基于联邦学习的模型训练系统、方法、装置和计算机设备
CN114979022A (zh) 远程直接数据存取的实现方法、装置、适配器和存储介质
WO2024139666A1 (zh) 双目标域推荐模型的训练方法及装置
CN117196014B (zh) 基于联邦学习的模型训练方法、装置、计算机设备及介质
CN114091572A (zh) 模型训练的方法、装置、数据处理系统及服务器
CN111786937B (zh) 用于识别恶意请求的方法、装置，电子设备和可读介质
CN117251726A (zh) 公共卫生事件检测模型训练方法、检测方法、装置及系统
CN113630476B (zh) 应用于计算机集群的通信方法及通信装置
US11736336B2 (en) Real-time monitoring of machine learning models in service orchestration plane
US20210357657A1 (en) Methods, systems, apparatuses, and devices for facilitating managing incidents occurring in areas monitored by low data-rate monitoring devices using the low data-rate monitoring devices
CN114048328B (zh) 基于转换假设和消息传递的知识图谱链接预测方法及系统
CN105389355B (zh) 数据处理方法和终端
CN115034255A (zh) 一种具有注意力机制时间卷积网络的信号调制识别算法
CN106899652A (zh) 一种推送业务处理结果的方法及装置
CN107707383B (zh) 放通处理方法、装置、第一网元及第二网元
CN106230928A (zh) 一种文件上传的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination