CN112101403B - 基于联邦少样本网络模型的分类方法、系统及电子设备 - Google Patents

基于联邦少样本网络模型的分类方法、系统及电子设备 Download PDF

Info

Publication number
CN112101403B
CN112101403B CN202010724611.6A CN202010724611A CN112101403B CN 112101403 B CN112101403 B CN 112101403B CN 202010724611 A CN202010724611 A CN 202010724611A CN 112101403 B CN112101403 B CN 112101403B
Authority
CN
China
Prior art keywords
client
classification
network model
sample network
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010724611.6A
Other languages
English (en)
Other versions
CN112101403A (zh
Inventor
公茂果
汪昆
王钊
王善峰
武越
张明阳
李豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010724611.6A priority Critical patent/CN112101403B/zh
Publication of CN112101403A publication Critical patent/CN112101403A/zh
Application granted granted Critical
Publication of CN112101403B publication Critical patent/CN112101403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于联邦少样本网络模型的分类方法、系统及电子设备。该方法包括：服务端获取待分类图像，对各个客户端发起判定请求；每个客户端根据判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；服务端根据反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端；各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；服务端对第一分类结果汇总整理，输出第二分类结果。本发明利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题，且具有良好的分类精确度和分类置信度。

Description

基于联邦少样本网络模型的分类方法、系统及电子设备
技术领域
本发明属于机器学习技术领域，具体涉及一种基于联邦少样本网络模型的分类方法、系统及电子设备。
背景技术
近年来人工智能发展非常迅速，但缺乏标签数据和数据隐私威胁仍然是人工智能领域面临的两个挑战。一方面，由于数据的价值以及敏感性，出于公司利润的原因或保护用户隐私的角度，大多数行中的数据仍以孤岛的形式存在，数据难以得到分享；另一方面，机器学习所需的标记数据很难获得，缺少标签数据或者标签数据很少的情况普遍存在；此外，攻击者会通过给定模型的一些输出数据推导出输入数据，甚至可能恢复原本训练所用的数据集，从而窃取数据，造成隐私数据泄密。因此，急需一种需要少量的标签数据且能有效保护隐私数据的模型框架，以应用于标签数据少、安全性要求高的人工智能领域。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于联邦少样本网络模型的分类方法、系统及电子设备。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明实施例提供了一种基于联邦少样本网络模型的分类方法，包括：
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；
所述服务端对各个目标客户端的第一分类结果汇总整理，输出第二分类结果。
可选的，在输出第二分类结果之前还包括：
所述服务端对汇总整理后的第一分类结果进行差分隐私保护。
可选的，所述预先训练的少样本网络模型的训练方法，包括：
所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于所述服务端或独立于所述服务端之外的公共存储装置上；
所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
第二方面，本发明实施例提供了一种基于联邦少样本网络模型的分类方法，应用于客户端，所述方法包括：
客户端接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；所述是否能参加分类任务的判定请求由所述服务端发起；
接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将所述第一分类结果上传至所述服务端；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述待分类图像由所述服务端根据所述响应信号分发。
可选的，所述预先训练的少样本网络模型的训练方法，包括：
所述客户端下载公共数据，整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于服务端或独立于所述服务端之外的公共存储装置上；
所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
第三方面，本发明实施例提供了一种基于联邦少样本网络模型的分类方法，应用于服务端，所述方法包括：
获取待分类图像，对客户端发起是否能参加分类任务的判定请求；
根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；所述响应信号由所述客户端根据所述判定请求产生；
接收第一分类结果，并将所述第一分类结果汇总整理后输出第二分类结果；所述第一分类结果由各个目标客户端将所述待分类图像输入预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
第四方面，本发明实施例提供了一种基于联邦少样本网络模型的分类系统，包括服务端和客户端；其中，
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；
所述服务端对各个目标客户端的第一分类结果汇总整理，输出第二分类结果。
第五方面，本发明实施例提供了一种电子设备，包括：
响应模块，接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；所述是否能参加分类任务的判定请求由所述服务端发起；
数据处理模块，下载公共数据，整合所述公共数据和客户端自身的私有数据，得到模型训练参数；所述公共数据存储于服务端或独立于所述服务端之外的公共存储装置上；所述数据处理模块还接收来自所述服务端的待分类数据；所述待分类数据由所述服务端根据所述响应模块反馈的相应信号分发；
计算模块，接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将所述第一分类结果上传至所述服务端；所述预先训练的少样本网络模型由所述计算模块基于所述模型训练参数训练所述客户端的少样本网络模型得到；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述待分类图像由所述服务端根据所述响应信号分发。
第六方面，本发明实施例提供了一种电子设备，包括：
判定模块，在服务端获取待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端反馈的响应信号；
存储模块，获取所述待分类图像，并根据响应信号将所述待分类图像分发给可以参加分类任务的目标客户端；
汇总模块，接收各个目标客户端输出的第一分类结果，并对所述第一分类结果汇总整理，输出第二分类结果；所述第一分类结果由各个目标客户端将所述待分类图像输入预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型由所述客户端将公共数据和所述客户端自身的私有数据输入所述客户端的少样本网络模型后训练生成；所述公共数据存储于服务端或独立于所述服务端之外的公共存储装置上。
可选的，该电子设备，还包括：
隐私模块，对所述第一分类结果进行差分隐私保护，输出第二分类结果。
与现有技术相比，本发明的有益效果：
本发明实施例提供的方案，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题，且具有良好的分类精确度和分类置信度。
附图说明
图1是本发明实施例提供的基于联邦少样本网络模型的分类方法的流程示意图；
图2是本发明实施例提供的基于联邦少样本网络模型的分类方法的流程示意图；
图3是本发明另一实施例提供的基于联邦少样本网络模型的分类方法的流程示意图；
图4是本发明又一实施例的基于联邦少样本网络模型的分类方法的流程示意图；
图5是本发明实施例提供的一种基于联邦少样本网络模型的分类系统的结构示意图；
图6是本发明实施例提供的一种基于联邦少样本网络模型的系统的框架结构示意图；
图7是本发明实施例提供的一种基于联邦少样本网络模型的电子设备；
图8是本发明实施例提供的另一种基于联邦少样本网络模型的电子设备；
图9是本发明实施例提供的又一种基于联邦少样本网络模型的电子设备；
图10是本发明实施例提供的联邦少样本网络模型的分类精确度的实验结果图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在以下的描述中，涉及到“一些实施例”和“本发明实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”和“本发明实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
2)机器学习(Machine Learning，ML)，是一种实现人工智能的方法。机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分，机器学习算法可以分为监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习。
3)联邦学习(Federated Learnin，FL)，是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。举例来说，假设有两个不同的企业A和B，它们拥有不同数据。比如，企业A有用户特征数据；企业B有产品特征数据和标注数据。这两个企业按照上述GDPR准则是不能粗暴地把双方数据加以合并的，因为数据的原始提供者，即他们各自的用户可能不同意这样做。假设双方各自建立一个任务模型，每个任务可以是分类或预测，而这些任务也已经在获得数据时有各自用户的认可，那问题是如何在A和B各端建立高质量的模型。由于数据不完整(例如企业A缺少标签数据，企业B缺少用户特征数据)，或者数据不充分(数据量不足以建立好的模型)，那么，在各端的模型有可能无法建立或效果并不理想。联邦学习是要解决这个问题：它希望做到各个企业的自有数据不出本地，而后联邦系统可以通过加密机制下的参数交换方式，即在不违反数据隐私法规情况下，建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。但是在建立虚拟模型的时候，数据本身不移动，也不泄露隐私和影响数据合规。这样，建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，而联邦系统帮助大家建立了“共同富裕”的策略。
4)小样本学习(Few-shot Learning)，是元学习在监督学习领域的应用。在元训练阶段将数据集分解为不同的元任务，去学习类别变化的情况下模型的泛化能力，在元测试阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。小样本学习所解决的问题是机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。
5)半监督学习(Semi-Supervised Learning，SSL)，是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用少量的标记数据，来进行模式识别工作。半监督学习的基本思想是利用数据分布上的模型假设建立学习器对未标签样例进行标签。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的精确度。
6)原型网络(Prototypical Networks)，该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原型(prototype)。使用欧几里得距离作为距离度量，训练使得本类别数据到本类原形表示的距离为最近，到其他类原形表示的距离较远。测试时，对测试数据到各个类别的原形数据的距离做softmax，来判断测试数据的类别标签。
7)少样本网络模型，本发明的少样本网络模型是指需要带有标签的训练样本比较少的网络模型，比如：小样本网络模型、半监督网络模型等。小样本学习模型又包括原型网络(Prototypical Networks)、孪生网络(Siamese Network)、匹配网络(Match Network)等。
8)差分隐私(Differential Privacy)，是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的精确度，同时最大限度减少识别其记录的机会。
在人工智能领域所面临的样本数据少和数据隐私威胁的情况下，出现了一种联邦学习方法；其设计目的一是可以基于分布在多个设备上的数据集构建机器学习模型，二是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习虽然具有能够一定程度上实现不需要单个机构具有大量的数据进而用多个机构的数据联合来训练模型，以及可以实现数据隔离，不会造成数据泄密；但还是存在一些缺点，比如：(1)联邦学习的客户端必须使用相同的网络模型，具有较大的通信成本；(2)每个参与的机构还是需要大量有标签的数据才能完成模型训练；(3)如果有用户恶意攻击、污染，联邦模型很容易受到影响；(4)上传梯度也可能被复原数据、中央服务器也可能窃取用户的数据等；(5)联邦学习只能最多利用100个参与者的数据，参与者的数量还是存在局限性。
基于此，本发明实施例提出了一种基于联邦少样本网络模型的分类方法、系统及电子设备，能够在人工智能的基础上实现待分类图像的分类，提升待分类图像分类的精确度。另外，本发明实施例提供的方案涉及人工智能的分类决策技术，比如，用于分类的模型训练和使用训练好的模型进行分类等；具体将在下文进行说明。
请参见图1，图1是本发明实施例提供的基于联邦少样本网络模型的分类方法的流程示意图，结合图1示出的步骤进行详细说明。
S101、服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求。
需要说明的是，本发明实施例的服务端可以是中央服务器，主要用于获取户输入的待分类图像，并在一定条件下将该数据发送给可以参加分类任务的目标客户端；以及对客户端的初步分类结果进行汇总整理后输出最终分类结果给查询的用户。客户端可以是参与者的手机、电脑、平板等终端设备；在本发明建立的系统框架中，客户端需要有多个，且不同参与者的客户端可以是同样的机器学习模型，也可以是不同的机器学习模型；客户端主要用于根据下载的公共数据和自身的私有数据训练自身的网络模型，并在模型训练好后使用训练的网络模型模型对服务器分发的用户的待分类图像进行初步分类。此外，待分类的图像可以是待分类的图片，比如照片、X光片、CT片、MR片等；也可以是待分类的影像；待分类的图像可以一次输出一张，也可以一次输入多张。
具体地，各查询者可以在自己的客户端输入待分类的图像，各查询者的客户端与服务端连接通信，从而服务端可以获取并暂时存储待分类图像。服务端获取待分类图像后，对各个对参与者的客户端发起是否能参加分类任务的判定请求。之所以需要发送判定请求，是因为考虑到个别参与者的客户端可能会存在不在线、设备持有者不同意参与、模型没有经过训练，或更新没有完成等各种不能参与分类任务的情况。
S102、每个客户端根据判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端。
具体地，每个参与者的客户端在收到服务端发出的判定请求后，结合自身的状态参数，比如，客户端在线、客户端持有者同意参与分类、模型已经预先训练，且更新完成的客户端反馈可以参与分类任务的响应信号给服务端，表明这些客户端可以参与下一步的分类任务；反之，只要有一项上述条件不满足的客户端则反馈不能参与分类任务的响应信号给服务端，表明这些客户端不能参与下一步的分类任务。需要说明的是，该判定请求可以仅是一个测试客户端是否有反馈的响应信号。
S103、服务端根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端。
服务端在接收到各个客户端反馈的是否开机且在线的响应信号后，将待分类图像分发给可以参加此次分类任务的客户端；为了区分，将这些客户端称为目标客户端。
S104、各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
每个目标客户端都有自己的网络模型，这些网络模型均为需要标签样本很少的少样本网络模型，比如，可以是小样本网络模型的原型网络、孪生网络或匹配网络，也可以是半监督网络模型；也可以一部分是小样本网络模型，一部分是半监督网络模型。也即，本发明实施例的基于联邦少样本网络模型的分类方法的参与者的网络模型，不同参与者可以使用同一种网络少样本网络模型，也可以使用不同的少样本网络模型。
需要说明的是，本发明的实施例优选采用不同的参与者的客户端的不同的网络模型。这是因为，一般联邦学习的方法，如果有用户进行恶意攻击、污染，很容易对总体模型产生影响；但由于参与者使用移动设备的情况可能性能差异很大，且允许使用不同的模型，可以在考虑设备性能的情况下充分利用参与者的数据，因此，本发明的实施例优选的不同的参与者的客户端的不同的网络模型组建的框架更不容易被攻击和污染，也即更不容易遭受隐私威胁，具有更高的安全性。
此外，需要特别指出的是，客户端具体采用的少样本网络模型，需要服务端和客户端事先约定是否采用小样本网络模型中的原型网络；比如，事先约定客户端的网络模型全部为原型网络；或者，为除原型网络外的其它小样本网络；或者，为除原型网络外的其它小样本网络和半监督学习网络。之所以需要事先约定客户端的网络类型是否包含原型网络，是因为，用户查询时的输入信息会有所不同。
具体地，当客户端的网络类型不包含原型网络时，用户在需要查询时输入的信息只需要输入待查询的图像即可，也即，此时，待分类图像就是待查询图像；而当客户端的网络类型包含原型网络时，用户在需要查询时输入的信息除了待查询的图像，还包括已分类的图像，这些已分类的图像是明确已知类别的图像；此时，待分类图像包括待查询图像和类别图像。之所以原型网络在用户查询时还需要输入已知类别的图像，是因为训练原型网络学习是一种投影方式，通过将图片投影到别的空间，使得同类图片间的距离最小，以此来进行分类。而同时输入查询者提供的已分类图像，用于确定原型网络映射后的各个原型(类别中心)，有助于分类的更加准确，且可以对在训练时没有的类别进行分类。已知类别图像只需要包含某些类别，这两不一定很大；且每类已知类别图像只需要几张。用户在查询时具体输入哪些已知类别图像是需要根据用户的经验和已知信息来判断。比如，用户是一个医生，这个医生根据经验的积累知道某种病的某几种症状是什么，现在想判断某些人是否得了这种病，那么这个医生需要输入这种病的症状图像、正常症状图像和待判断人员的症状图像。
在前述说明的基础上，再具体到本步骤，各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；也即：
当参与者的客户端的少样本网络模型包含原型网络时，用户输入的待分类图像包括待查询图像和类别图像；各个目标客户端将该待查询图像和类别图像均输入预先训练的原型网络模型进行分类，得到第一分类结果。
当参与者的客户端的少样本网络模型不包含原型网络时(比如，包含孪生网络和/或匹配网络和/或半监督学习网络)，用户输入的待分类图像即待查询图像；各个目标客户端将该待查询图像输入预先训练的原型网络模型进行分类，得到第一分类结果。
此外，当客户端的少样本网络模型类型为原型网络时，由于输入的类别图像可能会存在格式不一致的问题，也可能存在存放方式不统一的问题，比如，将所有不同类图像按名称排序放在同一文件夹下和将不同类别图像分别放在不同的二级文件夹中，是两种不同的存放方式。因此最好在把待分类图像输入各自预先训练的少样本网络模型进行分类前，对待分类图像进行预处理，以统一格式类型和存放方式，方便下一步的分类处理。
进一步地，本步骤中涉及的预先训练的少样本网络模型，是在进行分类任务前采用样本对各个目标客户端的网络模型预先训练。其训练方法，包括：
客户端下载公共数据，并整合公共数据和客户端自身的私有数据，得到模型训练参数；公共数据存储于服务端或独立于服务端之外的公共存储装置上；
客户端将模型训练参数输入客户端的少样本网络模型，生成预先训练的少样本网络模型。
需要说明的是，参与者在训练模型时使用两部分数据，一部分是公共数据，一部分是参与者自己的私有数据，这些数据均是带有已知标签的数据。采用公共数据及私有数据训练的方式，是因为公共数据集可以增加单个参与者的数据量，这有助于获得更准确的模型。
S105、服务端对各个目标客户端的第一分类结果汇总整理，输出第二分类结果。
在经过上述步骤的分类之后，得到的第一分类结果其实就是各个目标客户端自身网络模型对待分类图像的投票结果；服务端在接收到各目标客户端上传的分类结果后，计算各类的投票数，汇总后得到每一类的投票总数。该每一类的投票总数可以由服务端传送并显示在各查询者的客户端，查询者把投票总数多的类别认为是所需的正确的分类结果。
本发明的实施例提供的基于联邦少样本网络模型的分类方法，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题，且具有良好的分类精确度和分类置信度。
本发明的实施例的方案，利用了联邦学习的思想，在缺少海量数据作为样本数据时，利用多个客户端的自身的网络模型构建起虚拟的整体的网络模型框架，来解决实际分类的问题；但与联邦学习明显不同的是，联邦学习必须所有的参与者使用相同的模型，如果参与者的模型不同，则无法完成训练；但在联邦学习中使用相同的模型，恶意用户持续、定向对模型做出干扰，会使共有的虚拟模型发生改变，致使模型框架被攻击污染。再者，由于数据独立同分布等数据特异性问题，联邦学习难以应用大量参与者的数据，最多不能超多100个。而本发明的实施例的方案，所应用的每个参与者的数据是分散的、少量的数据的方式，且参与者的数量不受限制，可以有效利用更多的参与者的模型，允许更多的数据所有者加入，使得本发明的方法、系统实用性更广；更为重要的是，参与者的模型可以不同，参与者的模型不同更有利于保护所构建的框架不容易被攻击者攻击和污染；更利于参与者的隐私保护；且对于不同的方案，允许单个任务中的参与者使用不同的模型，更加灵活。此外，本发明的实施例的方案，通过多个目标客户端自身的少样本网络模型对待分类图像进行分类投票，投票而不是上传网络参数，可以进一步防止恶意的模型和数据推断。
请参见图2，图2是本发明实施例提供的基于联邦少样本网络模型的分类方法的流程示意图，在本发明实施例提供的上述方案的基础上，进一步地，步骤S105的服务端对各个目标客户端的第一分类结果汇总整理之后，输出第二分类结果之前，还优选包括步骤：
S106、服务端对汇总整理后的第一分类结果进行差分隐私保护。
服务端对进行差分隐私保护后的第二分类结果输出给查询者。
之所以引入差分隐私保护机制，是因为本发明的各参与者构建的框架中汇总了所有参与者的分类的结果，当参与者众多时，由于参与者在线时间的随机性，框架本身具有强大的隐私保护；但是，当参与者很少时，个别参与者可能会收到有针对性的攻击，造成参与者隐私泄密。引入的差分隐私可以隐藏参与者是否参与某次查询。
下面对差分隐私进行说明：
设有随机算法M，PM为M所有可能输出构成的集合的概率，对于任意两个邻近数据集D与D'以及PM的任意子集SM，若算法M满足：
P[M(D)∈SM]≤eε×P[M(D′)∈SM]
则称算法M提供ε-差分隐私保护。ε越小，隐私保护程度越高；ε越大，数据可用性越高(保密度越低)。通常情况下，ε值取很小，如0.001、0.1、ln2、ln3等，即对于只有一条记录差别的两个数据集，如果查询它们的概率非常非常的接近，那么它们满足差分隐私保护。举例来说，医院发布信息有10个人患AIDS，现在攻击者知道其中9个人的信息，通过和医院发布的信息进行比对就可以知道最后一个人是否患AIDS，这就是差分隐私攻击。如果查询9个人的信息和查询10个人的信息结果一致，那么攻击者就没有办法确定第10个人的信息，这就是差分隐私保护。
本发明的实施例引入的是指数差分隐私保护机制，下面对该指数差分隐私保护机制进行说明：
设查询函数的输出域为Range，域中的每个值r∈Range为一实体对象，在指数机制下，函数q(N,r)→R称为r输出值的可用性函数，用来评估输出值r的优劣程度。
设随机算法M输入为数据集N，输出为一实体对象r∈Range，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度，若算法M以正比于的概率从Range中选择并输出r，那么算法M提供ε-隐私保护。
具体到本步骤，服务端对汇总整理后的第一分类结果进行上述的指数差分隐私保护，第一分类结果为算法M的输入数据集，输出r为第二分类结果，算法M＝{在所有可能输出值中以正比于的概率返回实体对象r}。服务端对进行指数差分隐私保护后的输出值r发送给查询者。
通过在输出第二分类结果之前引入指数差分隐私保护的机制，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密。
下面通过分析与本发明的方案接近的现有技术的缺点，进一步说明本发明的方案的有益效果。
文献“Differentially Private Federated Learning:A Client LevelPerspective”的技术方案是：在联邦学习的框架下，每一轮迭代选取部分参与者设备，利用其数据在本地更新模型，模型参数上传后，中央服务器利用差分隐私算法，对这些参数进行加权平均。但存在的缺点是：未考虑服务器是潜在攻击者的情况，服务器可通过梯度恢复单个参与者的训练数据；无法解决设备异质性的问题，运行速度慢的设备上传的参数可能得不到使用，或者训练时间会被大大延长。
文献“Practical Secure Aggregation for Privacy-Preserving MachineLearning”的技术方案是：客户端之间利用安全聚合协议，加密自身数据，服务器仅能解密这些加密数据的和而无法解密单个加密数据，从而保护用户隐私。但存在的缺点是：如果有客户端故意发送格式错误的消息，则会导致整个过程终止；有恶意的客户端可以发送自己选择的任意值，从而影响最终的模型。
而本发明实施例的基于联邦少样本网络模型的分类方法，由于参与者的模型可以不同，参与者的模型不同更有利于保护所构建的框架不容易被攻击者攻击和污染，服务器无法通过梯度恢复单个参与者的训练数据，更利于参与者的隐私保护；此外，也不存在设备异质性的问题；且对于不同的方案，允许单个任务中的参与者使用不同的模型，更加灵活。即使存在恶意的客户端故意发送格式错误的消息，也不会影响整体所构建的模型系统。
以上结合图1和图2详细描述了根据本发明实施例的基于联邦少样本网络模型的分类方法。下面将结合图3详细描述根据本发明另一实施例的基于联邦少样本网络模型的分类方法。
可以理解的是，从客户端侧描述的服务端与客户端的交互过程与图1或图2所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
请参见图3，图3是本发明另一实施例提供的基于联邦少样本网络模型的分类方法的流程示意图，该方法应用于客户端，具体包括：
S201、客户端接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；是否能参加分类任务的判定请求由服务端发起。
S202、接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；用待分类图像由服务端根据响应信号分发。
其中，预先训练的少样本网络模型的训练方法，包括：
客户端下载公共数据，整合公共数据和客户端自身的私有数据，得到模型训练参数；公共数据存储于服务端或独立于服务端之外的公共存储装置上；
客户端将模型训练参数输入客户端的少样本网络模型，生成预先训练的少样本网络模型。
模型的具体训练过程与上述实施例相同，在此不再赘述。
本实施例提供的应用于客户端的基于联邦少样本网络模型的分类方法，需要多个参与者的客户端，客户端利用自身的私有数据以及外部的公共数据来训练自身的模型，可以使训练后的模型分类更加准确；且客户端优选使用更多的参与者不同的少样本网络模型，这样组建的框架更不容易被攻击和污染，也即更不容易遭受隐私威胁，具有更高的安全性。
请参见图4，图4是本发明又一实施例的基于联邦少样本网络模型的分类方法的流程示意图。同样可以理解的是，从服务端侧描述的服务端与客户端的交互过程与图1所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
图4所示的基于联邦少样本网络模型的分类方法，该方法应用于服务端，具体包括：
S301、获取待分类图像，对客户端发起是否能参加分类任务的判定请求。
S302、根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端；响应信号由客户端根据判定请求产生。
S303、接收第一分类结果，并将第一分类结果汇总整理后输出第二分类结果；第一分类结果由各个目标客户端将待分类图像输入预先训练的少样本网络模型后获得；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
进一步地，在对第一分类结果汇总整理后，服务端还对该汇总整理的结果进行差分隐私保护后再输出受指数差分隐私保护机制保护的第二分类结果。
本实施例提供的应用于服务端的基于联邦少样本网络模型的分类方法，服务端接收到各目标客户端上传的分类结果后，计算各类的投票数，汇总后得到每一类的投票总数，再将该每一类的投票总数反馈给查询者。此外，通过引入指数差分隐私保护机制，使用此机制输出具有最大概率的投票结果，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密。
在前述实施例的基础上，本发明还提供了一种基于联邦少样本网络模型的分类系统，该系统可以实施前述基于联邦少样本网络模型的分类方法，可以理解的是，该系统的服务端与客户端的交互过程与图1和图2所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
请参见图5，图5是本发明实施例提供的一种基于联邦少样本网络模型的分类系统的结构示意图。
图5所示的系统包括：服务端和客户端；其中，
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；每个客户端根据判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；服务端根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端；各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；服务端对各个目标客户端的第一分类结果汇总整理，输出第二分类结果。
同样进一步地，为了不使参与者的数据收到恶意攻击，引入指数差分隐私保护机制，服务端对汇总整理后的第一分类结果进行差分隐私保护后再输出第二分类结果。
本发明实施例提供的基于联邦少样本网络模型的分类系统，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题。此外，引入差分隐私保护机制，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密；且具有良好的分类精确度和分类置信度。
在前述实施例的基础上，本发明实施例还提供了一种电子设备，对应于前述系统的服务端，该电子设备与客户端的交互过程与上述图4的方法相同，为避免重复，适当省略相关描述。
请参见图6，图6是本发明实施例提供的一种基于联邦少样本网络模型的系统的框架结构示意图，并请参见图7，图7是本发明实施例提供的一种基于联邦少样本网络模型的电子设备，如图7所示的电子设备，包括：
响应模块，接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；是否能参加分类任务的判定请求由服务端发起。
数据处理模块，下载公共数据，整合公共数据和客户端自身的私有数据，得到模型训练参数；公共数据存储于服务端或独立于服务端之外的公共存储装置上；数据处理模块还接收来自服务端的待分类数据；待分类数据由服务端根据响应模块反馈的相应信号分发。
计算模块，接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将第一分类结果上传至服务端；预先训练的少样本网络模型由计算模块基于所述模型训练参数训练客户端的少样本网络模型得到；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；用待分类图像由服务端根据响应信号分发。
在前述实施例的基础上，本发明实施例还提供了一种电子设备，对应前述系统的客户端，该电子设备与客户端的交互过程与上述图3的方法相同，为避免重复，适当省略相关描述。
请一并参见图6和图8，图8是本发明实施例提供的另一种基于联邦少样本网络模型的电子设备，如图8所示的电子设备，包括：
判定模块，在服务端获取待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端反馈的响应信号。
存储模块，获取待分类图像，并根据响应信号将待分类图像分发给可以参加分类任务的目标客户端。
汇总模块，接收各个目标客户端输出的第一分类结果，并对第一分类结果汇总整理，输出第二分类结果；第一分类结果由各个目标客户端将待分类图像输入预先训练的少样本网络模型后获得；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；预先训练的少样本网络模型由客户端将公共数据和客户端自身的私有数据输入客户端的少样本网络模型后训练生成；公共数据存储于服务端或独立于服务端之外的公共存储装置上。
请参见图9，图9是本发明实施例提供的又一种基于联邦少样本网络模型的电子设备，如图9所示的电子设备，对应前述系统的服务端的电子设备，还包括：隐私模块，对第一分类结果进行差分隐私保护，输出第二分类结果。
下面对本发明实施例提供的基于联邦少样本网络模型的分类方法、系统及电子设备用到的算法框架进行详细描述：
设P是在线的参与者数；Modi是第i个参与者训练出的模型，其中i∈[0,P)；C是分类任务所有可能的类别数；cj是第j个类，j∈[0,C)；nj是第j类的投票总数之和。
(1)每个参与者i使用公共数据集和自身的私有数据训练自己的模型Modi；
(2)查询者向中央服务器发送查询请求以执行分类任务；
(3)中央服务器判定可执行任务的参与者，将此分类任务传输给这些参与者；
(4)参与者i使用自己的模型Modi执行分类，并上传分类结果cj，对查询值的类别进行分类；
(5)中央服务器计算票数，并获得每类的投票总数nj的列表N＝[n0,n1,...,nC]；
(6)对于列表N，中央服务器使用指数差分隐私机制M(N)＝{在所有可能输出值中以正比于的概率返回实体对象r}得到最终的投票结果c；
(7)中央服务器将分类结果返回给查询者。
下面再结合一个实际场景来对本发明进行说明。
假设参与者的客户端使用的模型均为原型网络模型，若干个参与者的原型网络模型对于查询者发起的查询进行分类计算。查询者的已知类别图像集为其中/>表示第k个类别图像中的第i个样本的特征向量，Sk表示类k，|Sk|表示类k中的样本的数量；待查询的图像为xq。参与者a接收到服务器分发的数据后，首先使用自身模型学习到的投影函数fa(x)将所有图像投影到其投影空间，然后计算每个类在该空间的原型/>之后计算xq在此投影空间中与各个原型的距离d(fa(xq),ck)，找到距离最短的原型即为其所属类别并将此类别上传到服务器。其他参与者同理。服务器收到所有参与者的投票后获得每类的投票总数nj的列表N＝[n0,n1,...,nC]，使用指数差分隐私算法M(N)获得最终投票结果并返回给查询者。
下面通过实验对本发明进行分类精确度和分类置信度的验证。
首先为每个参与者训练一个原型网络，最终分类的精确度和隐私性很大程度上取决于参与者的数量。
实验使用MNIST和Omniglot数据集。对于两个数据集，采用的原型网络堆叠了四个卷积层，具有最大池和激活功能。
分类精确度：在所有其他条件相同的情况下，分类的精确度受训练类数量和用于训练模型的训练样本数的限制。无疑，训练样本越多，分类的精确度越高。而对Omniglot数据集进行实验，Omniglot数据集中的每个字符都有20个样本，将公共数据的类别数设为私有数据类的数量的四倍，并更改每个模型中训练的字符数，以观察准确性的变化。对Omniglot数据集的实验表明，如图10所示，所使用的训练样本的类别总数越多，分类的精确度越高，当所使用的训练样本类别数接近集中式学习的训练样本类别数时，分类的精确度几乎相同。
分类置信度：为了保护一组参与者得到的分类结果的隐私，要求一定数量的参与者对相同的标签投票。我们的隐私分析反映了这一观察结果，当参与人数足够多时，该分析提供了更严格的隐私范围。我们计算每个可能的标签的票数，并衡量最受欢迎的标签和第二个最受欢迎的标签之间的票数差异。如果差异较大，则当噪声引入聚合结果时，获得票数最多的标签的可能性仍然很大。通过衡量参与者总数P归一化的差距，实验者发现，随着P的增加，对同一图片的不同投票结果的差距仍然大于参与者的60％，从而证实本发明的分类方法和分类系统在存在噪声的情况下也极有可能输出正确的标签。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于联邦少样本网络模型的图像分类方法，其特征在于，包括：
服务端获取查询者输入的待分类图像，对各个客户端发起是否能参加分类任务的判定请求；所述待分类图像包括X光片、CT片、MR片；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；其中，所述客户端上设置不同的机器学习模型；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型的训练方法，包括：所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于所述服务端或独立于所述服务端之外的公共存储装置上；所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型；
所述服务端对各个目标客户端的第一分类结果汇总整理并对汇总整理后的第一分类结果进行指数差分隐私保护，汇总整理后的第一分类结果为算法M的输入数据集，输出第二分类结果r，所述服务端将所述第二分类结果r发送给所述查询者；其中算法M＝{在所有可能输出值中以正比于的概率返回实体对象r}，N为数据集，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度。
2.一种基于联邦少样本网络模型的图像分类方法，其特征在于，应用于服务端，所述方法包括：
获取查询者输入的待分类图像，对客户端发起是否能参加分类任务的判定请求；所述待分类图像包括X光片、CT片、MR片；
根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；所述响应信号由所述客户端根据所述判定请求产生；其中，所述客户端上设置不同的机器学习模型；
接收第一分类结果，并将所述第一分类结果汇总整理，并对汇总整理后的第一分类结果进行指数差分隐私保护，汇总整理后的第一分类结果为算法M的输入数据集，输出第二分类结果r，所述服务端将所述第二分类结果r发送给所述查询者；其中算法M＝{在所有可能输出值中以正比于的概率返回实体对象r}，N为数据集，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度；
所述第一分类结果由各个目标客户端将所述待分类图像输入预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型的训练方法，包括：所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于所述服务端或独立于所述服务端之外的公共存储装置上；所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
3.一种基于联邦少样本网络模型的图像分类系统，其特征在于，包括服务端和客户端；所述客户端上设置不同的机器学习模型；其中，
服务端获取查询者输入的待分类图像，对各个客户端发起是否能参加分类任务的判定请求；所述待分类图像包括X光片、CT片、MR片；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型的训练方法，包括：所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于所述服务端或独立于所述服务端之外的公共存储装置上；所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型；
所述服务端对各个目标客户端的第一分类结果汇总整理，并对汇总整理后的第一分类结果进行指数差分隐私保护，汇总整理后的第一分类结果为算法M的输入数据集，输出第二分类结果r，所述服务端将所述第二分类结果r发送给所述查询者；其中算法M＝{在所有可能输出值中以正比于的概率返回实体对象r}，N为数据集，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度。
4.一种电子设备，其特征在于，包括：
判定模块，在服务端获取查询者输入的待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端反馈的响应信号；其中，所述客户端上设置不同的机器学习模型；所述待分类图像包括X光片、CT片、MR片；
存储模块，获取所述待分类图像，并根据响应信号将所述待分类图像分发给可以参加分类任务的目标客户端；
汇总模块，接收各个目标客户端输出的第一分类结果，并对所述第一分类结果汇总整理，并对汇总整理后的第一分类结果进行指数差分隐私保护，汇总整理后的第一分类结果为算法M的输入数据集，输出第二分类结果r，所述服务端将所述第二分类结果r发送给所述查询者；其中算法M＝{在所有可能输出值中以正比于的概率返回实体对象r}，N为数据集，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度；
所述第一分类结果由各个目标客户端将所述待分类图像输入预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型由所述客户端将公共数据和所述客户端自身的私有数据输入所述客户端的少样本网络模型后训练生成；所述公共数据存储于服务端或独立于所述服务端之外的公共存储装置上；所述预先训练的少样本网络模型的训练方法，包括：所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，得到模型训练参数；所述公共数据存储于所述服务端或独立于所述服务端之外的公共存储装置上；所述客户端将所述模型训练参数输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
CN202010724611.6A 2020-07-24 2020-07-24 基于联邦少样本网络模型的分类方法、系统及电子设备 Active CN112101403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010724611.6A CN112101403B (zh) 2020-07-24 2020-07-24 基于联邦少样本网络模型的分类方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724611.6A CN112101403B (zh) 2020-07-24 2020-07-24 基于联邦少样本网络模型的分类方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112101403A CN112101403A (zh) 2020-12-18
CN112101403B true CN112101403B (zh) 2023-12-15

Family

ID=73749984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724611.6A Active CN112101403B (zh) 2020-07-24 2020-07-24 基于联邦少样本网络模型的分类方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112101403B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113037662A (zh) * 2021-03-02 2021-06-25 电子科技大学 一种基于联邦学习的移动设备射频分布识别方法
CN113312619B (zh) * 2021-04-23 2023-09-05 浙江大学 基于小样本学习的恶意进程检测方法、装置、电子设备及存储介质
CN113344131A (zh) * 2021-06-30 2021-09-03 商汤国际私人有限公司 网络训练方法及装置、电子设备和存储介质
CN113987255B (zh) * 2021-12-30 2022-04-01 南湖实验室 基于联邦学习与秘密分享的多源密文图像检索方法
CN116796850A (zh) * 2022-03-09 2023-09-22 华为技术有限公司 模型训练方法、装置、设备及存储介质
CN117041304B (zh) * 2023-10-10 2023-12-19 南京翼辉信息技术有限公司 一种车载原子服务系统及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447525A (zh) * 2015-12-15 2016-03-30 中国科学院软件研究所 一种数据预测分类方法及装置
CN109284620A (zh) * 2017-07-19 2019-01-29 中国移动通信集团黑龙江有限公司 一种发布数据的生成方法、装置和服务器
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716346A (zh) * 2016-07-18 2019-05-03 河谷生物组学有限责任公司 分布式机器学习系统、装置和方法
WO2020068360A1 (en) * 2018-09-28 2020-04-02 Apple Inc. Distributed labeling for supervised learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447525A (zh) * 2015-12-15 2016-03-30 中国科学院软件研究所 一种数据预测分类方法及装置
CN109284620A (zh) * 2017-07-19 2019-01-29 中国移动通信集团黑龙江有限公司 一种发布数据的生成方法、装置和服务器
CN110008696A (zh) * 2019-03-29 2019-07-12 武汉大学 一种面向深度联邦学习的用户数据重建攻击方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Internet multimedia traffic classification from QoS perspective using semi-supervised dictionary learning models;Zaijian Wang等;arXiv:2006.12097v3 [ cs.LG] 29 Mar 2021;第14卷(第10期);202-218 *
人工智能数据安全风险及治理;景慧昀等;网域前沿;82-85 *
机器学习的隐私保护研究综述;刘俊旭;孟小峰;;计算机研究与发展(02);346-362 *
联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版)(04);9-17 *

Also Published As

Publication number Publication date
CN112101403A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112101403B (zh) 基于联邦少样本网络模型的分类方法、系统及电子设备
CN112101404B (zh) 基于生成对抗网络的图像分类方法、系统及电子设备
Shen et al. Privacy-preserving support vector machine training over blockchain-based encrypted IoT data in smart cities
CN112906903B (zh) 网络安全风险预测方法、装置、存储介质及计算机设备
Sun et al. Modeling and clustering attacker activities in IoT through machine learning techniques
Wang et al. Social sensing: building reliable systems on unreliable data
Ji et al. Quantum protocols for secure multi-party summation
CN111402095A (zh) 一种基于同态加密联邦学习来检测学生行为与心理的方法
CN108964926A (zh) 异构联盟系统中基于二层区块链的用户信任协商建立方法
CN115102763B (zh) 基于可信联邦学习多域DDoS攻击检测方法与装置
Yu et al. A survey on federated learning in data mining
CN111081337B (zh) 一种协同任务预测方法及计算机可读存储介质
Gao et al. FGFL: A blockchain-based fair incentive governor for Federated Learning
WO2023071626A1 (zh) 一种联邦学习方法、装置、设备、存储介质及产品
CN112085051B (zh) 基于加权投票的图像分类方法、系统及电子设备
Gao et al. SVeriFL: Successive verifiable federated learning with privacy-preserving
Qi et al. Model aggregation techniques in federated learning: A comprehensive survey
Lo et al. Blockchain-based trustworthy federated learning architecture
Xueshuo et al. AWAP: Adaptive weighted attribute propagation enhanced community detection model for bitcoin de-anonymization
Hassan et al. Secure image classification with deep neural networks for IoT applications
Rafi et al. Fairness and privacy preserving in federated learning: A survey
Giannopoulos et al. Privacy preserving medical data analytics using secure multi party computation. an end-to-end use case
Hatamian et al. Improving the security and confidentiality in the internet of medical things based on edge computing using clustering
Buyukates et al. Proof-of-Contribution-Based Design for Collaborative Machine Learning on Blockchain
Liu et al. Federated Digital Gateway: Methodologies, Tools, and Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant