CN112101404A - 基于生成对抗网络的图像分类方法、系统及电子设备 - Google Patents

基于生成对抗网络的图像分类方法、系统及电子设备 Download PDF

Info

Publication number
CN112101404A
CN112101404A CN202010725682.8A CN202010725682A CN112101404A CN 112101404 A CN112101404 A CN 112101404A CN 202010725682 A CN202010725682 A CN 202010725682A CN 112101404 A CN112101404 A CN 112101404A
Authority
CN
China
Prior art keywords
classification result
classification
client
network model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010725682.8A
Other languages
English (en)
Other versions
CN112101404B (zh
Inventor
公茂果
汪昆
王钊
梁爽
王善峰
武越
张明阳
李豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010725682.8A priority Critical patent/CN112101404B/zh
Publication of CN112101404A publication Critical patent/CN112101404A/zh
Application granted granted Critical
Publication of CN112101404B publication Critical patent/CN112101404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioethics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于生成对抗网络的图像分类方法、系统及电子设备。该方法包括：服务端获取待分类图像，对各个客户端发起判定请求；每个客户端根据判定请求，对自身状态参数判定后反馈响应信号给服务端；服务端根据响应信号，将待分类图像分发给可以参加分类任务的目标客户端；各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；服务端对第一分类结果汇总整理，输出第二分类结果。本发明通过采用生成对抗网络训练客户端的少样本网络模型，提高少样本网络模型的鲁棒性和分类精确度。

Description

基于生成对抗网络的图像分类方法、系统及电子设备
技术领域
本发明属于机器学习技术领域，具体涉及一种基于生成对抗网络的图像分类方法、系统及电子设备。
背景技术
近年来人工智能发展非常迅速，但缺乏标签数据和数据隐私威胁仍然是人工智能领域面临的两个挑战。一方面，由于数据的价值以及敏感性，出于公司利润的原因或保护用户隐私的角度，大多数行业中的数据仍以孤岛的形式存在，数据难以得到分享；另一方面，机器学习所需的标记数据很难获得，缺少标签数据或者标签数据很少的情况普遍存在；此外，攻击者会通过给定模型的一些输出数据推导出输入数据，甚至可能恢复原本训练所用的数据集，从而窃取数据，造成隐私数据泄密。因此，急需一种需要少量的标签数据且能有效保护隐私数据的模型框架，以应用于标签数据少、安全性要求高的人工智能领域。
但是在训练样本较少的情况下，训练模型会出现过拟合现象，影响模型的鲁棒性和精确度，进而影响分类的精确度。
发明内容
为了解决现有技术中存在的上述问题，本发明提供了一种基于生成对抗网络的图像分类方法、系统、电子设备及分类模型训练方法。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明实施例提供了一种基于生成对抗网络的图像分类方法，包括：
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；
所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成；
所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果。
可选的，所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成，包括：
所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；
所述客户端将所述模型训练样本输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
可选的，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出的分类结果之后，还包括：
所述服务端将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
所述服务端将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端；
所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，以用于下一轮分类任务。
可选的，所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，包括：
所述各个目标客户端根据反馈的所述不一致的第一分类结果及所述第二分类结果更新所述生成对抗网络；
基于更新的生成对抗网络更新模型训练样本；
基于更新的模型训练样本更新所述少样本网络模型。
可选的，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
所述服务端对所述第二分类结果进行差分隐私保护，输出第三分类结果。
第二方面，本发明实施例还提供了一种基于生成对抗网络的分类模型训练方法，包括：
客户端下载公共数据，并整合所述公共数据和客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；所述公共数据存储于服务端或独立于服务端之外的公共存储装置上；
所述客户端将所述模型训练样本输入所述客户端的少样本网络模型，生成预先训练的分类模型；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
第三方面，本发明实施例还提供了一种基于生成对抗网络的图像分类方法，应用于服务端，所述方法包括：
获取待分类图像，对客户端发起是否能参加分类任务的判定请求；
根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；所述响应信号由所述客户端根据所述判定请求产生；
对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述第一分类结果由各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
可选的，在对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端。
可选的，对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
对所述第二分类结果进行差分隐私保护，输出第三分类结果。
第四方面，本发明实施例还提供了一种基于生成对抗网络的图像分类系统，包括服务端和客户端；其中，
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；
所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
可选的，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
所述服务端将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
所述服务端将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端；
所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，以用于下一轮分类任务。
第五方面，本发明实施例还提供了一种电子设备，包括：
判定模块，在服务端获取待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端根据所述判定请求反馈的响应信号；
存储模块，获取所述待分类图像，并根据响应信号将所述待分类图像分发给可以参加分类任务的目标客户端；
汇总模块，将每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述第一分类结果由各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
可选的，还包括：
结果反馈模块，将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；并将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端。
可选的，还包括：
隐私模块，对所述汇总模块输出的第二分类结果进行差分隐私保护，输出第三分类结果。
与现有技术相比，本发明的有益效果：
本发明实施例提供的方案，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题，且具有良好的分类精确度和分类置信度；此外，通过使用生成对抗网络训练客户端的少样本网络模型，一方面可以增加训练样本的数量，防止训练样本少出现的过拟合现象，提高模型分类的鲁棒性；另一方面利用生成部分和判别部分的不断对抗，提升模型分类的精确度。
附图说明
图1是本发明实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图2是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图3是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图4是本发明又一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图5是本发明再一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图6是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；
图7是本发明实施例提供的基于生成对抗网络的图像分类系统的结构示意图；
图8是本发明实施例提供的基于生成对抗网络的图像分类系统的框架结构示意图；
图9是本发明另一实施例提供的基于生成对抗网络的用于图像分类的电子设备；
图10是本发明实施例提供的用于图像分类的电子设备；
图11是本发明实施例提供的又一种图像分类系统的框架结构示意图；
图12是本发明又一实施例提供的用于图像分类的电子设备；
图13是本发明实施例提供的图像分类模型的分类精确度的实验结果图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
在以下的描述中，涉及到“一些实施例”和“本发明实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”和“本发明实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
2)机器学习(Machine Learning，ML)，是一种实现人工智能的方法。机器学习最基本的做法，是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。与传统的为解决特定任务、硬编码的软件程序不同，机器学习是用大量的数据来“训练”，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。从学习方法上来分，机器学习算法可以分为监督学习(如分类问题)、无监督学习(如聚类问题)、半监督学习、集成学习、深度学习和强化学习。
3)联邦学习(Federated Learnin，FL)，是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。举例来说，假设有两个不同的企业A和B，它们拥有不同数据。比如，企业A有用户特征数据；企业B有产品特征数据和标注数据。这两个企业按照上述GDPR准则是不能粗暴地把双方数据加以合并的，因为数据的原始提供者，即他们各自的用户可能不同意这样做。假设双方各自建立一个任务模型，每个任务可以是分类或预测，而这些任务也已经在获得数据时有各自用户的认可，那问题是如何在A和B各端建立高质量的模型。由于数据不完整(例如企业A缺少标签数据，企业B缺少用户特征数据)，或者数据不充分(数据量不足以建立好的模型)，那么，在各端的模型有可能无法建立或效果并不理想。联邦学习是要解决这个问题：它希望做到各个企业的自有数据不出本地，而后联邦系统可以通过加密机制下的参数交换方式，即在不违反数据隐私法规情况下，建立一个虚拟的共有模型。这个虚拟模型就好像大家把数据聚合在一起建立的最优模型一样。但是在建立虚拟模型的时候，数据本身不移动，也不泄露隐私和影响数据合规。这样，建好的模型在各自的区域仅为本地的目标服务。在这样一个联邦机制下，各个参与者的身份和地位相同，而联邦系统帮助大家建立了“共同富裕”的策略。
4)小样本学习(Few-shot Learning)，是元学习在监督学习领域的应用。在元训练阶段将数据集分解为不同的元任务，去学习类别变化的情况下模型的泛化能力，在元测试阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。小样本学习所解决的问题是机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习。
5)半监督学习(Semi-Supervised Learning，SSL)，是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用少量的标记数据，来进行模式识别工作。半监督学习的基本思想是利用数据分布上的模型假设建立学习器对未标签样例进行标签。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的精确度。
6)原型网络(Prototypical Networks)，该网络能识别出在训练过程中从未见过的新的类别，并且对于每个类别只需要很少的样例数据。原形网络将每个类别中的样例数据映射到一个空间当中，并且提取他们的“均值”来表示为该类的原型(prototype)。使用欧几里得距离作为距离度量，训练使得本类别数据到本类原形表示的距离为最近，到其他类原形表示的距离较远。测试时，对测试数据到各个类别的原形数据的距离做softmax，来判断测试数据的类别标签。
7)少样本网络模型，本发明的少样本网络模型是指需要带有标签的训练样本比较少的网络模型，比如：小样本网络模型、半监督网络模型等。小样本学习模型又包括原型网络(Prototypical Networks)、孪生网络(Siamese Network)、匹配网络(Match Network)等。
8)差分隐私(Differential Privacy)，是密码学中的一种手段，旨在提供一种当从统计数据库查询时，最大化数据查询的精确度，同时最大限度减少识别其记录的机会。
在人工智能领域所面临的样本数据少和数据隐私威胁的情况下，出现了一种联邦学习方法；其设计目的一是可以基于分布在多个设备上的数据集构建机器学习模型，二是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。联邦学习虽然具有能够一定程度上实现不需要单个机构具有大量的数据进而用多个机构的数据联合来训练模型，以及可以实现数据隔离，不会造成数据泄密；但还是存在一些缺点，比如：(1)联邦学习的客户端必须使用相同的网络模型，具有较大的通信成本；(2)每个参与的机构还是需要大量有标签的数据才能完成模型训练；(3)如果有用户恶意攻击、污染，联邦模型很容易受到影响；(4)上传梯度也可能被复原数据、中央服务器也可能窃取用户的数据等；(5)联邦学习只能最多利用100个参与者的数据，参与者的数量还是存在局限性。
基于此，本发明实施例提出了一种基于生成对抗网络的图像分类方法、系统、电子设备及分类模型训练方法，能够在人工智能的基础上实现待分类图像的分类，提升待分类图像分类的精确度。另外，由于本发明采用的少样本网络模型并不需要太多的标签数据，但也存在训练样本过少的问题，训练样本过少又会影响模型的鲁棒性和精确度；因此，本发明实施例提供的方案还涉及用于分类的模型训练方法；具体将在下文进行说明。
请参见图1，图1是本发明实施例提供的基于生成对抗网络的图像分类方法的流程示意图，结合图1示出的步骤进行详细说明。
S101、服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求。
需要说明的是，本发明实施例的服务端可以是中央服务器，主要用于获取户输入的待分类图像，并在一定条件下将该数据发送给可以参加分类任务的目标客户端；以及对客户端的初步分类结果进行汇总整理后输出最终分类结果给查询的用户。客户端可以是参与者的手机、电脑、平板等终端设备；在本发明建立的系统框架中，客户端需要有多个，且不同参与者的客户端可以是同样的机器学习模型，也可以是不同的机器学习模型；客户端主要用于根据下载的公共数据和自身的私有数据训练自身的网络模型，并在模型训练好后使用训练的网络模型模型对服务器分发的用户的待分类图像进行初步分类。此外，待分类的图像可以是待分类的图片，比如照片、X光片、CT片、MR片等；也可以是待分类的影像；待分类的图像可以一次输出一张，也可以一次输入多张。
具体地，各查询者可以在自己的客户端输入待分类的图像，各查询者的客户端与服务端连接通信，从而服务端可以获取并暂时存储待分类图像。服务端获取待分类图像后，对各个对参与者的客户端发起是否能参加分类任务的判定请求。之所以需要发送判定请求，是因为考虑到个别参与者的客户端可能会存在不在线、设备持有者不同意参与、模型没有经过训练，或更新没有完成等各种不能参与分类任务的情况。
S102、每个客户端根据判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端。
具体地，每个参与者的客户端在收到服务端发出的判定请求后，结合自身的状态参数，比如，客户端在线、客户端持有者同意参与分类、模型已经预先训练，且更新完成的客户端反馈可以参与分类任务的响应信号给服务端，表明这些客户端可以参与下一步的分类任务；反之，只要有一项上述条件不满足的客户端则反馈不能参与分类任务的响应信号给服务端，表明这些客户端不能参与下一步的分类任务。需要说明的是，该判定请求可以仅是一个测试客户端是否有反馈的响应信号。
S103、服务端根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端。
服务端在接收到各个客户端反馈的是否开机且在线的响应信号后，将待分类图像分发给可以参加此次分类任务的客户端；为了区分，将这些客户端称为目标客户端。
S104、各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
每个目标客户端都有自己的网络模型，这些网络模型均为需要标签样本很少的少样本网络模型，比如，可以是小样本网络模型的原型网络、孪生网络或匹配网络，也可以是半监督网络模型；也可以一部分是小样本网络模型，一部分是半监督网络模型。也即，本发明实施例的图像分类方法的参与者的网络模型，不同参与者可以使用同一种网络少样本网络模型，也可以使用不同的少样本网络模型。
需要说明的是，本发明的实施例优选采用不同的参与者的客户端的不同的网络模型。这是因为，一般联邦学习的方法，如果有用户进行恶意攻击、污染，很容易对总体模型产生影响；但由于参与者使用移动设备的情况可能性能差异很大，且允许使用不同的模型，可以在考虑设备性能的情况下充分利用参与者的数据，因此，本发明的实施例优选的不同的参与者的客户端的不同的网络模型组建的框架更不容易被攻击和污染，也即更不容易遭受隐私威胁，具有更高的安全性。
此外，需要特别指出的是，客户端具体采用的少样本网络模型，需要服务端和客户端事先约定是否采用小样本网络模型中的原型网络；比如，事先约定客户端的网络模型全部为原型网络；或者，为除原型网络外的其它小样本网络；或者，为除原型网络外的其它小样本网络和半监督学习网络。之所以需要事先约定客户端的网络类型是否包含原型网络，是因为，用户查询时的输入信息会有所不同。
具体地，当客户端的网络类型不包含原型网络时，用户在需要查询时输入的信息只需要输入待查询的图像即可，也即，此时，待分类图像就是待查询图像；而当客户端的网络类型包含原型网络时，用户在需要查询时输入的信息除了待查询的图像，还包括已分类的图像，这些已分类的图像是明确已知类别的图像；此时，待分类图像包括待查询图像和类别图像。之所以原型网络在用户查询时还需要输入已知类别的图像，是因为训练原型网络学习是一种投影方式，通过将图片投影到别的空间，使得同类图片间的距离最小，以此来进行分类。而同时输入查询者提供的已分类图像，用于确定原型网络映射后的各个原型(类别中心)，有助于分类的更加准确，且可以对在训练时没有的类别进行分类。已知类别图像只需要包含某些类别，这两不一定很大；且每类已知类别图像只需要几张。用户在查询时具体输入哪些已知类别图像是需要根据用户的经验和已知信息来判断。比如，用户是一个医生，这个医生根据经验的积累知道某种病的某几种症状是什么，现在想判断某些人是否得了这种病，那么这个医生需要输入这种病的症状图像、正常症状图像和待判断人员的症状图像。
在前述说明的基础上，再具体到本步骤，各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；也即：
当参与者的客户端的少样本网络模型包含原型网络时，用户输入的待分类图像包括待查询图像和类别图像；各个目标客户端将该待查询图像和类别图像均输入预先训练的原型网络模型进行分类，得到第一分类结果。
当参与者的客户端的少样本网络模型不包含原型网络时(比如，包含孪生网络和/或匹配网络和/或半监督学习网络)，用户输入的待分类图像即待查询图像；各个目标客户端将该待查询图像输入预先训练的原型网络模型进行分类，得到第一分类结果，并将第一分类结果上传至服务端。
上述步骤中涉及的预先训练的少样本网络模型，是在进行分类任务前采用训练样本对各个目标客户端的网络模型预先训练；训练样本包括公共数据和客户端自身的私有数据；完成训练一次即可，以后每次执行分类任务直接输入待分类图像即可。预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成，具体包括：
客户端下载公共数据，并整合公共数据和客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；
客户端将模型训练样本输入客户端的少样本网络模型，生成预先训练的少样本网络模型。
S105、服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果。
需要说明的是，参与者在训练模型时使用两部分数据，一部分是公共数据，一部分是参与者自己的私有数据，这些数据均是带有已知标签的数据。采用公共数据及私有数据训练的方式，是因为公共数据集可以增加单个参与者的数据量，这有助于获得更准确的模型。
在经过上述步骤的分类之后，得到的第一分类结果其实就是各个目标客户端自身网络模型对待分类图像的投票结果；服务端在接收到各目标客户端上传的分类结果后，计算各类的投票数，汇总后得到每一类的投票总数。服务器把投票总数最多的类别认为是正确的分类结果，即第二分类结果。该第二分类结果可以由服务端传送并显示在各查询者的客户端，查询者获取输出待分类图像的正确分类结果。
请参见图2，图2是本发明另一实施例提供的基于生成对抗网络的图像分类方法，在上述实施例的基础上，为了进一步提高本方案的模型在执行下一次分类任务时的分类精确度，本方案的分类方法，在服务端对每个目标客户端的第一分类结果汇总整理，输出的分类结果之后，还包括：
S106、服务端将第一分类结果和第二分类结果比对，输出与第二分类结果不一致的第一分类结果。
第一分类结果是各个目标客户端自身网络模型对待分类图像的投票结果，第二分类结果是经汇总后的正确的分类结果，通过将每个目标客户端自身网络模型对待分类图像的投票结果与最终的正确的分类结果进行比对，可以得到每个目标客户端自身网络模型分类错误的图像。每个目标客户端自身网络模型分类错误的图像即与第二分类结果不一致的第一分类结果。
S107、服务端将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端。
服务端将每个目标客户端自身网络模型分类错误的图像以及正确的分类结果反馈给各个目标客户端。
S108、各个目标客户端根据反馈的与第二分类结果不一致的第一分类结果及第二分类结果更新各个目标客户端的少样本网络模型，以用于下一轮分类任务。
各个目标客户端根据反馈的分类错误的图像以及正确的分类结果来更新自身网络模型，该更新的网络模型在执行下一次分类任务时具有更高的分类准确度。
此外，在上述步骤中，当客户端的少样本网络模型类型为原型网络时，由于输入的类别图像可能会存在格式不一致的问题，也可能存在存放方式不统一的问题，比如，将所有不同类图像按名称排序放在同一文件夹下和将不同类别图像分别放在不同的二级文件夹中，是两种不同的存放方式。因此最好在把待分类图像输入各自预先训练的少样本网络模型进行分类前，对待分类图像进行预处理，以统一格式类型和存放方式，方便下一步的分类处理。
相应地，本步骤中各个目标客户端根据反馈的与第二分类结果不一致的第一分类结果及第二分类结果更新各个目标客户端的少样本网络模型，具体包括：
S1081、各个目标客户端根据反馈的不一致的第一分类结果及第二分类结果更新生成对抗网络；
S1082、基于更新的生成对抗网络更新模型训练样本；
S1083、基于更新的模型训练样本更新少样本网络模型。
需要说明的是，更新的频次可以根据设定的阈值来更新，比如，设定一个客户端接受服务器分类错误的图像和正确类别的反馈数量的阈值，当达到该阈值时，对客户端的生成对抗网络模型更新一次，进而对少样本网络模型更新。
当然，当用户数据更新量达到阈值时，也可以对客户端的生成对抗网络模型更新一次，进而对少样本网络模型更新。
本方案的模型训练方法，之所以使用生成对抗网络，是因为考虑到训练样本较少的情况下，训练模型会出现过拟合现象；因此通过使用生成对抗网络生成模型训练样本，生成数据会增加样本量，提高模型鲁棒性和精确度。此外，当用户数据更新量达到阈值时，或者客户端接受服务器分类错误的图像和正确类别的反馈数量达到阈值时更新生成对抗网络，并使用新的生成对抗网络更新训练样本。
本发明的实施例提供的基于生成对抗网络的图像分类方法，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题，且具有良好的分类精确度和分类置信度；同时，通过使用生成对抗网络训练少样本网络模型，提高模型鲁棒性和精确度；此外，通过增加分类结果反馈功能，客户端根据反馈结果更新各自的少样本网络模型，在此后的分类任务中可以进一步提高分类的精确度。
本发明的实施例的方案，利用了联邦学习的思想，在缺少海量数据作为样本数据时，利用多个客户端的自身的网络模型构建起虚拟的整体的网络模型框架，来解决实际分类的问题；但与联邦学习明显不同的是，联邦学习必须所有的参与者使用相同的模型，如果参与者的模型不同，则无法完成训练；但在联邦学习中使用相同的模型，恶意用户持续、定向对模型做出干扰，会使共有的虚拟模型发生改变，致使模型框架被攻击污染。再者，由于数据独立同分布等数据特异性问题，联邦学习难以应用大量参与者的数据，最多不能超多100个。而本发明的实施例的方案，所应用的每个参与者的数据是分散的、少量的数据的方式，且参与者的数量不受限制，可以有效利用更多的参与者的模型，允许更多的数据所有者加入，使得本发明的方法、系统实用性更广；更为重要的是，参与者的模型可以不同，参与者的模型不同更有利于保护所构建的框架不容易被攻击者攻击和污染；更利于参与者的隐私保护；且对于不同的方案，允许单个任务中的参与者使用不同的模型，更加灵活。此外，本发明的实施例的方案，通过多个目标客户端自身的少样本网络模型对待分类图像进行分类投票，投票而不是上传网络参数，可以进一步防止恶意的模型和数据推断。
请参见图3，图3是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图，在本发明实施例提供的上述方案的基础上，进一步地，步骤S105的服务端对各个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还优选包括步骤：
S109、服务端对第二分类结果进行差分隐私保护，输出第三分类结果。
服务端将进行差分隐私保护后的第三分类结果输出给查询者。
需要说明的是，步骤S109和步骤S106-S108均是在输出第二分类结果之后，但并不存在先后顺序，可以同步进行。
之所以引入差分隐私保护机制，是因为本发明的各参与者构建的框架中汇总了所有参与者的分类的结果，当参与者众多时，由于参与者在线时间的随机性，框架本身具有强大的隐私保护；但是，当参与者很少时，个别参与者可能会收到有针对性的攻击，造成参与者隐私泄密。引入的差分隐私可以隐藏参与者是否参与某次查询。
下面对差分隐私进行说明：
设有随机算法M，PM为M所有可能输出构成的集合的概率，对于任意两个邻近数据集D与D'以及PM的任意子集SM，若算法M满足：
P[M(D)∈SM]≤eε×P[M(D′)∈SM]
则称算法M提供ε-差分隐私保护。ε越小，隐私保护程度越高；ε越大，数据可用性越高(保密度越低)。通常情况下，ε值取很小，如0.001、0.1、ln2、ln3等，即对于只有一条记录差别的两个数据集，如果查询它们的概率非常非常的接近，那么它们满足差分隐私保护。举例来说，医院发布信息有10个人患AIDS，现在攻击者知道其中9个人的信息，通过和医院发布的信息进行比对就可以知道最后一个人是否患AIDS，这就是差分隐私攻击。如果查询9个人的信息和查询10个人的信息结果一致，那么攻击者就没有办法确定第10个人的信息，这就是差分隐私保护。
本发明的实施例引入的是指数差分隐私保护机制，下面对该指数差分隐私保护机制进行说明：
设查询函数的输出域为Range，域中的每个值r∈Range为一实体对象，在指数机制下，函数q(N,r)→R称为r输出值的可用性函数，用来评估输出值r的优劣程度。
设随机算法M输入为数据集N，输出为一实体对象r∈Range，q(N,r)为可用性函数，Δq为函数q(N,r)的敏感度，若算法M以正比于
Figure BDA0002601576650000151
的概率从Range中选择并输出r，那么算法M提供ε-隐私保护。
具体到本步骤，服务端对汇总整理后的第一分类结果进行上述的指数差分隐私保护，第一分类结果为算法M的输入数据集，输出r为第二分类结果，算法M＝{在所有可能输出值中以正比于
Figure BDA0002601576650000161
的概率返回实体对象r}。服务端对进行指数差分隐私保护后的输出值r发送给查询者。
通过引入指数差分隐私保护的机制，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密。
下面通过分析与本发明的方案接近的现有技术的缺点，进一步说明本发明的方案的有益效果。
文献“Differentially Private Federated Learning:A Client LevelPerspective”的技术方案是：在联邦学习的框架下，每一轮迭代选取部分参与者设备，利用其数据在本地更新模型，模型参数上传后，中央服务器利用差分隐私算法，对这些参数进行加权平均。但存在的缺点是：未考虑服务器是潜在攻击者的情况，服务器可通过梯度恢复单个参与者的训练数据；无法解决设备异质性的问题，运行速度慢的设备上传的参数可能得不到使用，或者训练时间会被大大延长。
文献“Practical Secure Aggregation for Privacy-Preserving MachineLearning”的技术方案是：客户端之间利用安全聚合协议，加密自身数据，服务器仅能解密这些加密数据的和而无法解密单个加密数据，从而保护用户隐私。但存在的缺点是：如果有客户端故意发送格式错误的消息，则会导致整个过程终止；有恶意的客户端可以发送自己选择的任意值，从而影响最终的模型。
而本发明实施例的图像分类方法，由于参与者的模型可以不同，参与者的模型不同更有利于保护所构建的框架不容易被攻击者攻击和污染，服务器无法通过梯度恢复单个参与者的训练数据，更利于参与者的隐私保护；此外，也不存在设备异质性的问题；且对于不同的方案，允许单个任务中的参与者使用不同的模型，更加灵活。即使存在恶意的客户端故意发送格式错误的消息，也不会影响整体所构建的模型系统。
以上结合图1-图3详细描述了根据本发明实施例的图像分类方法。下面对本发明实施例提供的一种基于生成对抗网络的少样本网络模型的训练方法进行介绍。
一种基于生成对抗网络的少样本网络模型的训练方法，包括：
客户端下载公共数据，并整合公共数据和客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；公共数据存储于服务端或独立于服务端之外的公共存储装置上；
客户端将模型训练样本输入客户端的少样本网络模型，生成预先训练的分类模型；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
该模型训练方法的有益效果在上述已经详细叙述过，在此不再赘述。
下面将结合图4详细描述根据本发明再一实施例的图像分类方法。可以理解的是，从客户端侧描述的服务端与客户端的交互过程与图1-图3所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
请参见图4，图4是本发明再一实施例提供的基于生成对抗网络的图像分类方法的流程示意图，该方法应用于客户端，具体包括：
S201、客户端接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；是否能参加分类任务的判定请求由服务端发起。
S202、接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；用待分类图像由服务端根据响应信号分发。
其中，预先训练的少样本网络模型的训练方法，包括：
客户端下载公共数据，并整合公共数据和客户端自身的私有数据，得到模型训练参数；结合模型训练参数，使用生成对抗网络，生成模型训练样本；公共数据存储于服务端或独立于服务端之外的公共存储装置上；
客户端将模型训练样本输入客户端的少样本网络模型，生成预先训练的少样本网络模型。
模型的具体训练过程与上述实施例相同，在此不再赘述。
本实施例提供的应用于客户端的图像分类方法，需要多个参与者的客户端，客户端利用自身的私有数据以及外部的公共数据来训练自身的模型，可以使训练后的模型分类更加准确；且客户端优选使用更多的参与者不同的少样本网络模型，这样组建的框架更不容易被攻击和污染，也即更不容易遭受隐私威胁，具有更高的安全性；此外，通过使用生成对抗网络训练客户端的少样本网络模型，一方面可以增加训练样本的数量，防止训练样本少出现的过拟合现象，提高模型分类的鲁棒性；另一方面利用生成部分和判别部分的不断对抗，提升模型分类的精确度。
请参见图5，图5是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图。同样可以理解的是，从服务端侧描述的服务端与客户端的交互过程与图1-图3所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
图5所示的基于生成对抗网络的图像分类方法，该方法应用于服务端，具体包括：
S301、获取待分类图像，对客户端发起是否能参加分类任务的判定请求。
S302、根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端；响应信号由客户端根据判定请求产生。
S303、对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；第一分类结果由各个目标客户端将待分类图像输入各自预先训练的少样本网络模型后获得；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
进一步地，在对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
S304、将第一分类结果和第二分类结果比对，输出与第二分类结果不一致的第一分类结果。
S305、将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端。
预先训练的少样本网络模型的训练方法与上述实施例相同。
请参见图6，图6是本发明另一实施例提供的基于生成对抗网络的图像分类方法的流程示意图；进一步地，在将每个目标客户端的少样本网络模型的投票值汇总整理，输出第二分类结果之后，还包括：
S306、对第二分类结果进行差分隐私保护，输出第三分类结果。
同样地，步骤S306和步骤S303-S305均是在输出第二分类结果之后，但并不存在先后顺序，可以同步进行。
本实施例提供的应用于服务端的图像分类方法，服务端将第一分类结果和第二分类结果比对，并将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端，来更新客户端的少样本网络模型，在执行以后的分类任务时，各少样本网络模型的分类准确度得到提高。此外，通过引入指数差分隐私保护机制，使用此机制输出具有最大概率的投票结果，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密。
在前述实施例的基础上，本发明还提供了一种图像分类系统，该系统可以实施前述图像分类方法，可以理解的是，该系统的服务端与客户端的交互过程与图1-图3所示的方法中的双侧的描述相同，为避免重复，适当省略相关描述。
请参见图7，图7是本发明实施例提供的基于生成对抗网络的图像分类系统的结构示意图。
图7所示的系统包括：服务端和客户端；其中，
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；每个客户端根据判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；服务端根据各个客户端反馈的响应信号，将待分类图像分发给可以参加分类任务的目标客户端；各个目标客户端将待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将第一分类结果上传至服务端；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
进一步地，在服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；服务端将第一分类结果和第二分类结果比对，输出与第二分类结果不一致的第一分类结果；服务端将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端；各个目标客户端根据反馈的与第二分类结果不一致的第一分类结果及第二分类结果更新各个目标客户端的少样本网络模型，以用于下一轮分类任务。
同样地，预先训练的少样本网络模型的训练方法与上述实施例相同。
同样进一步地，为了不使参与者的数据收到恶意攻击，引入指数差分隐私保护机制，服务端对第二分类结果进行差分隐私保护，输出第三分类结果。
本发明实施例提供的图像分类系统，利用多个只需少量标签数据的客户端的模型，解决了现有机器学习中数据隐私容易被恶意攻击、污染的问题，以及需要大量标签数据的问题；通过使用生成对抗网络训练客户端的少样本网络模型，一方面可以增加训练样本的数量，防止训练样本少出现的过拟合现象，提高模型分类的鲁棒性；另一方面利用生成部分和判别部分的不断对抗，提升模型分类的精确度。通过服务端将第一分类结果和第二分类结果比对，并将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端，来更新客户端的少样本网络模型，在执行以后的分类任务时，各少样本网络模型的分类准确度得到提高。此外，引入差分隐私保护机制，可以有效保护输出的分类结果不会被攻击者通过复原数据，保护特定用户的信息不会被攻击者进行反向攻击；也不会因为服务器存在的可能窃取用户数据的威胁而造成用户数据泄密；且具有良好的分类精确度和分类置信度。
在前述实施例的基础上，本发明实施例还提供了一种电子设备，对应于前述系统的服务端，该电子设备与客户端的交互过程与上述图5的方法相同，为避免重复，适当省略相关描述。
请参见图8，图8是本发明实施例提供的基于生成对抗网络的图像分类系统的框架结构示意图，并请参见图9，图9是本发明实施例提供的基于生成对抗网络的用于图像分类的电子设备，如图9所示的电子设备，包括：
响应模块，接收是否能参加分类任务的判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给服务端；是否能参加分类任务的判定请求由服务端发起。
数据生成模块，下载公共数据，整合公共数据和客户端自身的私有数据，得到模型训练参数；公共数据存储于服务端或独立于服务端之外的公共存储装置上；数据处理模块还接收来自服务端的待分类数据；待分类数据由服务端根据响应模块反馈的相应信号分发。
计算模块，接收待分类图像，并将其输入预先训练的少样本网络模型进行分类后输出第一分类结果；并将第一分类结果上传至服务端；预先训练的少样本网络模型由计算模块基于模型训练参数训练客户端的少样本网络模型得到；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；用待分类图像由服务端根据响应信号分发。
预先训练的少样本网络模型的训练方法与上述实施例相同。
在前述实施例的基础上，本发明实施例还提供了一种电子设备，对应前述系统的客户端，该电子设备与客户端的交互过程与上述图5的方法相同，为避免重复，适当省略相关描述。
请一并参见图8和图10，图10是是本发明实施例提供的用于图像分类的电子设备，如图10所示的电子设备，包括：
判定模块，在服务端获取待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端根据判定请求反馈的响应信号。
存储模块，获取待分类图像，并根据响应信号将待分类图像分发给可以参加分类任务的目标客户端。
汇总模块，将每个目标客户端的第一分类结果汇总整理，输出第二分类结果。
第一分类结果由各个目标客户端将待分类图像输入各自预先训练的少样本网络模型后获得；少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
进一步地，该电子设备，还包括：
结果反馈模块，将第一分类结果和第二分类结果比对，输出与第二分类结果不一致的第一分类结果；并将与第二分类结果不一致的第一分类结果及第二分类结果反馈给各个目标客户端。
请一并参见图11和图12，图11是本发明实施例提供的又一种图像分类系统的框架结构示意图，图12是本发明又一实施例提供的用于图像分类的电子设备，如图12所示的电子设备，对应前述系统的服务端的电子设备，还包括：隐私模块，对第二分类结果进行差分隐私保护，输出第三分类结果。
下面对本发明实施例提供的图像分类方法、系统、电子设备及分类模型训练方法用到的算法框架进行详细描述：
设P是在线的参与者数；Modi是第i个参与者训练出的模型，其中i∈[0,P)；C是分类任务所有可能的类别数；cj是第j个类，j∈[0,C)；
Figure BDA0002601576650000221
是第i个参与者参与第k次投票得到正确结果的概率，x是待分类图片，
Figure BDA0002601576650000222
值为1；nj是第j类的投票总数之和。
(1)每个参与者i使用公共数据集Xpuβ和自身的私有数据
Figure BDA0002601576650000223
训练训练生成对抗网络产生训练数据集；
(2)每个参与者使用生成对抗网络产生的数据集训练自己的模型Modi；
(3)查询者向中央服务器发送查询请求以执行分类任务；
(4)中央服务器判定可执行任务的参与者，将此分类任务传输给这些参与者；
(5)中央服务器计算票数，并获得每类的投票总数nj的列表N＝[n0,n1,...,nj]；
(6)对于列表N，中央服务器使用指数差分隐私机制M(N)＝{在所有可能输出值中以正比于
Figure BDA0002601576650000224
的概率返回实体对象r}得到最终的投票结果c；
(7)中央服务器将分类结果返回给查询者；并将参与者错误分类的图片和正确分类结果反馈给参与者；
(8)当用户的数据更新量达到阈值或接受服务器分类错误反馈数量达到阈值时使用生成对抗网络更新训练样本，并使用新的训练样本更新本地模型。
下面再结合一个实际场景来对本发明进行说明。
假设参与者的客户端使用的模型均为原型网络模型，若干个参与者的原型网络模型对于查询者发起的查询进行分类计算。查询者的已知类别图像集为
Figure BDA0002601576650000225
其中
Figure BDA0002601576650000226
表示第k个类别图像中的第i个样本的特征向量，Sk表示类k，|Sk|表示类k中的样本的数量；待查询的图像为xq。参与者a接收到服务器分发的数据后，首先使用自身模型学习到的投影函数fa(x)将所有图像投影到其投影空间，然后计算每个类在该空间的原型
Figure BDA0002601576650000231
之后计算xq在此投影空间中与各个原型的距离d(fa(xq),ck)，找到距离最短的原型即为其所属类别并将此类别上传到服务器。其他参与者同理。中央服务器计算票数，并获得每类的投票总数nj的列表N＝[n0,n1,...,nj]，最后使用指数差分隐私算法M(N)获得最终投票结果并返回给查询者；对于列表，中央服务器使用指数差分隐私机制{在所有可能输出值中以正比于的概率返回实体对象}得到最终的投票结果；中央服务器将分类结果返回给查询者；并将参与者错误分类的图片和正确分类结果反馈给参与者；当用户的数据更新量达到阈值或接受服务器分类错误反馈数量达到阈值时使用生成对抗网络更新训练样本，并使用新的训练样本更新本地模型。
下面通过实验对本发明的方案进行分类精确度和分类置信度的验证。
首先为每个参与者训练一个原型网络，最终分类的精确度和隐私性很大程度上取决于参与者的数量。
实验使用MNIST和Omniglot数据集。对于两个数据集，采用的原型网络堆叠了四个卷积层，具有最大池和激活功能。
分类精确度：在所有其他条件相同的情况下，分类的精确度受训练类数量和用于训练模型的训练样本数的限制。无疑，训练样本越多，分类的精确度越高。而对Omniglot数据集进行实验，Omniglot数据集中的每个字符都有20个样本，将公共数据的类别数设为私有数据类的数量的四倍，并更改每个模型中训练的字符数，以观察准确性的变化。对Omniglot数据集的实验表明，如图13所示，所使用的训练样本的类别总数越多，分类的精确度越高，当所使用的训练样本类别数接近集中式学习的训练样本类别数时，分类的精确度几乎相同。需要说明的是，该图为没有引入生成对抗网络来训练模型，以及没有引入结果反馈功能的分类结果实验图，当引入生成对抗网络来训练模型和/或引入结果反馈功能后，分类的精确度高于图13所示结果。
分类置信度：为了保护一组参与者得到的分类结果的隐私，要求一定数量的参与者对相同的标签投票。隐私分析反映了这一观察结果，当参与人数足够多时，该分析提供了更严格的隐私范围。计算每个可能的标签的票数，并衡量最受欢迎的标签和第二个最受欢迎的标签之间的票数差异。如果差异较大，则当噪声引入聚合结果时，获得票数最多的标签的可能性仍然很大。通过衡量参与者总数P归一化的差距，实验者发现，随着P的增加，对同一图片的不同投票结果的差距仍然大于参与者的60％，从而证实本发明的分类方法和分类系统在存在噪声的情况下也极有可能输出正确的标签。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (14)

1.一种基于生成对抗网络的图像分类方法，其特征在于，包括：
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；
所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成；
所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果。
2.根据权利要求1所述的图像分类方法，其特征在于，所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成，包括：
所述客户端下载公共数据，并整合所述公共数据和所述客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；
所述客户端将所述模型训练样本输入所述客户端的少样本网络模型，生成所述预先训练的少样本网络模型。
3.根据权利要求1所述的图像分类方法，其特征在于，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出的分类结果之后，还包括：
所述服务端将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
所述服务端将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端；
所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，以用于下一轮分类任务。
4.根据权利要求3所述的图像分类方法，其特征在于，所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，包括：
所述各个目标客户端根据反馈的所述不一致的第一分类结果及所述第二分类结果更新所述生成对抗网络；
基于更新的生成对抗网络更新模型训练样本；
基于更新的模型训练样本更新所述少样本网络模型。
5.根据权利要求1所述的图像分类方法，其特征在于，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
所述服务端对所述第二分类结果进行差分隐私保护，输出第三分类结果。
6.一种基于生成对抗网络的分类模型训练方法，其特征在于，包括：
客户端下载公共数据，并整合所述公共数据和客户端自身的私有数据，使用生成对抗网络，生成模型训练样本；所述公共数据存储于服务端或独立于服务端之外的公共存储装置上；
所述客户端将所述模型训练样本输入所述客户端的少样本网络模型，生成预先训练的分类模型；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种。
7.一种基于生成对抗网络的图像分类方法，其特征在于，应用于服务端，所述方法包括：
获取待分类图像，对客户端发起是否能参加分类任务的判定请求；
根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；所述响应信号由所述客户端根据所述判定请求产生；
对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述第一分类结果由各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
8.根据权利要求7所述的图像分类方法，其特征在于，在对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端。
9.根据权利要求7所述的图像分类方法，其特征在于，在对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
对所述第二分类结果进行差分隐私保护，输出第三分类结果。
10.一种基于生成对抗网络的图像分类系统，其特征在于，包括服务端和客户端；其中，
服务端获取待分类图像，对各个客户端发起是否能参加分类任务的判定请求；
每个客户端根据所述判定请求，对自身状态参数判定后反馈是否能参加分类任务的响应信号给所述服务端；
所述服务端根据各个客户端反馈的响应信号，将所述待分类图像分发给可以参加分类任务的目标客户端；
各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型进行分类，得到第一分类结果；并将所述第一分类结果上传至所述服务端；
所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
11.根据权利要求10所述的图像分类系统，其特征在于，在所述服务端对每个目标客户端的第一分类结果汇总整理，输出第二分类结果之后，还包括：
所述服务端将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；
所述服务端将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端；
所述各个目标客户端根据反馈的与所述第二分类结果不一致的第一分类结果及所述第二分类结果更新所述各个目标客户端的少样本网络模型，以用于下一轮分类任务。
12.一种电子设备，其特征在于，包括：
判定模块，在服务端获取待分类图像后，对客户端发起是否能参加分类任务的判定请求，并接收客户端根据所述判定请求反馈的响应信号；
存储模块，获取所述待分类图像，并根据响应信号将所述待分类图像分发给可以参加分类任务的目标客户端；
汇总模块，将每个目标客户端的第一分类结果汇总整理，输出第二分类结果；
所述第一分类结果由各个目标客户端将所述待分类图像输入各自预先训练的少样本网络模型后获得；所述少样本网络模型包括小样本网络模型和半监督网络模型中的至少一种；所述预先训练的少样本网络模型采用生成对抗网络生成的模型训练样本训练而成。
13.根据权利要求12所述的电子设备，其特征在于，还包括：
结果反馈模块，将所述第一分类结果和所述第二分类结果比对，输出与所述第二分类结果不一致的第一分类结果；并将所述与所述第二分类结果不一致的第一分类结果及所述第二分类结果反馈给各个目标客户端。
14.根据权利要求10所述的电子设备，其特征在于，还包括：
隐私模块，对所述汇总模块输出的第二分类结果进行差分隐私保护，输出第三分类结果。
CN202010725682.8A 2020-07-24 2020-07-24 基于生成对抗网络的图像分类方法、系统及电子设备 Active CN112101404B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010725682.8A CN112101404B (zh) 2020-07-24 2020-07-24 基于生成对抗网络的图像分类方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010725682.8A CN112101404B (zh) 2020-07-24 2020-07-24 基于生成对抗网络的图像分类方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN112101404A true CN112101404A (zh) 2020-12-18
CN112101404B CN112101404B (zh) 2024-02-09

Family

ID=73750574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010725682.8A Active CN112101404B (zh) 2020-07-24 2020-07-24 基于生成对抗网络的图像分类方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112101404B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819180A (zh) * 2021-01-26 2021-05-18 华中科技大学 一种基于联邦生成模型的多业务数据生成方法和装置
CN113344131A (zh) * 2021-06-30 2021-09-03 商汤国际私人有限公司 网络训练方法及装置、电子设备和存储介质
CN113806734A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种基于条件的能量生成对抗网络的网络攻击恢复方法
CN113869384A (zh) * 2021-09-17 2021-12-31 大连理工大学 基于领域自适应的隐私保护图像分类方法
CN114492768A (zh) * 2022-04-06 2022-05-13 南京众智维信息科技有限公司 一种基于小样本学习的孪生胶囊网络入侵检测方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
WO2019050247A2 (ko) * 2017-09-08 2019-03-14 삼성전자 주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019050247A2 (ko) * 2017-09-08 2019-03-14 삼성전자 주식회사 클래스 인식을 위한 뉴럴 네트워크 학습 방법 및 디바이스
CN108805188A (zh) * 2018-05-29 2018-11-13 徐州工程学院 一种基于特征重标定生成对抗网络的图像分类方法
CN109190665A (zh) * 2018-07-30 2019-01-11 国网上海市电力公司 一种基于半监督生成对抗网络的通用图像分类方法和装置
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金璐;刘士建;王霄;李范鸣;: "基于改进关系网络的小样本红外空中目标分类方法", 光学学报, no. 08 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112819180A (zh) * 2021-01-26 2021-05-18 华中科技大学 一种基于联邦生成模型的多业务数据生成方法和装置
CN113344131A (zh) * 2021-06-30 2021-09-03 商汤国际私人有限公司 网络训练方法及装置、电子设备和存储介质
CN113806734A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种基于条件的能量生成对抗网络的网络攻击恢复方法
CN113806734B (zh) * 2021-08-20 2024-02-09 北京工业大学 一种基于条件的能量生成对抗网络的网络攻击恢复方法
CN113869384A (zh) * 2021-09-17 2021-12-31 大连理工大学 基于领域自适应的隐私保护图像分类方法
CN113869384B (zh) * 2021-09-17 2024-05-10 大连理工大学 基于领域自适应的隐私保护图像分类方法
CN114492768A (zh) * 2022-04-06 2022-05-13 南京众智维信息科技有限公司 一种基于小样本学习的孪生胶囊网络入侵检测方法
CN114492768B (zh) * 2022-04-06 2022-07-15 南京众智维信息科技有限公司 一种基于小样本学习的孪生胶囊网络入侵检测方法
CN115730300A (zh) * 2022-12-12 2023-03-03 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法
CN115730300B (zh) * 2022-12-12 2023-06-27 西南大学 基于混合式对抗元学习算法的程序安全模型构建方法

Also Published As

Publication number Publication date
CN112101404B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN112101403B (zh) 基于联邦少样本网络模型的分类方法、系统及电子设备
CN112101404B (zh) 基于生成对抗网络的图像分类方法、系统及电子设备
US20220012672A1 (en) Systems and methods for score genration for applicant tracking
Ingre et al. Performance analysis of NSL-KDD dataset using ANN
CN106790008B (zh) 用于在企业网络中检测异常主机的机器学习系统
CN111402095A (zh) 一种基于同态加密联邦学习来检测学生行为与心理的方法
Sahu et al. Machine learning based anomaly detection for IoT network:(Anomaly detection in IoT network)
CN108964926A (zh) 异构联盟系统中基于二层区块链的用户信任协商建立方法
CN111081337B (zh) 一种协同任务预测方法及计算机可读存储介质
Nguyen et al. Backdoor attacks and defenses in federated learning: Survey, challenges and future research directions
Haffar et al. Explaining predictions and attacks in federated learning via random forests
Guo et al. Privacy-preserving image search (PPIS): Secure classification and searching using convolutional neural network over large-scale encrypted medical images
WO2021189908A1 (zh) 基于深度学习的图像分类方法、装置、服务器及介质
Malik et al. Building a secure platform for digital governance interoperability and data exchange using blockchain and deep learning-based frameworks
CN112085051B (zh) 基于加权投票的图像分类方法、系统及电子设备
Kadry et al. Intrusion detection model using optimized quantum neural network and elliptical curve cryptography for data security
US20230252416A1 (en) Apparatuses and methods for linking action data to an immutable sequential listing identifier of a user
CN115274132A (zh) 一种呼吸道传染病的监测预警系统及方法
CN116227624A (zh) 面向异构模型的联邦知识蒸馏方法和系统
Hu et al. Source inference attacks: Beyond membership inference attacks in federated learning
AlJamal et al. Optimizing risk mitigation: A simulation-based model for detecting fake IoT clients in smart city environments
US20230254148A1 (en) Apparatus and methods for selectively revealing data
CN116306969A (zh) 基于自监督学习的联邦学习方法和系统
Assiri et al. A hybrid ensemble method for accurate breast cancer tumor classification using state-of-the-art classification learning algorithms
Huang et al. A comprehensive intrusion detection method for the internet of vehicles based on federated learning architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant