CN113240129A - 一种面向多类型任务图像分析的联邦学习系统 - Google Patents
一种面向多类型任务图像分析的联邦学习系统 Download PDFInfo
- Publication number
- CN113240129A CN113240129A CN202110497212.5A CN202110497212A CN113240129A CN 113240129 A CN113240129 A CN 113240129A CN 202110497212 A CN202110497212 A CN 202110497212A CN 113240129 A CN113240129 A CN 113240129A
- Authority
- CN
- China
- Prior art keywords
- parameters
- encoder
- client
- model
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明属于影像技术领域,且公开了一种面向多类型任务图像分析的联邦学习系统,包括Server与C l i ent,所述C l i ent包括有Decoder、Encoder、Encoder平均值、fc,所述Server包括有Encoder平均值。本发明通过使用联邦学习框架,打破了各方之间的数据孤岛,使得在保护图像数据隐私前提下也能联合各方数据进行建模,比单独建模的准确率高,且还能同时进行多类型任务的图像分析。
Description
技术领域
本发明属于影像技术领域,具体是一种面向多类型任务图像分析的联邦学习系统,特别地适用于医疗。
背景技术
医疗图像分析系统是用计算机对医学图像进行自动处理、特征抽取和分类的技术,分析的主要对象是人体细胞涂片图像、人体各部位的X射线照片和超声图像。近年来,随着大数据、深度学习、人工智能技术的飞速发展,目前医疗图像领域中也出现了一些基于深度学习、人工智能的分析方法。
现有的一种医疗图像分类或者分割方法中,直接用一方的数据训练,但是由于数据少,这种方法训练出的模型的准确率低;在另外的医疗图像分类或者分割方法,各方的数据被直接汇聚在一起训练,数据变多了,准确率确实是有所提高,但是这种方法却存在一个很大的问题,就是暴露了各方的隐私数据(一般来说,医疗数据都属于隐私数据),数据安全受到威胁;为克服上述的第二种方法的安全性问题,开发了在联邦学习框架下进行图像分类或者分割方法,联邦学习旨在建立一个基于分布数据集的联邦学习模型,其主要包括两个过程,分别是模型训练和模型推理。在模型训练的过程中,模型相关的信息能够在各方之间交换(或者是以加密形式进行交换),但数据不能。这一交换不会暴露每个参与方上数据的任何受保护的隐私部分。已训练好的联邦学习模型可以置于联邦学习系统的各参与方,也可以在多方之间共享。此方法确实是保护了数据隐私,但是其要求所有方的任务必须是相同的,即要么都是分类,要么都是分割,所以这种方法不能进行多个不同类型的任务的共同训练,而且由于各方数据的异构型,例如Non-iid,即非独立同分布,所以在联邦学习框架下训练得到的全局模型对各方数据的分类或分割效果不好、准确率较低。
为了避免上述情况存在的问题,本发明主要运用于在各方之间不暴露医疗图像数据的前提下,各方共同构建一种面向多类型任务医疗图像分析的联邦学习系统。
发明内容
本发明的目的是针对以上问题,提供了一种面向多类型任务医疗图像分析的联邦学习系统,具有安全性高、准确性高、能同时进行多类型任务处理的优点。
为实现上述目的,本发明提供如下技术方案:一种面向多类型任务医疗图像分析的联邦学习系统,包括Server与Client,所述Client包括有Decoder、Encoder、Encoder平均值、fc,所述Server包括有Encoder平均值。
作为本发明的一种优选技术方案,所述Client包括有分类客户端与分割客户端。本发明将Encoder-Decoder(或fc)嵌入到联邦学习框架下,同时在本地Client训练过程中加入了KL散度的计算,各方(各个Client)拥有自己的医疗图像数据集与任务(例如分类或分割,但不限于这两种任务类型),首先各方在本地训练自己的模型,如果是分类任务,模型是Encoder-fc,如果是分割任务,模型Encoder-Decoder,训练若干个本地轮次之后,各方将Encoder部分的模型参数在加密(例如同态加密或差分隐私)之后发送给Server,而Decoder和fc部分的参数则不传,还留在本地;Server接收各方发来的模型参数,对他们进行平均(例如直接平均或加权平均),得到全局平均的Encoder,即Encoder平均值,再将其发回给各方;各方接收到加密状态的Encoder平均值后,先解密,然后进行下一全局更新轮次,即将收到的Encoder平均值和Decoder(或fc)直接连接起来得到Encoder平均值-Decoder(或Encoder平均值-fc),各方对本轮的平均模型和上一轮的本地模型同时进行训练,并且在训练的loss中加入了KL散度的计算,训练之后,各方再将本地Encoder发送给Server,上述过程循环若干个全局轮次。
与现有技术相比,本发明的有益效果如下:
1、本发明通过使用联邦学习框架,打破了各方之间的数据孤岛,使得在保护医疗图像数据隐私前提下也能联合各方数据进行建模,比单独建模的准确率高。
2、本发明通过使用多任务学习,即Encoder-Decoder(或fc)结构,增加了可利用的数据,并且使得在联邦学习框架下能同时进行多类型任务(分类与分割)的医疗图像分析。
3、本发明通过使用相互学习,即在本地模型训练的过程中加入了KL散度的计算,解决了各方数据异构性导致模型精度下降的问题,提高了模型的准确度,同时增强了模型的个性化,使得模型更贴近本地的任务。
附图说明
图1是现有的联邦学习的系统框架示意图;
图2是根据本发明实施方式的联邦学习系统框架示意图;
图3是根据本发明实施方式的模型生成方法流程图;
图4是使用根据本发明实施方式的模型生成方法生成的模型实施处理任务的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是现有的横向联邦学习的系统框架示意图。在这种系统中,具有相同数据结构的K个参与方(也叫作客户或用户)在服务器(也叫作参数服务器或者聚合服务器)的帮助下,协作地训练一个机器学习模型。横向联邦学习主要包括如下4个步骤:
第一步:各参与方(参与方即是存储了数据以及模型的终端)在本地计算模型梯度,并使用同态加密、差分隐私或秘密共享等加密技术,对梯度信息进行掩饰,并将掩饰后的结果(简称为加密梯度)上传至服务器。
第二步:服务器进行安全聚合操作,如使用基于同态加密的平均或直接平均。
第三步:服务器将聚合后的结果发送给各参与方。
第四步:各参与方对收到的梯度进行解密,并使用解密后的梯度结果更新各自的模型参数。
上述步骤将会持续迭代,直到损失函数收敛或者达到允许的迭代次数的上限或允许的训练时间。
图2是根据本发明实施方式的联邦学习系统框架示意图,此系统包括Server与Client,Client包括有Decoderi t(表示在第t个全局更新轮次中,第i个参与方的本地模型中的解码器模型)、Encoderi t(表示在第t个全局更新轮次中,第i个参与方的本地模型中的编码器模型)、(表示全局平均的编码器,即从服务器端接收到的聚合后的编码器模型,其中,t代表第t个全局更新轮次)、fci t(表示在第t个全局更新轮次中,第i个参与方的本地模型中的全连接层模型),Server包括有(表示全局平均的编码器,即将从各参与方接收到的编码器模型进行平均操作)。
其中,Client包括有分类客户端与分割客户端,需要注意的是,本文的描述均以分类和分割这两种任务类型作为示例进行说明,应理解的是,任务类型并不限于这两种,而是可以预见的所有任务类型。本发明将Encoder-Decoder(或fc)嵌入到联邦学习框架下,同时在本地Client训练过程中加入了KL散度的计算,其中,KL散度又叫相对熵,是一种量化两种概率分布P和Q之间差异的方式,具体计算公式如下:
各方(各个Client)拥有自己的医疗图像数据集与任务(分类或分割),首先各方在本地训练自己的模型,如果是分类任务,模型是Encoder-fc,如果是分割任务,模型Encoder-Decoder,经过若轮次的本地训练后,各方将Encoder的模型参数在加密(可以是同态加密)之后发送给Server,而Decoder和fc的参数则不传,还留在本地;
其中,同态加密(Homomorphic Encryption)是指:对经过同态加密的数据进行处理得到一个输出,将这一输出进行解密,其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。举例来说,计算1+2,将数值1同态加密后得到加密字符串xx,将数值2同态加密后的得到加密字符串yy,将加密字符串“xx”和加密字符串“yy”相加,得到加密字符串zz,再对加密字符串“zz”同态解密,可以得到数值3。
Server接收各方发来的模型参数,对他们进行平均,得到全局平均的再将其发回给各方;其中,平均可以为直接平均(k是参与方的总个数,t是第t个全局更新轮次)或者加权平均(k是参与方的总个数,t是第t个全局更新轮次,ni是第i个参与方的数据量的大小,nall是所有参与方的数据量的总和);各方接收到加密状态的先解密,然后进行下一全局更新轮次,将收到的和(或)直接连接起来得到(或),而上一轮训练得到是(或),各方对二者同时进行训练,在训练的损失函数中加入了KL散度的计算,将训练之后的加密,并将其上传至Server,上述步骤将会持续迭代,直到损失函数收敛或者达到允许的迭代次数的上限或允许的训练时间。
图3是根据本发明实施方式的方法流程图,其中,具体的操作步骤为:
1.图3a是参与方(Client)初始化训练的流程图:
参与方根据其内部数据集标签不同,分为分类参与方和分割参与方,分类参与方的编码器与分类分支连接(Encoder-fc),分割参与方的编码器与分割分支连接(Encoder-Decoder);
1.1所有的参与方进行步骤1.2~1.4操作;
2.图3b是服务器端(Server)模型聚合流程图:
3.图3c是本地相互学习流程图:
3.1所有的参与方进行步骤3.2-3.6操作;
4.迭代训练:重复步骤2和步骤3直至模型收敛:
以上的1-4步都是必不可少的。
图4是使用根据本发明实施方式的模型生成方法生成的模型实施处理任务的流程图,具体地,
1.按照已经训练好的模型的要求,对输入的测试图进行预处理,包括裁剪、调整图像的格式和尺寸;
2.将预处理好的图像输入本地模型中做测试,如果是分类任务,输出是每个类别对应的概率;如果是分割任务,输出是分割后的mask图;
3.将输出进行后处理,如果是分类任务,按照设定的阈值给出最后的分类结果;如果是分割任务,将mask图的格式和大小调整成和最初的输入图像一致,并且将两者叠加起来,最后输出叠加图;
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (15)
1.一种面向多个任务类型图像分析的联邦学习训练方法,应用于服务器端,所述方法包括:
步骤1.1,所述服务器端接收来自多个客户端的经加密的多个编码器模型参数,
步骤1.2,所述服务器端对所述多个编码器模型参数进行解密和平均化处理,生成平均化编码器参数,
步骤1.3,所述服务器端将所述平均化编码器参数加密后发送至所述多个客户端,
其中所述多个客户端的多个编码器模型参数中的至少两个编码器模型参数用于至少两个不同任务类型的图像分析训练。
2.根据权利要求1所述的方法,还包括,在所述服务器端将所述平均化编码器参数加密后发送至所述多个客户端后,所述服务器端继续接收来自所述多个客户端的基于所述平均化编码器参数进行本地训练得到的经加密的另外的多个编码器参数,并且继续执行步骤1.2和1.3。
3.根据权利要求1或2所述的方法,其中,所述至少两个不同任务类型包括图像分类任务类型和图像分割任务类型。
4.根据权利要求1-3之一所述的方法,其中所述图像包括医疗图像。
5.根据权利要求1-4之一所述的方法,其中所述平均化处理包括直接平均化处理或加权平均化处理。
6.一种面向多个任务类型图像分析的联邦学习训练方法,应用于客户端,所述方法包括:
步骤6.1,所述客户端针对第一任务类型进行本地模型参数初始化训练,
步骤6.2,所述客户端使用本地数据集通过相互学习方法训练模型,
步骤6.3,所述客户端将训练得到的编码器模型参数加密,
步骤6.4,所述客户端将加密后的编码器模型参数上传至服务器端。
7.根据权利要求6所述的方法,其中所述相互学习方法包括:
所述客户端对从所述服务器端接收到的经加密的平均化编码器参数进行解密,其中所述平均化编码器参数为所述服务器端通过对所述客户端上传的编码器参数与其他客户端的上传的第二任务类型的编码器参数平均化处理得到的,所述第一任务类型与所述第二任务类型为不同的任务类型;
所述客户端将解密后的平均化编码器参数与本地化解码器参数或本地化全连接层直接连接,此外也将本地化编码器参数与本地化解码器参数或本地化全连接层直接连接;
所述客户端对上述连接后的两组模型参数同时训练,在训练的损失函数中加入KL散度。
8.根据权利要求6-7之一所述的方法,还包括,所述客户端重复步骤6.2-6.4直至模型收敛。
9.根据权利要求6-8之一所述的方法,其中所述第一任务类型为图像分割,所述第二任务类型为图像分类;或者所述其中所述第一任务类型为图像分类,所述第二任务类型为图像分割。
10.根据权利要求6-9之一所述的方法,其中加密包括同态加密算法,所述同态加密算法包括RSA。
11.根据权利要求6-10之一所述的方法,其中所述图像包括医疗图像。
12.根据权利要求7-11之一所述的方法,其中所述平均化处理包括直接平均化处理或加权平均化处理。
13.一种面向多个任务类型图像分析的联邦学习训练方法,应用于系统端,所述方法包括:
步骤13.1,所述多个客户端将本地编码器模型参数加密后上传至服务器端,
步骤13.2,所述服务器端将对接收到的多个编码器模型参数进行解密和平均化处理,生成平均化编码器参数,
步骤13.3,所述服务器端将所述平均化编码器参数加密后发送至所述多个客户端,其中所述多个客户端的多个编码器模型参数中的至少两个编码器模型参数用于至少两个不同任务类型的图像分析训练,
步骤13.4,所述客户端接收来自服务器端的平均化编码器参数,
步骤13.5,所述客户端使用本地数据集通过相互学习方法训练模型,
步骤13.6,所述客户端将训练得到的编码器模型参数加密,
步骤13.7,所述客户端将加密后的编码器模型参数上传至服务器端,
步骤13.8,所述系统端重复步骤13.1-13.3直至客户端的模型收敛。
14.根据权利要求13所述的方法,其中所述相互学习方法包括:
所述客户端对从所述服务器端接收到的经加密的平均化编码器参数进行解密,其中所述平均化编码器参数为所述服务器端通过对所述客户端上传的编码器参数与其他客户端的上传的第二任务类型的编码器参数平均化处理得到的,所述第一任务类型与所述第二任务类型为不同的任务类型;
所述客户端将解密后的平均化编码器参数与本地化解码器参数或本地化全连接层直接连接,此外也将本地化编码器参数与本地化解码器参数或本地化全连接层直接连接;
所述客户端对上述连接后的两组模型参数同时训练,在训练的损失函数中加入KL散度。
15.一种图像处理方法,应用于客户端,包括:
使用权利要求6-12之一所述的面向多个任务类型图像分析的联邦学习训练方法生成的模型对图像进行任务处理,所述任务处理包括图像分割或图像分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497212.5A CN113240129A (zh) | 2021-05-07 | 2021-05-07 | 一种面向多类型任务图像分析的联邦学习系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110497212.5A CN113240129A (zh) | 2021-05-07 | 2021-05-07 | 一种面向多类型任务图像分析的联邦学习系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113240129A true CN113240129A (zh) | 2021-08-10 |
Family
ID=77132475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110497212.5A Pending CN113240129A (zh) | 2021-05-07 | 2021-05-07 | 一种面向多类型任务图像分析的联邦学习系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113240129A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114140478A (zh) * | 2022-01-30 | 2022-03-04 | 电子科技大学 | 面向医疗图像分割的联邦学习方法及系统、设备和介质 |
CN114399637A (zh) * | 2021-12-02 | 2022-04-26 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN116503420A (zh) * | 2023-04-26 | 2023-07-28 | 佛山科学技术学院 | 一种基于联邦学习的图像分割方法及相关设备 |
CN114399637B (zh) * | 2021-12-02 | 2024-07-02 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
-
2021
- 2021-05-07 CN CN202110497212.5A patent/CN113240129A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114399637A (zh) * | 2021-12-02 | 2022-04-26 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
CN114399637B (zh) * | 2021-12-02 | 2024-07-02 | 北京航空航天大学 | 一种基于模型相似性衡量的联邦学习影像分割方法 |
CN114140478A (zh) * | 2022-01-30 | 2022-03-04 | 电子科技大学 | 面向医疗图像分割的联邦学习方法及系统、设备和介质 |
CN114612408A (zh) * | 2022-03-04 | 2022-06-10 | 拓微摹心数据科技(南京)有限公司 | 一种基于联邦深度学习的心脏图像处理方法 |
CN116503420A (zh) * | 2023-04-26 | 2023-07-28 | 佛山科学技术学院 | 一种基于联邦学习的图像分割方法及相关设备 |
CN116503420B (zh) * | 2023-04-26 | 2024-05-14 | 佛山科学技术学院 | 一种基于联邦学习的图像分割方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Vertical federated learning: Concepts, advances, and challenges | |
CN112149160B (zh) | 基于同态伪随机数的联邦学习隐私保护方法及系统 | |
CN110399742B (zh) | 一种联邦迁移学习模型的训练、预测方法及装置 | |
CN111600707B (zh) | 一种在隐私保护下的去中心化联邦机器学习方法 | |
Wang et al. | Privacy-preserving federated learning for internet of medical things under edge computing | |
CN113240129A (zh) | 一种面向多类型任务图像分析的联邦学习系统 | |
CN111260081B (zh) | 一种非交互式隐私保护多方机器学习方法 | |
CN113221105B (zh) | 一种基于部分参数聚合的鲁棒性联邦学习算法 | |
CN112862001A (zh) | 一种隐私保护下的去中心化数据建模方法 | |
CN111104968B (zh) | 一种基于区块链的安全svm训练方法 | |
CN111222158B (zh) | 一种基于区块链的两方安全隐私比较方法 | |
Kalapaaking et al. | Blockchain-based federated learning with SMPC model verification against poisoning attack for healthcare systems | |
US20220414208A1 (en) | Method for updating a neural network, terminal apparatus, computation apparatus, and program | |
CN111460478A (zh) | 一种面向协同深度学习模型训练的隐私保护方法 | |
Kalapaaking et al. | Smpc-based federated learning for 6g-enabled internet of medical things | |
WO2022241307A1 (en) | Image steganography utilizing adversarial perturbations | |
CN116796832A (zh) | 一种个性化差分隐私场景下高可用的联邦学习方法、系统及设备 | |
CN116561787A (zh) | 视觉图像分类模型的训练方法、装置及电子设备 | |
CN117675270A (zh) | 面向纵向联邦学习的多模态数据加密传输方法及系统 | |
Liu et al. | High-accuracy low-cost privacy-preserving federated learning in IoT systems via adaptive perturbation | |
CN111914281A (zh) | 基于区块链和同态加密的贝叶斯模型训练方法及装置 | |
CN116865938A (zh) | 基于秘密共享和同态加密的多服务器联邦学习方法 | |
JP7297131B2 (ja) | 分散型機械学習モデルのトレーニング方法、装置、機器および媒体 | |
CN111581663B (zh) | 面向非规则用户的保护隐私的联邦深度学习方法 | |
Tripathi et al. | Blockchain enabled interpolation based reversible data hiding mechanism for protecting records |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |