CN116386853A - 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 - Google Patents
面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 Download PDFInfo
- Publication number
- CN116386853A CN116386853A CN202310371304.8A CN202310371304A CN116386853A CN 116386853 A CN116386853 A CN 116386853A CN 202310371304 A CN202310371304 A CN 202310371304A CN 116386853 A CN116386853 A CN 116386853A
- Authority
- CN
- China
- Prior art keywords
- model
- aggregation
- models
- cluster
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004220 aggregation Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002776 aggregation Effects 0.000 claims abstract description 51
- 238000003745 diagnosis Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 230000009977 dual effect Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims description 47
- 238000004138 cluster model Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 230000003902 lesion Effects 0.000 claims description 10
- 238000006116 polymerization reaction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 238000009826 distribution Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 206010004146 Basal cell carcinoma Diseases 0.000 description 2
- 208000007256 Nevus Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 201000001441 melanoma Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 231100000444 skin lesion Toxicity 0.000 description 2
- 206010040882 skin lesion Diseases 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010020649 Hyperkeratosis Diseases 0.000 description 1
- 208000001126 Keratosis Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002752 melanocyte Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明属于物联网技术领域，公开了一种面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，包括如下步骤：(1)构建了一个智能诊断模型，使用户可以获得快速、准确的诊断服务；(2)设计了一种基于深度可分离卷积的诊断网络，并引入了残差连接，可以充分利用医学图像中的特征信息，提高疾病诊断的准确性；(3)设计了双重联邦聚合算法，减少了参数差异对多客户端模型联邦聚合的影响，提高了全局模型的性能。
Description
技术领域
本发明属于物联网技术领域，具体的说是涉及一种面向智慧医疗的深度可分离卷积双重聚合联邦学习方法。
背景技术
近年来，深度学习在图像分类、自然语言处理等各个领域都展现出了良好的效果，在医学图像处理方面也展现出了巨大的潜力。深度学习可以从大量图像数据中学习图像的特征信息，实现图像的分割和分类。特别是卷积神经网络(CNN)，已被证明对医学图像分类有效。但是，如果要建立一个优秀的深度学习网络，需要使用大量数据进行集中训练。在现实场景中，医疗数据通常分布在各个医疗机构中。由于医疗数据的隐私性，所有的医疗数据都不能用于集中训练。这就导致边缘节点只能用有限的数据进行训练，因此很难得到一个好的结果模型。
联邦学习是一种很有前景的分布式神经网络训练方法，它使多个边缘客户端能够协作训练，共享神经网络模型，同时保持训练数据是分散的。在联邦学习期间，首先，参与训练的客户端的随机子集接收全局模型，然后每个客户端基于其本地数据并行地通过梯度下降优化其本地模型。最后，服务器对所有本地模型或参数进行平均，并将它们聚合到一个新的全局模型中。由于联邦学习的通信过程只传递模型或梯度，自然具有隐私保护的功能。联邦学习已广泛应用于智慧医疗，相关研究者已经能够将联邦学习应用到实际的医学图像分类任务中，并且成功训练了分散的多中心数据，取得了较高的识别精度。
虽然联邦学习在医学图像分类中的应用取得了较好的效果，但仍存在一些问题。因为联邦服务器在整个联邦学习和训练过程中不会访问本地数据，所以它不了解本地数据的分布。如果每个联邦客户端中的数据分布彼此差异很大，并且联邦服务器不加区别地聚合所有客户端模型，则全局模型的性能将会受到影响。现有的关于联邦学习的研究从不同的角度分析和解决了数据异构性问题，而没有考虑本地训练的问题。由于本地训练的医疗图像包含大量的特征信息，仅利用普通的卷积神经网络不能产生令人满意的本地训练效果，这将对全局模型的性能产生负面影响。
此外，相关研究人员设计了不同的神经网络来提高联邦学习中医学图像分类的准确性。现有方法可以在一定程度上提高医学图像的分类准确率，但忽略了各个边缘节点的差异训练；另外，在联邦训练过程中，服务端可能会聚合大量的模型参数，这会导致联邦过程的高度集中，一定程度上增加了服务端的计算负担。
发明内容
针对现有技术存在的上述缺陷，本发明提出一种面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，该学习方法构建了一个智能诊断模型，使用户可以获得快速、准确的诊断服务；同时，设计了一种基于深度可分离卷积的诊断网络，并引入了残差连接，可以充分利用医学图像中的特征信息，提高疾病诊断的准确性；随后，设计了双重联邦聚合算法，减少了参数差异对多客户端模型联邦聚合的影响，提高了全局模型的性能。
为了达到上述目的，本发明是通过以下技术方案实现的：
本发明是一种面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，该方法包括如下步骤：
(1)构建了一个面向智慧医疗的深度可分离卷积双重聚合联邦学习模型，该模型由用户层、边缘层、中间层和云层组成。用户可以通过该模型获得快速、准确的诊断。
(2)设计了一种基于深度可分离卷积的本地模型，并引入了残差连接。该模型充分利用了医学图像中的特征信息，减少了由于多次卷积操作造成的信息损失，提高了疾病诊断的准确性。
(3)设计了一种双重联邦聚合算法，以减少多个客户端模型进行联邦聚合时参数差异的影响，进一步提高全局模型的性能。此外，在一定程度上降低了联邦进程中的集中化程度，减少了服务器的计算负担。
进一步的，步骤(1)具体包括如下内容：
构建了一个用于智慧医疗的深度可分离卷积双重聚合联邦学习模型，该模型由四个部分组成：用户层、边缘层、中间层、云层。
用户层：该层包含K个用户，由于各种原因需要诊疗服务的用户分为两类：患者和医疗机构。患者可以通过使用智能手机或相机拍摄病变区域的照片，将带有病变图像的服务请求发送到边缘节点以进行诊断。类似地，医疗机构可以利用皮肤镜等专业医疗工具获取更清晰的病变图像，然后将其发送到边缘节点以获取辅助诊断信息，从而提高诊断的准确性。
边缘层：边缘层中的边缘节点主要响应服务请求并向用户返回自动诊断结果，每个边缘节点具有两个功能：训练诊断模型和提供诊断服务。1)训练诊断模型：在本地训练之前，每个边缘节点从云端接收全局模型来初始化本地模型。然后，边缘节点i∈1,…,N从各自的数据库中获取图像数据，并训练一个基于深度可分离卷积的诊断网络模型。本地训练后，将模型和梯度上传到中间层。上述过程不断迭代，直到网络模型达到收敛。2)提供诊断服务：响应用户的服务请求，边缘节点i使用诊断网络模型预测医学图片，然后将诊断结果返回给用户。
中间层：中间层接收到来自边缘层的所有模型和梯度后，利用梯度信息计算各个模型之间的相似度。然后中间层将所有客户端模型划分为M(M≤N)个集群，每个集群包含若干个模型。然后来自每个集群的模型执行第一次聚合以创建唯一的集群模型。最后将所有M个集群模型上传到云端。
云层：云服务器从中间层的集群j∈1,…,M接收集群模型，然后进行二次聚合，将聚合后的全局模型发送给边缘节点，直到模型达到收敛。
进一步的，步骤(2)具体包括如下内容：
在实际应用中，医学图像包含丰富的特征信息，使用传统的卷积网络进行训练会产生大量的参数，消耗大量的计算资源。此外，在卷积网络的训练过程中，由于多步卷积操作，医学图像中的信息可能会丢失。因此，本发明提出了一个深度可分离残差诊断网络，以提高诊断网络提取图像信息的能力，并减少多重卷积过程中信息丢失的影响。
本地模型由四个深度可分离的卷积模块和一个全连接层组成，全连接层相当于一个分类器输出分类结果。其中，深度可分离卷积分为两个步骤：深度卷积和逐点卷积。深度卷积中的每一个卷积核对应一个输入通道，并且每个输入通道执行不同的卷积操作。深度卷积只从图像中提取特征，而不会增加特征图的数量。在逐点卷积中使用了1×1卷积核。
特别地，具有残差连接的深度可分离卷积网络的计算过程如下式所示：
PointC(C,x)(i,j)＝∑eKe·x(i,j,e), (2)
DepSepC(Cd,Cp,x)(i,j,e)＝PointC(Cp,DepthC(Cd,x)), (3)
output＝DepSepC(Cd,Cp,x)(i,j,e)+x, (4)
其中DepthC，PointC，DepSepC分别表示深度卷积运算、逐点卷积运算和深度可分离卷积运算。x为输入，i,j,h,l分别表示相应特征图中的位置，e为通道数。Cd,Cp是深度卷积的卷积核和逐点卷积的卷积核，output是残差输出。
在本地训练之前，边缘节点将从云层接收全局模型
以初始化本地模型。之后，使用本地数据集进行训练，使用交叉熵作为损失函数，并使用优化器对模型进行优化。以下是交叉熵损失函数和优化公式的表示：
其中
是预测值，η是学习率。
进一步的，步骤(3)具体包括如下内容：
由于医学图像数据集的非独立同分布性和不平衡性，在联邦学习的本地训练过程中边缘节点的优化目标可能不同。当边缘节点的数量较多时，可能会产生较多的优化目标，这可能导致模型之间的差异问题，从而会影响联邦聚合时全局模型的性能。为了减少这种现象对联邦学习中全局模型性能的影响，本发明设计了一种双重联邦聚合算法。
第一次聚合：为了解决由于优化目标不同而导致的模型参数差异的问题，我们设计了一种基于梯度相似度的聚合算法作为第一次聚合。通过利用模型的梯度信息，将具有相似优化目标的模型划分到同一集群中，然后对集群中的模型进行聚类，从而减少了可能的优化目标数量，产生了性能更好的集群模型。
假设有N个边缘节点用于本地训练，并且边缘节点使用它们各自的本地数据集进行训练。在每个边缘节点完成本地训练后，获得N个模型参数信息w＝{w1,w2,...,wN,}和N个梯度信息g＝{g1,g2,...,gN}
在对所有模型进行聚类之前，引入了余弦相似度的概念，并对梯度信息进行了初步处理。余弦相似度是向量空间中两个向量之间的夹角的余弦值。这个余弦值是用来测量个体之间的差异。任意两个模型的i和j之间的相似度Similar(i,j)定义为：
其中gi,gj是模型i,j的梯度向量。将每个客户端i的相似度向量αi(任意两个模型之间的所有相似度)定义为：
αi＝[similar(i,1),similar(i,2),…,similar(i,N)]， (8)
接下来，使用所有的相似度向量对模型进行聚类。假设N个客户端模型对应的所有相似度向量表示为S＝{α1,α2,...,αN,}，则通过优化以下最小化问题，将N模型划分为M类C＝{C1,C2,...,CM,}：
其中μi是第i个集群的中心向量，通过最小化损失函数E来找到每个集群中的模型序列。E的值越小，表明集群中模型的优化目标越相近，聚类效果越好。
根据每个模型训练期间的样本数量，加权聚合生成相应的集群模型。集群模型可以集成集群中所有模型的性能，获得拥有更好性能的模型。由于集群中的模型具有相似的优化目标，因此在一定程度上减少了模型参数差异导致的性能下降的影响，提高了模型的性能。第一个聚合过程如等式所示：
其中ci表示第i个集群中的模型集，nk表示在训练第k个模型期间的样本数量。ni表示第i个集群中的样本总数，wk表示第k个模型的参数，
表示第i个集群的集群模型参数。
第二次聚合：在第一次聚合的基础上，对所有集群模型进行第二次聚合，生成全局模型。第二次聚合的目的是联合这些模型的训练效果，获得可用于所有边缘节点的高性能模型。第一次聚合后，集群模型的数量远小于边缘节点模型的数量，因此减少了模型差异的影响。此外，性能更好的集群模型在第二次聚合时进行聚合，聚合后全局模型的性能也会得到提高。
第二个聚合过程如等式所示：
其中M是集群的数量，
是第i个集群的集群模型参数。
本发明是有益效果是：
1、本发明提出了一种基于联邦学习的智能诊断系统，使用户可以获得快速、准确的诊断服务。
2、本发明设计了一种基于深度可分离卷积的诊断网络，并引入了残差连接，可以充分利用医学图像中的特征信息，提高疾病诊断的准确性。
3、本发明设计了双重联邦聚合算法，减少了参数差异对多客户端模型联邦聚合的影响，提高了全局模型的性能。
4、本发明提出的方法可以显著提高诊断的准确性，缓解联邦学习中数据异构性的影响。
附图说明
图1为本发明深度可分离卷积双重聚合联邦学习模型图。
图2为本发明具有残差连接的深度可分离卷积模块图。
图3本发明深度可分离卷积示意图。
图4是本发明提出的具有深度可分离卷积诊断网络的双重聚合联邦学习的有效性示意图，其中(a)为不同客户端数量的ACC值，(b)为随着通信轮次的增加而进行的损失评估。
图5本发明不同方法的正确率值。
图6为混淆矩阵图，其中，(a)为本发明提出的算法的混淆矩阵，(b)为FedSim算法的混淆矩阵。
具体实施方式
以下便结合实施例及附图，对本发明的技术方案作进一步的详述，以使本发明技术方案更易于理解、掌握。
本发明公开一种向智慧医疗的深度可分离卷积双重聚合联邦学习方法，包括如下步骤：
S1、构建了一个用于智慧医疗的深度可分离卷积双重聚合联邦学习模型，该模型由四个部分组成：用户层、边缘层、中间层、云层。如图1所示，四层之间的功能和关系说明如下：
用户层：该层包含K个用户，由于各种原因需要诊疗服务的用户分为两类：患者和医疗机构。患者可以通过使用智能手机或相机拍摄病变区域的照片，将带有病变图像的服务请求发送到边缘节点以进行诊断。类似地，医疗机构可以利用皮肤镜等专业医疗工具获取更清晰的病变图像，然后将其发送到边缘节点以获取辅助诊断信息，从而提高诊断的准确性。
边缘层：边缘层中的边缘节点主要响应服务请求并向用户返回自动诊断结果，每个边缘节点具有两个功能：训练诊断模型和提供诊断服务。
1)训练诊断模型：在本地训练之前，每个边缘节点从云端接收全局模型来初始化本地模型，然后，边缘节点i∈1,…,N从各自的数据库中获取图像数据，并训练一个基于深度可分离卷积的诊断网络模型，本地训练后，将模型和梯度上传到中间层，上述过程不断迭代，直到网络模型达到收敛。
2)提供诊断服务：响应用户的服务请求，边缘节点i使用诊断网络模型预测医学图片，然后将诊断结果返回给用户。
中间层：中间层接收到来自边缘层的所有模型和梯度后，利用梯度信息计算各个模型之间的相似度，然后中间层将所有客户端模型划分为M(M≤N)个集群，每个集群包含若干个模型；然后来自每个集群的模型执行第一次聚合以创建唯一的集群模型；最后将所有M个集群模型上传到云端。
云层：云服务器从中间层的集群j∈1,…,M接收集群模型，然后进行二次聚合，将聚合后的全局模型发送给边缘节点，直到模型达到收敛。
S2、在实际应用中，医学图像包含丰富的特征信息，使用传统的卷积网络进行训练会产生大量的参数，消耗大量的计算资源。此外，在卷积网络的训练过程中，由于多步卷积操作，医学图像中的信息可能会丢失。因此，本发明提出了一个深度可分离残差诊断网络，以提高诊断网络提取图像信息的能力，并减少多重卷积过程中信息丢失的影响。
图2显示了本发明提出的具有残差连接的深度可分离卷积模块。本地模型由四个深度可分离的卷积模块和一个全连接层组成，全连接层相当于一个分类器输出分类结果。
其中，深度可分离卷积分为两个步骤：深度卷积和逐点卷积。深度卷积中的每一个卷积核对应一个输入通道，并且每个输入通道执行不同的卷积操作。深度卷积只从图像中提取特征，而不会增加特征图的数量。在逐点卷积中使用了1×1卷积核，根据相应的权重融合从深度卷积操作中获得的特征。深度可分离卷积的结构如图3所示。
特别地，具有残差连接的深度可分离卷积网络的计算过程如下式所示：
PointC(C,x)(i,j)＝∑eKe·x(i,j,e), (2)
DepSepC(Cd,Cp,x)(i,j,e)＝PointC(Cp,DepthC(Cd,x)), (3)
output＝DepSepC(Cd,Cp,x)(i,j,e)+x, (4)
其中DepthC，PointC，DepSepC分别表示深度卷积运算、逐点卷积运算和深度可分离卷积运算。x为输入，i,j,h,l分别表示相应特征图中的位置，e为通道数。Cd,Cp是深度卷积的卷积核和逐点卷积的卷积核，output是残差输出。
在本地训练之前，边缘节点将从云层接收全局模型
以初始化本地模型。之后，使用本地数据集进行训练，使用交叉熵作为损失函数，并使用优化器对模型进行优化。以下是交叉熵损失函数和优化公式的表示：
其中
是预测值，η是学习率。
S3、由于医学图像数据集的非独立同分布性和不平衡性，在联邦学习的本地训练过程中边缘节点的优化目标可能不同。当边缘节点的数量较多时，可能会产生较多的优化目标，这可能导致模型之间的差异问题，从而会影响联邦聚合时全局模型的性能。为了减少这种现象对联邦学习中全局模型性能的影响，本发明设计了一种双重联邦聚合算法。
第一次聚合：为了解决由于优化目标不同而导致的模型参数差异的问题，本发明设计了一种基于梯度相似度的聚合算法作为第一次聚合。通过利用模型的梯度信息，将具有相似优化目标的模型划分到同一集群中，然后对集群中的模型进行聚类，从而减少了可能的优化目标数量，产生了性能更好的集群模型。
假设有N个边缘节点用于本地训练，并且边缘节点使用它们各自的本地数据集进行训练。在每个边缘节点完成本地训练后，获得N个模型参数信息w＝{w1,w2,...,wN,}和N个梯度信息g＝{g1,g2,...,gN}。
在对所有模型进行聚类之前，引入了余弦相似度的概念，并对梯度信息进行了初步处理。余弦相似度是向量空间中两个向量之间的夹角的余弦值。这个余弦值是用来测量个体之间的差异。任意两个模型的i和j之间的相似度Similar(i,j)定义为：
其中gi,gj是模型i,j的梯度向量。将每个客户端i的相似度向量αi即任意两个模型之间的所有相似度定义为：
αi＝[similar(i,1),similar(i,2),…,similar(i,N)]， (8)
接下来，使用所有的相似度向量对模型进行聚类。假设N个客户端模型对应的所有相似度向量表示为S＝{α1,α2,...,αN,}，则通过优化以下最小化问题，将N模型划分为M类C＝{C1,C2,...,CM,}：
其中μi是第i个集群的中心向量，通过最小化损失函数E来找到每个集群中的模型序列。E的值越小，表明集群中模型的优化目标越相近，聚类效果越好。
根据每个模型训练期间的样本数量，加权聚合生成相应的集群模型。集群模型可以集成集群中所有模型的性能，获得拥有更好性能的模型。由于集群中的模型具有相似的优化目标，因此在一定程度上减少了模型参数差异导致的性能下降的影响，提高了模型的性能。第一个聚合过程如等式所示：
其中ci表示第i个集群中的模型集，nk表示在训练第k个模型期间的样本数量。ni表示第i个集群中的样本总数，wk表示第k个模型的参数，
表示第i个集群的集群模型参数。
第二次聚合：在第一次聚合的基础上，对所有集群模型进行第二次聚合，生成全局模型。第二次聚合的目的是联合这些模型的训练效果，获得可用于所有边缘节点的高性能模型。第一次聚合后，集群模型的数量远小于边缘节点模型的数量，因此减少了模型差异的影响。此外，性能更好的集群模型在第二次聚合时进行聚合，聚合后全局模型的性能也会得到提高。
第二个聚合过程如等式所示：
其中M是集群的数量，
是第i个集群的集群模型参数。
S4、在ISIC-2018 Task 3数据集上对提出学习方法进行评估，该数据集由从皮肤镜设备上拍摄的患者临床照片组成。数据集中，共有7种不同类型的皮肤病变照片，包括黑色素细胞痣(NV)、恶性黑色素瘤(MEL)、色素性良性角化病(BKL)、基底细胞癌(BCC)等，但每种类型的图分布不均。数据集中已经标记了10015张皮肤损伤的照片。每个类别样本数量的分布非常不均匀，因此，本发明使用了常见的数据增强技术。原始和增强后的数据集分布如表1所示。
表1数据集中每个类别的分布
实验中使用ResNet-18网络来进行比较。原始照片被缩小到256*256的分辨率。我们从28075幅图像中生成了N个边缘节点的等距、非独立分区。训练过程中的每个小批量包含16幅图像。本发明的学习方法采用随机梯度下降(SGD)和学习率(LR)衰减为0.0001的策略进行训练。正确率(ACC)为评估算法性能的标准。
假设Ti是由边缘客户端i正确预测的样本数量，Vi是边缘客户端i的测试样本总数。
考虑到多分类网络模型对正样本的识别能力可以反映模型的性能，为了平等对待所有类别，本发明引入精确度作为另一个评估指标。
其中，TPj、FPj和Ki分别指真阳性、假阳性和边缘客户端i的类别数。
本发明通过测试具有深度可分离卷积诊断网络的双重聚合联邦学习的有效性来进行的实验。图4(a)显示了当边缘节点数量和集群数量时，在不同学习率下增加通信轮次的ACC评估结果。可以看到，ACC随着通信轮次的增加而不断增加，然后趋于收敛。在图4(b)中，损失随着通信轮次的增加而减小。这些结果证明了本发明提出的具有深度可分离卷积诊断网络的双重聚合联邦学习的有效性。
表2显示了随着边缘节点数量的增加，正确率和精确度的变化。可以观察到，随着节点数量的增长，这种策略也还是有效的，不会显著影响模型的正确率和精确度。原因是在更多边缘节点的参与下，本发明提出的算法可以解决由于客户端数量增加而导致的联邦聚合参数差异的问题，从而提高全局模型的性能。
表2性能评估结果
为了进一步验证本发明提出的具有深度可分离卷积诊断网络的双重聚合联邦学习算法的优势，本发明将其与三种新方法进行了比较，包括FedAvg、FedPro和FedSim。从图5可以看出，与其他方法相比，本发明所提出的算法具有明显的优势。本发明的算法的准确率明显高于其他方法，比其他方法中最佳方法的准确率高出约4.68％。其中，FedAvg*、FedProx*和FedSim*在原始方法的基础上使用本发明提出的诊断网络进行测试。
如图5所示，改进后的方法明显好于原始方法，但仍比本发明的算法差。本发明提出的算法具有更快的收敛速度和更高的正确率。这证明了本发明的算法在解决数据异构性问题和提高模型性能方面是有效的。
图6(a)是本发明算法的混淆矩阵，图6(b)是FedSim算法的混淆矩阵，进一步比较了具有深度可分离卷积诊断网络的双重聚合联邦学习算法的优势。本发明所提出的算法在所有类别中的正确率都优于FedSim算法，如图6所示，具有深度可分离卷积诊断网络的双重聚合联邦学习算法可以显著提高疾病诊断的准确性。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。
Claims (5)
1.一种面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，其特征在于：所述深度可分离卷积双重聚合联邦学习方法包括如下步骤：
(1)构建了一个面向智慧医疗的深度可分离卷积双重聚合联邦学习模型，该模型由用户层、边缘层、中间层和云层组成；
(2)设计基于深度可分离卷积的本地模型，并引入了残差连接；
(3)设计了双重联邦聚合算法，以减少多个客户端模型进行联邦聚合时参数差异的影响，提高全局模型的性能。
2.根据权利要求1所述的面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，其特征在于：步骤(1)中所述深度可分离卷积双重聚合联邦学习模型由四个部分组成：用户层、边缘层、中间层、云层，具体为：
用户层：所述用户层包含K个用户，需要诊疗服务的用户分为两类：患者和医疗机构，所述患者通过使用智能手机或相机拍摄病变区域的照片，将带有病变图像的服务请求发送到边缘层的边缘节点以进行诊断，医疗机构利用专业医疗工具获取更清晰的病变图像，然后将其发送到边缘节点以获取辅助诊断信息，提高诊断的准确性；
边缘层：边缘层中的边缘节点响应用户层的服务请求并向用户返回自动诊断结果，边缘层的每个所述边缘节点具有两个功能：训练诊断模型和提供诊断服务，其中1)训练诊断模型：在本地训练之前，每个边缘节点从云端接收全局模型来初始化本地模型，然后，边缘节点i∈1,…,N从各自的数据库中获取图像数据，并训练一个基于深度可分离卷积的诊断网络模型，本地训练后，将诊断网络模型和梯度上传到中间层，上述过程不断迭代，直到诊断网络模型达到收敛；2)提供诊断服务：响应用户的服务请求，边缘节点i使用诊断网络模型预测医学图片，然后将诊断结果返回给用户；
中间层：中间层接收到来自边缘层的所有模型和梯度后，利用梯度信息计算各个模型之间的相似度，然后中间层将所有客户端模型划分为M(M≤N)个集群，每个集群包含若干个模型，然后来自每个集群的模型执行第一次聚合以创建唯一的集群模型，最后将所有M个集群模型上传到云端；
云层：云服务器从中间层的集群j∈1,…,M接收集群模型，然后进行二次聚合，将聚合后的全局模型发送给边缘节点，直到全局模型达到收敛。
3.根据权利要求2所述的面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，其特征在于：步骤2中设计的基于深度可分离卷积的本地模型由四个深度可分离的卷积模块和一个全连接层组成，深度可分离卷积分为两个步骤：深度卷积和逐点卷积，深度卷积中的每一个卷积核对应一个输入通道，并且每个输入通道执行不同的卷积操作；深度卷积只从图像中提取特征，而不会增加特征图的数量。
4.根据权利3所述的面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，其特征在于：具有残差连接的深度可分离卷积网络的计算过程如下式所示：
PointC(C,x)(i,j)＝∑eKe·x(i,j,e), (2)
DepSepC(Cd,Cp,x)(i,j,e)＝PointC(Cp,DepthC(Cd,x)), (3)
output＝DepSepC(Cd,Cp,x)(i,j,e)+x, (4)
其中DepthC，PointC，DepSepC分别表示深度卷积运算、逐点卷积运算和深度可分离卷积运算，x为输入，i,j,h,l分别表示相应特征图中的位置，e为通道数,，Cd,Cp是深度卷积的卷积核和逐点卷积的卷积核，output是残差输出，
在本地训练之前，边缘节点将从云层接收全局模型
以初始化本地模型，之后，使用本地数据集进行训练，使用交叉熵作为损失函数，并使用优化器对模型进行优化，交叉熵损失函数和优化公式的表示：
其中
是预测值，η是学习率。
5.根据权利2所述的面向智慧医疗的深度可分离卷积双重聚合联邦学习方法，其特征在于：所述步骤(3)中的双重联邦聚合算法具体为：
第一次聚合：通过利用模型的梯度信息，将具有相似优化目标的模型划分到同一集群中，然后对集群中的模型进行聚类，从而减少了可能的优化目标数量，产生了性能更好的集群模型：
假设有N个边缘节点用于本地训练，并且边缘节点使用它们各自的本地数据集进行训练，在每个边缘节点完成本地训练后，获得N个模型参数信息w＝{w1,w2,...,wN,}和N个梯度信息g＝{g1,g2,...,gN}；
在对所有模型进行聚类之前，引入了余弦相似度的概念，并对梯度信息进行了初步处理，余弦相似度是向量空间中两个向量之间的夹角的余弦值，这个余弦值是用来测量个体之间的差异，任意两个模型的i和j之间的相似度Similar(i,j)定义为：
其中gi,gj是模型i,j的梯度向量，将每个客户端i的相似度向量αi定义为：
αi＝[similar(i,1),similar(i,2),…,similar(i,N)]， (8)
接下来，使用所有的相似度向量对模型进行聚类，假设N个客户端模型对应的所有相似度向量表示为S＝{α1,α2,...,αN,}，则通过优化以下最小化问题，将N模型划分为M类C＝{C1,C2,...,CM,}：
其中μi是第i个集群的中心向量，通过最小化损失函数E来找到每个集群中的模型序列，E的值越小，表明集群中模型的优化目标越相近，聚类效果越好；
根据每个模型训练期间的样本数量，加权聚合生成相应的集群模型，集群模型集成集群中所有模型的性能，获得拥有更好性能的模型，第一个聚合过程如下式所示：
其中ci表示第i个集群中的模型集，nk表示在训练第k个模型期间的样本数量，ni表示第i个集群中的样本总数，wk表示第k个模型的参数，
表示第i个集群的集群模型参数；
第二次聚合：在第一次聚合的基础上，对所有集群模型进行第二次聚合，生成全局模型，第二个聚合过程如下式所示：
其中M是集群的数量，
是第i个集群的集群模型参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310371304.8A CN116386853A (zh) | 2023-04-10 | 2023-04-10 | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310371304.8A CN116386853A (zh) | 2023-04-10 | 2023-04-10 | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116386853A true CN116386853A (zh) | 2023-07-04 |
Family
ID=86963067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310371304.8A Pending CN116386853A (zh) | 2023-04-10 | 2023-04-10 | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116386853A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935136A (zh) * | 2023-08-02 | 2023-10-24 | 深圳大学 | 处理类别不平衡医学图像分类问题的联邦学习方法 |
| CN117036910A (zh) * | 2023-09-28 | 2023-11-10 | 合肥千手医疗科技有限责任公司 | 一种基于多视图及信息瓶颈的医学图像训练方法 |
| CN117373066A (zh) * | 2023-12-07 | 2024-01-09 | 华侨大学 | 基于云边搜索联邦深度学习方法的行人再辨识方法及系统 |
| CN117744834A (zh) * | 2023-12-27 | 2024-03-22 | 云海链控股股份有限公司 | 应用于智慧医疗的联邦机器学习方法、装置、设备及介质 |
-
2023
- 2023-04-10 CN CN202310371304.8A patent/CN116386853A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935136A (zh) * | 2023-08-02 | 2023-10-24 | 深圳大学 | 处理类别不平衡医学图像分类问题的联邦学习方法 |
| CN117036910A (zh) * | 2023-09-28 | 2023-11-10 | 合肥千手医疗科技有限责任公司 | 一种基于多视图及信息瓶颈的医学图像训练方法 |
| CN117036910B (zh) * | 2023-09-28 | 2024-01-12 | 合肥千手医疗科技有限责任公司 | 一种基于多视图及信息瓶颈的医学图像训练方法 |
| CN117373066A (zh) * | 2023-12-07 | 2024-01-09 | 华侨大学 | 基于云边搜索联邦深度学习方法的行人再辨识方法及系统 |
| CN117373066B (zh) * | 2023-12-07 | 2024-03-12 | 华侨大学 | 基于云边搜索联邦深度学习方法的行人再辨识方法及系统 |
| CN117744834A (zh) * | 2023-12-27 | 2024-03-22 | 云海链控股股份有限公司 | 应用于智慧医疗的联邦机器学习方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112308158B (zh) | 一种基于部分特征对齐的多源领域自适应模型及方法 | |
| CN116386853A (zh) | 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法 | |
| CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及系统 | |
| CN108427921A (zh) | 一种基于卷积神经网络的人脸识别方法 | |
| CN110706152A (zh) | 基于生成对抗网络的人脸光照迁移方法 | |
| CN114692741B (zh) | 基于域不变特征的泛化人脸伪造检测方法 | |
| WO2021243783A1 (zh) | 一种提取b超图像显著纹理特征的方法及其应用 | |
| CN103886335B (zh) | 基于模糊粒子群和散射熵的极化sar图像分类方法 | |
| CN113011306A (zh) | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 | |
| CN109800317A (zh) | 一种基于图像场景图谱对齐的图像查询回答方法 | |
| CN111931867B (zh) | 基于轻量级模型的新冠肺炎x射线图像分类方法及系统 | |
| CN113222181B (zh) | 一种面向k-means聚类算法的联邦学习方法 | |
| CN111477337A (zh) | 基于个体自适应传播网络的传染病预警方法、系统及介质 | |
| US20220164648A1 (en) | Clustering method based on self-discipline learning sdl model | |
| CN113449802A (zh) | 基于多粒度互信息最大化的图分类方法及装置 | |
| CN114758784A (zh) | 一种基于聚类算法分配联邦学习中参与者权重的方法 | |
| CN111832404A (zh) | 一种基于特征生成网络的小样本遥感地物分类方法及系统 | |
| CN118312816A (zh) | 基于成员选择的簇加权聚类集成医学数据处理方法及系统 | |
| CN114627424A (zh) | 一种基于视角转化的步态识别方法和系统 | |
| CN114639174A (zh) | 联邦协作下的隐私型深度伪造检测方法 | |
| CN113270191A (zh) | 一种数据校正及分类方法及存储介质 | |
| CN117611918A (zh) | 基于层次神经网络的海洋生物分类方法 | |
| CN110706804B (zh) | 一种混合专家系统在肺腺癌分类中给的应用方法 | |
| CN108428226B (zh) | 一种基于ica稀疏表示与som的失真图像质量评价方法 | |
| CN116524495A (zh) | 一种基于多维通道注意力机制的中药显微识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |