CN117079087A - 一种基于差分隐私的学习率自适应医疗图像识别方法 - Google Patents

一种基于差分隐私的学习率自适应医疗图像识别方法 Download PDF

Info

Publication number
CN117079087A
CN117079087A CN202311104879.XA CN202311104879A CN117079087A CN 117079087 A CN117079087 A CN 117079087A CN 202311104879 A CN202311104879 A CN 202311104879A CN 117079087 A CN117079087 A CN 117079087A
Authority
CN
China
Prior art keywords
local
client
local model
model
learning rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311104879.XA
Other languages
English (en)
Inventor
瞿治国
汤洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202311104879.XA priority Critical patent/CN117079087A/zh
Publication of CN117079087A publication Critical patent/CN117079087A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种医疗图像识别技术领域的基于差分隐私的学习率自适应医疗图像识别方法，旨在解决现有技术中不同医疗机构的数据不是独立同分布的、无法满足客户隐私偏好等问题，其包括以下步骤：采集患者病变部位的医疗图像，将采集的医疗图像输入预置在本地客户端内的融合了多家医院的医疗数据的本地模型中，输出识别结果。本发明可以实现多个医疗机构的数据融合，且能够起到个性化隐私保护的作用。

Description

一种基于差分隐私的学习率自适应医疗图像识别方法
技术领域
本发明涉及一种基于差分隐私的学习率自适应医疗图像识别方法，属于医疗图像识别技术领域。
背景技术
在当今数字化时代，医疗物联网(Internet ofMedical Things,IoMTs)已经成为医疗领域的重要组成部分。医疗物联网在医疗图像识别中扮演着重要的角色，通过将传感器、设备和网络连接起来，实现医疗设备和系统之间的数据交换和协同工作。
在医疗物联网中应用联邦学习，可以及时发现患者的状况变化，从而支持决策制定和资源调配。具体来说，若是有一个癌症病人去一家医院治疗，通过已有的癌症数据，判断患者的状况变化，从而支持决策制定和资源调配。然而，一家医院的医疗数据可能不足以支持做出准确的判断，需要联合多家医院的医疗数据。
但是，这些医疗数据往往分布在各个医疗机构之间，形成了的数据孤岛。联邦学习可以利用多家医院的癌症数据来训练决策模型。由此，联邦学习提供更全面的信息支持和更准确的决策模型，从而提高应急决策的效率和准确性。
虽然联邦学习解决了数据孤岛问的问题，但是联邦学习在上传每个车载终端的模型会携带个人隐私。攻击者通过分析模型训练中的参数，如深度神经网络训练的权值，仍然可能泄露的隐私信息。
针对这一问题，一些学者提出了基于差分隐私的联邦学习算法，该算法在上传到服务器的模型参数中添加随机噪声，从而保证了数据的隐私性。因此，基于差分隐私的联邦学习算法具有明显的轻量级优势，具有更好的适用性和实用性。
但是，基于差分隐私的联邦学习算法是对每个客户端都是统一分配隐私预算。然而，在医疗应用场景中，医疗机构的地域分布不同，患者的人口分布也不同，各个机构对隐私的保密要求也不同。因此，统一分配隐私预算的假设是不切实际且无法生效。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种基于差分隐私的学习率自适应医疗图像识别方法，可以实现多个医疗机构的数据融合，且能够起到个性化隐私保护的作用。
为达到上述目的，本发明是采用下述技术方案实现的：一种基于差分隐私的学习率自适应医疗图像识别方法，包括以下步骤，
采集患者病变部位的医疗图像；
将采集的医疗图像输入预置在本地客户端内的融合了多家医院的医疗数据的本地模型中，输出识别结果。
进一步的，融合了多家医院的医疗数据的本地模型的构建方法，包括：
a、多个客户端构建本地模型，设置本地模型的超参数和损失函数；
b、客户端将本地模型传输至服务器；
c、服务器获取各个客户端的本地模型，对各个客户端的本地模型进行聚合维护后为每个客户端生成个性化云模型；
d、服务器将个性化云模型传输至对应的各个客户端；
e、客户端获取本地数据及个性化云模型，将个性化云模型作为损失函数的近端项的邻近中心，利用损失函数及本地数据对本地模型进行训练，直至训练次数达到本地迭代次数，得训练好的本地模型；
f、重复步骤b～e，直至训练次数达到全局迭代次数，输出本地模型。
进一步的，所述本地模型采用深度卷积神经网络，所述深度卷积神经网络采用RELU函数作为激活函数，其由2个卷积层、2个池化层、1个dropout层、3个批处理层和2个全连接层组成，所述卷积层的卷积核大小为5。
所述本地模型的超参数包括本地批量大小、本地迭代次数、全局迭代次数、客户端数量、每轮的客户端选择比例值、全局隐私预算、差分隐私的松弛度、梯度裁剪阈值以及算法学习率。
进一步的，所述损失函数采用最小损失函数，最小损失函数由交叉熵损失函数和注意力诱导函数组成；
交叉熵损失函数用于判定模型输出的结果与正确的输出值的接近程度；
注意力诱导函数用于反复鼓励相似的客户端进行更多协作来自适应地促进客户之间潜在的成对协作。
所述最小损失函数的表达式为：
其中，表示最小损失函数，W＝[w1,...,wK]，λ为正则化参数，λ＞0；
表示交叉熵损失函数，k表示第k个客户端，K为客户端数量，Lk为第k个客户端的损失函数，wk为第k个客户端的本地模型参数；
表示注意力诱导函数，A表示负指数函数，j表示第j个客户端，wj为第j个客户端的本地模型参数。
进一步的，服务器获取各个客户端的本地模型，对各个客户端的本地模型进行聚合维护后为每个客户端生成个性化云模型，包括：
服务器获取各个客户端的本地模型；
在第t次迭代中，通过梯度下降对本地模型损失函数中的注意力诱导函数A(W)进行优化，得第t次迭代的个性化云模型参数，表达式如下：
其中，Ut为第t次迭代的个性化云模型参数，表示求导，Wt-1为第t-1次迭代的本地模型参数，αt为第t次迭代的算法学习率；
对所有客户端的本地模型进行线性组合运算，生成各个客户端的个性化云模型，其表达式如下：
其中，为第t次迭代中第k个客户端的个性化云模型参数，/>为第t-1次迭代中第k个客户端的本地模型参数，/>为第t-1次迭代中第j个客户端的本地模型参数，A′(||wk-wj||2)表示A(||wk-wj||2)的导数，/>为本地模型参数集，ξk，1，…，ξk,K为的线性组合权值；
对生成的个性化云模型进行初始化。
进一步的，客户端获取本地图像数据及个性化云模型，将个性化云模型作为损失函数的近端项的邻近中心，利用损失函数及本地图像数据对本地模型进行训练，直至训练次数达到本地迭代次数，得训练好的本地模型，包括：
客户端获取个性化云模型；
使用个性化云模型参数作为邻近中心，即用Ut代替最小损失函数中的近端项Wj，对本地模型进行训练，表达式如下：
其中，Ut为个性化云模型参数，Wt为第t次迭代的本地模型参数， 表示最小损失函数，/>表示最小交叉熵损失函数，λ为正则化参数，λ＞0，αt为第t次迭代中算法学习率，W为本地模型参数；
重复上述训练过程，直至训练次数达到本地迭代次数，得训练好的本地模型。
进一步的，还包括客户端对算法学习率进行调整，具体为：
客户端先对本地图像数据样本进行随机采样，以获取当前算法学习率；
利用采样数据对本地模型连续执行两次步长为当前学习率一半的梯度裁剪和梯度下降，得到两个一半步长的梯度矩阵；
利用采样数据对本地模型进行当前的完整的学习率的梯度裁剪和梯度下降，得到完整步长的梯度矩阵，然后更新本地模型；
评估本地模型的梯度矩阵和两个一半步长的梯度矩阵之间的梯度误差；根据梯度误差调整算法学习率，表达式如下：
其中，errt为梯度误差，ψ为梯度误差预值，αmin＜1，αmax＞1。
进一步的，所述本地图像数据需进行标准化处理，所述标准化处理包括：
将本地图像数据转化为图像矩阵；
逐通道地对图像矩阵进行标准化，图像矩阵平均值变为0，图像矩阵标准差变为1，使图像矩阵的元素均在[-1,1]范围内，表达式如下：
其中，channel为图像矩阵通道数，input[channel]为输入的图像矩阵，mean[channel]为图像矩阵平均值，std[channel]为图像矩阵标准差，output[channel]为输出的图像矩阵。
进一步的，还包括根据客户端设置的隐私偏好对本地模型进行个性化隐私保护，具体为：
获取当前本地模型参数，客户端根据隐私保护等级εk，产生高斯噪声，并添加到本地模型参数中，表达式如下：
M＝f(D)+N(0，cΔf/ε)
其中，M为添加噪声后的本地模型参数，f(D)为添加噪声前的本地模型参数，Δf为灵敏度，取值为f(D')为相邻数据集训练的未添加噪声的本地模型参数，c为常数，取值范围为/>
进一步的，所述隐私保护等级εk包括三个，其分别表示为ε(εlow,εmid,εhigh)，隐私保护等级εk由客户端设置的隐私偏好决定。
与现有技术相比，本发明所达到的有益效果：
本发明可以通过反复鼓励相似的客户进行更多协作来自适应的促进客户之间潜在的成对协作。从而缓解不同医疗机构的数据不是独立同分布的问题；
传统的固定学习率可能无法很好地适应不同的数据分布、模型复杂度和训练阶段的需求。因此，传统的固定学习率对于不同的数据分布和噪声可能表现不佳。本发明通过学习率自适应算法可以根据实际数据的特点来动态地调整学习率，从而提高模型对于不同数据分布的鲁棒性；
在医疗应用场景中，不同医疗机构的地域分布、患者人口分布和隐私保密要求存在差异，而传统的基于差分隐私的联邦学习算法采用统一分配隐私预算的假设，无法切实满足各个机构的实际需求和隐私保护要求。此外，统一的隐私预算级别意味着一些客户会浪费大量的隐私预算。本发明通过个性化差分隐私可以根据用户设置的隐私偏好来保护信息，达到个性化隐私保护的目的。
附图说明
图1为本发明的一种实施例中基于差分隐私的学习率自适应医疗图像识别方法的流程示意图；
图2为本发明的一种实施例中基于差分隐私的学习率自适应医疗图像识别方法的学习率自适应模块流程示意图；
图3为本发明的一种实施例中基于差分隐私的学习率自适应医疗图像识别方法的个性化差分隐私流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明实施例提供一种基于差分隐私的学习率自适应医疗图像识别方法，本实施例中采用的本地数据为直肠癌图像数据集，数据来自MedMNIST数据集集合的PathMNIST数据集，通过对直肠癌图像的识别，从而预测直肠癌组织学切片的生存情况。
识别方法包括以下步骤：
采集患者病变部分的医疗图像；
将采集的医疗图像输入预置在本地客户端内的融合了多家医院的医疗数据的本地模型中，输出识别结果。
其中，如图1所示，融合了多家医院的医疗数据的本地模型的构建方法，包括：
S1、客户端搭建本地模型，并设置损失函数和超参数：
客户端搭建本地模型，所有客户端均使用相同结构的本地模型。本地模型采用深度卷积神经网络，深度卷积神经网络模型采用SGD优化器，其由2个卷积层、2个池化层、1个dropout层、3个批处理层和2个全连接层组成，其中，每个卷积核大小为5，并使用ReLU函数作为激活函数。
超参数设置具体为：本地批量大小设为40，本地迭代次数为5，全局迭代次数为100，客户端数量为50，每轮的客户端选择比例的值为0.3，全局隐私预算50，差分隐私的松弛度为1/6000，梯度裁剪阈值为1，学习率为0.005。
损失函数采用最小损失函数，最小损失函数由交叉熵损失函数和注意力诱导函数组成。
交叉熵损失函数是所有客户端的本地模型的训练损失之和，其用于判定模型输出的结果与正确的输出值的接近程度，这部分允许每个客户端使用自己的私有训练数据单独训练自己的本地模型。
注意力诱导函数的作用是可以反复鼓励相似的客户进行更多协作来自适应地促进客户之间潜在的成对协作，其是具有超参数的负指数函数
最小损失函数的表达式如下：
其中，表示最小损失函数，W＝[w1,...,wK]，λ为正则化参数，λ＞0；
表示交叉熵损失函数，k表示第k个客户端，K为客户端数量，Lk为第k个客户端的损失函数，wk为第k个客户端的本地模型参数；
表示注意力诱导函数，A表示负指数函数，j表示第j个客户端，wj为第j个客户端的本地模型参数。
S2、服务器为每个客户端生成个性化云模型：
客户端将搭建好的本地模型传输给服务器，服务器获取各个客户端的本地模型。
在第t次迭代中，通过梯度下降对本地模型损失函数中的注意力诱导函数A(W)进行优化，得第t次迭代的个性化云模型参数，表达式如下：
其中，Ut为第t次迭代的个性化云模型参数，表示求导，Wt-1为第t-1次迭代的本地模型参数，αt为第t次迭代的算法学习率。
对所有客户端的本地模型进行线性组合运算，生成各个客户端的个性化云模型，其表达式如下：
其中，为第t次迭代中第k个客户端的个性化云模型参数，/>为第t-1次迭代中第k个客户端的本地模型参数，/>为第t-1次迭代中第j个客户端的本地模型参数，A′(||wk-wj||2)表示A(||wk-wj||2)的导数，/>为本地模型参数集，ξk，1，…，ξk,K为的线性组合权值；
对生成的个性化云模型进行初始化。
在医疗应用中，为实现个性化联邦学习并保护隐私，服务器为每个参与的客户端初始化个性化云模型，云模型由服务器维护。通过初始化个性化云模型，可以为每个客户端提供具有针对性的模型初始状态，以便更好地适应客户端的特定数据和需求。
S3、客户端对本地图像数据进行标准化处理：
采集本地图像数据，本地图像数据加载进入算法中变成图像矩阵，然后逐通道地对图像进行标准化，图像矩阵平均值变为0，图像矩阵标准差变为1，使图像矩阵的元素均在[-1,1]范围内，表达式如下：
其中，channel为图像矩阵通道数，input[channel]为输入的图像矩阵，mean[channel]为图像矩阵平均值，std[channel]为图像矩阵标准差，output[channel]为输出的图像矩阵。
标准化可以保证网络良好地收敛，在不清楚各个维度(RDB通道数、宽、高)的相对重要程度之前，标准化使得输入的各个图像维度分布相近，从从而允许在网络训练过程中，对各个维度设置相同的学习率、正则项系数、权值初始化以及激活函数。
S4、客户端训练本地模型：
S4-1、客户端获取个性化云模型。
使用个性化云模型参数作为邻近中心，即用Ut代替最小损失函数中的近端项Wj，对本地模型进行训练，直至训练次数达到本地迭代次数，得训练好的本地模型。
训练表达式如下：
其中，Ut为个性化云模型参数，Wt为第t次迭代的本地模型参数， 表示最小损失函数，/>表示最小交叉熵损失函数，λ为正则化参数，λ＞0，αt为第t次迭代中算法学习率，W为本地模型参数。
通过计算公式计算得到，计算公式如下：
S4-2、客户端使用学习率自适应模块来调整学习率：
如图2所示，客户端先对本地数据样本进行随机采样并获得当前最新的学习率，接着，用采样数据对本地模型进行训练，并获得当前本地模型的梯度矩阵。
由于个性化差分隐私模块要对本地模型添加噪声，这可能会产生梯度爆炸，所以在加噪声之前对获得的梯度矩阵进行裁剪，具体为：利用采样数据对本地模型连续执行两次步长为当前学习率一半的梯度裁剪和梯度下降，得到两个一半步长的梯度矩阵。
利用采样数据对本地模型进行当前的完整的学习率的梯度裁剪和梯度下降，得到完成步长的梯度矩阵，然后更新本地模型。
评估一个完整步长的梯度矩阵和两个一半步长的梯度矩阵之间的梯度误差，并根据梯度误差调整学习率的步长，调整学习率的步长的表达式如下：
其中，errt为梯度误差，ψ为梯度误差预值，αmin＜1，αmax＞1，在本实施例中使用αmin＝0.9、αmax＝1.1。
S4-3、个性化差分隐私模块可以根据用户设置的隐私偏好来保护信息，达到个性化隐私保护的目的。
如图3所示，给出了个性化差分隐私模块的具体步骤：
获取当前本地模型参数，客户端根据隐私保护等级εk，产生高斯噪声添加到本地模型的参数中，并发送给服务器。
噪声机制采用的是适合数值数据的高斯噪声机制，其表达式如下：
M＝f(D)+N(0，cΔf/ε) (6)
其中，M为添加噪声后的模型参数，f(D)为添加噪声前的模型参数，Δf为灵敏度，取值为f(D')为相邻数据集训练的未添加噪声的本地模型参数，c为常数，取值范围为/>
保护隐私的预算分为三个级别，分别可表示为ε(εlow,εmid,εhigh)，隐私保护的强度随着级别的增加而增加，隐私保护等级εk由用户选择的隐私预算级别决定，其决定了本地噪声的添加。
对于客户端k，如果随机算法M在任意两条数据D和D'下输出相同的结果D*，即满足公式(7)，则称M满足ε-差分隐私，公式(7)如下所示：
其中，由于算法采用的是高斯机制，因此这里Pr可以表示为高斯分布的概率密度函数。
S5、重复步骤S2～S4，直至训练次数达到全局迭代次数，输出本地模型。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，包括以下步骤：
采集患者病变部位的医疗图像；
将采集的医疗图像输入预置在本地客户端内的融合了多家医院的医疗数据的本地模型中，输出识别结果。
2.根据权利要求1所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，融合了多家医院的医疗数据的本地模型的构建方法，包括：
a、客户端构建本地模型，设置本地模型的超参数和损失函数；
b、客户端将本地模型传输至服务器；
c、服务器获取各个客户端的本地模型，对各个客户端的本地模型进行聚合维护后为每个客户端生成个性化云模型；
d、服务器将个性化云模型传输至对应的各个客户端；
e、客户端获取本地数据及个性化云模型，将个性化云模型作为损失函数的近端项的邻近中心，利用损失函数及本地数据对本地模型进行训练，直至训练次数达到本地迭代次数，得训练好的本地模型；
f、重复步骤b～e，直至训练次数达到全局迭代次数，输出融合了多家医院的医疗数据的本地模型。
3.根据权利要求2所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，所述本地模型采用深度卷积神经网络，所述深度卷积神经网络采用RELU函数作为激活函数，其由2个卷积层、2个池化层、1个dropout层、3个批处理层和2个全连接层组成，所述卷积层的卷积核大小为5；所述本地模型的超参数包括本地批量大小、本地迭代次数、全局迭代次数、客户端数量、每轮的客户端选择比例值、全局隐私预算、差分隐私的松弛度、梯度裁剪阈值以及算法学习率。
4.根据权利要求2所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，所述损失函数采用最小损失函数，最小损失函数由交叉熵损失函数和注意力诱导函数组成；
交叉熵损失函数用于判定模型输出的结果与正确的输出值的接近程度；
注意力诱导函数用于反复鼓励相似的客户端进行更多协作来自适应地促进客户之间潜在的成对协作；
所述最小损失函数的表达式为：
其中，表示最小损失函数，W＝[w1,...,wK]，λ为正则化参数，λ＞0；表示交叉熵损失函数，k表示第k个客户端，K为客户端数量，Lk为第k个客户端的损失函数，wk为第k个客户端的本地模型参数；
表示注意力诱导函数，A表示负指数函数，j表示第j个客户端，wj为第j个客户端的本地模型参数。
5.根据权利要求2所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，服务器获取各个客户端的本地模型，对各个客户端的本地模型进行聚合维护后为每个客户端生成个性化云模型，包括：
服务器获取各个客户端的本地模型；
在第t次迭代中，通过梯度下降对本地模型损失函数中的注意力诱导函数A(W)进行优化，得第t次迭代的个性化云模型参数，表达式如下：
其中，Ut为第t次迭代的个性化云模型参数，表示求导，Wt-1为第t-1次迭代的本地模型参数，αt为第t次迭代的算法学习率；
对所有客户端的本地模型进行线性组合运算，生成各个客户端的个性化云模型，其表达式如下：
其中，为第t次迭代中第k个客户端的个性化云模型参数，/>为第t-1次迭代中第k个客户端的本地模型参数，/>为第t-1次迭代中第j个客户端的本地模型参数，A′(||wk-wj||2)表示A(||wk-wj||2)的导数，/>为本地模型参数集，ξk，1，…，ξk,K为/>的线性组合权值；
对生成的个性化云模型进行初始化。
6.根据权利要求2所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，客户端获取本地图像数据及个性化云模型，将个性化云模型作为损失函数的近端项的邻近中心，利用损失函数及本地图像数据对本地模型进行训练，直至训练次数达到本地迭代次数，得训练好的本地模型，包括：
客户端获取个性化云模型；
使用个性化云模型参数作为邻近中心，即用Ut代替最小损失函数中的近端项Wj，对本地模型进行训练，表达式如下：
其中，Ut为个性化云模型参数，Wt为第t次迭代的本地模型参数， 表示最小损失函数，/>表示最小交叉熵损失函数，λ为正则化参数，λ＞0，αt为第t次迭代中算法学习率，W为本地模型参数；
重复上述训练过程，直至训练次数达到本地迭代次数，得训练好的本地模型。
7.根据权利要求6所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，还包括客户端对算法学习率进行调整，具体为：
客户端对本地图像数据样本进行随机采样，以获取当前算法学习率；
利用采样数据对本地模型连续执行两次步长为当前学习率一半的梯度裁剪和梯度下降，得到两个一半步长的梯度矩阵；
利用采样数据对本地模型进行当前的完整的学习率的梯度裁剪和梯度下降，得到完整步长的梯度矩阵，然后更新本地模型；
评估本地模型的梯度矩阵和两个一半步长的梯度矩阵之间的梯度误差；
根据梯度误差调整算法学习率，表达式如下：
其中，errt为梯度误差，ψ为梯度误差预值，αmin＜1，αmax＞1。
8.根据权利要求7所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，所述本地图像数据需进行标准化处理，所述标准化处理包括：
将本地图像数据转化为图像矩阵；
逐通道地对图像矩阵进行标准化，图像矩阵平均值变为0，图像矩阵标准差变为1，使图像矩阵的元素均在[-1,1]范围内，表达式如下：
其中，channel为图像矩阵通道数，input[channel]为输入的图像矩阵，mean[channel]为图像矩阵平均值，std[channel]为图像矩阵标准差，output[channel]为输出的图像矩阵。
9.根据权利要求6所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，还包括根据客户端设置的隐私偏好对本地模型进行个性化隐私保护，具体为：
获取当前本地模型参数，客户端根据隐私保护等级εk，产生高斯噪声，并添加到本地模型参数中，表达式如下：
M＝f(D)+N(0，cΔf/ε)
其中，M为添加噪声后的本地模型参数，f(D)为添加噪声前的本地模型参数，Δf为灵敏度，取值为f(D')为相邻数据集训练的未添加噪声的本地模型参数，c为常数，取值范围为/>
10.根据权利要求9所述的基于差分隐私的学习率自适应医疗图像识别方法，其特征在于，所述隐私保护等级εk包括三个，其分别表示为ε(εlow,εmid,εhigh)，隐私保护等级εk由客户端设置的隐私偏好决定。
CN202311104879.XA 2023-08-30 2023-08-30 一种基于差分隐私的学习率自适应医疗图像识别方法 Pending CN117079087A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311104879.XA CN117079087A (zh) 2023-08-30 2023-08-30 一种基于差分隐私的学习率自适应医疗图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311104879.XA CN117079087A (zh) 2023-08-30 2023-08-30 一种基于差分隐私的学习率自适应医疗图像识别方法

Publications (1)

Publication Number Publication Date
CN117079087A true CN117079087A (zh) 2023-11-17

Family

ID=88717922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311104879.XA Pending CN117079087A (zh) 2023-08-30 2023-08-30 一种基于差分隐私的学习率自适应医疗图像识别方法

Country Status (1)

Country Link
CN (1) CN117079087A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097197A (zh) * 2024-04-26 2024-05-28 南京信息工程大学 一种图像识别神经网络模型的匹配方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097197A (zh) * 2024-04-26 2024-05-28 南京信息工程大学 一种图像识别神经网络模型的匹配方法

Similar Documents

Publication Publication Date Title
CN109657156B (zh) 一种基于循环生成对抗网络的个性化推荐方法
Ji et al. Learning private neural language modeling with attentive aggregation
CN110796190B (zh) 具有深度学习特征的指数建模
US20210073639A1 (en) Federated Learning with Adaptive Optimization
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
Schneider et al. Personalization of deep learning
CN108776844A (zh) 基于上下文感知张量分解的社交网络用户行为预测方法
Jalilian et al. Decomposition of variance for spatial Cox processes
Wieczorek et al. Real-time neural network based predictor for cov19 virus spread
CN113850272A (zh) 基于本地差分隐私的联邦学习图像分类方法
CN117079087A (zh) 一种基于差分隐私的学习率自适应医疗图像识别方法
CN117523291A (zh) 基于联邦知识蒸馏和集成学习的图像分类方法
Li et al. Efficient ℓ 0‐norm feature selection based on augmented and penalized minimization
EP3991102A1 (en) Pruning and/or quantizing machine learning predictors
CN107392164A (zh) 一种基于面部动作单元强度估计的表情分析方法
Li Network traffic prediction of the optimized BP neural network based on Glowworm Swarm Algorithm
CN116933866A (zh) 针对数据异质性的个性化联邦学习方法、系统及存储介质
Long et al. Fedsiam: Towards adaptive federated semi-supervised learning
CN117874829B (zh) 基于自适应差分隐私的联邦学习方法
CN115271980A (zh) 风险值预测方法、装置、计算机设备和存储介质
Liu et al. Gradient‐Sensitive Optimization for Convolutional Neural Networks
Chen et al. Channel adaptive and sparsity personalized federated learning for privacy protection in smart healthcare systems
Pradier et al. Projected BNNs: Avoiding weight-space pathologies by learning latent representations of neural network weights
EP4160488A1 (en) Adaptive aggregation for federated learning
CN115312158A (zh) 元数据与图像特征双重感知的个性化联邦学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination