CN116935143A - 基于个性化联邦学习的dfu医学图像分类方法及系统 - Google Patents

基于个性化联邦学习的dfu医学图像分类方法及系统 Download PDF

Info

Publication number
CN116935143A
CN116935143A CN202311035070.6A CN202311035070A CN116935143A CN 116935143 A CN116935143 A CN 116935143A CN 202311035070 A CN202311035070 A CN 202311035070A CN 116935143 A CN116935143 A CN 116935143A
Authority
CN
China
Prior art keywords
image
client
dfu
image classification
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311035070.6A
Other languages
English (en)
Other versions
CN116935143B (zh
Inventor
何昆仑
赵亚威
伍欣
刘盼
郭华源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN202311035070.6A priority Critical patent/CN116935143B/zh
Publication of CN116935143A publication Critical patent/CN116935143A/zh
Application granted granted Critical
Publication of CN116935143B publication Critical patent/CN116935143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于个性化联邦学习的DFU医学图像分类方法及系统，该方法包括如下步骤：参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像；客户端基于卷积神经网络构建图像分类模型；中央服务器将预设的分类器模块参数传递至客户端；客户端基于分类器模块参数更新分类器模块；客户端利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度；客户端将客户端梯度上传至中央服务器；中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数；重复训练步骤直至模型损失收敛，得到DFU图像分类模型；客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。本发明通过个性化联邦学习训练的DFU图像分类模型具有较高的分类准确性。

Description

基于个性化联邦学习的DFU医学图像分类方法及系统
技术领域
本发明属于医学图像分类技术领域，具体是涉及到一种基于个性化联邦学习的DFU医学图像分类方法及系统。
背景技术
糖尿病足溃疡(Diabetic Foot Ulcer，DFU)，是常见的糖尿病并发症之一。糖尿病患者的基数大、增长快、发病高，意味着DFU患者人数会越来越多。除此之外，糖尿病足溃疡复发率和致死率高，也给医疗系统带来巨大压力。对DFU患者病情程度全面精准的评估分类是治疗的关键。以计算机科学技术为DFU病情提供精准分类，可以帮助病人自我诊断，辅助医生治疗监测，缓解医疗系统压力。
卷积神经网络是一种深度学习模型。在图像分类问题中，卷积神经网络，例如DenseNet以及EfficientNet等，都能提供很好的图像分类效果，它也会作为目标检测、图像分割等机器视觉任务的骨干网络。当使用的数据都是有标签数据时，该模型执行深度有监督学习。深度半监督学习其实是在深度有监督学习的基础上添加一步对无标签数据的处理和使用。目前在现有技术中，可以通过深度半监督学习FixMatch方法，结合有标签图像数据与无标签图像数据一起训练深度学习模型，实现DFU病情分类。
具体过程则是通过FixMatch方法在单一计算节点(客户端)训练DFU医学图像分类模型。它是用DFU-AugmentPool生成的强增强图片和弱增强图片，利用两者之间的一致性损失来学习无标签图片的信息。然而深度学习离不开对数据量的要求，医院中充足的DFU医学图像数据能极大提示分类模型的性能。但出于隐私保护以及数据安全等原因，单靠深度学习模型无法联合利用各个医院的数据。
目前利用FixMatch方法实现DFU医学图像分类模型训练只是局限于单一客户端，没有将各个客户端相互联合学习起来。联邦学习是一种特殊的分布式学习方式，与传统分布式学习方式不同的是，它可以让多个计算节点在数据不共享基础上进行合作，联合学习形成一个深度学习模型。这既满足隐私保护和数据安全的要求，又能解决深度学习的困境(数据不充足导致训练不充分)，最终得到一个能为DFU医学图像提供分类的深度学习模型。
但上述方法并未考虑到各客户端的数据分布不一致问题。在实际使用过程中，可能会出现专科医院与综合医院的DFU医学图像数据之间存在分类难度的差异；小医院与大医院之间存在数据量之间的差异；各个医院之间存在数据存储记录方式的差异。上述差异使得各客户端在联合学习中，模型可能会偏向于某些客户端的数据，导致模型偏差，模型还可能会过度拟合某些客户端的数据，导致泛化性能下降。最终导致部分客户端在使用联邦学习的深度学习模型进行DFU医学图像分类时，分类结果的准确性不高。
发明内容
本发明提供一种基于个性化联邦学习的DFU医学图像分类方法及系统，以解决由于各客户端的数据分布不一致，导致部分客户端在使用联邦学习的深度学习模型进行DFU医学图像分类时，分类结果的准确性不高的问题。
第一方面，本发明提供一种基于个性化联邦学习的DFU医学图像分类方法，该方法包括如下步骤：
参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像；
所述客户端基于卷积神经网络构建图像分类模型，所述图像分类模型包括分类器模块；
参与所述联邦学习的中央服务器将预设的分类器模块参数传递至所述客户端；
所述客户端基于所述分类器模块参数更新所述分类器模块；
所述客户端利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度；
所述客户端将所述客户端梯度上传至所述中央服务器；
所述中央服务器结合所述客户端梯度和预设的先验知识更新所述分类器模块参数；
重复上述模块更新和模型训练步骤直至所述客户端中所述图像分类模型的模型损失收敛，得到DFU图像分类模型；
所述客户端通过所述DFU图像分类模型完成所述待分类DFU图像的图像分类。
可选的，所述DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，所述客户端利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度包括如下步骤：
所述客户端将所述有标签图像样本输入至所述图像分类模型中，通过所述图像分类模型输出有标签图像分类结果；
所述客户端结合所述有标签图像训练结果和所述有标签图像样本真值计算交叉熵损失，得到有标签图像损失；
所述客户端利用数据增强算法处理所述无标签图像样本，得到弱增强图像样本和强增强图像样本；
所述客户端将所述弱增强图像样本和所述强增强图像样本分别输入至所述图像分类模型中，通过所述图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
所述客户端结合预设的输出阈值和所述弱增强图像分类结果生成伪标签；
所述客户端结合所述伪标签和所述强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
所述客户端根据所述有标签图像损失和所述无标签图像损失计算得到模型损失和客户端梯度。
可选的，所述交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示所述图像分类模型预测各类别的概率，C表示类别数量。
可选的，所述模型损失的计算公式如下：
式中：L表示所述模型损失，A表示所述有标签图像样本的样本数目，B表示所述无标签图像样本的样本数目，LCE(Y，f(xi))表示所述有标签图像损失，LCE(P，f(Ωs(xj)))表示所述无标签图像损失，Y表示所述样本真值，xi表示第i个所述有标签图像样本，Ωw(xj)表示第j个所述弱增强图像样本，Ωs(xj)表示第j个所述强增强图像样本，τ表示所述输出阈值，P表示所述伪标签。
可选的，所述中央服务器结合所述客户端梯度和预设的先验知识更新所述分类器模块参数包括如下步骤：
所述中央服务器将具有d维特征的所述分类器模块参数划分为个性特征向量和共性特征向量，其中所述共性特征向量所述个性特征向量/>d1+d2＝d；
所述中央服务器将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中所述映射矩阵所述映射矩阵/>
所述中央服务器结合所述个性特征向量、所述共性特征向量、所述映射矩阵M和所述映射矩阵N更新所述分类器模块参数。
第二方面，本发明还提供一种基于个性化联邦学习的DFU医学图像分类系统，所述系统包括参与联邦学习的客户端和中央服务器，所述中央服务器包括参数发送模块和参数更新模块，所述客户端包括：
图像获取模块，用于获取DFU图像样本集和待分类DFU图像；
模型构建模块，用于基于卷积神经网络构建图像分类模型，所述图像分类模型包括分类器模块；
所述参数发送模块用于将预设的分类器模块参数传递至所述客户端；
所述客户端还包括：
分类器更新模块，用于接收所述分类器模块参数，并基于所述分类器模块参数更新所述分类器模块；
模型训练模块，用于利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度；
梯度上传模块，用于将所述客户端梯度上传至所述中央服务器；
所述参数更新模块预设有先验知识，所述参数更新模块用于接收所述客户端梯度，并结合所述客户端梯度和预设的先验知识更新所述分类器模块参数；
所述客户端还包括：
重复更新训练模块，用于接收所述参数更新模块更新后的所述分类器模块参数，并控制所述分类器更新模块和所述模型训练模块重复执行模块更新和模型训练步骤，直至所述客户端中所述图像分类模型的模型损失收敛，得到DFU图像分类模型；
图像分类模块，用于通过所述DFU图像分类模型完成所述待分类DFU图像的图像分类。
可选的，所述DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，所述模型训练模块包括：
第一图像分类单元，用于将所述有标签图像样本输入至所述图像分类模型中，通过所述图像分类模型输出有标签图像分类结果；
第一损失计算单元，用于结合所述有标签图像训练结果和预设的样本真值计算交叉熵损失，得到有标签图像损失；
图像增强单元，用于利用数据增强算法处理所述无标签图像样本，得到弱增强图像样本和强增强图像样本；
第二图像分类单元，用于将所述弱增强图像样本和所述强增强图像样本分别输入至所述图像分类模型中，通过所述图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
伪标签生成单元，用于结合预设的输出阈值和所述弱增强图像分类结果生成伪标签；
第二损失计算单元，用于结合所述伪标签和所述强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
模型损失计算单元，用于根据所述有标签图像损失和所述无标签图像损失计算得到模型损失。
可选的，所述交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示所述图像分类模型预测各类别的概率，C表示类别数量。
可选的，所述模型损失的计算公式如下：
式中：L表示所述模型损失，A表示所述有标签图像样本的样本数目，B表示所述无标签图像样本的样本数目，LCE(Y，f(xi))表示所述有标签图像损失，LCE(P，f(Ωs(xj)))表示所述无标签图像损失，Y表示所述样本真值，xi表示第i个所述有标签图像样本，Ωw(xj)表示第j个所述弱增强图像样本，Ωs(xj)表示第j个所述强增强图像样本，τ表示所述输出阈值，P表示所述伪标签。
可选的，所述参数更新模块包括：
向量分类单元，用于将具有d维特征的所述分类器模块参数划分为个性特征向量和共性特征向量，其中所述共性特征向量所述个性特征向量/>d1+d2＝d；
矩阵拆分单元，预设有先验知识，用于将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中所述映射矩阵所述映射矩阵/>
分类器参数生成单元，用于结合所述个性特征向量、所述共性特征向量、所述映射矩阵M和所述映射矩阵N更新所述分类器模块参数。
本发明的有益效果是：
本发明采用以下方法步骤：参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像；客户端基于卷积神经网络构建图像分类模型，图像分类模型包括分类器模块；参与联邦学习的中央服务器将预设的分类器模块参数传递至客户端；客户端基于分类器模块参数更新分类器模块；客户端利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度；客户端将客户端梯度上传至中央服务器；中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数；重复上述模块更新和模型训练步骤直至客户端中图像分类模型的模型损失收敛，得到DFU图像分类模型；客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。
本发明采用个性化联邦学习结合深度半监督学习的方法，将分布在各个客户端且数据分布类型各异的DFU医学图像数据有效利用起来，共同训练出一个分类精准的DFU医学图像分类模型。其相对于现有的DFU分类模型训练方式不再局限于单一客户端；能将多个客户端的DFU医学图像数据充分利用。并且由于保留各个客户端的个性化需求，即使各客户端的数据分布不一致，所有客户端最终使用联邦学习训练的深度学习模型进行DFU医学图像分类时，也具有较高的分类准确性。
附图说明
图1为本发明中基于个性化联邦学习的DFU医学图像分类方法的流程示意图。
图2为本发明中个性化联邦学习的结构示意图。
图3为本发明中深度半监督学习的一次迭代流程示意图。
图4为本发明中映射矩阵的构建示意图。
具体实施方式
本发明公开一种基于个性化联邦学习的DFU医学图像分类方法。
本发明所公开的基于个性化联邦学习的DFU医学图像分类方法，其执行主体为联邦学习中的任意一个客户端。参照图1，基于个性化联邦学习的DFU医学图像分类方法具体包括如下步骤：
S101.参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像。
其中，糖尿病足溃疡(Diabetic Foot Ulcer，DFU)图像样本集包含大量DFU图像，可以将DFU图像样本集用于模型训练。参与联邦学习的客户端可以为手机、电脑等终端设备，且客户端的数量可以为多个。
S102.客户端基于卷积神经网络构建图像分类模型。
其中，卷积神经网络是一种深度学习模型。当使用的数据都是有标签数据时，该模型执行深度有监督学习。深度半监督学习其实是在深度有监督学习的基础上添加一步对无标注数据的处理和使用。为了能安全地利用无标注数据，让其能真正的帮助模型性能提升，研究人员通常会设置一个固定的阈值以判断无标注样本结果的可靠性。当样本的最高输出结果高于阈值，说明该样本是结果对应类别的可能性很大，从而把这个类当作伪标签。通常可以选择EfficientNet-B3或者DenseNet201作为基础卷积神经网络构建图像分类模型。
如果要个性化联合训练用于分类DFU医学图像的图像分类模型，优化参数的方式就要通过联邦学习的方法。参照图2，图2为个性化联邦学习结构图。由于在个性化联邦学习过程中，各个客户端设备不同以及各客户端本地的DFU医学图像数据形式存在差异，因此，可以将图像分类模型中的特征抽取模块与分类器分离。特征抽取模块由客户端本地自行固定训练，不上传至联邦学习的中央服务器，最后一层分类器参数将上传到中央服务器参与聚合，后回传更新，这样即可实现个性化联合训练。
S103.参与联邦学习的中央服务器将预设的分类器模块参数传递至客户端。
其中，分类器模块参数是指在机器学习中用于构建分类器模型的参数，这些参数包括但不限于权重、偏置、学习率等。在联邦学习中，分类器模块参数是指用于构建分类器模型的参数，这些参数在中央服务器上预设，并在联邦学习过程中传递给参与联邦学习的客户端，用于更新本地的分类器模块。通过传递和更新分类器模块参数，中央服务器和客户端可以协同训练出一个全局的分类器模型，而不需要将所有数据集集中在一起进行训练，从而保护了数据的隐私性和安全性。
在其中一种实施方式中，本步骤可以采用以下步骤执行：中央服务器根据预设的分类器模块参数生成一个加密的模型参数文件。中央服务器将加密的模型参数文件发送给参与联邦学习的客户端。客户端使用加密的模型参数文件进行解密，得到模型参数。客户端根据解密后的模型参数更新本地的分类器模块。
S104.客户端基于分类器模块参数更新分类器模块。
S105.客户端利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度。
其中，损失函数(Loss Function)是机器学习中用来衡量模型预测结果与真实值之间差异的函数。通常用于监督学习任务中，在训练过程中最小化损失函数可以使模型的预测结果更加准确。常见的损失函数包括均方误差(MSE)、交叉熵损失函数等。在深度学习中，损失函数通常作为优化器的目标函数，通过反向传播算法计算梯度，更新模型参数，以达到最小化损失函数的目的。客户端梯度可以通过梯度下降法(Gradient Descent)、随机梯度下降法(Stochastic Gradient Descent，SGD)、批量梯度下降法(Batch GradientDescent，BGD)、小批量梯度下降法(Mini-Batch Gradient Descent，MBGD)等算法计算得到
S106.客户端将客户端梯度上传至中央服务器。
S107.中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数。
其中，先验知识(Prior Knowledge)指在进行学习或推理之前，主观或客观地积累的有关问题或领域的先前知识。这些知识可以来自于个人经验、领域专家、历史数据、已有研究等，可以是定性的或定量的，可以是明确的或模糊的。在机器学习中，充分利用先验知识可以帮助提高学习效果，减少模型过拟合的风险，加快模型训练的速度，提高模型的鲁棒性等。
例如，在特征选择中，可以利用领域专家的先验知识来选择与问题相关的特征，减少特征空间的维度，提高模型的泛化能力；在深度学习中，可以利用先验知识来设计网络结构、初始化权重等，提高模型的收敛速度和泛化能力；在贝叶斯网络中，可以利用先验知识来构建先验概率分布，对后验概率分布进行修正，提高推理的准确性等。
S108.重复上述模块更新和模型训练步骤直至客户端中图像分类模型的模型损失收敛，得到DFU图像分类模型。
其中，重复上述步骤S103至步骤S107，直至客户端中图像分类模型的模型损失收敛，得到DFU图像分类模型。
S109.通客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。
其中，将待分类DFU图像输入至DFU图像分类模型中，DFU图像分类模型所输出的模型结果即为待分类DFU图像的图像分类结果。
本实施方式的实施原理为：
参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像；客户端基于卷积神经网络构建图像分类模型；参与联邦学习的中央服务器将预设的分类器模块参数传递至客户端；客户端基于分类器模块参数更新分类器模块；客户端利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度；客户端将客户端梯度上传至中央服务器；中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数；重复上述模块更新和模型训练步骤直至客户端中图像分类模型的模型损失收敛，得到DFU图像分类模型；客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。
本发明采用个性化联邦学习结合深度半监督学习的方法，将分布在各个客户端且数据分布类型各异的DFU医学图像数据有效利用起来，共同训练出一个分类精准的DFU医学图像分类模型。其相对于现有的DFU分类模型训练方式不再局限于单一客户端；能将多个客户端的DFU医学图像数据充分利用。并且由于保留各个客户端的个性化需求，即使各客户端的数据分布不一致，所有客户端最终使用联邦学习训练的深度学习模型进行DFU医学图像分类时，也具有较高的分类准确性。
在其中一种实施方式中，DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，步骤S105即客户端利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度具体包括如下步骤：
客户端将有标签图像样本输入至图像分类模型中，通过图像分类模型输出有标签图像分类结果；
客户端结合有标签图像训练结果和有标签图像样本真值计算交叉熵损失，得到有标签图像损失；
客户端利用数据增强算法处理无标签图像样本，得到弱增强图像样本和强增强图像样本；
客户端将弱增强图像样本和强增强图像样本分别输入至图像分类模型中，通过图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
客户端结合预设的输出阈值和弱增强图像分类结果生成伪标签；
客户端结合伪标签和强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
客户端根据有标签图像损失和无标签图像损失计算得到模型损失和客户端梯度。
在本实施方式中，交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示图像分类模型预测各类别的概率，C表示类别数量。
参照图3，图像分类模型训练过程的一个批次(模型迭代过程中包含多个批次)中会包括有标签图像样本、弱增强图像样本和强增强图像样本，其中弱增强图像样本和强增强图像样本是由无标签图像样本经过DFU-AugmentPool数据增强算法产生。将这些数据输入到图像分类模型中，生成每个样本所有类别的概率后，将弱增强图像样本输出结果中最大值超过输出阈值对应的类作为伪标签。有标签图像样本输入模型得到的结果与样本真值计算交叉熵损失，强增强图像样本训练结果与伪标签计算交叉熵损失。最终结合有标签图像损失和无标签图像损失计算得到模型损失的计算公式如下：
式中：L表示模型损失，A表示有标签图像样本的样本数目，B表示无标签图像样本的样本数目，LCE(Y，f(xi))表示有标签图像损失，LCE(P，f(Ωs(xj)))表示无标签图像损失，Y表示样本真值，xi表示第i个有标签图像样本，Ωw(xj)表示第j个弱增强图像样本，Ωs(xj)表示第j个强增强图像样本，τ表示输出阈值，P表示伪标签。
在其中一种实施方式中，步骤S107即中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数具体包括如下步骤：
中央服务器将具有d维特征的分类器模块参数划分为个性特征向量和共性特征向量，其中共性特征向量个性特征向量/>d1+d2＝d；
中央服务器将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中映射矩阵映射矩阵/>
中央服务器结合个性特征向量、共性特征向量、映射矩阵M和映射矩阵N更新分类器模块参数。
在本实施方式中，分类器模块参数保留了d维特征，可以将这些特征进行个性与共性的划分，而不是使用统一的参数回传，进一步保证了客户端的个性化。共性特征向量个性特征向量/>d1+d2＝d。参照图4，将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中映射矩阵/>映射矩阵/>此时中央服务器结合个性特征向量、共性特征向量、映射矩阵M和映射矩阵N将分类器模块参数更新为X＝Mx+Nz。
本发明还公开一种基于个性化联邦学习的DFU医学图像分类系统，系统包括参与联邦学习的客户端和中央服务器，中央服务器包括参数发送模块和参数更新模块，客户端包括：
图像获取模块，用于获取DFU图像样本集和待分类DFU图像；
模型构建模块，用于基于卷积神经网络构建图像分类模型，图像分类模型包括分类器模块；
参数发送模块用于将预设的分类器模块参数传递至客户端；
客户端还包括：
分类器更新模块，用于接收分类器模块参数，并基于分类器模块参数更新分类器模块；
模型训练模块，用于利用DFU图像样本集训练图像分类模型，计算得到模型损失和客户端梯度；
梯度上传模块，用于将客户端梯度上传至中央服务器；
参数更新模块预设有先验知识，参数更新模块用于接收客户端梯度，并结合客户端梯度和预设的先验知识更新分类器模块参数；
客户端还包括：
重复更新训练模块，用于接收参数更新模块更新后的分类器模块参数，并控制分类器更新模块和模型训练模块重复执行模块更新和模型训练步骤，直至客户端中图像分类模型的模型损失收敛，得到DFU图像分类模型；
图像分类模块，用于通过DFU图像分类模型完成待分类DFU图像的图像分类。
本实施方式的实施原理为：
本发明中，基于个性化联邦学习的DFU医学图像分类系统所执行的方法采用个性化联邦学习结合深度半监督学习的方法，将分布在各个客户端且数据分布类型各异的DFU医学图像数据有效利用起来，共同训练出一个分类精准的DFU医学图像分类模型。其相对于现有的DFU分类模型训练方式不再局限于单一客户端；能将多个客户端的DFU医学图像数据充分利用。并且由于保留各个客户端的个性化需求，即使各客户端的数据分布不一致，所有客户端最终使用联邦学习训练的深度学习模型进行DFU医学图像分类时，也具有较高的分类准确性。
在其中一种实施方式中，DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，模型训练模块包括：
第一图像分类单元，用于将有标签图像样本输入至图像分类模型中，通过图像分类模型输出有标签图像分类结果；
第一损失计算单元，用于结合有标签图像训练结果和预设的样本真值计算交叉熵损失，得到有标签图像损失；
图像增强单元，用于利用数据增强算法处理无标签图像样本，得到弱增强图像样本和强增强图像样本；
第二图像分类单元，用于将弱增强图像样本和强增强图像样本分别输入至图像分类模型中，通过图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
伪标签生成单元，用于结合预设的输出阈值和弱增强图像分类结果生成伪标签；
第二损失计算单元，用于结合伪标签和强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
模型损失计算单元，用于根据有标签图像损失和无标签图像损失计算得到模型损失。
在本实施方式中，交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示图像分类模型预测各类别的概率，C表示类别数量。
模型损失的计算公式如下：
式中：L表示模型损失，A表示有标签图像样本的样本数目，B表示无标签图像样本的样本数目，LCE(Y，f(xi))表示有标签图像损失，LCE(P，f(Ωs(xj)))表示无标签图像损失，Y表示样本真值，xi表示第i个有标签图像样本，Ωw(xj)表示第j个弱增强图像样本，Ωs(xj)表示第j个强增强图像样本，τ表示输出阈值，P表示伪标签。
在其中一种实施方式中，参数更新模块包括：
向量分类单元，用于将具有d维特征的分类器模块参数划分为个性特征向量和共性特征向量，其中共性特征向量个性特征向量/>d1+d2＝d；
矩阵拆分单元，预设有先验知识，用于将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中映射矩阵映射矩阵/>
分类器参数生成单元，用于结合个性特征向量、共性特征向量、映射矩阵M和映射矩阵N更新分类器模块参数。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的保护范围限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请中一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于个性化联邦学习的DFU医学图像分类方法，其特征在于，包括如下步骤：
参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像；
所述客户端基于卷积神经网络构建图像分类模型，所述图像分类模型包括分类器模块；
参与所述联邦学习的中央服务器将预设的分类器模块参数传递至所述客户端；
所述客户端基于所述分类器模块参数更新所述分类器模块；
所述客户端利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度；
所述客户端将所述客户端梯度上传至所述中央服务器；
所述中央服务器结合所述客户端梯度和预设的先验知识更新所述分类器模块参数；
重复上述模块更新和模型训练步骤直至所述客户端中所述图像分类模型的模型损失收敛，得到DFU图像分类模型；
所述客户端通过所述DFU图像分类模型完成所述待分类DFU图像的图像分类。
2.根据权利要求1所述的基于个性化联邦学习的DFU医学图像分类方法，其特征在于，所述DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，所述客户端利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度包括如下步骤：
所述客户端将所述有标签图像样本输入至所述图像分类模型中，通过所述图像分类模型输出有标签图像分类结果；
所述客户端结合所述有标签图像训练结果和所述有标签图像样本真值计算交叉熵损失，得到有标签图像损失；
所述客户端利用数据增强算法处理所述无标签图像样本，得到弱增强图像样本和强增强图像样本；
所述客户端将所述弱增强图像样本和所述强增强图像样本分别输入至所述图像分类模型中，通过所述图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
所述客户端结合预设的输出阈值和所述弱增强图像分类结果生成伪标签；
所述客户端结合所述伪标签和所述强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
所述客户端根据所述有标签图像损失和所述无标签图像损失计算得到模型损失和客户端梯度。
3.根据权利要求2所述的基于个性化联邦学习的DFU医学图像分类方法，其特征在于，所述交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示所述图像分类模型预测各类别的概率，C表示类别数量。
4.根据权利要求3所述的基于个性化联邦学习的DFU医学图像分类方法，其特征在于，所述模型损失的计算公式如下：
式中：L表示所述模型损失，A表示所述有标签图像样本的样本数目，B表示所述无标签图像样本的样本数目，LCE(Y，f(xi))表示所述有标签图像损失，LCE(P，f(Ωs(xj)))表示所述无标签图像损失，Y表示所述样本真值，xi表示第i个所述有标签图像样本，Ωw(xj)表示第j个所述弱增强图像样本，Ωs(xj)表示第j个所述强增强图像样本，τ表示所述输出阈值，P表示所述伪标签。
5.根据权利要求1所述的基于个性化联邦学习的DFU医学图像分类方法，其特征在于，所述中央服务器结合所述客户端梯度和预设的先验知识更新所述分类器模块参数包括如下步骤：
所述中央服务器将具有d维特征的所述分类器模块参数划分为个性特征向量和共性特征向量，其中所述共性特征向量所述个性特征向量/>d1+d2＝d；
所述中央服务器将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中所述映射矩阵所述映射矩阵/>
所述中央服务器结合所述个性特征向量、所述共性特征向量、所述映射矩阵M和所述映射矩阵N更新所述分类器模块参数。
6.一种基于个性化联邦学习的DFU医学图像分类系统，其特征在于，所述系统包括参与联邦学习的客户端和中央服务器，所述中央服务器包括参数发送模块和参数更新模块，所述客户端包括：
图像获取模块，用于获取DFU图像样本集和待分类DFU图像；
模型构建模块，用于基于卷积神经网络构建图像分类模型，所述图像分类模型包括分类器模块；
所述参数发送模块用于将预设的分类器模块参数传递至所述客户端；
所述客户端还包括：
分类器更新模块，用于接收所述分类器模块参数，并基于所述分类器模块参数更新所述分类器模块；
模型训练模块，用于利用所述DFU图像样本集训练所述图像分类模型，计算得到模型损失和客户端梯度；
梯度上传模块，用于将所述客户端梯度上传至所述中央服务器；
所述参数更新模块预设有先验知识，所述参数更新模块用于接收所述客户端梯度，并结合所述客户端梯度和预设的先验知识更新所述分类器模块参数；
所述客户端还包括：
重复更新训练模块，用于接收所述参数更新模块更新后的所述分类器模块参数，并控制所述分类器更新模块和所述模型训练模块重复执行模块更新和模型训练步骤，直至所述客户端中所述图像分类模型的模型损失收敛，得到DFU图像分类模型；
图像分类模块，用于通过所述DFU图像分类模型完成所述待分类DFU图像的图像分类。
7.根据权利要求6所述的基于个性化联邦学习的DFU医学图像分类系统，其特征在于，所述DFU图像样本集包括有标签图像样本、有标签图像样本真值和无标签图像样本，所述模型训练模块包括：
第一图像分类单元，用于将所述有标签图像样本输入至所述图像分类模型中，通过所述图像分类模型输出有标签图像分类结果；
第一损失计算单元，用于结合所述有标签图像训练结果和预设的样本真值计算交叉熵损失，得到有标签图像损失；
图像增强单元，用于利用数据增强算法处理所述无标签图像样本，得到弱增强图像样本和强增强图像样本；
第二图像分类单元，用于将所述弱增强图像样本和所述强增强图像样本分别输入至所述图像分类模型中，通过所述图像分类模型对应输出弱增强图像分类结果和强增强图像分类结果；
伪标签生成单元，用于结合预设的输出阈值和所述弱增强图像分类结果生成伪标签；
第二损失计算单元，用于结合所述伪标签和所述强增强图像分类结果计算交叉熵损失，得到无标签图像损失；
模型损失计算单元，用于根据所述有标签图像损失和所述无标签图像损失计算得到模型损失。
8.根据权利要求7所述的基于个性化联邦学习的DFU医学图像分类系统，其特征在于，所述交叉熵损失的计算公式如下：
式中：p表示真实样本的各类别值，q表示所述图像分类模型预测各类别的概率，C表示类别数量。
9.根据权利要求8所述的基于个性化联邦学习的DFU医学图像分类系统，其特征在于，所述模型损失的计算公式如下：
式中：L表示所述模型损失，A表示所述有标签图像样本的样本数目，B表示所述无标签图像样本的样本数目，LCE(Y，f(xi))表示所述有标签图像损失，LCE(P，f(Ωs(xj)))表示所述无标签图像损失，Y表示所述样本真值，xi表示第i个所述有标签图像样本，Ωw(xj)表示第j个所述弱增强图像样本，Ωs(xj)表示第j个所述强增强图像样本，τ表示所述输出阈值，P表示所述伪标签。
10.根据权利要求6所述的基于个性化联邦学习的DFU医学图像分类系统，其特征在于，所述参数更新模块包括：
向量分类单元，用于将具有d维特征的所述分类器模块参数划分为个性特征向量和共性特征向量，其中所述共性特征向量所述个性特征向量/>d1+d2＝d；
矩阵拆分单元，预设有先验知识，用于将预设的先验知识拆分为映射矩阵M和映射矩阵N，其中所述映射矩阵所述映射矩阵/>
分类器参数生成单元，用于结合所述个性特征向量、所述共性特征向量、所述映射矩阵M和所述映射矩阵N更新所述分类器模块参数。
CN202311035070.6A 2023-08-16 2023-08-16 基于个性化联邦学习的dfu医学图像分类方法及系统 Active CN116935143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311035070.6A CN116935143B (zh) 2023-08-16 2023-08-16 基于个性化联邦学习的dfu医学图像分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311035070.6A CN116935143B (zh) 2023-08-16 2023-08-16 基于个性化联邦学习的dfu医学图像分类方法及系统

Publications (2)

Publication Number Publication Date
CN116935143A true CN116935143A (zh) 2023-10-24
CN116935143B CN116935143B (zh) 2024-05-07

Family

ID=88394185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311035070.6A Active CN116935143B (zh) 2023-08-16 2023-08-16 基于个性化联邦学习的dfu医学图像分类方法及系统

Country Status (1)

Country Link
CN (1) CN116935143B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN112416986A (zh) * 2020-11-23 2021-02-26 中国科学技术大学 基于分层个性化联邦学习的用户画像实现方法及系统
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114529012A (zh) * 2022-02-18 2022-05-24 厦门大学 一种基于双阶段个性化联邦学习方法
CN114676838A (zh) * 2022-04-12 2022-06-28 支付宝(杭州)信息技术有限公司 联合更新模型的方法及装置
CN115331069A (zh) * 2022-07-01 2022-11-11 中银金融科技有限公司 一种基于联邦学习的个性化图像分类模型训练方法
CN115496955A (zh) * 2022-11-18 2022-12-20 之江实验室 图像分类模型训练方法、图像分类方法、设备和介质
CN116227624A (zh) * 2023-02-21 2023-06-06 杭州医康慧联科技股份有限公司 面向异构模型的联邦知识蒸馏方法和系统
US20230177349A1 (en) * 2020-06-01 2023-06-08 Intel Corporation Federated learning optimizations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
US20230177349A1 (en) * 2020-06-01 2023-06-08 Intel Corporation Federated learning optimizations
CN112416986A (zh) * 2020-11-23 2021-02-26 中国科学技术大学 基于分层个性化联邦学习的用户画像实现方法及系统
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114529012A (zh) * 2022-02-18 2022-05-24 厦门大学 一种基于双阶段个性化联邦学习方法
CN114676838A (zh) * 2022-04-12 2022-06-28 支付宝(杭州)信息技术有限公司 联合更新模型的方法及装置
CN115331069A (zh) * 2022-07-01 2022-11-11 中银金融科技有限公司 一种基于联邦学习的个性化图像分类模型训练方法
CN115496955A (zh) * 2022-11-18 2022-12-20 之江实验室 图像分类模型训练方法、图像分类方法、设备和介质
CN116227624A (zh) * 2023-02-21 2023-06-06 杭州医康慧联科技股份有限公司 面向异构模型的联邦知识蒸馏方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAN XU等: "Personalized Federated Learning with Feature Alignment and Classifier Collaboration", 《ARXIV - MACHINE LEARNING》, 20 June 2023 (2023-06-20), pages 1 - 25 *
LIAM COLLINS等: "Exploiting Shared Representations for Personalized Federated Learning", 《ARXIV - MACHINE LEARNING》, 18 January 2023 (2023-01-18), pages 1 - 11 *
李振宇: "基于本地差分隐私的联邦学习方案研究", 《信息科技辑》, no. 03, 15 March 2023 (2023-03-15), pages 138 - 55 *
邱天晨等: "面向非独立同分布数据的联邦学习架构", 《计算机工程》, vol. 49, no. 7, 31 July 2023 (2023-07-31), pages 110 - 117 *

Also Published As

Publication number Publication date
CN116935143B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
Shanthamallu et al. A brief survey of machine learning methods and their sensor and IoT applications
CN111126574B (zh) 基于内镜图像对机器学习模型进行训练的方法、装置和存储介质
CN111353076B (zh) 训练跨模态检索模型的方法、跨模态检索的方法和相关装置
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
Gudur et al. Activeharnet: Towards on-device deep bayesian active learning for human activity recognition
CN110942108B (zh) 人脸图像聚类方法、装置及计算机可读存储介质
CN111597298A (zh) 一种基于深度对抗离散哈希学习的跨模态检索方法及装置
Ren et al. Correntropy-based robust extreme learning machine for classification
CN112465786A (zh) 模型训练方法、数据处理方法、装置、客户端及存储介质
Mabrouk et al. Medical image classification using transfer learning and chaos game optimization on the internet of medical things
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
Golnoori et al. Metaheuristic algorithm based hyper-parameters optimization for skin lesion classification
Passalis et al. Deep supervised hashing using quadratic spherical mutual information for efficient image retrieval
Chattopadhyay et al. Interpretable by design: Learning predictors by composing interpretable queries
Liu et al. Glowimp: combining glow and gan for multivariate time series imputation
CN114358250A (zh) 数据处理方法、装置、计算机设备、介质及程序产品
Zeng et al. Conditional quantum circuit Born machine based on a hybrid quantum–classical​ framework
Bayoudh A survey of multimodal hybrid deep learning for computer vision: Architectures, applications, trends, and challenges
EP4073713A1 (en) Hyper-opinion classification using a neural network
CN117079017A (zh) 可信的小样本图像识别分类方法
CN116935143B (zh) 基于个性化联邦学习的dfu医学图像分类方法及系统
KR20240006058A (ko) 메타 학습으로 생성된 모델로 개인화된 생물학적 상태를 예측하기 위한 시스템, 방법 및 디바이스
CN116261733A (zh) 用于预测新模型参数的辅助模型
Zhang et al. Distributionally robust edge learning with dirichlet process prior
Swaroop et al. AT-densenet with salp swarm optimization for outlier prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant