CN115187783A - 基于联邦学习的多任务混合监督医疗图像分割方法及系统 - Google Patents

基于联邦学习的多任务混合监督医疗图像分割方法及系统 Download PDF

Info

Publication number
CN115187783A
CN115187783A CN202211099106.2A CN202211099106A CN115187783A CN 115187783 A CN115187783 A CN 115187783A CN 202211099106 A CN202211099106 A CN 202211099106A CN 115187783 A CN115187783 A CN 115187783A
Authority
CN
China
Prior art keywords
data
training
model
global
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211099106.2A
Other languages
English (en)
Other versions
CN115187783B (zh
Inventor
李劲松
赵艳霞
胡佩君
黄超
田雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211099106.2A priority Critical patent/CN115187783B/zh
Publication of CN115187783A publication Critical patent/CN115187783A/zh
Application granted granted Critical
Publication of CN115187783B publication Critical patent/CN115187783B/zh
Priority to JP2023095887A priority patent/JP7386370B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联邦学习的多任务混合监督医疗图像分割方法及系统，包括：基于各种弱监督数据以及完全监督和未标记数据的数据采集模块；基于联邦学习的第一阶段多任务网络模型模块，基于第二阶段伪标签生成模块，基于第二阶段动态样本选择模块，基于不同阶段的联邦模型动态更新模块。本发明打破了单一标签类型的限制，提出一种基于联邦学习的多任务混合模型架构，通过检测任务辅助医学图像分割任务联合各方数据进行协同建模，确保患者隐私的基础上，打破各方的数据孤岛，不仅充分地挖掘多机构数据的潜能和深层价值，而且充分利用任务之间的关系进而挖掘有效的上下文特征，实现不同层次特征之间的信息互补，进而提高模型的准确性和鲁棒性。

Description

基于联邦学习的多任务混合监督医疗图像分割方法及系统
技术领域
本发明涉及一种图像分割技术领域，尤其涉及一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。
背景技术
医学图像分割是支持计算机辅助诊断图像内容分析的代表性任务，它不仅可以识别病变类别，还可以定位特定区域，在临床诊断中发挥着重要作用。随着计算机硬件性能的提高，基于深度学习的图像分割技术已成为处理医学图像的有力工具。医学图像分割深度学习模型的优化通常依赖于大量带注释的不同来源的像素级训练数据。然而，由于极高的像素级注释成本和医学图像标注所需的极高专业知识，各个医疗机构的像素级标注图像非常有限，并且大多数可用的图像是未标注或弱标注的。另一方面，医疗机构之间敏感患者信息的严格共享协议导致数据共享非常困难，因而收集庞大的像素级病例注释数据往往是一项非常艰巨的任务，而仅仅利用这些规模小，数据分布不均衡，信息含量少的像素级数据不足以训练出鲁棒性和泛化能力充足的模型。联邦学习（FL）作为一种分布式学习框架，旨在让多个客户不共享原始数据的情况下充分利用所有可用的数据进行跨机构协作，能够在保证数据隐私安全性的基础上，帮助用户实现共同建模，从而增强模型性能，这项技术的应用将在医疗领域发挥越来越重要的作用。
在公开号CN113571203A的专利文献中，公开了多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统，所述方法基于C-S架构构建多中心的联邦学习模型，通过各中心分布式存储的患者电子病历信息联合影像组学特征与深度学习特征建立全面的脑肿瘤预后生存期分类模型，虽然该脑肿瘤预后生存期预测方法及系统提出的主动学习探索了在联邦学习中自动标记训练样本的利用每个本地设备上可用的未标记数据来构建全局模型，但该技术并未使用弱标记图像如图像级类别标签和边界框标签。而往往这些弱标记图像比无标注图像更具利用价值；且与像素级标签相比，弱标签不仅广泛可用而且获取成本更低。
现有技术目前存在的缺点：
在临床实践中，不同的机构可能在数据质量、数量和监督可用性方面存在很大差异。不当使用这些数据可能会导致不同客户端之间的医学图像分割性能显著下降。在标准FL模型的训练过程中，每个本地客户端首先从服务器下载联邦模型并在本地更新模型；然后，将每个客户端本地训练的模型参数发送回服务器；最后，聚合所有客户端的模型参数以更新全局联合模型。大多数现有的FL框架要求每个本地客户端用于训练的数据需要遵循相同级别的标签，这很大程度上限制了模型的学习能力。
尽管一些半监督联邦学习方法试图在训练中利用除像素级标记图像之外的未标记数据，但它们没有考虑监督可用性的变化，即不同的客户端有不同级别的图像标签。有效地利用来自这些具有不同标签强度级别的弱标记数据以及未标记数据的信息，特别是对于没有像素级标记数据的客户端，将非常有利于提高联邦模型的鲁棒性，同时防止训练不稳定性。
为此，我们提出一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。
发明内容
本发明为了解决上述技术问题，提出一种基于联邦学习的多任务混合监督医疗图像分割方法及系统。
本发明采用的技术方案如下：
一种基于联邦学习的多任务混合监督医疗图像分割方法，包括：
S1：在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
S2：第一阶段，基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
S3：第二阶段，利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
S4：第二阶段，利用动态样本选择方法选择高质量的训练数据和伪标签；
S5：基于第一阶段和第二阶段，对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
进一步地，所述S2具体包括：
S21：构建多任务网络模型，所述多任务网络模型包含采用CSP-ResNeXt结构的主干网络、采用ASPP和FPN的neck、采用PAN融合多尺度信息特征图的边框检测任务分支和采用两次上采样操作的全局掩码分割任务分支；
S22：中心服务器端对所述多任务网络模型分别采用Xavier初始化和Kaiming初始化两种不同的网络模型权重初始化方法，处理得到两个不同的全局网络模型；
S23：各个客户端对所述像素级标注训练数据和所述边界框标注训练数据进行预处理操作，得到各自的第一阶段预处理图像数据；
S24：中心服务器端将两个不同的全局网络模型分别发送给各个客户端，各个客户端基于本地的第一阶段预处理图像数据进行特征提取，并根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，得到相应任务分支的对应输出；
S25：各个客户端在经过预定次数的迭代之后均得到两个不同的局部训练模型，并将所述两个不同的局部训练模型回传给中心服务器端，中心服务器端对各客户端回传的两个不同的局部训练模型进行聚合得到新的全局联邦模型，并将所述全局联邦模型发送给各个客户端再次进行训练，重复所述训练、整合步骤直到达到预定的第一阶段设定的预训练轮数，得到两个不同的全局预训练联邦模型。
进一步地，所述S24中根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，具体分为：
当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和全局掩码分割任务分支的参数；
当客户端接收到的是边界框标注训练数据，则冻结全局掩码分割任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和边框检测任务分支的参数。
进一步地，所述S3具体包括：
S31：各个客户端对像素级标注训练数据、边界框标注训练数据、图像级标注训练数据和未标记训练数据分别进行预处理操作，得到第二阶段预处理图像数据；
S32：中心服务器端将第一阶段产生的两个不同的全局预训练联邦模型分别发送给各个客户端，各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，进行第二阶段网络模型的训练。
进一步地，所述S32中各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，具体分为：
当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数；
当客户端接收到的是边界框标注训练数据, 则同时训练两个不同的局部训练模型的边框检测任务分支和全局掩码分割任务分支的参数，利用检测任务辅助分割任务的方式进行监督学习，并通过对应的边界框标注训练数据的标签对全局掩码分割任务分支的伪标签进行修正操作；
当客户端接收到的是图像级标注训练数据和未标记训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数，并利用所述的两个不同的局部训练模型进行交叉伪标签监督。
进一步地，所述S4具体为：采用动态样本选择方法，利用当前训练得到的两个不同的局部训练模型生成的伪标签之间的预测一致性，通过生成掩码的方式，选择高质量的训练数据和伪标签。
进一步地，所述S5具体包括：
S51：每轮训练过程中，各个客户端从中心服务器端接收迭代过程中产生的全局联邦模型参数；
S52：各个客户端使用本地的训练数据进行本地训练，完成对本地的局部训练模型的参数更新；
S53：各个客户端将各自局部训练模型参数的梯度更新发送到中心服务器端；
S54：中心服务器端对各个客户端上传的局部训练模型参数的梯度进行汇总，完成对全局联邦模型参数的更新。
进一步地，对于S2阶段中的全局联邦模型的参数更新，所述S54中局部训练模型参数汇总的方式包括：
更新第一阶段全局联邦模型的共享网络部分的参数：基于各客户端第一阶段所使用的训练数据量占第一阶段使用的总数据量的百分比进行参数加权，汇聚各个客户端局部训练模型的共享网络部分参数到全局联邦模型的共享网络部分参数；
更新全局联邦模型的全局掩码分割任务分支的模型参数：基于各客户端第一阶段所使用的像素级标注训练数据量占第一阶段所使用的像素级训练数据总量的百分比进行参数加权，汇聚各个客户端局部模型的全局掩码分割分支部分参数到全局联邦模型的全局掩码分割分支部分参数；
更新第一阶段全局联邦模型的检测任务分支部分的参数：基于各客户端第一阶段所使用的边界框标注训练数据量占第一阶段所使用的边界框训练数据总量的百分比进行参数加权，汇聚各个客户端局部训练模型的检测任务分支部分的参数到全局联邦模型的检测任务分支部分参数。
进一步地，对于S3阶段中的全局联邦模型的参数更新，所述S54中局部训练模型参数汇总的方式包括：
第二阶段聚合得到全局联邦模型的过程中，根据各客户端的数据分布和各客户端当前训练进度下所选择的高质量训练数据量，通过定义自适应聚合函数的方式来动态调整聚合权重。
本发明还提供一种基于联邦学习的多任务混合监督医疗图像分割系统，包括：
数据采集模块：用于在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
第一阶段基于联邦学习的多任务网络模型模块：用于基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
第二阶段伪标签生成模块：用于利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
第二阶段动态样本选择模块：用于利用动态样本选择方法选择高质量的训练数据和伪标签；
联邦模型动态更新模块：用于对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
本发明的有益效果是：
1、本发明构建基于联邦学习的多任务网络模型，通过检测任务辅助医学图像分割任务联合各方数据进行协同建模，在确保患者隐私的基础上，打破了各方的数据孤岛，不仅充分挖掘出多机构数据的潜能和深层价值，使得各个协作方都能受益于他方不同标注形式数据集的空间分布和模型特征表达能力，而且充分的挖掘任务之间的关系和有效的上下文特征，得到额外的有用信息，实现了不同层次特征之间的信息互补，进而提高模型的准确性；
2、本发明利用每个客户端可用的各种弱监督数据以及完全监督和未标记数据来构建全局网络模型，通过对伪标签修正和动态样本选择的训练策略，挑选对模型更有价值的样本，充分利用了大量弱标签数据来提高模型的性能和泛化能力；
3、本发明通过动态更新联邦全局模型的策略，设计了一种可根据各客户端的数据分布和模型的当前训练进度来动态调整聚合权重的数据驱动方法，充分考虑到各个客户端的监督可用性和每个客户端客观的衡量多任务混合联邦优化期间的重要性，防止了联邦全局模型依赖过拟合的客户端，使得模型更贴近实际的任务。
附图说明
图1为本发明基于联邦学习的多任务混合监督医疗图像分割系统的功能流程图；
图2为本发明多任务网络模型结构示意图；
图3为本发明训练策略图；
图4为本发明全局联邦模型更新策略图；
图5为本发明基于联邦学习的多任务混合监督医疗图像分割系统的结构示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
术语解释：
Ground Truth：标注数据。
neck：中文翻译为颈部，是多任务医疗图像分割网络架构中承上启下的关键环节，主要是把主干网络backbone提取的特征进行融合，使得网络学习到的特征更具备多样性，从而提升网络的性能。
Kaiming初始化：由何恺明提出的初始化方法。业界称He初始化或Kaiming初始化。采用的是均值为0，方差为
Figure 967748DEST_PATH_IMAGE001
的高斯分布,
Figure 11928DEST_PATH_IMAGE002
为输入神经元的个数。
Xavier初始化：采用的是
Figure 817073DEST_PATH_IMAGE003
的均匀分布，
Figure 604900DEST_PATH_IMAGE004
为输入神经元的个数，
Figure 179101DEST_PATH_IMAGE005
为输出神经元个数。
本申请提出的一种基于联邦学习的多任务混合监督医疗图像分割系统的功能流程图，如图1所示。该流程为：共分为两个阶段，在第一个阶段利用边界框标注训练数据和像素级标注训练数据进行基于联邦学习的多任务网络的预训练，通过多个任务共享信息来提升主干网络的性能；在第二个阶段，在没有像素级标签的情况下，首先基于阶段1预训练得到的两个不同全局网络模型，有效地利用未标记的图像以及弱标记图像中包含的有用信息（即图像级标注训练数据和边界框标注训练数据）来生成伪标签，通过迭代伪标签生成器，然后进行标签修正操作，基于从弱标记数据获得的信息，以高质量伪标签进行训练，并提出一种跨客户端的自适应权重分配程序以进行医学图像分割全局模型的参数更新。
一种基于联邦学习的多任务混合监督医疗图像分割方法，包括：
S1：在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
假设
Figure 394182DEST_PATH_IMAGE006
表示N个客户端的源数据集。给定客户端
Figure 670311DEST_PATH_IMAGE007
，
Figure 261829DEST_PATH_IMAGE008
,
Figure 690537DEST_PATH_IMAGE009
,
Figure 76519DEST_PATH_IMAGE010
和
Figure 856256DEST_PATH_IMAGE011
分别表示来自客户端
Figure 985886DEST_PATH_IMAGE007
的像素级标注训练数据、未标记训练数据、图像级标注训练数据和边界框标注训练数据。
Figure 3520DEST_PATH_IMAGE012
表示训练图像集，
Figure 576715DEST_PATH_IMAGE013
表示像素级可用标签，
Figure 578169DEST_PATH_IMAGE014
表示图像级可用标签，
Figure 511490DEST_PATH_IMAGE015
表示边界框级可用标签。
S2：第一阶段，基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
S21：构建多任务网络模型，所述多任务网络模型包含采用CSP-ResNeXt结构的主干网络、采用ASPP和FPN的neck、采用PAN融合多尺度信息特征图的边框检测任务分支和采用两次上采样操作的全局掩码分割任务分支；
构建如图2所示的多任务网络模型，所述多任务网络模型包含4个主要部分，即主干网络部分，neck部分，边框检测任务分支部分和全局掩码分割任务分支部分。其中主干网络用于提取N个客户端源数据集的特征，这里选用CSP-ResNeXt结构作为主干，有效解决优化过程的梯度冗余问题。neck由空间特征金字塔卷积模块ASPP和融合了编码信息的特征金字塔FPN组成。ASPP生成并融合不同尺度的特征，FPN则融合不同语义层级的特征，使得生成的特征包含多尺度和多个语义层级的特征。对于边框检测任务分支部分，采用基于锚框anchor的多尺度检测策略，使用通路聚合网络PAN融合多尺度信息的特征图进行检测，其中每个多尺度特征图的网格grid都会标记三个不同比例的先验框，然后检测头对于每个网格都预测出三个边框（包括边框的位置，每个边框是目标的置信度以及每个边框区域的类别），然后根据阈值去除可能性比较低的预测边框，最后进行非极大值抑制处理去除冗余边框得到检测的目标。对于全局掩码分割任务分支部分，经过两次步长为2的转置卷积上采样操作恢复为原先的尺寸后，预测图像中每个像素所属的类别，得到医学图像分割预测结果。
S22：中心服务器端对所述多任务网络模型分别采用Xavier初始化和Kaiming初始化两种不同的网络模型权重初始化方法，处理得到两个不同的全局网络模型
Figure 649211DEST_PATH_IMAGE016
和
Figure 376995DEST_PATH_IMAGE017
；
S23：各个客户端对所述像素级标注训练数据和所述边界框标注训练数据进行预处理操作，得到各自的第一阶段预处理图像数据；
具体的预处理操作包括将图像重采样到256x256大小；随机翻转并随机裁剪到224x224大小；将灰度值截断在[-200,200]之间，然后进行Z-Score归一化处理；
S24：中心服务器端将两个不同的全局网络模型分别发送给各个客户端，各个客户端基于本地的第一阶段预处理图像数据进行特征提取，并根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习一个个性和共性两方面的信息，得到相应任务分支的对应输出；
当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和全局掩码分割任务分支的参数；
训练过程中通过最小化以下损失函数进行监督：
Figure 865745DEST_PATH_IMAGE018
（1）
其中
Figure 337178DEST_PATH_IMAGE019
是Dice损失函数，
Figure 844252DEST_PATH_IMAGE013
表示像素级可用标签，
Figure 8517DEST_PATH_IMAGE020
表示预测的分割图像结果，
Figure 718984DEST_PATH_IMAGE021
和
Figure 994107DEST_PATH_IMAGE022
分别
Figure 371999DEST_PATH_IMAGE013
的元素个数和
Figure 441586DEST_PATH_IMAGE020
的元素个数。
当客户端接收到的是边界框标注训练数据，则冻结全局掩码分割任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和边框检测任务分支的参数。
通过最小化以下损失函数进行监督：
Figure 639349DEST_PATH_IMAGE023
（2）
其中，
Figure 200387DEST_PATH_IMAGE024
，
Figure 432785DEST_PATH_IMAGE025
和
Figure 673274DEST_PATH_IMAGE026
是调优超参数。
Figure 358333DEST_PATH_IMAGE027
是分类损失采用的是二元交叉熵损失（BCE loss），公式如下所示：
Figure 975259DEST_PATH_IMAGE028
（3）
其中，
Figure 62164DEST_PATH_IMAGE029
表示类别为c（泛指分类标签，如标签为0或1等）的预测概率值，S表示网络最后输出的特征图尺寸为
Figure 739133DEST_PATH_IMAGE030
，B表示每个格子对应的锚框（anchor）的个数,
Figure 160756DEST_PATH_IMAGE031
表示对于每一个网格单元
Figure 315794DEST_PATH_IMAGE032
的每一个锚框预测值
Figure 522784DEST_PATH_IMAGE033
有无目标；1表示如果网格单元
Figure 105075DEST_PATH_IMAGE034
中存在目标，则第
Figure 764727DEST_PATH_IMAGE035
个锚框预测值对该预测有效；0表示网格单元
Figure 723455DEST_PATH_IMAGE034
中不存在目标。
Figure 784952DEST_PATH_IMAGE036
是置信度损失，采用二元交叉熵损失函数进行计算，公式如下所示：
Figure 803724DEST_PATH_IMAGE037
（4）
其中，
Figure 701404DEST_PATH_IMAGE038
表示目标预测置信度,
Figure 198244DEST_PATH_IMAGE039
表示没有目标的锚框（anchor），
Figure 114248DEST_PATH_IMAGE040
是
Figure DEST_PATH_IMAGE041
，该损失考虑了预测框和边界框之间的距离、重叠率、anchor尺寸和比例，定义如下：
Figure 38341DEST_PATH_IMAGE042
（5）
IOU是边界框回归损失中最常用的交并比，可以获得预测框和真实框之间的距离，从而反映检测的效果，计算公式如下：
Figure 672585DEST_PATH_IMAGE043
（6）
Figure 973116DEST_PATH_IMAGE044
是衡量长宽比一致性的参数，定义为：
Figure 743626DEST_PATH_IMAGE045
（7）
其中
Figure 353468DEST_PATH_IMAGE046
为边框预测结果，
Figure 475008DEST_PATH_IMAGE047
表示边界框级可用标签，
Figure 313651DEST_PATH_IMAGE048
为标注框的宽，
Figure DEST_PATH_IMAGE049
为标注框的高，
Figure 673088DEST_PATH_IMAGE050
为预测框的宽，
Figure 204563DEST_PATH_IMAGE051
为预测框的高，
Figure 547820DEST_PATH_IMAGE052
为两个中心点的欧式距离，
Figure DEST_PATH_IMAGE053
为标注框和预测框最小外接矩形的对角线距离。
S25：各个客户端在经过预定次数的迭代之后均得到两个不同的局部训练模型，并将所述两个不同的局部训练模型回传给中心服务器端，中心服务器端对各客户端回传的两个不同的局部训练模型进行聚合得到新的全局联邦模型，并将所述全局联邦模型发送给各个客户端再次进行训练，重复所述训练、整合步骤直到达到预定的第一阶段设定的预训练轮数，得到两个不同的全局预训练联邦模型。
S3：第二阶段，利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
S31：各个客户端对像素级标注训练数据、边界框标注训练数据、图像级标注训练数据和未标记训练数据分别进行预处理操作，得到第二阶段预处理图像数据；
具体的预处理操作包括将图像重采样到256x256大小；随机翻转并随机裁剪到224x224大小；将灰度值截断在[-200, 200]之间，然后进行Z-Score归一化处理，得到第二阶段预处理图像数据；
为了整合各种级别的图像标签，将边界框级可用标签修改为像素级可用标签。具体来说，边界框级可用标签表示
Figure 937957DEST_PATH_IMAGE054
被转换为像素级标签
Figure 683059DEST_PATH_IMAGE055
，其中前景类落在边界框内，背景类落在边界框外。因此，
Figure 385436DEST_PATH_IMAGE056
和
Figure 215988DEST_PATH_IMAGE055
具有相同的维度，例如，
Figure 130855DEST_PATH_IMAGE057
，
Figure 996043DEST_PATH_IMAGE058
表示前景类总数，而
Figure 118588DEST_PATH_IMAGE059
和
Figure 436437DEST_PATH_IMAGE060
表示各自2D图像数据的宽和高。
S32：中心服务器端将第一阶段产生的两个不同的全局预训练联邦模型分别发送给各个客户端，各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，进行第二阶段网络模型的训练。
如图3所示，当本地客户端在没有像素级标签可用时，使用经过两个不同的全局预训练模型参数更新后的网络
Figure 420574DEST_PATH_IMAGE016
和
Figure 140268DEST_PATH_IMAGE017
进行交叉伪标签监督。训练图像
Figure 184447DEST_PATH_IMAGE061
预处理操作之后被馈送到两个不同的网络模型
Figure 989592DEST_PATH_IMAGE062
和
Figure 777420DEST_PATH_IMAGE063
，该图像数据类型决定监督类型。
如图3中的（A）所示，当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数，利用损失函数公式（1）进行自适应监督；
如图3中的（B）所示，当客户端接收到的是边界框标注训练数据, 则同时训练两个不同的局部训练模型的边框检测任务分支和全局掩码分割任务分支的参数，利用检测任务辅助分割任务的方式进行监督学习，并通过对应的边界框标注训练数据的标签对全局掩码分割任务分支的伪标签进行修正操作，利用检测任务辅助分割任务的方式通过最小化以下损失函数进行监督：
Figure 351621DEST_PATH_IMAGE064
（8）
Figure DEST_PATH_IMAGE065
（9）
其中，
Figure 51854DEST_PATH_IMAGE066
和
Figure 78716DEST_PATH_IMAGE067
为边框检测任务分支预测得到的伪标签，该种监督情况下，为了提升伪标签的质量，根据对应的边界框级可用标签进行伪标签修正操作，修正策略如下公式所示：
Figure 670235DEST_PATH_IMAGE068
和
Figure 98942DEST_PATH_IMAGE069
（10）
其中，
Figure 484924DEST_PATH_IMAGE070
表示点乘操作。
如图3中的（C）所示，当客户端接收到的是图像级标注训练数据和未标记训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型
Figure 264661DEST_PATH_IMAGE016
和
Figure 394291DEST_PATH_IMAGE017
的主干网络，neck和全局掩码分割任务分支的参数，并利用所述的两个不同的局部训练模型进行交叉伪标签监督：
Figure 926773DEST_PATH_IMAGE071
（11）
S4：第二阶段，利用动态样本选择方法选择高质量的训练数据和伪标签；
采用动态样本选择方法，利用当前训练得到的两个不同的局部训练模型生成的伪标签之间的预测一致性，通过生成掩码的方式，选择高质量的训练数据和伪标签；
尽管上述伪标签生成和修正过程的有效性，伪标签可能是不正确的。因此，提出了一种动态样本选择方法来选择高质量数据和伪标签。具体来说，给定客户端
Figure 749235DEST_PATH_IMAGE072
，对于该客户端的训练数据
Figure 750689DEST_PATH_IMAGE073
，根据等式（12）生成一个掩码
Figure 418431DEST_PATH_IMAGE074
，换言之，根据等式（12）选择可靠的训练样本（对于每条训练数据，如果掩码值
Figure 821730DEST_PATH_IMAGE075
，则该数据才被纳入训练样本中用于训练）；其中
Figure 815094DEST_PATH_IMAGE076
用于在修正之前度量伪标签
Figure 38265DEST_PATH_IMAGE077
和
Figure 775277DEST_PATH_IMAGE078
之间的一致性，如果
Figure 780886DEST_PATH_IMAGE077
和
Figure 679572DEST_PATH_IMAGE078
之间具有更高的预测一致性表明伪标签更接近ground truth，以上过程表示为：
Figure 655618DEST_PATH_IMAGE079
（12）
其中，
Figure 930741DEST_PATH_IMAGE080
是一个阈值，与所选训练样本的数量成反比，这里取
Figure 43054DEST_PATH_IMAGE081
。对于像素级标签，不进行样本选择操作，即所有
Figure 378220DEST_PATH_IMAGE082
的训练样本都有
Figure 575983DEST_PATH_IMAGE075
。随着训练的进行，模型更有能力生成更准确的伪标签；因此，
Figure DEST_PATH_IMAGE083
逐渐增加到
Figure 638486DEST_PATH_IMAGE084
，允许模型从不断增长的训练数据集中学习。
各个客户端基于本地的训练数据完成两个不同的局部训练模型的训练之后，分别回传训练得到两个不同的局部训练模型到中心服务器端，中心服务器端对各个客户端回传的两个不同的局部训练模型进行自适应聚合得到新的全局联邦模型，并将所述全局联邦模型发送给各个客户端再次进行训练，重复所述训练、整合步骤直到最终的全局联邦模型收敛。
S5：对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
S51：每轮训练过程中，各个客户端从中心服务器端接收迭代过程中产生的全局联邦模型参数；
S52：各个客户端使用本地的训练数据进行本地训练，完成对本地的局部训练模型的参数更新；
S53：各个客户端将各自局部训练模型参数的梯度更新发送到中心服务器端；
S54：中心服务器端对各个客户端上传的局部训练模型参数的梯度进行汇总，完成对全局联邦模型参数的更新。
如图4所示，在每一轮训练中，每个本地客户端
Figure 870884DEST_PATH_IMAGE085
首先从中心服务器端接收第
Figure 111373DEST_PATH_IMAGE086
次迭代过程中产生的全局联邦模型（即由中心服务器端对各客户端回传的训练模型进行聚合得到的全局模型）参数
Figure 62011DEST_PATH_IMAGE087
。然后，每个客户端使用本地的训练数据
Figure 678937DEST_PATH_IMAGE088
经过本地训练进行全局联邦模型参数的更新。最后，来自每个本地客户端模型参数的梯度
Figure DEST_PATH_IMAGE089
更新将被发送到中心服务器端，中心服务器端对每个客户端上传的模型参数进行汇总，并根据公式（13）更新全局联邦模型（全局模型）的参数：
Figure 234684DEST_PATH_IMAGE090
（13）
更新第一阶段全局联邦模型的共享网络部分的参数：基于各客户端第一阶段所使用的训练数据量占第一阶段使用的总数据量的百分比进行参数加权，汇聚各个客户端局部训练模型的共享网络部分参数到全局联邦模型的共享网络部分参数；
对于第一阶段的训练，多分支任务模型共享网络部分，每个客户端的聚合权重为：
Figure DEST_PATH_IMAGE091
（14）
更新全局联邦模型的全局掩码分割任务分支的模型参数：基于各客户端第一阶段所使用的像素级标注训练数据量占第一阶段所使用的像素级训练数据总量的百分比进行参数加权，汇聚各个客户端局部模型的全局掩码分割分支部分参数到全局联邦模型的全局掩码分割分支部分参数；
全局掩码分割任务分支的聚合权重为
Figure 131227DEST_PATH_IMAGE092
（15）
其中，
Figure 303582DEST_PATH_IMAGE093
表示像素级标注训练数据个数。
更新第一阶段全局联邦模型的检测任务分支部分的参数：基于各客户端第一阶段所使用的边界框标注训练数据量占第一阶段所使用的边界框训练数据总量的百分比进行参数加权，汇聚各个客户端局部训练模型的检测任务分支部分的参数到全局联邦模型的检测任务分支部分参数。
检测任务分支部分的聚合权重为
Figure 724199DEST_PATH_IMAGE094
（16）
其中，
Figure DEST_PATH_IMAGE095
表示图像级标注训练数据个数。
第二阶段聚合得到全局联邦模型的过程中，根据各客户端的数据分布和各客户端当前训练进度下所选择的高质量训练数据量，通过定义自适应聚合函数的方式来动态调整聚合权重，为此提出的自适应聚合函数定义如下：
Figure 134452DEST_PATH_IMAGE096
（17）
Figure 982322DEST_PATH_IMAGE097
（18）
其中，
Figure 891241DEST_PATH_IMAGE098
和
Figure DEST_PATH_IMAGE099
是调优超参，分别设置成10和3，影响着对不同客户端的依赖程度。
参见图5，一种基于联邦学习的多任务混合监督医疗图像分割系统，包括：
数据采集模块：用于在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
第一阶段基于联邦学习的多任务网络模型模块：用于基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
第二阶段伪标签生成模块：用于利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
第二阶段动态样本选择模块：用于利用动态样本选择方法选择高质量的训练数据和伪标签；
联邦模型动态更新模块：用于对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
综上所述，本发明不仅利用像素级标注数据建立基本的医疗图像分割系统，而且利用边界框标注数据辅助提高医疗图像分割系统的准确性，并采用交叉伪监督的方式充分利用图像级标注数据和无标注数据来提升医疗图像分割系统的泛化能力。该系统不要求不同客户端之间必须是同种类型的标注数据，具有不同客户端可以为不同级别标签的普适性特点。本发明针对的是医学图像分割领域的像素级标注数据规模小，分布不均衡且多机构之间由于患者隐私保护的限制导致数据共享困难的痛点问题，绝大多数已有的基于联邦学习的医学图像分割方法仅考虑了有限的像素级病例注释数据。本发明打破了单一标签类型的限制，提出一种多任务混合模型架构，通过基于联邦学习的多任务混合训练方式，利用各个客户端的边框级标注数据辅助医疗图像分割；然后通过基于联邦学习的交叉伪监督结合动态高质量样本选择的方式，充分利用任何形式的标记数据进行医学图像分割。另外，本发明提出让参与方不共享隐私数据的基础上为每个本地客户端动态分配优化的聚合权重来更新全局联合模型，进一步提高了模型的稳健性，极大的缓解了医疗行业数据安全与隐私保护难题以及医疗资源不均衡的问题。总之，本发明基于分散在各临床机构不同级别的标签，确保数据不出本地机构的前提下，在不泄露病患隐私的基础上，实现各临床机构的协同建模，以充分挖掘出多机构数据的潜能和深层价值，使得各个协作方都能受益于他方不同标注形式数据集的空间分布和模型特征表达能力，能够学习出泛化能力较强的优质医学图像分割模型，达到拥有大数据集的模型训练效果，从而在医生的诊断过程中发挥积极的辅助作用，具有重要的临床意义。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，包括：
S1：在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
S2：第一阶段，基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
S3：第二阶段，利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
S4：第二阶段，利用动态样本选择方法选择高质量的训练数据和伪标签；
S5：基于第一阶段和第二阶段，对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
2.如权利要求1所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S2具体包括：
S21：构建多任务网络模型，所述多任务网络模型包含采用CSP-ResNeXt结构的主干网络、采用ASPP和FPN的neck、采用PAN融合多尺度信息特征图的边框检测任务分支和采用两次上采样操作的全局掩码分割任务分支；
S22：中心服务器端对所述多任务网络模型分别采用Xavier初始化和Kaiming初始化两种不同的网络模型权重初始化方法，处理得到两个不同的全局网络模型；
S23：各个客户端对所述像素级标注训练数据和所述边界框标注训练数据进行预处理操作，得到各自的第一阶段预处理图像数据；
S24：中心服务器端将两个不同的全局网络模型分别发送给各个客户端，各个客户端基于本地的第一阶段预处理图像数据进行特征提取，并根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，得到相应任务分支的对应输出；
S25：各个客户端在经过预定次数的迭代之后均得到两个不同的局部训练模型，并将所述两个不同的局部训练模型回传给中心服务器端，中心服务器端对各客户端回传的两个不同的局部训练模型进行聚合得到新的全局联邦模型，并将所述全局联邦模型发送给各个客户端再次进行训练，重复所述训练、整合步骤直到达到预定的第一阶段设定的预训练轮数，得到两个不同的全局预训练联邦模型。
3.如权利要求2所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S24中根据馈送的第一阶段预处理图像数据的类型，选择对应的任务分支通过自适应监督学习个性和共性两方面的信息，具体分为：
当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和全局掩码分割任务分支的参数；
当客户端接收到的是边界框标注训练数据，则冻结全局掩码分割任务分支的参数，仅训练两个不同的局部训练模型的主干网络、neck和边框检测任务分支的参数。
4.如权利要求1所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S3具体包括：
S31：各个客户端对像素级标注训练数据、边界框标注训练数据、图像级标注训练数据和未标记训练数据分别进行预处理操作，得到第二阶段预处理图像数据；
S32：中心服务器端将第一阶段产生的两个不同的全局预训练联邦模型分别发送给各个客户端，各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，进行第二阶段网络模型的训练。
5.如权利要求4所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S32中各个客户端基于本地第二阶段预处理图像数据及其数据类型，自适应的选择监督类型，具体分为：
当客户端接收到的是像素级标注训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数；
当客户端接收到的是边界框标注训练数据, 则同时训练两个不同的局部训练模型的边框检测任务分支和全局掩码分割任务分支的参数，利用检测任务辅助分割任务的方式进行监督学习，并通过对应的边界框标注训练数据的标签对全局掩码分割任务分支的伪标签进行修正操作；
当客户端接收到的是图像级标注训练数据和未标记训练数据，则冻结边框检测任务分支的参数，仅训练两个不同的局部训练模型的主干网络，neck和全局掩码分割任务分支的参数，并利用所述的两个不同的局部训练模型进行交叉伪标签监督。
6.如权利要求1所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S4具体为：采用动态样本选择方法，利用当前训练得到的两个不同的局部训练模型生成的伪标签之间的预测一致性，通过生成掩码的方式，选择高质量的训练数据和伪标签。
7.如权利要求1所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，所述S5具体包括：
S51：每轮训练过程中，各个客户端从中心服务器端接收迭代过程中产生的全局联邦模型参数；
S52：各个客户端使用本地的训练数据进行本地训练，完成对本地的局部训练模型的参数更新；
S53：各个客户端将各自局部训练模型参数的梯度更新发送到中心服务器端；
S54：中心服务器端对各个客户端上传的局部训练模型参数的梯度进行汇总，完成对全局联邦模型参数的更新。
8.如权利要求7所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，对于S2阶段中的全局联邦模型的参数更新，所述S54中局部训练模型参数汇总的方式包括：
更新第一阶段全局联邦模型的共享网络部分的参数：基于各客户端第一阶段所使用的训练数据量占第一阶段使用的总数据量的百分比进行参数加权，汇聚各个客户端局部训练模型的共享网络部分参数到全局联邦模型的共享网络部分参数；
更新全局联邦模型的全局掩码分割任务分支的模型参数：基于各客户端第一阶段所使用的像素级标注训练数据量占第一阶段所使用的像素级训练数据总量的百分比进行参数加权，汇聚各个客户端局部模型的全局掩码分割分支部分参数到全局联邦模型的全局掩码分割分支部分参数；
更新第一阶段全局联邦模型的检测任务分支部分的参数：基于各客户端第一阶段所使用的边界框标注训练数据量占第一阶段所使用的边界框训练数据总量的百分比进行参数加权，汇聚各个客户端局部训练模型的检测任务分支部分的参数到全局联邦模型的检测任务分支部分参数。
9.如权利要求7所述的一种基于联邦学习的多任务混合监督医疗图像分割方法，其特征在于，对于S3阶段中的全局联邦模型的参数更新，所述S54中局部训练模型参数汇总的方式包括：
第二阶段聚合得到全局联邦模型的过程中，根据各客户端的数据分布和各客户端当前训练进度下所选择的高质量训练数据量，通过定义自适应聚合函数的方式来动态调整聚合权重。
10.一种基于联邦学习的多任务混合监督医疗图像分割系统，其特征在于，包括：
数据采集模块：用于在各个医疗机构分别收集用于医疗图像分割所需要的弱监督数据、完全监督数据和未标记数据，所述弱监督数据包括边界框标注训练数据和图像级标注训练数据，所述完全监督数据为像素级标注训练数据，将所述弱监督数据、所述完全监督数据和所述未标记训练数据作为相应医疗机构的源数据集；
第一阶段基于联邦学习的多任务网络模型模块：用于基于联邦学习的多任务网络模型，利用所述边界框标注训练数据和所述像素级标注训练数据进行预训练，得到两个不同的全局预训练联邦模型；
第二阶段伪标签生成模块：用于利用所述未标记训练数据、所述图像级标注训练数据、所述边界框标注训练数据和所述像素级标注训练数据基于两个不同的全局预训练联邦模型，通过迭代伪标签生成器生成伪标签；
第二阶段动态样本选择模块：用于利用动态样本选择方法选择高质量的训练数据和伪标签；
联邦模型动态更新模块：用于对接收到的各个客户端迭代过程中产生的局部训练模型的参数，中心服务器端通过跨客户端的自适应权重分配程序进行全局联邦模型的参数更新。
CN202211099106.2A 2022-09-09 2022-09-09 基于联邦学习的多任务混合监督医疗图像分割方法及系统 Active CN115187783B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211099106.2A CN115187783B (zh) 2022-09-09 2022-09-09 基于联邦学习的多任务混合监督医疗图像分割方法及系统
JP2023095887A JP7386370B1 (ja) 2022-09-09 2023-06-09 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211099106.2A CN115187783B (zh) 2022-09-09 2022-09-09 基于联邦学习的多任务混合监督医疗图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN115187783A true CN115187783A (zh) 2022-10-14
CN115187783B CN115187783B (zh) 2022-12-27

Family

ID=83524546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099106.2A Active CN115187783B (zh) 2022-09-09 2022-09-09 基于联邦学习的多任务混合监督医疗图像分割方法及系统

Country Status (2)

Country Link
JP (1) JP7386370B1 (zh)
CN (1) CN115187783B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823810A (zh) * 2023-08-25 2023-09-29 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统
CN116883669A (zh) * 2023-08-03 2023-10-13 深圳扬奇医芯智能科技有限公司 一种基于动态注意力联邦框架的多目标分割技术
CN116935136A (zh) * 2023-08-02 2023-10-24 深圳大学 处理类别不平衡医学图像分类问题的联邦学习方法
CN117036701A (zh) * 2023-08-04 2023-11-10 北京透彻未来科技有限公司 一种基于客户端切割数字病理图像的处理系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351293B (zh) * 2023-12-04 2024-02-06 天津医科大学口腔医院 一种联合学习的牙周病图像分类方法及设备
CN117952993B (zh) * 2024-03-27 2024-06-18 中国海洋大学 基于图像文本协同约束的半监督医学图像分割方法
CN118052979B (zh) * 2024-04-11 2024-06-18 成都理工大学 一种基于交叉矫正网络的遥感影像目标检测方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205643A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Simultaneous Object Localization And Attribute Classification Using Multitask Deep Neural Networks
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
US20200241716A1 (en) * 2019-01-25 2020-07-30 Google Llc Image display with selective depiction of motion
CN112116612A (zh) * 2020-09-15 2020-12-22 南京林业大学 基于Mask R-CNN的行道树图像实例分割方法
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112818975A (zh) * 2021-01-27 2021-05-18 北京金山数字娱乐科技有限公司 文本检测模型训练方法及装置、文本检测方法及装置
CN112950645A (zh) * 2021-03-24 2021-06-11 中国人民解放军国防科技大学 一种基于多任务深度学习的图像语义分割方法
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113705712A (zh) * 2021-09-02 2021-11-26 广州大学 一种基于联邦半监督学习的网络流量分类方法和系统
CN113781397A (zh) * 2021-08-11 2021-12-10 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
WO2022019885A1 (en) * 2020-07-20 2022-01-27 Google Llc Unsupervised federated learning of machine learning model layers
CN114064967A (zh) * 2022-01-18 2022-02-18 之江实验室 多粒度级联交互网络的跨模态时序行为定位方法及装置
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
CN114494151A (zh) * 2021-12-30 2022-05-13 山东师范大学 一种复杂果园环境下的果实检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210241037A1 (en) 2020-01-30 2021-08-05 Canon Medical Systems Corporation Data processing apparatus and method
CN111340819B (zh) 2020-02-10 2023-09-12 腾讯科技（深圳）有限公司 图像分割方法、装置和存储介质
JP2022066963A (ja) 2020-10-19 2022-05-02 学校法人 聖マリアンナ医科大学 医用画像処理装置及び医用画像処理方法
CN114418954A (zh) 2021-12-24 2022-04-29 中国科学院深圳先进技术研究院 一种基于互学习的半监督医学图像分割方法及其系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205643A1 (en) * 2017-12-29 2019-07-04 RetailNext, Inc. Simultaneous Object Localization And Attribute Classification Using Multitask Deep Neural Networks
WO2019136946A1 (zh) * 2018-01-15 2019-07-18 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
US20200241716A1 (en) * 2019-01-25 2020-07-30 Google Llc Image display with selective depiction of motion
CN111275207A (zh) * 2020-02-10 2020-06-12 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
WO2022019885A1 (en) * 2020-07-20 2022-01-27 Google Llc Unsupervised federated learning of machine learning model layers
CN112116612A (zh) * 2020-09-15 2020-12-22 南京林业大学 基于Mask R-CNN的行道树图像实例分割方法
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112818975A (zh) * 2021-01-27 2021-05-18 北京金山数字娱乐科技有限公司 文本检测模型训练方法及装置、文本检测方法及装置
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN112950645A (zh) * 2021-03-24 2021-06-11 中国人民解放军国防科技大学 一种基于多任务深度学习的图像语义分割方法
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113781397A (zh) * 2021-08-11 2021-12-10 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN113705712A (zh) * 2021-09-02 2021-11-26 广州大学 一种基于联邦半监督学习的网络流量分类方法和系统
CN114187268A (zh) * 2021-12-04 2022-03-15 北京工业大学 基于目标检测和语义分割融合的障碍物检测方法
CN114494151A (zh) * 2021-12-30 2022-05-13 山东师范大学 一种复杂果园环境下的果实检测方法及系统
CN114064967A (zh) * 2022-01-18 2022-02-18 之江实验室 多粒度级联交互网络的跨模态时序行为定位方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JEFFRY WICAKSANA ETAL.: ""FedMix: Mixed Supervised Federated Learning for Medical Image Segmentation"", 《HTTP：//WWW.ARXIV:2205.01840V1》 *
XIAOKANG CHEN ETAL.: "Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision", 《HTTP：//WWW.ARXIV:2106.01226V2》 *
王弘宇等: "基于多任务级联卷积神经网络的交通标志检测", 《计算机工程与设计》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935136A (zh) * 2023-08-02 2023-10-24 深圳大学 处理类别不平衡医学图像分类问题的联邦学习方法
CN116883669A (zh) * 2023-08-03 2023-10-13 深圳扬奇医芯智能科技有限公司 一种基于动态注意力联邦框架的多目标分割技术
CN117036701A (zh) * 2023-08-04 2023-11-10 北京透彻未来科技有限公司 一种基于客户端切割数字病理图像的处理系统
CN117036701B (zh) * 2023-08-04 2024-04-30 北京透彻未来科技有限公司 一种基于客户端切割数字病理图像的处理系统
CN116823810A (zh) * 2023-08-25 2023-09-29 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统
CN116823810B (zh) * 2023-08-25 2023-11-17 之江实验室 基于联邦学习的腹部多器官动态增强分割方法及系统

Also Published As

Publication number Publication date
JP7386370B1 (ja) 2023-11-24
JP2024039598A (ja) 2024-03-22
CN115187783B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
CN115187783B (zh) 基于联邦学习的多任务混合监督医疗图像分割方法及系统
CN109102502B (zh) 基于三维卷积神经网络的肺结节检测方法
Zhao et al. Dd-cyclegan: Unpaired image dehazing via double-discriminator cycle-consistent generative adversarial network
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
US20240184854A1 (en) Method and apparatus for training image recognition model, and image recognition method and apparatus
CN110276745B (zh) 一种基于生成对抗网络的病理图像检测算法
Wang et al. TMS-GAN: A twofold multi-scale generative adversarial network for single image dehazing
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
US11935213B2 (en) Laparoscopic image smoke removal method based on generative adversarial network
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN113450278B (zh) 一种基于跨域协同学习的图像去雨方法
CN114842238B (zh) 一种嵌入式乳腺超声影像的识别方法
CN109800768A (zh) 半监督gan的散列特征表示学习方法
CN111325749A (zh) 一种基于生成对抗网络的带出血病症的眼底血管图像生成方法
Wang et al. CLC-Net: Contextual and local collaborative network for lesion segmentation in diabetic retinopathy images
CN114723950A (zh) 一种基于对称自适应网络的跨模态医学图像分割方法
CN113628297A (zh) 一种基于注意力机制和迁移学习的covid-19深度学习诊断系统
CN114897782A (zh) 基于生成式对抗网络的胃癌病理切片图像分割预测方法
CN114511733A (zh) 基于弱监督学习的细粒度图像识别方法、装置及可读介质
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN110768864B (zh) 一种网络流量批量生成图像的方法及装置
CN114998814B (zh) 目标视频生成方法、装置、计算机设备和存储介质
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
Sünkel et al. Hybrid quantum machine learning assisted classification of COVID-19 from computed tomography scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant