CN116823810B - 基于联邦学习的腹部多器官动态增强分割方法及系统 - Google Patents
基于联邦学习的腹部多器官动态增强分割方法及系统 Download PDFInfo
- Publication number
- CN116823810B CN116823810B CN202311074898.2A CN202311074898A CN116823810B CN 116823810 B CN116823810 B CN 116823810B CN 202311074898 A CN202311074898 A CN 202311074898A CN 116823810 B CN116823810 B CN 116823810B
- Authority
- CN
- China
- Prior art keywords
- client
- organ
- training
- abdomen
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000003187 abdominal effect Effects 0.000 title claims description 16
- 238000002372 labelling Methods 0.000 claims abstract description 94
- 238000012549 training Methods 0.000 claims abstract description 94
- 210000001015 abdomen Anatomy 0.000 claims abstract description 93
- 210000000056 organ Anatomy 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims 1
- 230000009133 cooperative interaction Effects 0.000 abstract description 2
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000003709 image segmentation Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000000920 organ at risk Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明公开了一种基于联邦学习的腹部多器官动态增强分割方法及系统，包括：在服务器端构建的腹部多器官部分标注动态增强网络模型；在客户端构建的用于基于本地部分标注数据进行训练的腹部多器官部分标注动态增强分割网络模型训练模块；用于客户端和服务器端进行协作交互的联邦学习框架构建模块。与现有技术相比，本发明将联邦学习机制引入多器官分割网络中，可以有效利用分布在不同医疗中心的不同部分标注种类的多器官分割图像信息来训练一个多器官分割网络，不仅打破了对多器官分割完全标注数据的限制，还可以让多个医疗中心在不共享隐私数据的基础上实现跨机构的协同建模，进一步提高模型的稳健性与泛化性，缓解医疗行业隐私保护难题。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种基于联邦学习的腹部多器官动态增强分割方法及系统。
背景技术
腹部多器官分割是肿瘤切除、器官移植等临床辅助诊断、早期诊断筛查的基础和关键步骤。由于CT图像量大且成像效果复杂多样，器官的手动勾画和标注需要大量的时间和精力且需要极高的专业领域知识。各个医疗中心的标注图像非常有限，且不同医疗中心均依照自身的临床需求标注特定器官。然而，腹部器官在解剖和功能上相互关联，医生经常使用器官间关系进行手术导航和腹部器官测量等相关临床实践。单器官分割针对特定任务设计，只能解决特定问题而无法解决一系列问题。比如在肿瘤放疗计划中，为了减少对危及器官的损伤，需要精确分割所有危及器官。近年来，随着计算机技术和硬件性能的显著提升，基于深度学习的医学图像分割技术，已被广泛应用于器官自动分割的任务中。相比使用多个网络实现单个器官逐个分割的图像处理技术，通过单一网络同时实现多个器官种类分割的图像处理方法，不仅提升了算法效率，还可以借助多个器官之间的空间相互依存关系来提升腹部多器官自动分割的精度和鲁棒性。另外，仅依靠有限规模且分布不均衡的单中心腹部器官标注数据难以训练出鲁棒性和泛化能力充足的腹部多器官分割模型。不同医疗中心之间由于患者敏感信息的严格共享协议，因此直接将多中心的数据汇总到同一数据池中并不可取。联邦学习作为一种分布式学习框架，可以让多个客户基于自己本地的私有数据分散训练局部模型，能够在保证各医疗中心数据信息和隐私安全的前提下，构建基于多方虚拟融合数据的全局模型，进而增强模型性能。
中国专利CN115965782A公开了一种面向小样本医学图像语义分割的高效通信联邦学习方法，所述方法虽然以一般的小样本医学图像分割网络作为基础框架，设计了一种可适用于小样本医学图像分割的联邦学习框架，但该技术探索的是带标签的完全监督的联邦学习方式，而且其设计的联邦学习框架，并未考虑跨客户端的数据分布和各客户端不同迭代步骤中所起的作用。在临床实践中，各个医疗中心的腹部多器官的完全标注数据非常有限。通常，每个医疗中心仅依据自身的需求标注特定的器官且不同医疗中心可能标注的腹部器官种类（比如有些中心仅标注了肝脏，有些中心仅标注了脾脏）并不相同。现有的大多数基于深度学习的腹部多器官分割模型，或基于少量腹部多器官完全标注数据的多器官分割模型，但这种方法由于数据规模小和分布不均衡的限制从而影响模型的鲁棒性和泛化能力；或基于单中心多个单器官标注数据的单器官独立分割模型，但这种方法不仅计算量高而且没有充分利用图像的全局性和挖掘多方数据中的潜在价值并消除不同中心的数据偏差因而影响分割性能。
深度学习因其具有出色的自主特征提取能力而在医学图像分割领域备受青睐，但深度学习需要足够丰富的训练数据才能发挥其优势，相反，在样本数量不足且分散的情况下，容易产生过拟合和精度下降的问题。
发明内容
针对上述问题，本发明的目的在于针对分布在不同医疗中心的部分标注数据集，提出一种基于联邦学习的腹部多器官动态增强分割方法及系统，解决医学图像分割领域的各个医疗中心的腹部多器官标注数据规模小且多为部分标注，不同医疗中心基于自身的实际用途标注的腹部器官并不相同和患者隐私带来的数据共享困难问题，提高数据的安全性和流动性。
为了实现本发明的目的，本发明通过以下技术方案实现：
一种基于联邦学习的腹部多器官动态增强分割方法，包括：
步骤S1：在服务器端构建腹部多器官部分标注动态增强网络模型，并初始化模型参数，其中，所述模型参数包括全局模型参数，以及各客户端的初始客户端权重系数；
步骤S2：服务器端设定目标通信轮数T，并设定当前轮数计数值t=0；
步骤S3：服务器将腹部多器官部分标注动态增强网络模型，以及当前的全局模型参数和各客户端的初始客户端权重系数发送至所有客户端；
步骤S4：客户端接收服务器发送的腹部多器官部分标注动态增强网络模型，利用本地的部分标注数据集训练腹部多器官部分标注动态增强网络模型，更新局部模型参数和客户端权重系数；
步骤S5：以各客户端作为腹部多器官部分标注动态增强网络模型训练的参与者，构建联邦学习框架；
步骤S6：所有客户端执行E轮本地更新，并将更新后的局部模型参数以及本客户端的权重系数上传至服务器端；
步骤S7：服务器端根据接收到的各客户端发送的局部模型参数和客户端权重系数，根据构建的联邦学习框架，更新全局模型参数，并执行t=t+1；
步骤S8：判断t＞T是否成立，若为是，执行步骤S9，反之，则返回步骤S3；
步骤S9：基于腹部图像分割网络模型和最新全局模型参数对腹部图像进行分割。
进一步地，步骤S1构建的所述腹部多器官部分标注动态增强网络模型包括基于3DTransUNet的主干网络部分和由动态滤波器控制的动态头部分。
进一步地，所述由动态滤波器控制的动态头部分包含多个卷积层，其中前两个卷积层由特定任务控制器根据输入图像和分配的任务动态生成，特定任务控制器使用单个卷积层，以通过全局平均池化聚合编码器产生的图像特征拼接任务编码向量作为输入，产生动态滤波器参数。
进一步地，所述步骤S4具体包括：
步骤S41：每个客户端均在本地收集各自的腹部多器官部分标注训练数据集，并协商确定训练使用的本地训练次数，训练批次大小和学习率等参数；
步骤S42：每个客户端对腹部多器官部分标注训练数据集进行预处理得到预处理后的腹部多器官部分标注图像数据；
步骤S43：获取从服务器端接收的腹部多器官部分标注动态增强网络模型，将预处理后的腹部多器官部分标注图像数据作为训练数据输入待训练的腹部多器官部分标注动态增强网络模型；
步骤S44：根据腹部多器官部分标注动态增强网络模型的输出与标注真实值的一致性选择高质量训练样本；
步骤S45：对于每个本地客户端纳入训练的样本，自适应调整各样本区域的权重，完成局部模型的部分监督训练；
步骤S46：每个客户端基于本地的高质量训练样本，根据分配的任务，完成相应器官的自动分割，以完成腹部多器官部分标注动态增强网络模型的训练，并更新局部模型参数和客户端权重系数。
进一步地，所述步骤S45具体包括：
步骤S451：自适应判别和调整困难与容易样本的权重，有效地降低简单样本的贡献，使模型能够学习困难样本；
步骤S452：自适应调整每条训练数据困难区域的权重，控制假阳性和假阴性之间的平衡。
进一步地，所述步骤S5构建的联邦学习框架中，联邦学习全局模型基于跨客户端的数据分布和当前的训练进度动态调整各客户端的聚合权重系数。
进一步地，基于数据驱动的客户端权重系数参数更新方式具体为：每个客户端i根据接收到的全局模型参数θ t ，使用本地的训练数据D i 和协商确定的参数，经过E轮本地训练完成局部模型参数的更新，并将更新后的局部模型参数/>信息上传至服务器端，如果聚合权重区间t 0 能够被当前迭代次数t整除，则进一步执行全局聚合权重的学习，否则沿用之前的客户端权重系数。
进一步地，所述全局聚合权重的学习具体步骤为：
从服务器端把其他所有N-1个客户端的参数发送到客户端i，并基于客户端i的本地训练数据，保持所有客户端局部模型参数/>固定，最小化所有客户端权重系数的损失函数/>,计算梯度，经过S轮本地训练完成客户端权重系数的更新/>，将更新后的客户端权重系数/>上传至服务器端，基于/>得到用于更新联邦学习全局模型参数的客户端权重系数。
本发明还提供了一种实现如上述的基于联邦学习的腹部多器官动态增强分割方法的系统，包括联邦学习框架、服务器端和多个客户端；
所述服务器端上部署有用于对腹部图像进行分割的腹部多器官部分标注动态增强网络模型，所述客户端分别对应于各医疗中心，部署有基于本地部分标注数据进行训练的腹部多器官部分标注动态增强分割网络模型训练模块；所述联邦学习框架模块连接服务器端和客户端。
进一步地，所述客户端包括：
数据采集模块，用于采集本地的腹部多器官部分标注训练数据集；
数据预处理模块，用于对腹部多器官部分标注训练数据集进行预处理得到腹部多器官部分标注图像数据；
局部网络模型模块，用于存储并运行腹部多器官部分标注动态增强网络模型；
动态样本选择模块，用于选择高质量训练样本和调整各样本的权重；
部分监督训练模块，用于损失函数的动态增强；
结果显示模块，用于根据分配的任务分割器官。
与现有技术相比，本发明具有以下有益效果：
1、本发明将联邦学习机制引入部分标注腹部CT图像的多器官分割任务中，提出一种基于联邦学习的腹部多器官部分标注动态特征增强分割网络系统，能够在协作训练中保证数据隐私安全的前提下，充分利用分布在不同医疗机构的多器官部分标注图像信息，得到优于各个医疗机构参与方单独训练性能的全局模型，解决单个医疗机构由于腹部多器官标注数据匮乏引起的分割模型精度低及泛化性差的问题，提高数据的安全性和流动性。
2、本发明提出的基于联邦学习的腹部多器官部分标注动态增强网络模型，为了提升对图像的整体理解，主干网络采用CNN与Transformer的混合3D TransUNet，利用编码器特征之间的全局交互建模远程交互和空间依赖性来提高全局学习能力，利用CNN对局部信息进行建模来充分挖掘图像块内部的信息；同时为了更好的利用部分标注数据集进行多器官分割设计了由动态滤波器控制的动态头部分，通过将当前分割任务编码为任务感知先验来引导动态头核函数的生成，对腹部多器官部分标注不同的客户端采用由输入图像和分配的任务类型自适应生成动态分割头的方式进行训练，无需假设客户端包含所有分割器官完全标注数据，提高了多器官分割网络的灵活性和方法的实用性。
3、本发明以腹部多器官部分标注动态特征增强分割网络为参与者，提出的基于数据驱动的联邦学习框架，将联邦学习参数集分解为局部模型参数和聚合权重参数两部分，根据跨客户端的数据分布和模型的当前训练进度推断各客户端不同迭代步骤中所起的作用来学习一组动态的全局聚合权重，为不同客户端分配相应权重用于全局模型参数的更新，具有更好的可推广性和鲁棒性。
附图说明
图1为本发明基于联邦学习的腹部多器官动态增强分割系统的功能总体流程示意图；
图2为本发明腹部多器官部分标注动态增强分割网络模型的结构示意图；
图3为本发明各客户端局部模型参数更新的本地训练策略示意图；
图4为本发明系统的联邦学习框架示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明中的具体实施例决不作为对本发明及其应用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得所有其他实施例，都属于本发明保护的范围。
本申请提供了一种基于联邦学习的腹部多器官动态增强分割系统，在服务器端构建的用于对腹部多器官部分标注图像数据进行分割的腹部多器官部分标注动态增强网络模型模块，在客户端构建的用于基于本地部分标注数据进行训练的腹部多器官部分标注动态增强分割网络模型训练模块，用于客户端和服务器端进行协作交互的联邦学习框架模块。所述腹部多器官部分标注动态增强分割网络模型模块主要由两部分组成：基于3DTransUNet的主干网络模块和由动态滤波器控制的动态头模块，如图2所示。所述腹部多器官部分标注动态增强分割网络训练模块主要由六部分组成：数据采集模块，数据预处理模块，局部网络模型模块，动态样本选择模块，部分监督训练模块和结果显示模块，如图3所示。具体的，客户端中，数据采集模块用于采集本地的腹部多器官部分标注训练数据集，数据预处理模块用于对腹部多器官部分标注训练数据集进行预处理得到腹部多器官部分标注图像数据，局部网络模型模块用于存储并运行腹部多器官部分标注动态增强网络模型，动态样本选择模块用于选择高质量训练样本和调整各样本的权重，部分监督训练模块用于损失函数的动态增强，结果显示模块用于根据分配的任务分割器官。所述联邦学习框架模块主要由两部分组成：服务器端模块和客户端模块，如图4所示。
具体的，一种基于联邦学习的腹部多器官动态增强分割方法，如图1所示，包括：
步骤S1：构建腹部多器官部分标注动态增强分割网络模型，并生成初始的模型参数，其中，模型参数包括全局模型参数，以及各客户端的初始客户端权重系数；
假设表示N个客户端的部分标注训练数据集。其中表示第i个客户端的部分标注数据集包含n i 个标注图像。其中为3维体数据，D表示体数据的层数，W表示体数据的宽，H表示体数据的高；P ij 为相应图像网络模型输出的预测值，Y ij 为相应图像标注的真实值。
构建如图2所示的腹部多器官部分标注动态特征增强分割网络模型，所述网络模型包含两个主要部分，即主干网络部分和由动态滤波器控制的动态头部分。为了提升对图像的整体理解，主干网络部分采用将卷积神经网（CNN）模型与转换器（Transformer）模型结合使用的混合架构3D TransUNet，同时为了更好的利用部分标注数据集以更灵活的方式根据任务类型完成多个器官的自动分割进行多器官分割设计了由动态滤波器控制的动态头部分。3D TransUNet的主要组件是由具有U型架构的编码器-解码器和具有多头自注意力的Transformer层组成。编码器由4个3D降采样残差块组成，每个残差块包含两个卷积核为3x3x3，激活函数为relu的卷积层。第一个卷积层的步长为1，第二个卷积层的步长为2，用于将输入特征图分辨率减半。解码器由4个3D转置上采样残差块组成，每个残差块包含一个卷积核为3x3x3，激活函数为relu，步长为1的卷积层和一个卷积核为3x3x3，激活函数为relu，步长为2的转置卷积层，用于对特征图进行上采样以提高分辨率。每个解码器均与来自编码器的相应低级特征图通过相加进行连接。Transformer层由6层多头自注意力和多层感知机块组成。由动态滤波器控制的动态头部分包含3个卷积层，其中每个卷积层都包含1x1x1的卷积核。前两个卷积层由特定任务控制器根据输入图像和分配的任务动态生成。具体来说，特定任务控制器使用单个卷积层，以通过全局平均池化聚合编码器产生的图像特征拼接任务编码向量作为输入，产生动态滤波器参数。
步骤S2：在服务器端设定目标通信轮数T，并设定当前轮数计数值t=0；
步骤S3：服务器将腹部多器官部分标注动态增强网络模型，以及当前的全局模型参数和各客户端的初始客户端权重系数发送至所有客户端；
步骤S4：客户端接收服务器发送的腹部多器官部分标注动态增强网络模型，利用本地的部分标注数据集训练腹部多器官部分标注动态增强网络模型，更新局部模型参数和客户端权重系数；
步骤S41：每个客户端均在本地收集各自的腹部多器官部分标注训练数据集，并协商确定训练使用的本地训练次数，训练批次大小和学习率等参数；
步骤S42：每个客户端对腹部多器官部分标注训练数据集进行预处理得到预处理后的腹部多器官部分标注图像数据；
具体的预处理操作包括：首先将全部CT扫描训练数据集重采样到固定体素间距1.5x1.5x0.8mm; 然后调整图像大小到64x192x192；接着将灰度值截断在[-325, 325]之间，进行线性归一化操作使得像素值保持在[-1, 1]之间；最后为了避免训练过程的过拟合问题，使用高斯噪声，高斯模糊，对比度调整，Gamma变化等图像数据扩增技术，得到预处理后的腹部多器官部分标注CT扫描图像数据；
步骤S43：获取从服务器端接收的腹部多器官部分标注动态增强网络模型，将预处理后的腹部多器官部分标注图像数据作为训练数据输入待训练的腹部多器官部分标注动态增强网络模型；
步骤S44：根据腹部多器官部分标注动态增强网络模型的输出与标注真实值的一致性选择高质量训练样本，即针对一些医疗中心现存数据中可能存在一些标注质量较差的数据，采用了挑选高质量训练样本的方式来解决此类数据的干扰，即对于每个本地客户端的训练数据D i 根据等式（1）选择可靠的训练样本，如果m i =1，则该数据才被纳入训练样本中用于训练
(1)
(2)
其中：m i 为表达样本质量高低的值，ϵ是一个阈值，其取值范围为[0,1]，与所选训练样本的数量成反相关，这里取ϵ=0.9，dice(P ij ，Y ij )用于表示预测值和真实值的一致性。
步骤S45：对于每个本地客户端纳入训练的样本，自适应调整各样本区域的权重，完成局部模型的部分监督训练；
具体来说，对于纳入训练的样本，根据公式（3）自适应判别和调整困难与容易样本的权重，有效地降低简单样本的贡献，使模型能够学习困难样本；
(3)
这里可调节因子γ取2，可调节因子τ取0.6；
对于本地客户端的部分监督训练过程中，根据公式（4）自适应调整每条训练数据困难区域的权重，控制假阳性和假阴性之间的平衡；
(4)
这里μ为超参数，在一个实施例中，μ取0.7；
此外，在模型训练过程中，我们还充分利用Dice损失函数公式（5），二元交叉熵损失函数公式（6）和步骤4的损失函数，在四者的共同约束下公式（7）完成本地客户端局部模型的端到端训练;
(5)
(6)
(7)
其中：ε=1e -5是避免除0的平滑项
步骤S46：每个客户端基于本地的高质量训练样本，根据分配的任务，完成相应器官的自动分割，以完成腹部多器官部分标注动态增强网络模型的训练，并更新局部模型参数和客户端权重系数。
步骤S5：以各客户端作为腹部多器官部分标注动态增强网络模型训练的参与者，构建联邦学习框架，各客户端作为整体的联邦学习框架的参与者，接收服务器端发送的全局模型参数和客户端权重系数，利用本地的训练集数据进行训练更新局部模型参数和客户端权重系数，
具体的：
1）首轮训练中在联邦学习服务器端初始化全局模型参数θ 0和各客户端权重系数，以及经过变换后的各客户端权重系数/>。如图4所示，在每一轮训练中，联邦学习服务器端将第t次迭代过程中更新产生的优化后的联邦全局模型参数/>下发至每个本地客户端i；
2）第t次迭代过程中接收到联邦全局模型参数θ t 的所有N个客户端采用联邦学习的方式并行执行局部训练，即每个客户端i根据接收到的全局模型参数θ t ，使用本地的训练数据D i 和协商确定的参数，经过E轮本地训练完成局部模型参数的更新，并将更新后的局部模型参数/>信息上传至联邦学习服务器端；如果当前迭代次数t能够被学习聚合权重区间t 0整除，则进一步执行全局聚合权重的学习，具体来说从联邦学习服务器端把其他所有N-1个客户端的参数/>发送到客户端i，并基于客户端i的本地训练数据，保持所有客户端局部模型参数/>固定，最小化所有客户端权重系数的损失函数,计算梯度，经过S轮本地训练完成客户端权重系数/>的更新，将更新后的客户端权重系数/>上传至联邦学习服务器端。
3）联邦学习服务器端获取同一轮次中所有客户端局部更新后的模型参数，根据公式（9）计算各客户端的权重系数/>，对从每个客户端接收到的模型参数和客户端权重系数进行汇总优化，根据公式（8）更新联邦全局模型主干网络的参数，根据本地客户端的动态抽头参数更新全局模型的特定任务动态抽头参数
(8)
(9)
步骤S6：所有客户端执行E轮本地更新，并将更新后的局部模型参数以及本客户端的权重系数上传至服务器端；
步骤S7：服务器端接收各客户端发送的局部模型参数和客户端权重系数，根据构建的联邦学习框架并执行t=t+1；
步骤S8：然后判断t大于T是否成立，若为是，则执行步骤S9，结束联邦学习，反之则返回步骤S3，由各客户端再次接收服务器端发送的全局模型参数和客户端权重系数，并利用本地的训练集数据进行训练更新局部模型参数和客户端权重系数，重复以上过程，直至满足t大于T的条件；
步骤S9：服务器端会下发至客户端最新的基于联邦学习的腹部多器官动态增强分割网络的全局模型参数，客户端基于腹部图像分割网络模型和最新全局模型参数对待分割腹部图像进行分割。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优先实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于联邦学习的腹部多器官动态增强分割方法，其特征在于，包括：
步骤S1：在服务器端构建腹部多器官部分标注动态增强网络模型，并初始化模型参数，其中，所述模型参数包括全局模型参数，以及各客户端的初始客户端权重系数；
步骤S2：服务器端设定目标通信轮数T，并设定当前轮数计数值t=0；
步骤S3：服务器将腹部多器官部分标注动态增强网络模型，以及当前的全局模型参数和各客户端的初始客户端权重系数发送至所有客户端；
步骤S4：客户端接收服务器发送的腹部多器官部分标注动态增强网络模型，利用本地的部分标注数据集训练腹部多器官部分标注动态增强网络模型，更新局部模型参数和客户端权重系数；
步骤S5：以各客户端作为腹部多器官部分标注动态增强网络模型训练的参与者，构建联邦学习框架；
步骤S6：所有客户端执行E轮本地更新，并将更新后的局部模型参数以及本客户端的权重系数上传至服务器端；
步骤S7：服务器端根据接收到的各客户端发送的局部模型参数和客户端权重系数，根据构建的联邦学习框架，更新全局模型参数，并执行t=t+1；
步骤S8：判断t＞T是否成立，若为是，执行步骤S9，反之，则返回步骤S3；
步骤S9：基于腹部图像分割网络模型和最新全局模型参数对腹部图像进行分割；
步骤S1构建的所述腹部多器官部分标注动态增强网络模型包括基于3D TransUNet的主干网络部分和由动态滤波器控制的动态头部分；
所述步骤S4具体包括：
步骤S41：每个客户端均在本地收集各自的腹部多器官部分标注训练数据集，并协商确定训练使用的本地训练次数，训练批次大小和学习率参数；
步骤S42：每个客户端对腹部多器官部分标注训练数据集进行预处理得到预处理后的腹部多器官部分标注图像数据；
步骤S43：获取从服务器端接收的腹部多器官部分标注动态增强网络模型，将预处理后的腹部多器官部分标注图像数据作为训练数据输入待训练的腹部多器官部分标注动态增强网络模型；
步骤S44：根据腹部多器官部分标注动态增强网络模型的输出与标注真实值的一致性选择高质量训练样本；
步骤S45：对于每个本地客户端纳入训练的样本，自适应调整各样本区域的权重，完成局部模型的部分监督训练；
步骤S46：每个客户端基于本地的高质量训练样本，根据分配的任务，完成相应器官的自动分割，以完成腹部多器官部分标注动态增强网络模型的训练，并更新局部模型参数和客户端权重系数；
所述由动态滤波器控制的动态头部分包含多个卷积层，其中前两个卷积层由特定任务控制器根据输入图像和分配的任务动态生成，特定任务控制器使用单个卷积层，以通过全局平均池化聚合编码器产生的图像特征拼接任务编码向量作为输入，产生动态滤波器参数。
2.根据权利要求1所述的一种基于联邦学习的腹部多器官动态增强分割方法，其特征在于，所述步骤S45具体包括：
步骤S451：自适应判别和调整困难与容易样本的权重，有效地降低简单样本的贡献，使模型能够学习困难样本；
步骤S452：自适应调整每条训练数据困难区域的权重，控制假阳性和假阴性之间的平衡。
3.根据权利要求1所述的一种基于联邦学习的腹部多器官动态增强分割方法，其特征在于，所述步骤S5构建的联邦学习框架中，联邦学习全局模型基于跨客户端的数据分布和当前的训练进度动态调整各客户端的聚合权重系数。
4.根据权利要求3所述的一种基于联邦学习的腹部多器官动态增强分割方法，其特征在于，基于数据驱动的客户端权重系数参数更新方式具体为：每个客户端i根据接收到的全局模型参数θ t ，使用本地的训练数据D i 和协商确定的参数，经过E轮本地训练完成局部模型参数的更新，并将更新后的局部模型参数/>信息上传至服务器端，如果聚合权重区间t 0 能够被当前迭代次数t整除，则执行全局聚合权重的学习，否则沿用之前的客户端权重系数。
5.根据权利要求3所述的一种基于联邦学习的腹部多器官动态增强分割方法，其特征在于，全局聚合权重的学习具体步骤为：
从服务器端把其他所有N-1个客户端的参数,…,/> ,/>,/>发送到客户端i，并基于客户端i的本地训练数据，保持所有客户端局部模型参数/>固定，最小化所有客户端权重系数的损失函数/>,计算梯度，经过S轮本地训练完成客户端权重系数/>的更新，将更新后的客户端权重系数/>上传至服务器端，基于/>得到用于更新联邦学习全局模型参数的客户端权重系数。
6.一种实现如权利要求1-5中任一项所述方法的基于联邦学习的腹部多器官动态增强分割系统，其特征在于，包括联邦学习框架、服务器端和多个客户端；
所述服务器端上部署有用于对腹部图像进行分割的腹部多器官部分标注动态增强网络模型，所述客户端分别对应于各医疗中心，部署有基于本地部分标注数据进行训练的腹部多器官部分标注动态增强分割网络模型训练模块；所述联邦学习框架模块连接服务器端和客户端。
7.根据权利要求6所述的系统，其特征在于，所述客户端包括：
数据采集模块，用于采集本地的腹部多器官部分标注训练数据集；
数据预处理模块，用于对腹部多器官部分标注训练数据集进行预处理得到腹部多器官部分标注图像数据；
局部网络模型模块，用于存储并运行腹部多器官部分标注动态增强网络模型；
动态样本选择模块，用于选择高质量训练样本和调整各样本的权重；
部分监督训练模块，用于损失函数的动态增强；
结果显示模块，用于根据分配的任务分割器官。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311074898.2A CN116823810B (zh) | 2023-08-25 | 2023-08-25 | 基于联邦学习的腹部多器官动态增强分割方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311074898.2A CN116823810B (zh) | 2023-08-25 | 2023-08-25 | 基于联邦学习的腹部多器官动态增强分割方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116823810A CN116823810A (zh) | 2023-09-29 |
| CN116823810B true CN116823810B (zh) | 2023-11-17 |
Family
ID=88120507
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311074898.2A Active CN116823810B (zh) | 2023-08-25 | 2023-08-25 | 基于联邦学习的腹部多器官动态增强分割方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823810B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369574A (zh) * | 2020-03-11 | 2020-07-03 | 合肥凯碧尔高新技术有限公司 | 一种胸腔器官的分割方法及装置 |
| CN113705712A (zh) * | 2021-09-02 | 2021-11-26 | 广州大学 | 一种基于联邦半监督学习的网络流量分类方法和系统 |
| CN115187783A (zh) * | 2022-09-09 | 2022-10-14 | 之江实验室 | 基于联邦学习的多任务混合监督医疗图像分割方法及系统 |
| EP4141790A1 (en) * | 2021-08-30 | 2023-03-01 | Siemens Healthcare GmbH | Method, device and system for automated segmentation of prostate in medical images for tumor detection |
| CN115965782A (zh) * | 2022-12-14 | 2023-04-14 | 天津理工大学 | 面向小样本医学图像语义分割的高效通信联邦学习方法 |
| CN116263956A (zh) * | 2021-12-14 | 2023-06-16 | 华为云计算技术有限公司 | 基于联邦学习的图像分割网络获取方法及相关方法和设备 |
| CN116433697A (zh) * | 2023-06-13 | 2023-07-14 | 南京航空航天大学 | 基于眼动仪的腹部多器官ct图像分割方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767846A (zh) * | 2020-06-29 | 2020-10-13 | 北京百度网讯科技有限公司 | 图像识别方法、装置、设备和计算机存储介质 |
| US20230245317A1 (en) * | 2022-02-03 | 2023-08-03 | GE Precision Healthcare LLC | Low latency interactive segmentation of medical images within a web-based deployment architecture |
-
2023
- 2023-08-25 CN CN202311074898.2A patent/CN116823810B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369574A (zh) * | 2020-03-11 | 2020-07-03 | 合肥凯碧尔高新技术有限公司 | 一种胸腔器官的分割方法及装置 |
| EP4141790A1 (en) * | 2021-08-30 | 2023-03-01 | Siemens Healthcare GmbH | Method, device and system for automated segmentation of prostate in medical images for tumor detection |
| CN113705712A (zh) * | 2021-09-02 | 2021-11-26 | 广州大学 | 一种基于联邦半监督学习的网络流量分类方法和系统 |
| CN116263956A (zh) * | 2021-12-14 | 2023-06-16 | 华为云计算技术有限公司 | 基于联邦学习的图像分割网络获取方法及相关方法和设备 |
| CN115187783A (zh) * | 2022-09-09 | 2022-10-14 | 之江实验室 | 基于联邦学习的多任务混合监督医疗图像分割方法及系统 |
| CN115965782A (zh) * | 2022-12-14 | 2023-04-14 | 天津理工大学 | 面向小样本医学图像语义分割的高效通信联邦学习方法 |
| CN116433697A (zh) * | 2023-06-13 | 2023-07-14 | 南京航空航天大学 | 基于眼动仪的腹部多器官ct图像分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| 2D级联CNN模型的放疗危及器官自动分割;石军 等;中国图象图形学报;164-172 * |
| CoTr：Efficiently Bridging CNN and Transformer for 3D Medical Image Segmentation;yutong xie 等;arXiv;1-13 * |
| 基于多尺度三维卷积神经网络的头颈部危及器官分割方法;慕光睿 等;南方医科大学学报;45-52 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116823810A (zh) | 2023-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110874842B (zh) | 一种基于级联残差全卷积网络的胸腔多器官分割方法 | |
| CN111429421B (zh) | 模型生成方法、医学图像分割方法、装置、设备及介质 | |
| EP3661597B1 (en) | 3d deep planning radiotherapy system and method | |
| CN112907449A (zh) | 一种基于深度卷积稀疏编码的图像超分辨率重建方法 | |
| CN110475505A (zh) | 利用全卷积网络的自动分割 | |
| CN109754403A (zh) | 一种ct图像内的肿瘤自动分割方法及系统 | |
| CN114897780B (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
| US20210279515A1 (en) | Data processing method and device for generating face image and medium | |
| Du et al. | Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network | |
| Gao et al. | A deep convolutional network for medical image super-resolution | |
| WO2021017006A1 (zh) | 图像处理方法及装置、神经网络及训练方法、存储介质 | |
| CN115018809A (zh) | Ct图像的靶区分割识别方法及系统 | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| CN116664588A (zh) | 基于掩码建模的3d医学图像分割模型建立方法及其应用 | |
| US20230079353A1 (en) | Image correction using an invertable network | |
| CN113837179A (zh) | 一种处理图像的多判别gan网络构建方法、装置、系统和存储介质 | |
| CN116823810B (zh) | 基于联邦学习的腹部多器官动态增强分割方法及系统 | |
| CN111968108B (zh) | 基于智能扫描协议的ct智能成像方法、装置及系统 | |
| CN112085717B (zh) | 一种用于腹腔镜手术的视频预测方法及其系统 | |
| CN117593275A (zh) | 一种医学图像分割系统 | |
| CN116385809A (zh) | 一种基于半监督学习的mri脑肿瘤分类方法及系统 | |
| CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Li et al. | HRINet: alternative supervision network for high-resolution CT image interpolation | |
| CN113159202B (zh) | 图像分类方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |