CN114612408B - 一种基于联邦深度学习的心脏图像处理方法 - Google Patents

一种基于联邦深度学习的心脏图像处理方法 Download PDF

Info

Publication number
CN114612408B
CN114612408B CN202210211037.3A CN202210211037A CN114612408B CN 114612408 B CN114612408 B CN 114612408B CN 202210211037 A CN202210211037 A CN 202210211037A CN 114612408 B CN114612408 B CN 114612408B
Authority
CN
China
Prior art keywords
model
participant
information
global
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210211037.3A
Other languages
English (en)
Other versions
CN114612408A (zh
Inventor
方桧铭
杨剑
刘洋
李兰兰
马琛明
邓智方
李丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tuowei Moxin Data Technology Nanjing Co ltd
Original Assignee
Tuowei Moxin Data Technology Nanjing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tuowei Moxin Data Technology Nanjing Co ltd filed Critical Tuowei Moxin Data Technology Nanjing Co ltd
Priority to CN202210211037.3A priority Critical patent/CN114612408B/zh
Publication of CN114612408A publication Critical patent/CN114612408A/zh
Application granted granted Critical
Publication of CN114612408B publication Critical patent/CN114612408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于联邦深度学习的心脏图像处理方法，包括步骤：中央服务器端进行心脏图像数据的多尺度信息聚合算法的全局初始模型设计，并下发该初始模型到各参与方；各参与方利用本地数据，进行全局初始模型的训练，获得本地更新模型；服务器端对各本地更新模型进行聚合，再将聚合之后的全局更新模型分发到参与方进行训练；重复前述两个步骤，直到全局模型收敛至预设条件。本发明在各方持有原始心脏图像数据不出本地的情况下，能够充分挖掘数据特征信息，提升心脏图像分割效果，提升模型性能并释放数据潜力。本发明的聚合方法能够对各参与方的局部模型进行有效测试，记录并剔除效果不好的参与方，能够有效提升聚合效率和精度。

Description

一种基于联邦深度学习的心脏图像处理方法
技术领域
本发明属于医疗图像处理领域，特别涉及一种基于联邦深度学习的心脏图像处理方法，包括图像预处理、特征提取、多目标分割，以及多参与方数据的联合训练和参与方选择。
背景技术
医疗图像分割，是将医疗图像中的感兴趣区域，如特定的病灶或者特定的器官所在的像素识别出来，并将其标明。而在结构性心脏病患者的心脏图像分割领域，以主动脉瓣膜病为例，其主要任务则是将主动脉、左室流出道、钙化、瓣叶和冠脉等不同结构占据图像中的不同像素或者体素尽可能准确地识别，尤其是冠脉以及主动脉和左室流出道交界处需要更为精准的分割识别。
目前主要的医疗图像分割方法有全卷积网络(FCN)，U型网络(U-Net)及其二者的变体分割网络。U-Net是FCN的改进版本，由于其增加了跳连路径(skip-connection)能够在分割解码阶段(decoder)融合更多的细节信息，从而分割的效果比FCN更好。而U-Net也有其自身局限性，随着连续的降采样操作，特征分辨率逐渐降低，导致分割性能有所限制。目前随着技术的发展，很多分割方法均在保证特征分辨率的同时，做出一些优化，以增强分割性能。
联邦学习是一种分布式的机器学习技术，在保证数据隐私安全及合法合规的基础上，实现共同建模，提升人工智能(AI)模型的效果。而目前，由于数据安全法案，数据在安全合法的前提下自由使用成为大势所趋，虽然数据中包含巨大的潜在价值，但是由于数据的隐私以及数据所有机构的利益，这些数据往往不能聚合在一起，从而形成数据孤岛，对于隐私性更高的医疗数据更是如此。联邦学习的出现解决了数据孤岛问题。
联邦学习，在学习过程中，需要分割中央服务器和多个数据持有方。其中，每个持有方含有各自搜集的数据，并用各自的数据训练各自的模型。中央服务器负责聚合多个参与方的模型，聚合之后得到一个模型，聚合的模型往往具有更好的效果。然后中央服务器将聚合模型再分发至各个持有方继续训练。如此进行多轮循环训练，直至聚合模型具有最优结果。
随着技术的快速发展，医疗图像分割的精度要求越来越高，传统的分割方法已经无法满足目前的精度要求，以结构性心脏病中较为有代表性的主动脉瓣膜病的图像分割领域为例，对于主动脉根部，左室流出道与主动脉交界处，以及钙化和冠脉的分割精度更是要求之高。其主要原因在于：1、与普通医疗图像分割相比，其图像分割类别多，不同器官大小差异较大，且对于钙化和冠脉，形态更是多变，分割较为困难。现在，基于深度学习的分割方法以U-Net及其变体为主流，但是这些方法大部分是在保持合适分辨率的同时，使用单一或者并列的注意力或者多核扩张卷积尽量地丰富感受野来提高算法的分割精度，很少考虑不同分支之间，不同尺度之间的信息，导致其性能还是有所限制，不足以满足图像分割的高精度要求。2、由于数据安全法案，数据无法聚合而形成数据孤岛，这些约束使得机构无法汇聚更多的数据进行中心化学习，无法充分挖掘其中的丰富信息和通用特征。
发明内容
本发明的目的在于提供一种基于联邦深度学习的心脏图像处理方法，在各方持有原始图像数据不出本地的情况下，充分挖掘数据特征信息，提升分割效果，提升模型性能并释放数据潜力。
本发明通过如下技术方案实现：
一种基于联邦深度学习的心脏图像处理方法，包括：
中央服务器端进行结构性心脏病患者的心脏图像的多尺度信息聚合算法的全局初始模型设计，并下发该初始模型到各个心脏图像数据持有方；
各参与方利用本地心脏图像数据，进行全局心脏图像分割初始模型的训练，获得本地更新模型；
各参与方将所述本地更新模型提交到服务器端，服务器端对各本地更新模型进行聚合，再把聚合之后的全局更新模型分发到各参与方进行训练；
将前述两个步骤循环进行多次，直到全局心脏图像分割模型收敛至预设条件。
根据本发明的基于联邦深度学习的图像处理方法，中央服务器端进行心脏图像多尺度信息聚合算法的全局初始模型设计具体包括：
设计心脏图像分割Net网络模型为在现有的U-Net网络模型的基础上加入分层上下文模块HCM和多尺度注意力融合模块MAF；
使用常用的模型参数初始化方法对所述Net网络模型的参数进行初始化；
将初始化之后的网络模型分发至各参与方。
根据本发明的基于联邦深度学习的图像处理方法，所述分层上下文模块HCM通过对每个分支的输出数据进行心脏图像特征多个尺度的信息提取，提取到更充分的上下文信息；所述多尺度注意力融合模块MAF通过对心脏图像特征多个分支的信息进行自适应的融合，从而提取相关信息，抑制无用信息，进一步精简多尺度信息，提升所述心脏图像分割Net网络模型的性能。
根据本发明的基于联邦深度学习的图像处理方法，所述分层上下文模块HCM将输入特征Fin通过卷积C0对特征图通道进行降维得F0，并将F0进行多次复制，每个复制的特征图称为一个层次，然后通过带有不同扩张率ri的扩张卷积Ci进行多尺度信息提取，除第一层次外的其他每一层次的特征提取的输入均级联上一层次的特征，然后再进行通过Ci提取特征Fi，在提取完每一层次的特征之后，将所有层次特征在通道维度级联，然后送入通用注意力模块中进行全局信息的加权融合,将输入特征集合Fin与融合之后的特征进行相加，得到最终输出特征Fout：
Fout＝A(concat[F1,...，Fi])+Fin。
根据本发明的基于联邦深度学习的图像处理方法，所述多尺度注意力融合模块MAF将心脏图像特征不同分支之间的信息作为输入,所述不同分支之间的信息为所述HCM模块在不同分支的输出，用相邻三个分支的特征信息组合为三元组，以此三元组为单位进行计算，用H2、H3和H4表示输入信息，分别通过下采样和上采样对H2和H4进行空间尺度变换，与H3空间尺度保持一致，然后采用卷积操作进行通道变换，使三者通道维度保持一致，对H3和H4进行矩阵转置变换，通过矩阵乘法和softmax计算关联矩阵权重系数之后，再与变换后的H2通过矩阵乘法，得到最终的输出特征。
根据本发明的基于联邦深度学习的图像处理方法，各参与方进行全局心脏图像分割初始模型的训练并获得本地更新模型具体包括：
各参与方接收到中央服务器分发的模型；
各参与方对本地心脏图像数据进行预处理操作，包括对图像调整窗宽窗位、数据归一化、对标注图像进行独热编码one-hot，以及对两者进行数据增强操作；
各参与方使用接收到的网络模型，利用各自预处理之后的心脏图像数据进行多次训练，得到各自的训练好的心脏图像分割模型，训练过程使用优化算法进行优化，所述优化算法优选随机梯度下降算法SGD，使用损失函数进行损失计算，所述损失函数优选交叉熵损失函数和dice损失函数；
各参与方将各自训练好的模型发送到中央服务器。
根据本发明的基于联邦深度学习的图像处理方法，服务器端对各参与方训练的本地更新模型进行聚合，再将聚合之后的全局更新模型分发到参与方进行训练，具体包括：
中央服务器接收各参与方训练好的心脏图像分割本地模型；
服务器端根据测试数据对各参与方的本地模型进行测试，得到不同的准确率值，优选用Dice系数表达所述准确率值；
对不同的准确率值进行归一化处理，作为相应本地模型参数的权重，将所有本地模型进行权重求和，得到中央服务器端的全局更新模型；
在计算准确率过程中，若有某个参与方的准确率值连续指定次数低于设定的阈值，则将此参与方丢弃，所述指定次数根据实际需要确定为1次、2次或多次，模型聚合的权重根据剩下满足条件的权重进行再计算。
根据本发明的基于联邦深度学习的图像处理方法，在将涉及模型训练和聚合的两个步骤循环进行多次的过程中，服务器端记录每一次聚合模型的损失以及准确率，在聚合模型的损失收敛之后，得到最终的心脏图像分割模型。
本发明的有益效果：该算法允许各方持有的原始的结构性心脏病患者的心脏图像数据不出本地，因此不需要将各自数据传输到集中的节点，从而极大的减轻了数据传输量，对传输的性能要求大大降低，在一定程度上保证数据的安全的同时，又能够利用多个图像数据持有方的数据，充分挖掘其中信息。此外，本发明对心脏图像分割初始化模型进行了进一步改进，提出一种多尺度信息聚合算法，提取更丰富且更具区分性的上下文信息，从而提升算法性能。因此，本发明能够在保证图像数据隐私的前提下，不仅对传输性能要求大大降低，同时能够进一步增强模型的泛化性能和释放数据的潜力，提高结构性心脏病图像分割的表现。
附图说明
图1本发明的基于联邦深度学习的图像处理方法的流程图；
图2本发明的基于联邦深度学习的图像处理方法的分割网络示意图；
图3本发明的基于联邦深度学习的图像处理方法的分割网络的HCM模块图；
图4本发明的基于联邦深度学习的图像处理方法的分割网络的MAF模块图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，实施例仅用于说明本发明而不用于限制本发明的保护范围。此外，应理解，在阅读了本发明所公开的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本发明所限定的保护范围之内。
如图1所示，本发明的基于联邦深度学习的心脏图像处理方法包括如下步骤：
步骤S1：中央服务器端进行结构性心脏病患者的心脏图像的多尺度信息聚合算法的全局初始模型设计，并下发该初始模型到各个持有方；
步骤S2：各个心脏图像数据持有方(参与方)利用本地数据，进行全局心脏图像分割初始模型的训练，获得本地更新模型；
步骤S3：各个参与方把自身的本地更新模型提交到服务器端，服务器端对各参与方训练的本地更新模型进行聚合，再把聚合之后的全局更新模型分发到参与方进行训练；
步骤S4：将所述步骤2和步骤3循环进行多次，直到全局模型收敛至预设条件。
所述步骤S1包括：
步骤S101：本发明为实现心脏图像的精准分割，设计全局心脏图像分割初始模型，即多尺度信息聚合算法网络模型，记作Net。定义全局训练的图像分割网络结构如图2所示，其中：
上述网络模型Net是在现有的U-Net网络模型的基础上加入了分层上下文模块(HCM)和多尺度注意力融合模块(MAF)。HCM模块通过对每个分支的输出数据进行心脏图像特征多个尺度的信息提取，提取到更充分的上下文信息；MAF模块通过对心脏图像特征多个分支的信息进行自适应的融合，从而提取相关信息，抑制无用信息，进一步精简多尺度信息，提升模型性能。
HCM模块通过对同一分支输入特征进行多种尺度的信息提取，获取到更为丰富的上下文信息以及同一分支内不同的尺度相关性。如图3所示，首先,为避免参数量过多，将输入特征Fin通过卷积C0对特征图通道进行降维得F0，并将F0进行多次复制，每个复制的特征图称为一个层次，然后通过带有不同扩张率ri的扩张卷积Ci进行多尺度信息提取，除第一层次外的其他每一层次的特征提取的输入均级联上一层次的特征，然后再进行通过Ci提取特征Fi。需要说明的是，图3仅为i为4的示意图，i可以选取其他可行的数值。在提取完每一层次的特征之后，将所有层次特征在通道维度级联，然后送入通用注意力模块中，用A表示，进行全局信息的加权融合,最终将输入特征集合Fin与融合之后的特征进行相加，得到最终输出特征Fout。如公式1所示：
Fout＝A(concat[F1,...，Fi])+Fin (1)
在现有的U-Net编码阶段，通常经过多个降采样，在本方法中对降采样前的每个模块(block)输出称为一个分支，相邻分支尺度变化为上一分支尺度的1/2，然后使用HCM模块对每个分支提取多尺度信息，用H1,H2,H3,等依次表示。
MAF模块将心脏图像特征不同分支之间的信息作为输入，用相邻三个分支的特征信息组合为三元组，以此三元组为单位进行计算。例如，如图4所示，选择三个分支H2,H3,H4组合为三元数据组{H2,H3,H4}作为MAF模块的输入，首先对H2进行降采样(即图4中的D操作)，将图片尺度缩小为原尺度的1/2，而对H4进行上采样(即图4中的U操作)，将图片尺度放大为原尺度的2倍，H3保持尺度不变，分别用H2_1,H3和H4_1表示上述处理后的特征，然后三个分支H2_1、H3和H4_1的特征经过卷积核为1的卷积进行通道放缩，一般将H3和H4_1的通道缩小为原来的1/4，H2_1通道数保持不变，经过卷积之后的特征用H2_2,H3_1,H4_2表示，然后将H3_1,H4_2进行矩阵变换和转置，假设：H3_1和H4_2的尺度为(H,W,C),将H3_1的尺度经过矩阵变换为(H*W,C),将H4_2的尺度经过矩阵变换和转置为(C,H*W)，然后将两个尺度进行矩阵乘法(即图4中的X操作)，经过softmax函数将其所有元素归一化到(0,1)的区间中，然后获得的权重矩阵与H2_2进行矩阵乘法，得到最终的输出特征M。
步骤S102:使用常用的模型参数初始化方法对Net网络模型参数进行初始化；
步骤S103:将初始化之后的网络模型分发至各个参与方。
所述步骤S2包括：
步骤S201:各个参与方接收到中央服务器分发的模型；
步骤S202:各个参与方对本地的心脏图像数据进行必要的预处理操作，如对心脏的CT图像调整窗宽窗位，数据归一化等，对标注图像进行独热编码(one-hot)，并对两者进行数据增强等操作；
步骤S203:各个参与方使用接收到的网络模型，利用各自预处理之后的心脏图像数据进行多次训练，得到各自的训练好的模型，用CMi_j表示，其中i代表全局模型的分发次数，j代表参与方的编号。训练过程使用常用的随机梯度下降算法(SGD)进行优化，使用交叉熵损失函数，dice损失函数等多种损失函数进行损失计算。
步骤S204:各个参与方将各自训练好的心脏图像分割模型CMi_j发送到中央服务器。
所述步骤S3包括：
步骤S301:中央服务器接收各个参与方训练好的心脏图像分割模型CMi_j；
步骤S302:服务器端根据测试数据对各个参与方的本地模型进行测试，得到不同的准确率值，在本实施例中选用Dice系数表达准确率值，用Acci_j表示。
步骤S303：根据计算出来的不同的Acci_j准确率值，将所有准确率求和，然后每个准确率除以准确率和，得到归一化后的准确率值，作为相应本地模型参数的权重，将所有本地模型进行权重求和，得到中央服务器端的全局更新模型；
步骤S304：同时，在计算准确率过程中，若有某个参与方的Acc连续n次低于设定的阈值α，则将此参与方丢弃，n可以是1、2、3或符合实际需要的其他数值(本实施例以2次为例)，模型聚合的权重根据剩下满足条件的权重进行再计算。
所述步骤S4包括：
步骤401:步骤S2和步骤S3重复进行多次，服务器端记录每一次聚合模型的损失以及准确率；
步骤402:聚合模型的损失收敛之后，得到最终的心脏图像分割模型。

Claims (4)

1.一种基于联邦深度学习的心脏图像处理方法，包括：
中央服务器端进行结构性心脏病患者的心脏图像的多尺度信息聚合算法的全局初始模型设计，并下发该初始模型到各参与方；
各参与方利用本地心脏图像数据，进行全局心脏图像分割初始模型的训练，获得本地更新模型；
各参与方将本地更新模型提交到服务器端，服务器端对各本地更新模型进行聚合后得到全局更新模型，再将所述全局更新模型分发到各参与方进行训练；
将前述两个步骤循环进行多次，直到全局心脏图像分割模型收敛至预设条件；
其中，中央服务器端进行心脏图像多尺度信息聚合算法的全局初始模型设计具体包括：
设计心脏图像分割Net网络模型为在现有的U-Net网络模型的基础上加入分层上下文模块HCM和多尺度注意力融合模块MAF；
使用常用的模型参数初始化方法对所述Net网络模型的参数进行初始化；将初始化之后的网络模型分发至各参与方；
其中，所述分层上下文模块HCM通过对每个分支的输出数据进行心脏图像特征多个尺度的信息提取，提取到更充分的上下文信息；所述多尺度注意力融合模块MAF通过对心脏图像特征多个分支的信息进行自适应的融合，从而提取相关信息，抑制无用信息，进一步精简多尺度信息，提升所述心脏图像分割Net网络模型的性能；
进一步地，所述分层上下文模块HCM将输入特征Fin通过卷积C0对特征图通道进行降维得F0，并将F0进行多次复制，每个复制的特征图称为一个层次，然后通过带有不同扩张率ri的扩张卷积Ci进行多尺度信息提取，除第一层次外的其他每一层次的特征提取的输入均级联上一层次的特征，然后再进行通过Ci提取特征Fi，在提取完每一层次的特征之后，将所有层次特征在通道维度级联，然后送入通用注意力模块中进行全局信息的加权融合,将输入特征集合Fin与融合之后的特征进行相加，得到最终输出特征Fout：
Fout＝A(concat[F1,...，Fi])+Fin；
其中，A表示对全局信息的加权融合；
进一步地，所述多尺度注意力融合模块MAF将心脏图像特征不同分支之间的信息作为输入，所述不同分支之间的信息为所述HCM模块在不同分支的输出，用相邻三个分支的特征信息组合为三元组，以此三元组为单位进行计算，用H2、H3和H4表示输入信息，分别通过下采样和上采样对H2和H4进行空间尺度变换，使其与H3空间尺度保持一致，然后采用卷积操作进行通道变换，使三者通道维度保持一致，对H3和H4进行矩阵转置变换，通过矩阵乘法和softmax计算关联矩阵权重系数之后，再与变换后的H2通过矩阵乘法，得到最终的输出特征。
2.根据权利要求1所述的图像处理方法，其特征在于，各参与方进行全局心脏图像分割初始模型的训练并获得本地更新模型具体包括：
各参与方接收到中央服务器分发的模型；
各参与方对本地心脏图像数据进行预处理操作，包括对图像调整窗宽窗位、数据归一化、对标注图像进行独热编码one-hot，以及对两者进行数据增强操作；
各参与方使用接收到的网络模型，利用各自预处理之后的心脏图像数据进行多次训练，得到各自的训练好的心脏图像分割模型，训练过程使用优化算法进行优化，使用损失函数进行损失计算；
各参与方将各自训练好的模型发送到中央服务器；
所述优化算法为随机梯度下降算法SGD，所述损失函数为交叉熵损失函数和dice损失函数。
3.根据权利要求2所述的图像处理方法，其特征在于，服务器端对各参与方训练的本地更新模型进行聚合，再将聚合之后的全局更新模型分发到各参与方进行训练，具体包括：
中央服务器接收各参与方训练好的心脏图像分割本地模型；
服务器端根据测试数据对各参与方的本地模型进行测试，得到不同的准确率值，并使用Dice系数表达所述准确率值；
对不同的准确率值进行归一化处理，作为相应本地模型参数的权重，将所有本地模型进行权重求和，得到中央服务器端的全局更新模型；
在计算准确率的过程中，若有某个参与方的准确率值连续指定次数低于设定的阈值，则将此参与方丢弃，所述指定次数根据实际需要确定为1次、2次或多次，模型聚合的权重根据剩下满足条件的权重进行再计算。
4.根据权利要求3所述的图像处理方法，其特征在于，在将涉及模型训练和聚合的两个步骤循环进行多次的过程中，服务器端记录每一次聚合模型的损失以及准确率，在聚合模型的损失收敛之后，得到最终的心脏图像分割模型。
CN202210211037.3A 2022-03-04 2022-03-04 一种基于联邦深度学习的心脏图像处理方法 Active CN114612408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210211037.3A CN114612408B (zh) 2022-03-04 2022-03-04 一种基于联邦深度学习的心脏图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210211037.3A CN114612408B (zh) 2022-03-04 2022-03-04 一种基于联邦深度学习的心脏图像处理方法

Publications (2)

Publication Number Publication Date
CN114612408A CN114612408A (zh) 2022-06-10
CN114612408B true CN114612408B (zh) 2023-06-06

Family

ID=81861508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210211037.3A Active CN114612408B (zh) 2022-03-04 2022-03-04 一种基于联邦深度学习的心脏图像处理方法

Country Status (1)

Country Link
CN (1) CN114612408B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760807B (zh) * 2022-11-24 2024-01-19 北京至真健康科技有限公司 一种视网膜眼底图像配准方法及系统
CN116503420B (zh) * 2023-04-26 2024-05-14 佛山科学技术学院 一种基于联邦学习的图像分割方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675419A (zh) * 2019-10-11 2020-01-10 上海海事大学 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN113516255A (zh) * 2021-07-28 2021-10-19 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529960A (zh) * 2016-11-07 2017-03-22 中国银联股份有限公司 电子交易中的欺诈交易检测方法
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN112529024A (zh) * 2019-09-17 2021-03-19 株式会社理光 一种样本数据的生成方法、装置及计算机可读存储介质
EP4104093A1 (en) * 2020-02-11 2022-12-21 Ventana Medical Systems, Inc. Federated learning system for training machine learning algorithms and maintaining patient privacy
CN112001391A (zh) * 2020-05-11 2020-11-27 江苏鲲博智行科技有限公司 一种图像特征融合图像语义分割的方法
CN112150428B (zh) * 2020-09-18 2022-12-02 青岛大学 一种基于深度学习的医学图像分割方法
CN113240129A (zh) * 2021-05-07 2021-08-10 大连理工大学 一种面向多类型任务图像分析的联邦学习系统
CN113467927A (zh) * 2021-05-20 2021-10-01 杭州趣链科技有限公司 一种基于区块链的参与方可信任的联邦学习方法和装置
CN113409349B (zh) * 2021-05-27 2022-04-19 拓微摹心数据科技(南京)有限公司 一种基于人工智能的主动脉结构图像自动分割方法
CN113688862B (zh) * 2021-07-09 2023-07-04 深圳大学 一种基于半监督联邦学习的脑影像分类方法及终端设备
CN113283185B (zh) * 2021-07-23 2021-11-12 平安科技（深圳）有限公司 联邦模型训练、客户画像方法、装置、设备及介质
CN113609521B (zh) * 2021-07-27 2022-11-01 广州大学 一种基于对抗训练的联邦学习隐私保护方法及系统
CN113850272A (zh) * 2021-09-10 2021-12-28 西安电子科技大学 基于本地差分隐私的联邦学习图像分类方法
CN114066904A (zh) * 2021-11-19 2022-02-18 西安交通大学医学院第二附属医院 一种基于深度学习的皮肤病变图像分割方法、设备及存储介质
CN114139722A (zh) * 2021-11-29 2022-03-04 广发银行股份有限公司 基于区块链的联邦学习任务调度方法、系统、设备及介质
CN114119638A (zh) * 2021-12-02 2022-03-01 上海理工大学 一种融合多尺度特征和注意力机制的医学图像分割方法
CN114049261B (zh) * 2022-01-13 2022-04-01 武汉理工大学 一种关注前景信息的图像超分辨率重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675419A (zh) * 2019-10-11 2020-01-10 上海海事大学 一种自适应注意门的多模态脑胶质瘤影像分割方法
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112184748A (zh) * 2020-09-30 2021-01-05 陕西科技大学 可变形的上下文编码网络模型及对肝脏及肝脏肿瘤的分割方法
CN112734715A (zh) * 2020-12-31 2021-04-30 同济大学 一种肺部ct图像的肺结节分割方法
CN113516255A (zh) * 2021-07-28 2021-10-19 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品

Also Published As

Publication number Publication date
CN114612408A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN110544264B (zh) 一种基于3d深监督机制的颞骨关键解剖结构小目标分割方法
Zhang et al. Semantic image inpainting with progressive generative networks
CN114612408B (zh) 一种基于联邦深度学习的心脏图像处理方法
WO2020168844A1 (en) Image processing method, apparatus, equipment, and storage medium
CN110097550B (zh) 一种基于深度学习的医学图像分割方法及系统
CN111932444B (zh) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
CN112465827B (zh) 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN109949255A (zh) 图像重建方法及设备
CN110706214B (zh) 融合条件随机与残差的三维U-Net大脑肿瘤分割方法
CN110428427B (zh) 基于密集偏置网络和自编码器的半监督肾动脉分割方法
CN115457020B (zh) 一种融合残差图像信息的2d医学图像配准方法
CN114663440A (zh) 一种基于深度学习的眼底图像病灶分割方法
CN111754532A (zh) 图像分割模型搜索方法、装置、计算机设备及存储介质
CN116779091B (zh) 一种多模态网络互联融合的胸部影像诊断报告自动生成方法
CN113160229A (zh) 基于层级监督级联金字塔网络的胰腺分割方法及装置
WO2021139351A1 (zh) 图像分割方法、装置、介质及电子设备
CN110580726B (zh) 基于动态卷积网络的自然场景下人脸素描生成模型及方法
CN117611601B (zh) 基于文字辅助的半监督3d医学图像分割方法
CN112419322A (zh) 一种基于3d多尺度多池化特征融合网络的颞骨外半规管分割方法
CN113379606A (zh) 一种基于预训练生成模型的人脸超分辨方法
Wang et al. Interactive 3D segmentation editing and refinement via gated graph neural networks
CN117078941A (zh) 一种基于上下文级联注意力的心脏mri分割方法
CN115690115A (zh) 一种基于重建预训练的肺部医学图像分割方法
Qiu et al. 3D EMSU‐Net: A framework for automatic segmentation of brain tumors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant