CN112686385A - 面向多站点三维影像的联邦深度学习方法及系统 - Google Patents

Abstract

本发明公开了一种面向多站点三维影像的联邦深度学习方法及系统，本发明包括单个站点分别使用私有数据对深度学习网络模型进行本轮训练，完成本轮训练后将本轮训练得到梯度信息发送给中央计算服务器，收到返回的全局梯度信息后采用全局梯度信息更新深度学习网络模型，然后选择继续迭代训练或结束。本发明可利用单一站点有限的私有数据、安全地联邦全局梯度信息协同更新的联邦深度学习方法来从三维影像中实现对目标区域有效特征的提取，有助于打破现有法律规定下不同站点之间数据所有权问题和分享的壁垒，鼓励更多拥有同种类三维数据的站点加入联邦以丰富可安全聚合的全局信息，得到更稳健有效的、普适性更强的联邦三维深度分类模型。

Description

面向多站点三维影像的联邦深度学习方法及系统

技术领域

本发明涉及三维影像联邦深度学习技术，具体涉及一种面向多站点三维影像的联邦深度学习方法及系统。

背景技术

三维影像作为三维世界的真实结构成像，常常包含了对于目标的真实结构信息，在三维点云分割识别、真实场景建模、医学成像的分类诊断等众多领域有着丰富的应用前景。以医学三维成像为例，包括CT、MRI等多种非侵入式的成像技术，常常作为医生对被试进行诊疗的辅助手段，目前的成像技术可以实现较为精准的呈现被试目标区域的三维成像，对被试在不同疾病相关的目标区域是否产生差异进行辨识提供了方法学和数据结构的支撑。

近年来深度学习在二维图像的模式识别和分类领域逐渐显现出巨大的优势和强大的能力，但是一个有效的深度学习模型需要大规模有标签的训练样本。由于三维影像数据相比映射在平面的二维数据拥有更多的空间特征信息，其采集、准确标注、大量存储和执行计算的成本相比二维图像要求更高，这样的成本任何的单一站点都难以承担；同时三维影像数据中又包含了包括场景、结构等等更多的隐私信息，无论是相应采集数据的站点还是被采集数据的数据所有者，都不愿意面临泄露隐私的风险，并且随着国家相应的隐私保护法规日益完善以及数据所有权等一系列复杂的问题，导致当前多站点数据量少，仅依靠单一站点的数据量不足以有效训练的三维深度网络模型，同时各站点之间无法对原始数据集中或分享实现深度学习训练模型中常用的样本集中式学习。所以目前亟需解决这样一种多站点少样本的三维影像有效利用的方法和结构的问题。

因此，在面向多站点三维影像的联邦深度学习方法及系统的理论下，使用三维影像数据直接作为深度模型的训练数据，使用三维深度网络捕捉三维影像的空间特征信息，主要依靠训练过程中产生的梯度信息包含丰富的数据及标签的分布特征信息，提取并加密实现安全聚合后，在训练过程中协同帮助不同参与站点更新联邦模型的参数，从而设计一种利用单一站点有限的私有数据、安全地联邦全局梯度信息协同更新的联邦深度学习方法来从三维影像中实现对目标区域有效特征的提取，该方法将有助于打破现有法律规定下不同站点之间数据所有权问题和分享的壁垒，鼓励更多拥有同种类三维数据的站点加入联邦以丰富可安全聚合的全局信息，得到更稳健有效的、普适性更强的联邦三维深度分类模型。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向多站点三维影像的联邦深度学习方法及系统，本发明可利用单一站点有限的私有数据、安全地联邦全局梯度信息协同更新的联邦深度学习方法来从三维影像中实现对目标区域有效特征的提取，有助于打破现有法律规定下不同站点之间数据所有权问题和分享的壁垒，鼓励更多拥有同种类三维数据的站点加入联邦以丰富可安全聚合的全局信息，得到更稳健有效的、普适性更强的联邦三维深度分类模型。

为了解决上述技术问题，本发明采用的技术方案为：

一种面向多站点三维影像的联邦深度学习方法，包括单个站点执行的下述步骤：

1)选择联邦中的深度学习网络模型；

2)使用私有数据对深度学习网络模型进行本轮训练，完成本轮训练后跳转下一步；

3)将本轮训练得到梯度信息发送给指定的中央计算服务器；

4)收到中央计算服务器返回的融合其他站点发送的梯度信息后的全局梯度信息；

5)采用全局梯度信息更新深度学习网络模型；

6)判断是否需要继续训练，若需要继续训练，则跳转步骤2)；否则，最终完成训练后得到专属的深度学习网络模型。

可选地，步骤3)中将本轮训练得到梯度信息发送给指定的中央计算服务器时是指：将本轮训练得到梯度信息加密后发送给指定的中央计算服务器。

可选地，步骤2)中使用私有数据对深度学习网络模型进行本轮训练时，所述私有数据是指被试的结构磁共振成像获得的三维的图像矩阵。

可选地，所述三维的图像矩阵尺寸大小为H×L×W，其中H×W对应横向二维图像尺寸的大小，L为结构脑影像成像时的纵向切片数量。

可选地，步骤2)使用私有数据对深度学习网络模型进行本轮训练之前还包括建立私有数据的训练集和测试集的步骤：分别将正常人和患者作为被试，采集被试的结构磁共振成像，并经过预处理获得被试的三维的图像矩阵，并将被试的结构磁共振成像获得的三维的图像矩阵对被试给予标签作为二分类的数据样本集，并将所有数据样本使用N折交叉验证法分为训练集和测试集。

可选地，所述预处理是指使用CAT-12提取结构影像中的灰质区域。

可选地，步骤2)使用私有数据对深度学习网络模型进行本轮训练时，每个参与站点使用相同的随机种子初始化模型参数，并使用相同的批尺寸、迭代轮数、学习率等超参数的设定，每个参与站点均使用相同的优化器更新策略。

可选地，步骤3)之后、步骤4)之前还包括中央计算服务器融合其他站点发送的梯度信息得到全局梯度信息的下述步骤：接收各个站点完成同一轮训练后发送的梯度信息，将各个站点发送的梯度信息乘以对应的预设权重再求和得到融合其他站点发送的梯度信息后的全局梯度信息，将全局梯度信息返回给发送梯度信息的各个站点。

此外，本发明还提供一种面向多站点三维影像的联邦深度学习系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的步骤，或者该存储器中存储有被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的计算机程序。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的计算机程序。

和现有技术相比，本发明具有下述优点：本发明包括单个站点分别使用私有数据对深度学习网络模型进行本轮训练，完成本轮训练后将本轮训练得到梯度信息发送给中央计算服务器，收到返回的全局梯度信息后采用全局梯度信息更新深度学习网络模型，然后选择继续迭代训练或结束。本发明利用梯度信息相比模型参数作为共享参数信息，在协同更新联邦模型的过程中更有利于模型损失函数的收敛，进一步提高了模型的性能和训练效率。本发明可利用单一站点有限的私有数据、安全地联邦全局梯度信息协同更新的联邦深度学习方法来从三维影像中实现对目标区域有效特征的提取，有助于打破现有法律规定下不同站点之间数据所有权问题和分享的壁垒，鼓励更多拥有同种类三维数据的站点加入联邦以丰富可安全聚合的全局信息，得到更稳健有效的、普适性更强的联邦三维深度分类模型。

附图说明

图1为本发明实施例方法单个站点的基本流程示意图。

图2为本发明实施例方法整个系统的基本流程示意图。

图3为本发明实施例中联邦深度学习框架训练流程示意图。

图4为本发明实施例中本地模型于联邦模型对本地数据分类及预测结果对比示意图。

具体实施方式

下文将以使用多医疗机构的三维结构脑影像对神经精神障碍性疾病进行诊断分类作为具体实施例，对本发明面向多站点三维影像的联邦深度学习方法及系统进行进一步说明。

如图1所示，本实施例面向多站点三维影像的联邦深度学习方法包括单个站点执行的下述步骤：

1)选择联邦中的深度学习网络模型；

2)使用私有数据对深度学习网络模型进行本轮训练，完成本轮训练后跳转下一步；

3)将本轮训练得到梯度信息发送给指定的中央计算服务器；

4)收到中央计算服务器返回的融合其他站点发送的梯度信息后的全局梯度信息；

5)采用全局梯度信息更新深度学习网络模型；

6)判断是否需要继续训练，若需要继续训练，则跳转步骤2)；否则，最终完成训练后得到专属的深度学习网络模型。

本实施例中，步骤3)中将本轮训练得到梯度信息发送给指定的中央计算服务器时是指：将本轮训练得到梯度信息加密后发送给指定的中央计算服务器。

本实施例中，步骤2)中使用私有数据对深度学习网络模型进行本轮训练时，所述私有数据是指被试的结构磁共振成像获得的三维的图像矩阵。

本实施例中，所述三维的图像矩阵尺寸大小为H×L×W，其中H×W对应横向二维图像尺寸的大小，L为结构脑影像成像时的纵向切片数量。

本实施例中，步骤2)使用私有数据对深度学习网络模型进行本轮训练之前还包括建立私有数据的训练集和测试集的步骤：分别将正常人和患者作为被试，采集被试的结构磁共振成像，并经过预处理获得被试的三维的图像矩阵，并将被试的结构磁共振成像获得的三维的图像矩阵对被试给予标签作为二分类的数据样本集，并将所有数据样本使用N折交叉验证法分为训练集和测试集。

本实施例中，所述预处理是指使用CAT-12提取结构影像中的灰质区域。

本实施例中，步骤2)使用私有数据对深度学习网络模型进行本轮训练时，每个参与站点使用相同的随机种子初始化模型参数，并使用相同的批尺寸、迭代轮数、学习率等超参数的设定，每个参与站点均使用相同的优化器更新策略。

本实施例中，步骤3)之后、步骤4)之前还包括中央计算服务器融合其他站点发送的梯度信息得到全局梯度信息的下述步骤：接收各个站点完成同一轮训练后发送的梯度信息，将各个站点发送的梯度信息乘以对应的预设权重再求和得到融合其他站点发送的梯度信息后的全局梯度信息，将全局梯度信息返回给发送梯度信息的各个站点。需要说明的是，返回各个站点的全局梯度信息既可以相同，也可以根据该站点的实际需求而设置为不同。

参见图2可知，从整个联邦的角度，本实施例面向多站点三维影像的联邦深度学习方法的实施步骤包括：S1)多家医疗机构作为联邦参与站点分别获取不同被试的三维影像，包括但不局限于MRI影像；S2)针对获取所述的三维影像数据进行预处理；S3)选择适合联邦参与站点的三维深度模型结构；S4)确定各联邦方在对应联邦模型中的置信度以及对于隐私保护水平的需求；S5)在中央计算服务器上搭建联邦学习框架；S6)使用所述的联邦学习的框架在各联邦参与站点的本地训练过程中，在保持私有数据的隐私保护水平在各站点要求范围内的情况下，加入其他联邦站点在训练过程中的加密梯度信息，使得本地模型在训练过程中加入联邦中其他参与站点的不可见的私有信息协同更新本地模型参数，以此来提高各参与站点对应的联邦学习模型的精度和普适性；

本实施例中，步骤S1)中的多站点为具有相应资质、权限并且通过伦理测试的医疗机构，并且在联邦训练前评估各站点均为诚实且安全的站点，其作为联邦参与方渴望参与联邦安全获取有效的联邦模型，不会上传虚假信息和标签，不会恶意反演攻击其他站点的数据信息。每个站点获取不同被试脑部的结构磁共振成像(structural magneticresonance imaging，简称sMRI)数据，既可以现场使用仪器采集，也可以根据需要输入预先采集好的结构磁共振成像数据。采集被试的结构磁共振成像(structural magneticresonance imaging，简称sMRI)数据时，使用的设备为核磁共振扫描仪，扫描参数根据各参与站点合理需求设定。

本实施例中，步骤S3)包括各参与站点根据本地数据量，确定在合适批尺寸下可以实现模型在本地数据参与训练阶段能够有效更新模型参数。本实施例中，步骤S4)设定联邦框架的主要参数，包括各参与站点确定在所述联邦框架中预期的隐私保护程度参数ε，以及在聚合专属全局梯度时本地数据主导程度的权重参数λ。

本实施例中，步骤S5)涉及在第三方GPU计算服务器上搭建联邦框架，其作为中央计算服务器用于安全接收所有参与站点共享的加密信息，并为每一个参与站点加权聚合专属的全局梯度信息，并将其发送到相应的参与站点用于更新联邦模型。该服务器作为诚实且好奇的第三方，可以和每一个参与站点通过高速专线相连，拥有快速计算能力，并且不具备存储原始信息及计算结果的存储能力。

在本实施例中，步骤S6)的详细步骤包括：S6.1)每个参与站点将本地预处理后的私有结构脑影像直接作为模型的输入数据，取被试的影像数据为三维的图像矩阵，尺寸大小为H×L×W，其中H×W对应横向二维图像尺寸的大小，L为结构脑影像成像时的纵向切片数量；S6.2)各参与站点在本地初始化深度网络模型，将三维图像数据和被试的分类作为训练样本和标签，在本地使用所属的隐私数据开始对模型参数第一轮迭代更新，在第一轮训练结束后，各站点将第一轮中最后一次迭代更新所产生的梯度提取出来，根据差分隐私的原理，通过对共享数据添加有效加密等级为ε的噪音实现ε级别的隐私保护，该隐私数据保护程度参数ε由各参与方根据本地需求进行设定，之后将加密的梯度信息共享到中央服务器上；S6.3)待各参与站点均将第一轮迭代后产生的加密梯度信息共享到中央服务器后，服务器根据各参与站点设定的特定权重λ，该参数表明某一参与方认为本地共享的参数信息在所有站点的共享信息中的权重为λ，其余所有参与方权重为(1-λ)，按照各参与站点设定的权重参数为每一站点加权聚合所有参与站点共享的加密信息得到该站点专属的全局梯度信息，并且将其发送回各参与站点，各参与站点在得到特定权重的全局信息后，使用导向梯度更新的方法再次更新本地模型，使其成为本地私有数据主导、其余参与站点数据安全协同更新的联邦模型，在每次联邦框架协同更新模型后为一个完整的联邦训练迭代轮次，各参与站点可使用本地私有数据进行下一个迭代轮次的训练，直至设定的目标训练轮次；S6.4)在所有训练轮次结束后，联邦框架的更新过程随即停止，各参与站点均得到一个融合了其他站点数据信息、且最适用于该站点数据的专属联邦模型。

本实施例的中央计算服务器的联邦框架和各参与站点的本地深度网络模型具体均基于Pytorch实现，如图3所示。本实施例中构建训练深度网络模型时，模型的训练具体初始参数设置如下，训练批量大小设置为16，初始学习率为0.00001，迭代轮次数量设置为60，在第20和第40个迭代轮次后衰减，衰减率为10^-1、10^-1。本实施例步骤S6.2)～S6.3)中的梯度信息提取、共享信息加密以及全局梯度聚合参数设置依靠Pytorch框架实现。本实施例使用训练集、测试集来完成对深度网络回归模型的训练与测试来实现参数优化，需要采用训练集反复迭代执行步骤S6.2)～S6.3)，当连续三个完整迭代轮次中测试集的损失停止减少或到达最大迭代次数时，训练过程将停止。

为了评估本实施例面向多站点三维影像的联邦深度学习方法的应用功能，本实施例中采用了如下方法来验证：I、本实施例中使用安全共享各参与站点梯度，通过全局加权聚合的方式协助本地更新专属联邦模型，即加权梯度聚合法。本实施例基于Rest-Meta-MDD公开数据集，选取T1结构脑影像完整的2231人作为被试，根据国际公认量表法对被试进行分类作为数据标签，提取被试数据的三维图像矩阵作为输入数据，每个矩阵尺寸大小均为121*145*121。II、将得到拥有三维结构脑影像数据的23个站点随机分为5组，使用5组数据作为5个参与站点参加联邦框架的训练。对于每一组数据的三维结构矩阵数据均使用5折交叉验证法分为训练集和测试集，使用每组的训练集按照图3的流程参与联邦框架的信息共享和参数更新，在联邦训练的每一轮都是用测试集测试联邦模型的精度。Ⅲ、本实施例中各参与站点在本地均使用没有预训练过的ResNet-10网络，将其修改为三维二分类的网络结构，分类准确率指模型训练后对于测试集的分类正确率。本实施例中在所述联邦方法下得到的联邦模型分类精度于仅依靠本地私有数据训练的本地模型的对比如图4所示，各站点联邦模型的分类精度比各站点的本地模型的分类精度的提升在0.91％～5.66％之间。综上所述，本实施例面向多站点三维影像的联邦深度学习方法和现有方法相比，能够有效提高分类准确度及分类效率。

此外，本实施例还提供一种面向多站点三维影像的联邦深度学习系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的步骤，或者该存储器中存储有被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的计算机程序。

此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行前述面向多站点三维影像的联邦深度学习方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种面向多站点三维影像的联邦深度学习方法，其特征在于，包括单个站点执行的下述步骤：

1)选择联邦中的深度学习网络模型；

2)使用私有数据对深度学习网络模型进行本轮训练，完成本轮训练后跳转下一步；

3)将本轮训练得到梯度信息发送给指定的中央计算服务器；

4)收到中央计算服务器返回的融合其他站点发送的梯度信息后的全局梯度信息；

5)采用全局梯度信息更新深度学习网络模型；

6)判断是否需要继续训练，若需要继续训练，则跳转步骤2)；否则，最终完成训练后得到专属的深度学习网络模型。

2.根据权利要求1所述的面向多站点三维影像的联邦深度学习方法，其特征在于，步骤3)中将本轮训练得到梯度信息发送给指定的中央计算服务器时是指：将本轮训练得到梯度信息加密后发送给指定的中央计算服务器。

3.根据权利要求1所述的面向多站点三维影像的联邦深度学习方法，其特征在于，步骤2)中使用私有数据对深度学习网络模型进行本轮训练时，所述私有数据是指被试的结构磁共振成像获得的三维的图像矩阵。

4.根据权利要求3所述的面向多站点三维影像的联邦深度学习方法，其特征在于，所述三维的图像矩阵尺寸大小为H×L×W，其中H×W对应横向二维图像尺寸的大小，L为结构脑影像成像时的纵向切片数量。

5.根据权利要求4所述的面向多站点三维影像的联邦深度学习方法，其特征在于，步骤2)使用私有数据对深度学习网络模型进行本轮训练之前还包括建立私有数据的训练集和测试集的步骤：分别将正常人和患者作为被试，采集被试的结构磁共振成像，并经过预处理获得被试的三维的图像矩阵，并将被试的结构磁共振成像获得的三维的图像矩阵对被试给予标签作为二分类的数据样本集，并将所有数据样本使用N折交叉验证法分为训练集和测试集。

6.根据权利要求5所述的面向多站点三维影像的联邦深度学习方法，其特征在于，所述预处理是指使用CAT-12提取结构影像中的灰质区域。

7.根据权利要求1所述的面向多站点三维影像的联邦深度学习方法，其特征在于，步骤2)使用私有数据对深度学习网络模型进行本轮训练时，每个参与站点使用相同的随机种子初始化模型参数，并使用相同的批尺寸、迭代轮数、学习率等超参数的设定，每个参与站点均使用相同的优化器更新策略。

8.根据权利要求1所述的面向多站点三维影像的联邦深度学习方法，其特征在于，步骤3)之后、步骤4)之前还包括中央计算服务器融合其他站点发送的梯度信息得到全局梯度信息的下述步骤：接收各个站点完成同一轮训练后发送的梯度信息，将各个站点发送的梯度信息乘以对应的预设权重再求和得到融合其他站点发送的梯度信息后的全局梯度信息，将全局梯度信息返回给发送梯度信息的各个站点。

9.一种面向多站点三维影像的联邦深度学习系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述面向多站点三维影像的联邦深度学习方法的步骤，或者该存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述面向多站点三维影像的联邦深度学习方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述面向多站点三维影像的联邦深度学习方法的计算机程序。

Images