CN116977272A - 一种基于联邦图注意力学习的结构磁共振图像处理方法 - Google Patents

一种基于联邦图注意力学习的结构磁共振图像处理方法 Download PDF

Info

Publication number
CN116977272A
CN116977272A CN202310498158.5A CN202310498158A CN116977272A CN 116977272 A CN116977272 A CN 116977272A CN 202310498158 A CN202310498158 A CN 202310498158A CN 116977272 A CN116977272 A CN 116977272A
Authority
CN
China
Prior art keywords
magnetic resonance
training
learning
sample
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310498158.5A
Other languages
English (en)
Inventor
胡火有
何良格
吴晓燕
肖小华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Second Peoples Hospital
Original Assignee
Shenzhen Second Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Second Peoples Hospital filed Critical Shenzhen Second Peoples Hospital
Priority to CN202310498158.5A priority Critical patent/CN116977272A/zh
Publication of CN116977272A publication Critical patent/CN116977272A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Abstract

本发明公开了一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备，所述方法包括：获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；将所述待分类检测的脑区体积特征输入到LassoNet网络，得到可区别特征和特征注意力价值图；将可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；通过训练完成的扩散模型生成扩充样本，采用联邦学习框架训练所述图注意力学习网络。本发明通过基于联邦图注意力学习的结构磁共振图像处理方法，输出训练效果好的图注意力学习网络，并通过训练完成的图注意力学习网络，得到分类结果并输出。

Description

一种基于联邦图注意力学习的结构磁共振图像处理方法
技术领域
本发明涉及图像处理领域，尤其涉及一种基于联邦图注意力学习的结构磁共振图像处理方法。
背景技术
结构磁共振成像(Structural magnetic resonance imaging，sMRI)作为主要的非侵入性成像方式之一，其利用磁场和无线电波生成人体内部的高分辨率图像，从而可以通过结构磁共振图像获取到需要的信息。目前，通过结构磁共振图像获取阿尔茨海默病(Alzheimer’s disease，AD)的相关特征的过程中，会采用神经网络进行处理；
然而，当前在阿尔茨海默病的结构磁共振图像相关特征获取中，样本量有限是影响网络训练从而无法准确获取相应特征的主要因素，同时由于收集多中心数据扩大样本数量则会面对数据隐私保护和数据异质性问题；
因此，现有技术还有待于改进和发展。
发明内容
本申请要解决的技术问题在于，针对现有技术的不足，提供一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备，本发明能够通过基于联邦图注意力学习的结构磁共振图像处理方法，从而可以输出训练效果好的图注意力学习网络，并通过训练完成的图注意力学习网络，得到分类结果并输出。
为了解决上述现有技术问题的不足，本申请实施例第一方面提供了一种基于联邦图注意力学习的结构磁共振图像处理，所述方法包括：
获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
所述对获取的待分类检测的结构磁共振图像进行标准化处理，具体包括：
对获取的待分类检测的结构磁共振图进行矫正，提取矫正后待分类检测的结构磁共振图像的灰质图像，基于分割模板对提取到的灰质图像进行分割，提取得到脑区体积特征。
所述将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图，具体包括：
将先验知识整合到所述LassoNet网络中，并将所述待分类检测的脑区体积特征输入到LassoNet网络中，通过LassoNet网络输出可区别特征和特征注意力价值图。
所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
通过联邦学习框架训练所述扩散模型，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
所述通过联邦学习框架训练所述扩散模型，具体包括：
用于训练所述扩散模型的结构磁共振样本图像分布在多个参与者中，多个参与者分别获取结构磁共振样本图像，对获取的结构磁共振样本图像进行标准化处理，得到脑区体积特征样本，将所述脑区体积特征样本输入到LassoNet网络中，得到可区别样本特征和特征注意力价值样本图；
基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，并将多个参与者每轮训练后，局部扩散模型学习到的扩散参数发送到全局扩散模型中，全局扩散模型聚合扩散参数并更新全局扩散模型；
当更新完全局扩散模型后，将更新后的全局扩散模型发送到多个参与者中更新局部扩散模型，并进行下一轮训练；
当训练达到终止条件时，结束训练，得到训练完成的扩散模型，并将训练完成的扩散模型发送到多个参与者中。
所述基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，具体包括：
对每个结构磁共振图像样本进行加噪处理，直至为纯噪声矩阵；
基于可区别样本特征和特征注意力价值样本图，对纯噪声矩阵进行降噪处理，并在每次降噪过程中学习扩散参数。
所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
每个参与者获取结构磁共振样本图像，通过所述训练完成的扩散模型生成扩充样本；
每个参与者对扩充样本和结构磁共振样本图像进行标准化处理，并通过LassoNet网络得到用于训练的可区别特征和特征注意力价值图，将用于训练的可区别特征和特征注意力价值图输入到局部图注意力学习网络，对局部图注意力学习网络进行训练，并将多个参与者每轮训练后，局部图注意力学习网络学习到的局部图注意力学习网络参数发送到全局图注意力学习网络中，全局图注意力学习网络聚合图注意力学习网络参数并更新全局图注意力学习网络；
当更新完全局图注意力学习网络后，将更新后的全局图注意力学习网络发送到多个参与者中更新局部图注意力学习网络，并进行下一轮训练；
当训练达到终止条件时，结束训练，输出训练完成的图注意力学习网络。
本申请实施例第二方面提供了一种基于联邦图注意力学习的结构磁共振图像处理装置，所述基于联邦图注意力学习的结构磁共振图像处理装置包括：
图像获取模块，获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
特征输出模块，将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
结果输出模块，将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任意的基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
本申请实施例第四方面提供了一种终端设备，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任意的基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
有益效果：与现有技术相比，本申请提供了一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备，所述方法包括获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。通过上述方法，本发明能够通过对待分类检测的结构磁共振图像进行处理，从而将得到的可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，并输出对应的分类结果，而其中对图注意力学习网络进行训练的过程中采用了联邦学习框架，使得样本数据都存储在各个参与者，即客户端内部，而不需要提取出来进行汇聚，从而保护了数据隐私，进一步用于训练图注意力学习网络的样本是各个参与者内部的隐私数据以及通过其各自数据采用扩散模型生成的数据，从而使得可用于训练的样本数量得到了增加，避免了构磁共振图像处理上，由于样本量有限而导致网络训练从而无法准确获取相应特征，进而无法得到分类准确的图注意力学习网络的问题，使用户可以得到对应的采用足够的数据训练后的图注意力学习网络，并通过该图注意力学习网络，可以得到准确的分类结果并输出。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于联邦图注意力学习的结构磁共振图像处理方法的流程图；
图2为本发明实施例提供的方法流程示意图；
图3为本发明实施例提供的联邦学习框架示意图；
图4为本发明实施例提供的采用LassoNet网络处理流程图；
图5为本发明实施例提供的扩散模型处理过程示意图；
图6为本发明实施例提供的图注意力学习网络示意图；
图7为本发明实施例提供的基于联邦图注意力学习的结构磁共振图像处理装置的具体结构图。
具体实施方式
本申请提供一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
结构磁共振成像作为主要的非侵入性成像方式之一，其利用磁场和无线电波生成人体内部的高分辨率图像，从而可以通过结构磁共振图像获取到需要的信息。目前，通过结构磁共振图像获取阿尔茨海默病的相关特征的过程中，会采用神经网络进行处理；
然而，当前在阿尔茨海默病的结构磁共振图像相关特征获取中，样本量有限是影响网络训练从而无法准确获取相应特征的主要因素，并且无法实现很好的数据隐私保护，从而会导致在采用图注意力学习网络的过程中无法很准确的输出结构磁共振图像的分类结果。
为了在能够对结构磁共振图像输出准确的分类结果，并在该过程中实现对数据隐私的保护，本发明提供一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备。
实例性方法
如图1中所示，为本发明实施例提供的一种基于联邦图注意力学习的结构磁共振图像处理方法的流程图，所述基于联邦图注意力学习的结构磁共振图像处理方法可以应用于终端设备。本发明实施例中，结合图1对所述方法进行描述，所述方法包括如下步骤：
步骤S10、获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
本发明中采用训练完成的图注意力学习网络对结构磁共振图像进行处理，其中，首先获取对应的待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征，即虽然结构磁共振图像具有分辨率高且可分割等优点，但是往往不能直接使用初始的结构磁共振图像，而是需要在此之前对其进行一定的预处理，从而使得其可以进行分类处理。
所述结构磁共振图像是为了产生某一组织结构的一项成像技术，因为人体任何组织都有水分子，所以结构磁共振图像利用了氢原子进行定位，用氢原子定位的优势是定位准确并且干扰少；结构磁共振图像通常还可以用于大脑的组织图像分割，而在本发明中所述获取待分类检测的结构磁共振图像即脑区的结构磁共振图。
进一步的，所述对获取的待分类检测的结构磁共振图像进行标准化处理，具体包括：
对获取的待分类检测的结构磁共振图进行矫正，提取矫正后待分类检测的结构磁共振图像的灰质图像，基于分割模板对提取到的灰质图像进行分割，提取得到脑区体积特征。
具体的，本发明中的大脑结构磁共振图像都相同的方式进行标准进行处理，具体采用统计参数图(Statistical parametric mapping 12tool，SPM12)对待分类检测的结构磁共振图像进行矫正，再使用计算解剖学工具箱(Computational anatomy toolbox 12，CAT12)从矫正后待分类检测的结构磁共振图像扫描中提取灰质图像(SPM12和CAT12工具箱是Matlab中可以处理多种的结构磁共振图像数据的工具箱)，然后，将灰质进行空间转换，来对齐大脑结构，最后使用8个分割模板对灰质对齐的大脑结构进行脑区分割，从而得到待分类检测的脑区体积特征；其中，提取灰质图像过程中，以1.5mm的空间分辨率分割为灰质和白质；其中，通过8个分割模板对灰质对齐的大脑结构进行脑区分割，所述的8个分割模板如表1所示，其中自动解剖标记(Anatomical automatic labeling 1，AAL1)模板是脑影像研究中被大量使用的基于人群的平均脑图谱之一，随着更多的图谱出现，该模板的原有分区已经增加了新的分区，即命名为自动解剖标记图谱的第二个版本(AAL2)和自动解剖标记图谱的第三个版本(AAL3)，其中AAL3相比于前两个版本它增加了一些以前没有定义但在许多神经成像研究中感兴趣的大脑区域；此外，Brodmann等大脑图谱对大脑皮层进行区域细分，如Brodmann图谱将大脑皮层分为41个区域，即使用Brodmann图谱分割可将影像中的大脑分为41个脑区，其他的脑分区模板，都可以相应的将脑部组织进行分区处理；通过8个分割模板，得到988个分割脑区，即988个脑区体积特征；进一步的在8个不同分割模板分割得到998个脑区分割体积特征后，按表1列的自动解剖标记AAL1，AAL2…依次导入，形成多模板特征。
表1：使用的8个分割模板信息
步骤S20、将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
通过对待分类检测的结构磁共振图像进行相应的处理后，对得到的待分类检测的脑区体积特征进行处理，即将所述待分类检测的脑区体积特征输入到LassoNet网络中，从而得到可区别特征和特征注意力价值图；其中LassoNet网络是一种能够实现特征选择的网络，在有关脑区以及阿尔茨海默病的结构磁共振图像样本并不多的情况下，本发明通过LassoNet网络提取关键特征、丢弃冗余特征可以降低计算成本。
进一步的，所述将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图，具体包括：
将先验知识整合到所述LassoNet网络中，并将所述待分类检测的脑区体积特征输入到LassoNet网络中，通过LassoNet网络输出可区别特征和特征注意力价值图。
具体的，采用LassoNet网络处理如图4所示，其中，基于多分割模板对待分类检测的结构磁共振图像进行特征提取，得到多个脑区体积特征，即多模板特征；并基于整合的先验知识构造特征注意力系数，表明重点关注的特征；将多模板特征和特征注意力系数输入到LassoNet，即特征选择，从而得到挑选的可区别特征及对应的特征注意力价值图。
其中，在不同的数据集中，关于脑区中排名靠前的可区别特征存在显著差异；然而，一些与阿尔茨海默病相关的特征，如海马和内嗅皮层等被广泛认可；因此，本发明将先验知识整合到LassoNet中，优先考虑那些著名的阿尔茨海默病相关特征，通过LassoNet最终输出可区别特征和特征注意力价值图来表示这些特征的贡献。
具体的，在LassoNet中，表示残差前馈神经网络：
gw表示前馈神经网络，其网络参数为W；表示残差层的网络参数，D表示特征维度(也就是988)；NL训练样本总数，→表示X经过后面网络处理，X表示特征矩阵。
目标函数可以表示为：
为损失函数，/>是特征矩阵，/>是标签，/>为特征j在第一层的权重，/>为构造的特征注意力系数向量，其关注的特征将被分配更多的注意力值，λ为调节因子，取值范围0-1，θ为网络参数，M为调节因子，‖‖1表示L1正则化；该部分目标函数将阿尔茨海默病相关的特征(如海马和内嗅皮层)融入到特征选择中，目标函数旨在为整个网络选择区分特征。其中，只有第一个隐藏层中的权重受到惩罚，如果跳过层权重θj为零，则Wj＝0；这意味着特征j不参与整个网络，即特征j是一个冗余特征，并且被丢弃。在特征注意力矩阵中，它将更多的注意力放在那些已知的与阿尔茨海默病相关的特征上，例如，海马、内嗅皮层、杏仁核和楔前叶。其中，先验知识为与阿尔茨海默病相关的大脑结构磁工作图像进行分割后的数据，并且所述先验证知识中的体积特征中对于阿尔茨海默病相关的内容打有标签，通过先验知识可设置海马和内嗅皮层被给予最高优先级，惩罚系数为0.6，杏仁核和楔前叶的惩罚系数为0.8。其他感兴趣区域(Region of interest，ROI)特征设置其惩罚系数为1；惩罚系数越小，意味着其相应的特征被给予的惩罚越小，越容易被保留。
步骤S30、将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
在对待分类检测的结构磁共振图像进行了标准化处理以及采用LassoN et网络进行特征提取之后，通过训练完成的图注意力学习网络，得到分类结果并输出；其中所述分类结果中表明具体的脑区结构磁共振图像中与阿尔茨海默病相关的特征是哪一部分。
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
即在本发明中，针对在阿尔茨海默病的结构磁共振图像相关特征获取中的影响，本发明通过扩散模型来生成更多的样本，即扩充样本，并通过生成的扩充样本采用联邦学习框架来训练图注意力学习网络。
所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
通过联邦学习框架训练所述扩散模型，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
在本发明中，对于用于生成扩散样本的扩散模型，采用联邦学习框架训练对其进行训练。
所述联邦学习框架示意图如图3所示，通过联邦学习框架可以实现保护数据隐私的效果，其中设置服务端的全局网络和客户端的本地网络设置相同，所述全局模型和局部模型为本发明所述一种基于联邦图注意力学习的结构磁共振图像处理方法中涉及到的网络。局部网络即参与者网络在其本地数据集上进行训练，利用联邦平均算法(Federatedaveraging algorithm，FedAvg)对局部网络中的网络参数进行聚合，以更新全局网络，全局网络即服务端的网络，客户端中的网络即局部网络；具体过程如下：在服务器端使用全局网络即本发明所述扩散模型和图注意力学习网络，作为全局模型，并将其分布到各个参与者中；各个参与者即客户端在其局部数据集上进行并行训练；每轮训练结束后，将局部网络中学习到的网络参数发送到全局网络中，全局网络聚合网络参数，更新全局模型；然后服务器将更新后的全局模型分发给所有参与者；重复上述步骤，直到模型收敛为止。在此过程中，原始数据存储在各个参与者本地服务器中，仅共享可网络参数，保护了数据隐私。进一步的，联邦平均算法的聚合公式为：
Nc是客户端数目，Si是第i个客户端的样本数量，S是所有客户端样本数量，θi是第i个客户端的网络参数，θ是全局网络的参数。
进一步的，所述通过联邦学习框架训练所述扩散模型，具体包括：
用于训练所述扩散模型的结构磁共振样本图像分布在多个参与者中，多个参与者分别获取结构磁共振样本图像，对获取的结构磁共振样本图像进行标准化处理，得到脑区体积特征样本，将所述脑区体积特征样本输入到LassoNet网络中，得到可区别样本特征和特征注意力价值样本图；
基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，并将多个参与者每轮训练后，局部扩散模型学习到的扩散参数发送到全局扩散模型中，全局扩散模型聚合扩散参数并更新全局扩散模型；
当更新完全局扩散模型后，将更新后的全局扩散模型发送到多个参与者中更新局部扩散模型，并进行下一轮训练；
当训练达到终止条件时，结束训练，得到训练完成的扩散模型，并将训练完成的扩散模型发送到多个参与者中。
即在本发明中，对扩散模型采用联邦学习框架来训练，从而使得本发明可以通过客户端，即每个参与者的数据，在其内部进行训练所述扩散模型，而不需要将数据上传到其他的网络中，保护了数据隐私；其中，所述训练的终止条件为当训练轮数达到预设的阈值或参数达到预设的阈值时，停止训练；通过所述训练好的扩散模型生成相应的扩散样本，通过结构磁共振样本图像和扩散样本对图注意力学习网络进行训练。
更进一步的，所述基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，具体包括：
对每个结构磁共振图像样本进行加噪处理，直至为纯噪声矩阵；
基于可区别样本特征和特征注意力价值样本图，对纯噪声矩阵进行降噪处理，并在每次降噪过程中学习扩散参数。
具体的，所述扩散模型处理过程如图5所示，该模型基于可区别样本特征和特征注意力价值样本图，将更多的生成注意力放在关键特征上；具体过程可描述为给一张图片逐步加噪声直到变成纯粹的噪声，然后对噪声进行去噪得到真实的图片，而训练扩散模型就是让扩散模型学习这个去除噪声的方法；其中，所谓的加噪声，就是基于稍微干净的图片计算一个(多维)高斯分布，然后从这个高斯分布中抽样一个数据出来，这个数据就是加噪之后的结果；去噪声也是同理，基于稍微噪声的图片，计算一个条件分布，从这个分布中抽样得到的是更加接近真实图片的稍微干净的图片。
在具体的训练过程中，扩散模型在初始信号矩阵x0的基础上逐步加噪声，直至为纯噪声矩阵，进而通过逆过程，将随机噪声xT转化为信号。假设初始信号矩阵x0，加噪声后的信号矩阵x1→xT根据下面马尔科夫链得到：
其中，βt是噪声方差，∈是噪声，是高斯分布；逆过程从噪声xT到x0，在大的时间步长T和小的βt下，xt-1在xt基础上根据下面公式可得到：
其中，at＝1-βt， 表示噪声估计值，y表示样本标签，t表示时间步长，xt是在x上施加t步噪声的信号，注意力机制施加在目标函数上，具体如下：
其中，表示基于网络参数θ的估计误差，θ为估计网络的参数，/>表示L2正则化并平方；
噪声估计基于网络训练来逼近∈，Am是构造的特征注意力价值图，其值的大小决定了对该脑区的关注度，⊙表示哈德玛积。
在一种实施例中，所述用于训练扩散模型和图注意力学习网络的数据集可以是ADNI(Alzheimer’s disease neuroimaging initiative)、AIBL(Au stralian imaging，and biomarker and lifestyle flagship study of aging)和AI4AD，其中AI4AD表示从4家医院收集到的数据。
进一步的，所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
每个参与者获取结构磁共振样本图像，通过所述训练完成的扩散模型生成扩充样本；
每个参与者对扩充样本和结构磁共振样本图像进行标准化处理，并通过LassoNet网络得到用于训练的可区别特征和特征注意力价值图，将用于训练的可区别特征和特征注意力价值图输入到局部图注意力学习网络，对局部图注意力学习网络进行训练，并将多个参与者每轮训练后，局部图注意力学习网络学习到的局部图注意力学习网络参数发送到全局图注意力学习网络中，全局图注意力学习网络聚合图注意力学习网络参数并更新全局图注意力学习网络；
当更新完全局图注意力学习网络后，将更新后的全局图注意力学习网络发送到多个参与者中更新局部图注意力学习网络，并进行下一轮训练；
当训练达到终止条件时，结束训练，输出训练完成的图注意力学习网络。
具体的，图注意力学习网络由图卷积网络(Graph convolutional netwo rk，GCN)、自注意力模块(Self-attention)串联后，与归一化模块、多层感知机，以及激活层顺序连接而成；其中采用联邦学习框架训练所述图注意力学习网络的过程如图6中所示，在图6中，为两个参与者的训练过程，在该过程中左右两端为不同客户端(即参与者)的局部网络，其基于对应的局部数据进行各自的网络训练；中间部分为设计的域自适应机制，在不同客户端网络训练的过程中限制其学习到的特征内部关系，最后将所述客户端学习到的参数在全局图注意力学习网络上进行聚合，通过不断地学习聚合，最终当训练轮数达到预设的阈值或参数达到预设的阈值时，停止训练，得到训练完成的图注意力学习网络；其中全局图注意力学习网络指联邦学习框架中服务端的图注意力学习网络，局部图注意力学习网络指联邦学习框架中客户端的图注意力学习网络。
其中，本发明中所述图注意力学习网络涉及图卷积网络的参数训练。图卷积网络被广泛用于特征学习及分类，其建立了个体与群体之间的联系；其中，图卷积网络模块捕捉个体与群体之间的关系，它的自注意力模块学习特征内部联系，特征内部联系与病理机制相关，因此其在不同数据集上理论上应该是一致的，所以，设计域自适应机制来限制它们的差异。其中，在图注意力学习网络中涉及到的图卷积网络：
其中X为特征矩阵，W为图卷积网络参数，X1表示图卷积网络学习到的特征；
自注意力机制(Self-attention)：
X2＝(AttV)T；
其中，X2表示自注意力机制学习到的特征；
多层感知层(Multi-layer perceptron，MLP)：
Y＝MLP(Concat(X1,X2))，
Q、K和V是前馈神经网络的输出，以XT为输入；是图卷积网络的邻接矩阵，其由特征相似性计算而来；Att为学习得到的特征内部关系，/>尺度因子，且/>为邻接矩阵里面样本i和j之间的关系，σ为方差因子，ρ(·)是卷积距离函数，xi和xj为样本i和j的特征。
域自适应机制为：
为总损失函数，/>为分类器的类别损失函数，/>为域自适应机制损失函数，Att i和Att j为在客户端i和j上学习到的特征内部关系，Nc为客户端数量，α是用来控制距离的参数，i、j表示客户端i和客户端j，α为调节因子，控制域自适应机制损失函数的影响力大小。
通过训练完成的扩散模型生成扩充样本，从而通过生成的扩充样本和原本的结构磁共振图像对图注意力学习网络进行训练，通过训练完成的图注意力学习网络来处理待分类检测的结构磁共振图像，进而输出表明具体的脑区结构磁共振图像中与阿尔茨海默病相关的特征是哪一部分的分类结果。
进一步的，本发明通过图2进一步描述本发明所述的基于联邦图注意力学习的结构磁共振图像处理方法，具体的，步骤1，基于结构磁共振图像数据和先验知识，利用LassoNet实现特征选择和特征重要性评估(特征注意力价值图和可区别特征)，步骤2，基于特征注意力价值图设计扩散模型，并利用真实的样本训练扩散模型，通过训练完成的扩散模型生成扩充样本，即图2中扩散样本，然后，步骤3，利用扩充后的数据对设计的分类器网络进行训练，而在上述扩散模型和图注意力学习网络的训练过程中均采用联邦学习框架进行处理，其中分类器网络是结合有自注意力的图注意力学习网络；进而利用训练好的图注意力学习网络对待检测的结构磁共振图像进行分类处理。
如图7所示，本发明实施例第二方面提供了一种基于联邦图注意力学习的结构磁共振图像处理装置，所述基于联邦图注意力学习的结构磁共振图像处理装置包括：
图像获取模块71，获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
特征输出模块72，将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
结果输出模块73，将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
本申请实施例第四方面提供了一种终端设备，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
综上所述，本发明提供了一种基于联邦图注意力学习的结构磁共振图像处理方法及相关设备，所述方法包括获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。通过上述方法，本发明能够通过对待分类检测的结构磁共振图像进行处理，从而将得到的可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，并输出对应的分类结果，而其中对图注意力学习网络进行训练的过程中采用了联邦学习框架，使得样本数据都存储在各个参与者，即客户端内部，而不需要提取出来进行汇聚，从而保护了数据隐私，进一步用于训练图注意力学习网络的样本是各个参与者内部的隐私数据以及通过其各自数据采用扩散模型生成的数据，从而使得可用于训练的样本数量得到了增加，避免了构磁共振图像处理上，由于样本量有限而导致网络训练从而无法准确获取相应特征，进而无法得到分类准确的图注意力学习网络的问题，使用户可以得到对应的采用足够的数据训练后的图注意力学习网络，并通过该图注意力学习网络，可以得到准确的分类结果并输出。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPRO M)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRA M)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRS DRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRA M)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
应当理解的是，本发明的应用不限于上述的举例，对本领域的技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变化都属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述方法包括：
获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
2.根据权利要求1所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述对获取的待分类检测的结构磁共振图像进行标准化处理，具体包括：
对获取的待分类检测的结构磁共振图进行矫正，提取矫正后待分类检测的结构磁共振图像的灰质图像，基于分割模板对提取到的灰质图像进行分割，提取得到脑区体积特征。
3.根据权利要求1所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图，具体包括：
将先验知识整合到所述LassoNet网络中，并将所述待分类检测的脑区体积特征输入到LassoNet网络中，通过LassoNet网络输出可区别特征和特征注意力价值图。
4.根据权利要求1所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
通过联邦学习框架训练所述扩散模型，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
5.根据权利要求4所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述通过联邦学习框架训练所述扩散模型，具体包括：
用于训练所述扩散模型的结构磁共振样本图像分布在多个参与者中，多个参与者分别获取结构磁共振样本图像，对获取的结构磁共振样本图像进行标准化处理，得到脑区体积特征样本，将所述脑区体积特征样本输入到LassoNet网络中，得到可区别样本特征和特征注意力价值样本图；
基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，并将多个参与者每轮训练后，局部扩散模型学习到的扩散参数发送到全局扩散模型中，全局扩散模型聚合扩散参数并更新全局扩散模型；
当更新完全局扩散模型后，将更新后的全局扩散模型发送到多个参与者中更新局部扩散模型，并进行下一轮训练；
当训练达到终止条件时，结束训练，得到训练完成的扩散模型，并将训练完成的扩散模型发送到多个参与者中。
6.根据权利要求5所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述基于结构磁共振样本图像、可区别样本特征和特征注意力价值样本图，训练局部扩散模型，具体包括：
对每个结构磁共振图像样本进行加噪处理，直至为纯噪声矩阵；
基于可区别样本特征和特征注意力价值样本图，对纯噪声矩阵进行降噪处理，并在每次降噪过程中学习扩散参数。
7.根据权利要求5所述的一种基于联邦图注意力学习的结构磁共振图像处理方法，其特征在于，所述通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络，具体包括：
每个参与者获取结构磁共振样本图像，通过所述训练完成的扩散模型生成扩充样本；
每个参与者对扩充样本和结构磁共振样本图像进行标准化处理，并通过LassoNet网络得到用于训练的可区别特征和特征注意力价值图，将用于训练的可区别特征和特征注意力价值图输入到局部图注意力学习网络，对局部图注意力学习网络进行训练，并将多个参与者每轮训练后，局部图注意力学习网络学习到的局部图注意力学习网络参数发送到全局图注意力学习网络中，全局图注意力学习网络聚合图注意力学习网络参数并更新全局图注意力学习网络；
当更新完全局图注意力学习网络后，将更新后的全局图注意力学习网络发送到多个参与者中更新局部图注意力学习网络，并进行下一轮训练；
当训练达到终止条件时，结束训练，输出训练完成的图注意力学习网络。
8.一种基于联邦图注意力学习的结构磁共振图像处理装置，其特征在于，所述装置包括：
图像获取模块，获取待分类检测的结构磁共振图像，对获取的待分类检测的结构磁共振图像进行标准化处理，得到待分类检测的脑区体积特征；
特征输出模块，将所述待分类检测的脑区体积特征输入到LassoNet网络中，得到可区别特征和特征注意力价值图；
结果输出模块，将所述可区别特征和特征注意力价值图输入到训练完成的图注意力学习网络，得到分类结果并输出；
其中，通过训练完成的扩散模型生成扩充样本，基于扩充样本，采用联邦学习框架训练所述图注意力学习网络。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项中基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-7任意一项中基于联邦图注意力学习的结构磁共振图像处理方法中的步骤。
CN202310498158.5A 2023-05-05 2023-05-05 一种基于联邦图注意力学习的结构磁共振图像处理方法 Pending CN116977272A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310498158.5A CN116977272A (zh) 2023-05-05 2023-05-05 一种基于联邦图注意力学习的结构磁共振图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310498158.5A CN116977272A (zh) 2023-05-05 2023-05-05 一种基于联邦图注意力学习的结构磁共振图像处理方法

Publications (1)

Publication Number Publication Date
CN116977272A true CN116977272A (zh) 2023-10-31

Family

ID=88472044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310498158.5A Pending CN116977272A (zh) 2023-05-05 2023-05-05 一种基于联邦图注意力学习的结构磁共振图像处理方法

Country Status (1)

Country Link
CN (1) CN116977272A (zh)

Similar Documents

Publication Publication Date Title
CN109409416B (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN109523584B (zh) 图像处理方法、装置、多模态成像系统、存储介质及设备
CN106887039B (zh) 一种基于医学影像的器官和病灶的三维成像方法及系统
CN110070935B (zh) 基于对抗神经网络的医学图像合成方法、分类方法及装置
Aranguren et al. Improving the segmentation of magnetic resonance brain images using the LSHADE optimization algorithm
ShanmugaPriya et al. Efficient fuzzy c-means based multilevel image segmentation for brain tumor detection in MR images
CN112950631B (zh) 基于显著图约束和x光头颅定位侧位图像的年龄估计方法
CN111226258B (zh) 信号转换系统和信号转换方法
DE102006054822A1 (de) Registrierung eines charakteristischen Pfads eines Kolons
CN111179235B (zh) 图像检测模型的生成方法及装置、应用方法及装置
Wang et al. Unsupervised learning for cross-domain medical image synthesis using deformation invariant cycle consistency networks
CN112837274A (zh) 一种基于多模态多站点数据融合的分类识别方法
Lee et al. Calibrated bayesian neural networks to estimate gestational age and its uncertainty on fetal brain ultrasound images
CN112308835A (zh) 一种融合密集连接与注意力机制的颅内出血分割方法
Liao et al. Temporal registration in in-utero volumetric MRI time series
CN111640107A (zh) 一种致痫灶位置检测方法及装置
Ramana Alzheimer disease detection and classification on magnetic resonance imaging (MRI) brain images using improved expectation maximization (IEM) and convolutional neural network (CNN)
CN110720906A (zh) 脑图像处理方法、计算机设备和可读存储介质
CN112927235B (zh) 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法
CN113421228A (zh) 一种基于参数迁移的甲状腺结节识别模型训练方法及系统
CN116030063B (zh) Mri图像的分类诊断系统、方法、电子设备及介质
CN116977272A (zh) 一种基于联邦图注意力学习的结构磁共振图像处理方法
CN110428392A (zh) 一种基于字典学习和低秩表示的医学图像融合方法
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination