CN114170276A - 一种磁共振脑图像海马配准方法 - Google Patents

一种磁共振脑图像海马配准方法 Download PDF

Info

Publication number
CN114170276A
CN114170276A CN202111205379.6A CN202111205379A CN114170276A CN 114170276 A CN114170276 A CN 114170276A CN 202111205379 A CN202111205379 A CN 202111205379A CN 114170276 A CN114170276 A CN 114170276A
Authority
CN
China
Prior art keywords
images
image
floating
registration
hippocampus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111205379.6A
Other languages
English (en)
Inventor
郑强
于虎
童向荣
武栓虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai University
Original Assignee
Yantai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai University filed Critical Yantai University
Priority to CN202111205379.6A priority Critical patent/CN114170276A/zh
Publication of CN114170276A publication Critical patent/CN114170276A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种磁共振脑图像海马配准方法,包括以下步骤;步骤1:执行标准的数据预处理步骤,包括N4偏置场校正、仿射空间归一化和裁剪操作;对于训练、验证和测试集合,给定每个集合中的n幅图像,通过(n*(n‑1))策略随机选择两幅图像作为固定和运动图像;步骤2:将处理好的每对海马图像作为HPCReg‑Net模型的输入,然后输出三维形变场,随后将形变场和浮动图像输入空间转换函数,将浮动图像形变生成扭曲浮动图像,通过最大化扭曲浮动图像和固定图像之间的相似度来训练HPCReg‑Net,并对形变场施加平滑约束;步骤3:通过固定图像的分割标签和变形浮动图像的分割标签评估海马配准性能。本发明可以有效的表征海马体体素的精细变形和位置信息。

Description

一种磁共振脑图像海马配准方法
技术领域
本发明属于脑图像海马配准技术领域,特别涉及一种磁共振脑图 像海马配准方法。
背景技术
医学图像配准方法主要分为传统配准方法和基于深度学习的配 准方法。传统的配准方法需要针对每对图像进行迭代优化,因此都存 在计算量大、耗时等问题。基于深度学习的配准方法是指通过大量的 数据来训练一个模型,然后用这个训练好的模型对一对新的图像进行 配准,所以配准速度比传统的方法快很多。最近的研究利用深度学习 技术来提高医学图像配准的计算效率和准确性。为了解决医学图像配 准中耗时的问题,提出了一种典型的无监督配准模型VoxelMorph及 其相关改进。随着深度学习配准方法的发展,在配准精度上也超越了 传统配准方法。
深度学习配准方法可以分为有监督学习配准方法和无监督学习 配准方法。对于有监督学习配准方法,有监督配准中的监督数据的获 得主要有两种方式,一种是通过传统配准方法得到的形变场作为 groundtruth,另一种是对一张图像做随机模拟变形,将原始图像作为 固定图像,变形图像作为浮动图像,模拟形变场作为监督信息。有监 督的配准的缺点很明显,以传统配准方法的形变场作为ground truth 时,理论上模型效果的上限不会超过传统的方法。另外就是可利用的 高质量有监督数据较少,可以发现几乎没有手工标注的有监督数据, 既耗时耗力又不现实。对于无监督学习配准方法,只需要优化固定图 像和浮动图像之间的相似性,这种方法不需要有监督信息就可以完成 对医学图像的配准。
传统的配准方法需要针对每对图像进行迭代优化,因此都存在计 算量大、耗时等问题,且配准精度相对较低。
最近的研究利用深度学习技术来提高医学图像配准的计算效率, 然而,它们大多无法准确捕捉每对图像中体素的精细变形和位置信 息,所以,基于深度学习的配准方法配准性能不足。因此,需要更有 效的技术来提高配准性能。
发明内容
为了克服以上技术问题,本发明的目的在于提供一种磁共振脑图 像海马配准方法,采用粗-精训练策略提出HPCReg-Net模型,结合空 洞卷积和残差注意力卷积模块,可以有效的表征海马体体素的精细变 形和位置信息。
为了实现上述目的,本发明采用的技术方案是:
一种磁共振脑图像海马配准方法,包括以下步骤;
步骤1:执行标准的数据预处理步骤,包括N4偏置场校正、仿 射空间归一化和裁剪操作;对于训练、验证和测试集合,给定每个集 合中的n幅图像,通过(n*(n-1))策略随机选择两幅图像作为固定和运 动图像;
步骤2:将处理好的每对海马图像作为HPCReg-Net模型的输入, 然后输出三维形变场,随后将形变场和浮动图像输入空间转换函数, 将浮动图像形变生成扭曲浮动图像,通过最大化扭曲浮动图像和固定 图像之间的相似度来训练HPCReg-Net,并对形变场施加平滑约束;
步骤3:通过固定图像的分割标签和变形浮动图像的分割标签评 估海马配准性能。
所述步骤1中的预处理步骤具体为:
首先,使用ANTs工具包的N4偏置场校正功能对所有脑核磁共 振图像去噪,并且使用仿射配准功能将所有脑核磁共振图像配准到 MNI152标准空间;
其次,考虑到只对海马体进行配准,并且为了降低计算成本,确 定一个足够覆盖该空间内海马的盒子,该盒子是由选出的图谱图像的 标签进行融合,然后确定其边界后,在每个方向上分别向外扩充7个 体素确定的,再把每一幅核磁共振脑图像裁剪为60*60*48大小的包 含海马的图像块;
最后,在实验中,使用两种数据增强方式:
(1)将所有受试者的左右海马全部加入至数据集中,但是由于 左右海马角度不一样,所以将右海马翻转至与左海马相同的角度,有 效减少HPCReg-Net学习过程中受左右海马差异的影响,将数据集分 为训练集、验证集和测试集,分别由160个、52个和54个图像组成;
(2)在数据集中随机抽取2个图像作为固定图像和浮动图像, 使每个图像都可以作为固定图像和浮动图像,所以给定n个图像,获 得n(n-1)对图像,所述的训练集、验证集和测试集分别由25440对、 2652对和2862对组成。
所述步骤2中空间转换函数是构造了一个基于空间转换网络的 可微运算来计算扭曲浮动图像(
Figure BDA0003306635630000042
),对于浮动图像m的 每一个体素p,计算一个体素位置p′=p+u(p),因为图像的灰 度值都是整数,得到线性插值8个相邻体素的值:
Figure BDA0003306635630000041
其中z(p′)是p′相邻体素,并在d维度上迭代,计算梯度或子梯度,在 优化过程中反向传播误差。
所述步骤3中性能评估,为了定量评估配准性能,采用Dice SimilarityCoefficient(DSC)作为评价指标,较高的DSC表示配准 性能较好,最终结果基于测试集中的数据,将每一对固定图像和扭曲 浮动图像标签的DSC分数作为每对图像的配准性能,最后,将测试集 中的平均DSC用作评估结果。
本发明的有益效果。
本发明设计了一个空洞卷积和残差注意力模块,用于间隔填充和 表征海马配准中的体素的形变特征。
本发明设计了级联空洞卷积模块,进一步捕捉体素的精细变形和 位置信息。
引入了残差注意力模块,以保留下采样过程中更有价值的信息。
HPCReg-Net可以在不到一秒钟的时间内完成配准,配准速度比 传统的配准方法快几百倍。
HPCReg-Net与传统配准方法和现有的基于深度学习的配准方法 相比在配准精度上有着很大的提高。
附图说明:
图1是本发明的无监督配准模型总体流程示意图。
图2是本发明的HPCReg-Net框架概述示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方 案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部 分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普 通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。
如图1、图2所示:本发明提出的HPCReg-Net是在无监督配准 框架下建立的(如图1所示),给定一对固定图像(Fixed)和浮动图像 (Moving)作为HPCReg-Net的输入,然后输出三维形变场(DF), 随后是空间变换函数,将浮动图像形变生成扭曲浮动图像(Moved)。 通过最大化扭曲浮动图像和固定图像之间的相似度来训练 HPCReg-Net,并对形变场(DF)施加平滑约束。
具体来说,在提出的HPCReg-Net中采用了粗-细训练策略,其中 U-Net框架主要用于每对海马图像中大变形的粗配准,随后是级联的 空洞卷积模块(CDC-module),主要用于进一步捕捉体素的精细变形和 位置信息。
在粗配准阶段,采用级联空洞卷积和残差注意力模块(DCRA模 块)来提高U-Net框架的性能。具体来说,在U-Net的编码器中添加 了RA模块,以在下采样过程中保留更多有价值的信息。DCRA模块 用于填充U-Net框架中编解码器之间的语义隔阂,其中空洞卷积在保持空间分辨率不变情况下同时增加感受野,而随后的残差注意力模块 用于精确提取每对图像中海马体素的形变特征。值得注意的是,在本 发明的研究中,残差注意力模块分为主干分支和软掩膜分支,其中主 干分支学习海马体的原始特征,而软掩膜分支降低海马体以外的特 征,同时增强海马体的特征。
在精细配准阶段,本发明级联四层不同空洞率的空洞卷积,以增 强模型的表达能力,并捕捉体素的精细形变和位置信息。此外,考虑 到U-Net下采样过多会丢失体素精细的形变和位置信息,CDC-module 可以在保持空间分辨率不变的同时增加感受野。

Claims (4)

1.一种磁共振脑图像海马配准方法,其特征在于,包括以下步骤;
步骤1:执行标准的数据预处理步骤,包括N4偏置场校正、仿射空间归一化和裁剪操作;对于训练、验证和测试集合,给定每个集合中的N幅图像,通过(n*(n-1))策略随机选择两幅图像作为固定和运动图像;
步骤2:将处理好的每对海马图像作为HPCReg-Net模型的输入,然后输出三维形变场,随后将变形场和浮动图像输入空间转换函数,将浮动图像形变生成扭曲浮动图像,通过最大化扭曲浮动图像和固定图像之间的相似度来训练HPCReg-Net,并对形变场施加平滑约束;
步骤3:通过固定图像的分割标签和变形浮动图像的分割标签评估海马配准性能。
2.根据权利要求1所述的一种磁共振脑图像海马配准方法,其特征在于,所述步骤1中的预处理步骤具体为:
首先,使用ANTs工具包的N4偏置场校正功能对所有脑核磁共振图像去噪,并且使用仿射配准功能将所有脑核磁共振图像配准到MNI152标准空间;
其次,确定一个足够覆盖该空间内海马的盒子,该盒子是由选出的图谱图像的标签进行融合,然后确定其边界后,在每个方向上分别向外扩充7个体素确定的,再把每一幅核磁共振脑图像裁剪为60*60*48大小的包含海马的图像块;
最后,在实验中,使用了两种数据增强方式:
(1)将所有受试者的左右海马全部加入至数据集中,但是由于左右海马角度不一样,所以将右海马翻转至与左海马相同的角度,有效减少HPCReg-Net学习过程中受左右海马差异的影响,将数据集分为训练集、验证集和测试集,分别由160个、52个和54个图像组成;
(2)在数据集中随机抽取2个图像作为固定图像和浮动图像,使每个图像都可以作为固定图像和浮动图像,所以给定n个图像,获得n(n-1)对图像,所述的训练集、验证集和测试集分别由25440对、2652对和2862对组成。
3.根据权利要求1所述的一种磁共振脑图像海马配准方法,其特征在于,所述步骤2中空间转换函数是构造了一个基于空间转换网络的可微运算来计算扭曲浮动图像
Figure FDA0003306635620000021
对于浮动图像m的每一个体素p,计算一个体素位置p′=p+u(p),因为图像的灰度值都是整数,得到线性插值8个相邻体素的值:
Figure FDA0003306635620000022
其中z(p′)是p′相邻体素,并在d维度上迭代,计算梯度或子梯度,在优化过程中反向传播误差。
4.根据权利要求1所述的一种磁共振脑图像海马配准方法,其特征在于,所述步骤3中性能评估,为了定量评估配准性能,采用Dice Similarity Coefficient(DSC)作为评价指标,较高的DSC表示配准性能较好,最终结果基于测试集中的数据,将每一对固定图像和扭曲浮动图像标签的DSC分数作为每对图像的配准性能,最后,将测试集中的平均DSC用作评估结果。
CN202111205379.6A 2021-10-15 2021-10-15 一种磁共振脑图像海马配准方法 Pending CN114170276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111205379.6A CN114170276A (zh) 2021-10-15 2021-10-15 一种磁共振脑图像海马配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111205379.6A CN114170276A (zh) 2021-10-15 2021-10-15 一种磁共振脑图像海马配准方法

Publications (1)

Publication Number Publication Date
CN114170276A true CN114170276A (zh) 2022-03-11

Family

ID=80476922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111205379.6A Pending CN114170276A (zh) 2021-10-15 2021-10-15 一种磁共振脑图像海马配准方法

Country Status (1)

Country Link
CN (1) CN114170276A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977162A (zh) * 2023-09-25 2023-10-31 福建自贸试验区厦门片区Manteia数据科技有限公司 图像配准方法、装置、存储介质以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2951603A1 (en) * 2013-02-01 2015-12-09 UCL Business Plc. Apparatus and method for correcting susceptibility artefacts in a magnetic resonance image
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
CN112102276A (zh) * 2020-09-10 2020-12-18 西安电子科技大学 基于迁移学习图像增强的低场强mr胃部分割方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2951603A1 (en) * 2013-02-01 2015-12-09 UCL Business Plc. Apparatus and method for correcting susceptibility artefacts in a magnetic resonance image
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
CN112102276A (zh) * 2020-09-10 2020-12-18 西安电子科技大学 基于迁移学习图像增强的低场强mr胃部分割方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN LIU ET AL.: ""HPCSeg-Net: Hippocampus Segmentation Network Integrating Autofocus Attention Mechanism and Feature Recombination and Recalibration Module"", 《ICIG 2021: IMAGE AND GRAPHICS》, 30 September 2021 (2021-09-30), pages 773, XP047611913, DOI: 10.1007/978-3-030-87358-5_63 *
YONGFU HAO ET AL.: ""Local label learning (LLL) for subcortical structure segmentation: Application to hippocampus segmentation"", 《HUMAN BRAIN MAPPING》, vol. 35, no. 6, 6 March 2014 (2014-03-06), pages 2674 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977162A (zh) * 2023-09-25 2023-10-31 福建自贸试验区厦门片区Manteia数据科技有限公司 图像配准方法、装置、存储介质以及电子设备
CN116977162B (zh) * 2023-09-25 2024-01-19 福建自贸试验区厦门片区Manteia数据科技有限公司 图像配准方法、装置、存储介质以及电子设备

Similar Documents

Publication Publication Date Title
CN113850825B (zh) 基于上下文信息和多尺度特征融合的遥感图像道路分割方法
CN111767922B (zh) 一种基于卷积神经网络的图像语义分割方法及网络
CN113763441B (zh) 无监督学习的医学图像配准方法及系统
CN110175551A (zh) 一种手语识别方法
CN115620010A (zh) 一种rgb-t双模态特征融合的语义分割方法
CN115410189B (zh) 一种复杂场景车牌检测方法
CN110909778A (zh) 一种基于几何一致性的图像语义特征匹配方法
CN110598537A (zh) 一种基于深度卷积网络的视频显著性检测方法
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN113436237A (zh) 一种基于高斯过程迁移学习的复杂曲面高效测量系统
CN114581406A (zh) 基于Segformer的胃部病理切片细胞核分割方法
CN113657392B (zh) 基于低秩混合注意力机制的小目标语义分割方法及系统
CN114170276A (zh) 一种磁共振脑图像海马配准方法
CN116228789A (zh) 一种基于DeepLabv3+网络的遥感图像分割方法
CN117474796B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
CN113837290A (zh) 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN111667488B (zh) 一种基于多角度U-Net的医学图像分割方法
Zhang et al. License plate recognition model based on CNN+ LSTM+ CTC
CN112329857A (zh) 一种基于改进残差网络的图像分类方法
CN117292704A (zh) 基于扩散模型的语音驱动姿势动作生成方法及装置
CN114821067A (zh) 基于点标注数据的病理图像分割方法
CN118096785B (zh) 基于级联注意力和多尺度特征融合的图像分割方法及系统
CN118246349A (zh) 基于深度学习的自适应尺度的微磁学模拟方法
Feng et al. Full-Resolution Image Segmentation Model Combining Multi-Source Input Information
CN117726661A (zh) 一种对真实文档图像进行稠密点级标注的模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination