CN115578427A - 基于深度学习的无监督单模态医学图像配准方法 - Google Patents
基于深度学习的无监督单模态医学图像配准方法 Download PDFInfo
- Publication number
- CN115578427A CN115578427A CN202211192724.1A CN202211192724A CN115578427A CN 115578427 A CN115578427 A CN 115578427A CN 202211192724 A CN202211192724 A CN 202211192724A CN 115578427 A CN115578427 A CN 115578427A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- registration
- encoder
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于深度学习的无监督单模态医学图像配准方法,首先获取图像数据,对图像进行裁剪、仿射空间归一化等操作,得到预处理后的图像;再随机选取一对图像分别作为固定图像和运动图像,输入卷积神经网络;利用编码器提取图像对的空间对应关系,解码器将编码器所供的信息处理成密集位移场;然后利用相似性测度及位移场平滑性测度组成的损失函数进行迭代训练,不断优化参数,达到设定的迭代次数后训练停止;最终得到优化好的变换模型。在推理测试阶段能够利用最优变换模型,输入待配准的图像对,得到配准后的图像及评价。本发明通过在卷积神经网络的编码器与解码器之间采用密集连接以及在解码器进行上采样后引入通道注意力模块,提高了配准的精度。
Description
技术领域
本发明属于图像配准技术领域,具体来说涉及一种基于深度学习的无监督单模态医学图像配准方法。
背景技术
图像配准是指利用空间变换等手段,将不同时刻或不同设备拍摄的图像转换到同一坐标系,进行对齐操作。医学图像配准是图像配准领域的一个研究重点,其在临床医学中有着重要意义。
目前基于深度学习的医学图像配准方法主要有:在传统配准算法的基础上进行深度迭代、基于监督学习的配准方法以及基于无监督学习的配准方法。基于深度迭代的方法指的是利用深度学习网络,在传统配准方法的基础上,提取适当的特征,选择相似度度量(评估配准质量),进行迭代优化,得到适合的变换模型。基于监督学习的方法需要获得图像的分割标签作为金标准,神经网络输出预测的位移场,目标函数为金标准与预测位移场的差值。基于无监督的方法则无需标注的数据,直接利用输入生成变换参数,构建转换参数的预测模型,通过最小化配准能量函数进行训练。
基于深度迭代的方法只减轻了传统配准方法的非凸导数的问题,仍存在计算要求高、迭代慢的问题。基于监督学习的方法的局限性在于图像的标签需要专家标注,成本高昂。目前的研究热点放在基于无监督学习上,然而,目前的无监督学习的方法虽然克服了对金标准的依赖,但配准的精度仍不能与传统方法相匹敌。
发明内容
本发明的目的是在于解决现有利用卷积神经网络的配准方法,编码器与解码器的跳跃连接使得特征图存在较大的语义差距的问题,提出一种基于深度学习的无监督单模态医学图像配准方法,引入密集连接以及在解码器上添加通道注意力模块,提高了配准精度。
为实现上述发明目的,本发明提供一种基于深度学习的无监督单模态医学图像配准方法,包括以下步骤:
步骤S1:获取二维或者三维脑部核磁共振图像;
步骤S2:对二维或者三维的脑部核磁共振图像进行预处理:将图像裁剪到相同大小,并进行仿射对齐处理;
步骤S3:训练时,每次从数据集中随机选取两张图像:一张作为固定图像IF,另一张作为移动图像IM;
步骤S4:将固定图像IF与移动图像IM作为图像对,输入设计搭建的深度学习网络中;
步骤S7:配准网络通过最小化损失函数进行训练;
步骤S8:配准网络进行迭代训练;对于训练好的模型,利用Dice评分来作为量化配准性能的优劣指标。
优选的是,本发明步骤S4中的深度学习网络,采用卷积神经网络,编码器采用卷积核大小为3、步长为1的一层卷积,后接LeakRelu激活函数,利用最大池化进行下采样,得到不同分辨率的图像;解码器采用卷积及上采样交替进行;在每次上采样后引入通道注意力模块,对上采样后的特征进行重校准,获得各个通道维度上的权值。
优选的是,本发明为避免直接连接编码器与解码器而引起的较大的语义差距,对编码器与解码器采用密集连接的方式代替跳跃连接,即编码器的每一级分辨率对应的特征图都与编码器下一级重新进行上采样得到的特征图像拼接,所有相同分辨率的特征图拼接在一起递送给解码器,解码器依次上采样得到卷积神经网络的输出。
优选的是,本发明步骤S6中的空间变换网络由三部分组成:本地网络、网格生成器、采样器,本地网络将输入的特征转换为空间变换参数;网格生成器依据空间变换参数得到的映射函数;采样器同时利用网格生成器的输出及输入的特征作为自身输入,采用线性插值或最近邻插值的方法得到变换后的图像其中,线性插值有可微性,用在配准网络训练阶段,对于二维图像选择双线性插值方法,对于三维图像选用三线性插值。最近邻插值不具有可微性,只能用在推理阶段,适合对标签进行插值处理。
优选的是,本发明步骤S7中的最小化损失函数是来源于传统配准方法的能量函数:其中,表示最优变换;最小化损失函数由两部分构成:第一部分为变换后的图像与固定图像IF的相似度;第二部分为正则化位移场使其平滑的平滑约束;
损失函数的表达式为:其中,Lsim表示图像相似性度量,Lsmooth表示位移场平滑度,σ表示权重超参数;对于图片相似性度量Lsim采用平均平方误差,即IF和之间体素值的平方差的平均值,表达式为:其中p为体素位置,Ω表示图像域;位移场平滑度指标解决由于图片相似性度量Lsim鼓励尽可能逼近IF而产生不光滑的问题,使用扩散正则化器来平滑表达式为:其中m代表体素在p的位移量。
本发明涉及基于深度学习的无监督单模态医学图像配准方法,是一种以卷积神经网络为理论基础的实现方法。本发明对于卷积神经网络的设计方法能够提高配准精度,同时网络的复杂度没有大幅提升,保证了训练时的收敛速度以及推理测试时的时间要求。
现有技术的方案中卷积神经网络的解码器与编码器之间的连接仅采用长连接的方式。本发明在卷积神经网络的编码器与解码器中引入密集连接,并在解码器上采样后增加通道注意力模块,能够提高有用信息的权重,抑制噪音的影响,实现了配准精度的提升。
附图说明
图1为本发明的整体流程图。
图2为本发明的配准方法框架图。
图3为本发明的网络结构图。
具体实施方案
本发明实施例提供了一种基于深度学习的无监督单模态医学图像配准方法,下面结合附图和实施例对本发明的技术方案作进一步说明。
图1展现了本发明的流程,具体来说包括以下步骤:
步骤S1:获取二维或者三维脑部核磁共振图像。本发明既可配准二维图像,也可配准三维图像。
本实施例采用公开的医学图像数据集OASIS,此数据集包括425个T1加权的脑部核磁共振图像(MRI),来自年龄在18至96岁之间的受试者。
步骤S2:对二维或者三维的脑部核磁共振图像进行预处理:将图像裁剪到相同大小,并进行仿射对齐处理(提高后续可变形配准的精度)。
将所有MRI图像重新采样为256×256×256的大小,然后使用FreeSurfer软件对每张 MRI图像进行标准预处理步骤,包括运动校正、颅骨剥离、仿射空间归一化和皮层下结构分割。最终将生成的MRI图像居中裁剪为144×192×160的大小。再将数据集随机分为 297张用于训练的图像以及128张用于推理测试的图像。
步骤S3:训练时,每次从数据集中随机选取两张图像:一张作为固定图像IF,另一张作为移动图像IM。
随机选取一对图像分别作为固定图形和运动图像。训练时每次用随机数生成函数在训练集中选取一张图像作为固定图像,不重复的选取另一张图像作为运动图像。参照图2,图像对输入配准网络。
步骤S4:将固定图像IF与移动图像IM作为图像对,输入设计搭建的深度学习网络中;其中的深度学习网络,采用卷积神经网络,编码器采用卷积核大小为3、步长为1的一层卷积,后接LeakRelu激活函数,利用最大池化进行下采样,得到不同分辨率的图像;解码器采用卷积及上采样交替进行,也在后面接LeakRelu激活函数;在最后一层的上采样后引入通道注意力模块,对上采样后的特征进行重校准,获得各个通道维度上的权值。
为避免直接连接编码器与解码器而引起的较大的语义差距,对编码器与解码器采用密集连接的方式代替跳跃连接,即编码器的每一级分辨率对应的特征图都与编码器下一级重新进行上采样得到的特征图像拼接,所有相同分辨率的特征图拼接在一起递送给解码器,解码器依次上采样得到卷积神经网络的输出。
参照图3,卷积神经网络采用类似U-Net的结构,引入密集连接减轻了编码器与解码器之间的语义差距,在解码器路径加入通道注意力模块,能够对上采样后的特征进行重校准,强调有用信息,减少噪音。
本实施例以三维图像为例,卷积神经网络的具体参数设置为:编码器进行5次三维卷积及4次下采样,输入分辨率为144×192×160。第一个卷积层有16个卷积核,卷积核的大小为3,步长为1。第二到第五个卷积层都有32个卷积核,卷积核的大小为3,步长为 1,每层卷积(Conv)后跟LeakRelu激活函数,并采用最大池化(MaxPooling)。经过四次下采样后的分辨率降为9×12×10。在每次下采样后跟一次上采样(Upsamping)和卷积交替,后接LeakRelu激活函数进行的解码操作,使得分辨率恢复原来的大小。将相同分辨率的特征图拼接(Concatenation)在一起,形成密集连接。
在解码器的最后一层上采样后跟通道注意力模块(Channel Attention),具体来说通道注意力模块包括:首先对解码器上采样得到的特征图采用全局平均池化进行通道压缩,通过大小为K的快速一维卷积后跟sigmoid激活函数来生成各通道的权重信息。其中,卷积核大小为K代表了局部跨信道交互的覆盖率,K的取值应该根据通道数C调节。K的取值表达式为:在本实施例中r=2,b=1。
从解码器输出的特征图个数为32个,即采用了32个卷积核,而从卷积神经网络输出的特征图数量为3个。因此,本发明进行了两次特征图大小不变的卷积操作,特征图数量从32个依次变为16个、3个,继而输入到后续操作中。
本发明的STN由三部分组成:本地网络(Localisation Network)、网格生成器(Grid Genator)、采样器(Sampler)。本地网络将输入的特征转换为空间变换参数;网格生成器依据空间变换参数得到的映射函数;采样器同时利用网格生成器的输出及输入的特征作为自身输入,采用线性插值或最近邻插值的方法得到变换后的图像其中,线性插值有可微性,可用在配准网络训练阶段,对于二维图像选择双线性插值方法,对于三维图像选用三线性插值。最近邻插值不具有可微性,只能用在推理阶段,适合对标签进行插值处理。
步骤S7:配准网络通过最小化损失函数进行训练。
最小化损失函数是来源于传统配准方法的能量函数:其中,表示最优变换。损失函数由两部分构成:第一部分为变换后的图像与固定图像IF的相似度;第二部分为正则化位移场使其平滑的平滑约束。损失函数的表达式为:其中,Lsim表示图像相似性度量,Lsmooth表示位移场平滑度,σ表示权重超参数。对于图片相似性度量Lsim采用平均平方误差(Mean SquaredError,MSE),即IF和之间体素值的平方差的平均值,表达式为:其中p为体素位置,Ω表示图像域。位移场平滑度指标解决由于图片相似性度量Lsim鼓励尽可能逼近IF而产生不光滑的问题,使用扩散正则化器来平滑表达式为:其中m代表体素在p的位移量。
得到最优变换模型。本实施例中设置为2000个epoch,每个epoch迭代100次,使用Adam优化器驱动网络优化。完成迭代次数后,得到最终的模型。
步骤S8:配准网络进行迭代训练;对于训练好的模型,利用Dice评分来作为量化配准性能的优劣指标。
利用训练好的模型进行推理测试。测试时在测试集中按序依次选取一对图像作为输入,同时还要输入图像对应的分割标签,在本实施例中,三维图像的分割标签有35个。测试网络输出配准结果及配准评价指标,评价指标表达式为:其中sF,sM分别表示IF,IM的分割标签,k表示第k个标签。特别的是,对于采用的是最近邻插值。Dice系数是一种集合相似度度量指标,用于计算两个样本的相似度,值的范围为[0,1],配准效果越好,Dice值越接近1。
综上所述,本发明涉及基于深度学习的无监督单模态医学图像配准方法,是一种以卷积神经网络为理论基础的实现方法。本发明对于卷积神经网络的设计方法能够提高配准精度,同时网络的复杂度没有大幅提升,保证了训练时的收敛速度以及推理测试时的时间要求。
本发明并不局限于上述实例,凡是在权利要求范围内做出的任何形式的变形或者修改,均属于本发明的保护范围。
Claims (6)
1.一种基于深度学习的无监督单模态医学图像配准方法,其特征在于包括以下步骤:
步骤S1:获取二维或者三维脑部核磁共振图像;
步骤S2:对二维或者三维的脑部核磁共振图像进行预处理:将图像裁剪到相同大小,并进行仿射对齐处理;
步骤S3:训练时,每次从数据集中随机选取两张图像:一张作为固定图像IF,另一张作为移动图像IM;
步骤S4:将固定图像IF与移动图像IM作为图像对,输入设计搭建的深度学习网络中;
步骤S7:配准网络通过最小化损失函数进行训练;
步骤S8:配准网络进行迭代训练;对于训练好的模型,利用Dice评分来作为量化配准性能的优劣指标。
2.根据权利要求1所述的基于深度学习的无监督单模态医学图像配准方法,其特征在于上述步骤S4:将固定图像IF与移动图像IM作为图像对,输入设计搭建的深度学习网络中;其中的深度学习网络,采用卷积神经网络,编码器采用卷积核大小为3、步长为1的一层卷积,后接LeakRelu激活函数,利用最大池化进行下采样,得到不同分辨率的图像;解码器采用卷积及上采样交替进行;在每次上采样后引入通道注意力模块,对上采样后的特征进行重校准,获得各个通道维度上的权值。
3.根据权利要求2所述的基于深度学习的无监督单模态医学图像配准方法,其特征在于为避免直接连接编码器与解码器而引起的较大的语义差距,对编码器与解码器采用密集连接的方式代替跳跃连接,即编码器的每一级分辨率对应的特征图都与编码器下一级重新进行上采样得到的特征图像拼接,所有相同分辨率的特征图拼接在一起递送给解码器,解码器依次上采样得到卷积神经网络的输出。
5.根据权利要求4所述的基于深度学习的无监督单模态医学图像配准方法,其特征在于上述步骤S7:配准网络通过最小化损失函数进行训练;其中的最小化损失函数是来源于传统配准方法的能量函数:其中,表示最优变换;最小化损失函数由两部分构成:第一部分为变换后的图像与固定图像IF的相似度;第二部分为正则化位移场使其平滑的平滑约束;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211192724.1A CN115578427A (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习的无监督单模态医学图像配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211192724.1A CN115578427A (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习的无监督单模态医学图像配准方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115578427A true CN115578427A (zh) | 2023-01-06 |
Family
ID=84582391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211192724.1A Pending CN115578427A (zh) | 2022-09-28 | 2022-09-28 | 基于深度学习的无监督单模态医学图像配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115578427A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051609A (zh) * | 2023-01-18 | 2023-05-02 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
CN116958217A (zh) * | 2023-08-02 | 2023-10-27 | 德智鸿(上海)机器人有限责任公司 | 一种mri与ct多模态3d自动配准方法及装置 |
CN117173222A (zh) * | 2023-09-01 | 2023-12-05 | 深圳扬奇医芯智能科技有限公司 | 一种基于扩散模型的配准方法及系统 |
-
2022
- 2022-09-28 CN CN202211192724.1A patent/CN115578427A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051609A (zh) * | 2023-01-18 | 2023-05-02 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
CN116051609B (zh) * | 2023-01-18 | 2023-08-18 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
CN116958217A (zh) * | 2023-08-02 | 2023-10-27 | 德智鸿(上海)机器人有限责任公司 | 一种mri与ct多模态3d自动配准方法及装置 |
CN116958217B (zh) * | 2023-08-02 | 2024-03-29 | 德智鸿(上海)机器人有限责任公司 | 一种mri与ct多模态3d自动配准方法及装置 |
CN117173222A (zh) * | 2023-09-01 | 2023-12-05 | 深圳扬奇医芯智能科技有限公司 | 一种基于扩散模型的配准方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108460726B (zh) | 一种基于增强递归残差网络的磁共振图像超分辨重建方法 | |
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
CN112150425B (zh) | 一种基于神经网络的无监督血管内超声图像配准方法 | |
CN115578427A (zh) | 基于深度学习的无监督单模态医学图像配准方法 | |
CN111028306A (zh) | 基于AR2 U-Net神经网络的快速磁共振成像方法 | |
Bao et al. | Undersampled MR image reconstruction using an enhanced recursive residual network | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN111161271A (zh) | 一种超声图像分割方法 | |
CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
CN114037714A (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
CN116596949A (zh) | 一种基于条件扩散模型的医学图像分割方法 | |
CN111784792A (zh) | 基于双域卷积神经网络的快速磁共振重建系统及其训练方法与应用 | |
CN113870327B (zh) | 基于预测多层次变形场的医学图像配准方法 | |
CN109544488B (zh) | 一种基于卷积神经网络的图像合成方法 | |
CN113689441A (zh) | 一种基于DeepLabV3网络的左心室超声动态分割方法 | |
CN116051609B (zh) | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 | |
CN116823613A (zh) | 基于梯度增强注意力的多模态mr影像超分辨率方法 | |
CN116843679A (zh) | 基于深度图像先验框架的pet图像部分容积校正方法 | |
CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
CN114119558B (zh) | 一种自动生成鼻咽癌影像诊断结构化报告方法 | |
CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
CN114332018A (zh) | 一种基于深度学习与轮廓特征的医学图像配准方法 | |
CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
CN116740217B (zh) | 基于人工智能技术的动脉自旋标记方法、装置及存储介质 | |
CN117541673B (zh) | 一种多模态磁共振图像的转换方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |