CN113763441A - 无监督学习的医学图像配准方法及系统 - Google Patents

无监督学习的医学图像配准方法及系统 Download PDF

Info

Publication number
CN113763441A
CN113763441A CN202110984076.2A CN202110984076A CN113763441A CN 113763441 A CN113763441 A CN 113763441A CN 202110984076 A CN202110984076 A CN 202110984076A CN 113763441 A CN113763441 A CN 113763441A
Authority
CN
China
Prior art keywords
image
registration
deformation field
network
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110984076.2A
Other languages
English (en)
Other versions
CN113763441B (zh
Inventor
戴亚康
周志勇
胡冀苏
钱旭升
耿辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Biomedical Engineering and Technology of CAS
Original Assignee
Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Biomedical Engineering and Technology of CAS filed Critical Suzhou Institute of Biomedical Engineering and Technology of CAS
Priority to CN202110984076.2A priority Critical patent/CN113763441B/zh
Publication of CN113763441A publication Critical patent/CN113763441A/zh
Application granted granted Critical
Publication of CN113763441B publication Critical patent/CN113763441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种无监督学习的医学图像配准方法及系统，该方法包括以下步骤：1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；2)将固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到F和M之间的形变场
Figure DDA0003229968660000011
3)基于形变场
Figure DDA0003229968660000012
采用三线性插值对M进行空间变换，得到最终的配准结果
Figure DDA0003229968660000013
将
Figure DDA0003229968660000014
与F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。本发明无需预先准备的分割标签或形变场标签，可对不同模态中的大形变区域得到较好的配准精度，且本发明的配准速度快、可达到实时性效果。

Description

无监督学习的医学图像配准方法及系统
技术领域
本发明涉及医学图像配准领域，特别涉及一种无监督学习的医学图像配准方法及系统。
背景技术
现有的多模态医学图像配准多基于迭代数值优化方法，需在迭代过程中反复进行数值优化，计算量巨大，导致计算耗时过长，无法做到实时性。深度学习方法的推理速度快，但难以感知多模态图像中的大形变区域，难以实现大形变配准，现有的深度学习方法需要大量组织分割标签或形变场标签，在实际应用中通常获取以上标签。
所以，现在需要一种更可靠的方案。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种无监督学习的医学图像配准方法及系统。
为解决上述技术问题，本发明采用的技术方案是：一种无监督学习的医学图像配准方法，包括以下步骤：
1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；
2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场
Figure BDA0003229968640000011
3)基于形变场
Figure BDA0003229968640000012
采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果
Figure BDA0003229968640000013
配准过程中，将配准结果
Figure BDA0003229968640000014
与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
优选的是，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场
Figure BDA0003229968640000021
然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场
Figure BDA0003229968640000022
优选的是，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；
图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场
Figure BDA0003229968640000024
其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；
其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；
其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。
优选的是，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：
首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C′；
然后沿着通道轴对P和C′分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；
对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；
最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。
优选的是，所述步骤2)中，通过多分辨率图像配准网络得到形变场
Figure BDA0003229968640000023
的步骤具体包括：
2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F2＝4F1，M＝2M2＝4M1；
2-2)将图像对(F1，M1)作为第一阶段的输入，通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
Figure BDA0003229968640000031
2-3)对
Figure BDA0003229968640000032
上采样，得到与图像对F2、M2大小一样的形变场
Figure BDA0003229968640000033
将
Figure BDA0003229968640000034
作为形变场并对M2进行空间形变得到
Figure BDA0003229968640000035
2-4)将图像对
Figure BDA0003229968640000036
作为第二阶段的输入，通过空间自注意力配准网络计算图像F2和图像
Figure BDA0003229968640000037
之间的形变场
Figure BDA0003229968640000038
将
Figure BDA0003229968640000039
与
Figure BDA00032299686400000310
相加得到
Figure BDA00032299686400000311
2-5)对
Figure BDA00032299686400000312
上采样，得到与图像对F、M大小一样的形变场
Figure BDA00032299686400000313
利用形变场
Figure BDA00032299686400000314
对M进行空间形变得到
Figure BDA00032299686400000315
2-6)将图像对
Figure BDA00032299686400000316
作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像
Figure BDA00032299686400000317
之间的形变场
Figure BDA00032299686400000318
将
Figure BDA00032299686400000319
与
Figure BDA00032299686400000320
相加得到最终的形变场
Figure BDA00032299686400000321
优选的是，损失函数L的表达式为：
Figure BDA00032299686400000322
其中，
Figure BDA00032299686400000323
为配准结果
Figure BDA00032299686400000324
与固定图像F的结构信息相似测度，Lsmooth为平滑约束项，LJet为雅可比负值折叠罚项，α、β和γ均为权值。
优选的是，α、β和γ分别为10、0.5和200。
优选的是，其中，
Figure BDA00032299686400000325
的计算方法包括以下步骤：
3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为xi，则x与xi的高斯核距离表示为：
Figure BDA00032299686400000326
表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：
其中，i＝1，2...6，Dp(I，x，xi)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，xi)的均方欧氏距离为：以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离；
其中，σ2是所有图像对的均方欧氏距离的期望值，即：
Figure BDA00032299686400000327
3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：
MIND＝[dgauss(I，x，xi)}，i＝1，2...6；
3-3)定义
Figure BDA0003229968640000041
为：
Figure BDA0003229968640000042
其中，N＝6。
优选的是，其中，LJet的表达式为：
Figure BDA0003229968640000043
其中，M是
Figure BDA0003229968640000045
中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零；
Figure BDA0003229968640000046
代表形变场
Figure BDA0003229968640000047
的在位置p上的雅可比矩阵；
Figure BDA0003229968640000048
的表达式为：
Figure BDA0003229968640000044
本发明还提供一种无监督学习的医学图像配准系统，其采用如上所述的方法进行医学图像配准。
本发明的有益效果是：本发明提供的无监督学习的医学图像配准方法，无需预先准备的分割标签或形变场标签，可对不同模态中的大形变区域得到较好的配准精度，且本发明的配准速度快、可达到实时性效果。
附图说明
图1为本发明的无监督学习的医学图像配准方法的原理框架图；
图2为本发明的空间自注意力配准网络的结构图；
图3为本发明的自注意力门控模块的结构图；
图4为本发明的多分辨率图像配准网络的原理流程图；
图5为MIND邻域结构图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
实施例1
本实施例提供一种无监督学习的医学图像配准方法，包括以下步骤：
1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；
2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场
Figure BDA0003229968640000051
其中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场
Figure BDA0003229968640000056
然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场
Figure BDA0003229968640000057
。
给定一对三维图像：固定图像F和浮动图像M，配准的目的就是寻找一组最优的形变转换参数
Figure BDA0003229968640000052
使得配准后的浮动图像
Figure BDA0003229968640000053
与固定图像F在形态和解剖结构上对齐。本发明建了一个深度学习网络模型，直接估计F和M之间的形变场，可表示为：
Figure BDA0003229968640000054
其中f表示深度学习网络要学习的映射函数，θ是网络参数，
Figure BDA0003229968640000058
是估计得到的形变场。一般通过最大化相似测度函数来训练网络，学习最优的网络参数
Figure BDA0003229968640000059
其图像配准过程可表示为：
Figure BDA0003229968640000055
式中S表示固定图像F和配准后图像
Figure BDA00032299686400000510
之间的相似测度，R是为了保持
Figure BDA00032299686400000511
的平滑性而添加的正则项，
Figure BDA00032299686400000512
代表非线性形变操作。
3)基于形变场
Figure BDA00032299686400000513
采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果
Figure BDA00032299686400000514
配准过程中，将配准结果
Figure BDA00032299686400000515
与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
参照图1，为本发明的整体配准框架。
参照图2，本实施例中，空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；
图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场
Figure BDA0003229968640000061
其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着参数为0.2的LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；
其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；
一般在学习目标形变时，为了防止低水平特征的消失，编解码路径上都会使用跨越连接。在优选的实施例中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。
参照图3，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：
首先对解码阶段的当前特征图C(Current Feature Map)进行上采样操作，得到与先前特征图P(Previous Feature Map)通道数目和图像大小一致的特征图C′；
然后沿着通道轴对P和C′分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF(Context Feature)；
对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF(Attention Feature)通过Sigmoid激活来归一化，消除差异性噪声；
最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。由于仅使用池化操作和卷积核为1的卷积操作，增加的必须优化的参数几乎为零，所以可以配合更加深层的网络使用，而几乎不增加额外的时间成本。
图像配准的困难程度受结构差异较大区域对齐程度的影响，一般来说，差异较大区域与大形变关系密切，并且难以对齐。为了进一步提升网络抓取图像间结构差异的能力，本实施例中在跨越连接层前加入了空间自注意力门控模块，利用不同水平的空间和文本信息能突出大形变区域，精细化形变场。
本实施例中，参照图4，在步骤2)中，通过多分辨率图像配准网络得到形变场
Figure BDA0003229968640000071
的步骤具体包括：
2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F2＝4F1，M＝2M2＝4M1；
2-2)将图像对(F1，M1)作为第一阶段的输入，通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
Figure BDA0003229968640000072
2-3)对
Figure BDA0003229968640000073
上采样，得到与图像对F2、M2大小一样的形变场
Figure BDA0003229968640000074
将
Figure BDA0003229968640000075
作为形变场并对M2进行空间形变得到
Figure BDA0003229968640000076
2-4)将图像对
Figure BDA0003229968640000077
作为第二阶段的输入，通过空间自注意力配准网络计算图像F2和图像
Figure BDA0003229968640000078
之间的形变场
Figure BDA0003229968640000079
将
Figure BDA00032299686400000710
与
Figure BDA00032299686400000711
相加得到
Figure BDA00032299686400000712
2-5)对
Figure BDA00032299686400000713
上采样，得到与图像对F、M大小一样的形变场
Figure BDA00032299686400000714
利用形变场
Figure BDA00032299686400000715
对M进行空间形变得到
Figure BDA00032299686400000716
2-6)将图像对
Figure BDA00032299686400000717
作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像
Figure BDA00032299686400000718
之间的形变场
Figure BDA00032299686400000719
将
Figure BDA00032299686400000720
与
Figure BDA00032299686400000721
相加得到最终的形变场
Figure BDA00032299686400000722
深度学习网络存在固有的视野域较小的缺陷，不利于较大形变的配准，由于网络的直接优化较为困难，收敛较慢且容易陷入局优，本实施例中，基于残差形变估计思想，提出了了一个多分辨率图像配准网络，将大形变配准问题简化为从粗到细的逐步配准的问题，能克服以上缺陷。
在本实施例中，损失函数L的表达式为：
Figure BDA00032299686400000723
其中，
Figure BDA00032299686400000724
为配准结果
Figure BDA00032299686400000725
与固定图像F的结构信息相似测度，Lsmooth为平滑约束项，LJet为雅可比负值折叠罚项，α、β和γ均为权值。在一种优选的实施例中，α、β和γ分别为10、0.5和200。
对于多模态图像配准，相似测度需要摆脱模态的限制，能够真正度量多模态图像对的相似性。为了解决这个问题，本发明引入基于结构信息的相似性损失，即模态无关邻域特征(MIND)损失。MIND被定义在基于自相似的非局部(non-local)图像块上，依赖局部图像结构信息而不是图像灰度分布。具体的，本实施例中，
Figure BDA0003229968640000081
的计算方法包括以下步骤：
3-1)参照图5，对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为xi，则x与xi的高斯核距离表示为：
Figure BDA0003229968640000082
表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：
其中，i＝1，2...6，Dp(I，x，xi)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，xi)的均方欧氏距离为：以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离；
其中，σ2是所有图像对的均方欧氏距离的期望值，即：
Figure BDA0003229968640000083
3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：
MIND＝{dgauss(I，x，xi)}，i＝1，2...6；
3-3)定义
Figure BDA0003229968640000084
为：
Figure BDA0003229968640000085
本实施例中采用六邻域，所以N＝6；当然也可以采用八邻域，十六邻域等。
在图像配准过程中，所有的体素不一定经历相同的形变量，严重变形的体素会导致折叠或者撕裂现象。为了减少上述情况发生，本发明中提出使用基于雅可比负值折叠罚项的动态折叠罚项来进一步约束形变。
具体的，其中，雅可比负值折叠罚项LJet的表达式为：
Figure BDA0003229968640000086
其中，M是
Figure BDA0003229968640000087
中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零，本实施例中，设置σ(·)为ReLU函数；
Figure BDA0003229968640000088
代表形变场
Figure BDA0003229968640000089
的在位置p上的雅可比矩阵；
Figure BDA00032299686400000810
的表达式为：
Figure BDA0003229968640000091
其中，x、y、z在这里是表示方向，即x轴方向，y轴方向和z轴方向。
形变场的雅可比矩阵是三个方向的形变导数的二阶张量，其行列式可以用于分析形变场的局部状态。例如：点
Figure BDA0003229968640000092
为正值，表示点p在其邻域范围内能够保持方向性。相反的，如果点
Figure BDA0003229968640000093
为负值，表示点p在其邻域范围内存在折叠，导致正常的拓扑性遭到破坏。我们根据此事实，在雅可比负值体素上嵌入反折叠罚项，这样，雅可比行列式中负值区域将受到惩罚，正值区域几乎不受影响。进一步的，本实施例中还联合使用平滑约束项Lsmooth，在反折叠的同时还能尽量保持整体形变的平滑。
实施例2
本实施例提供一种无监督学习的医学图像配准系统，其采用实施例1的方法进行医学CT和MR图像的配准。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种无监督学习的医学图像配准方法，其特征在于，包括以下步骤：
1)构建深度学习配准网络，其包括空间自注意力配准网络和多分辨率图像配准网络；
2)将图像对：固定图像F和待配准的浮动图像M输入深度学习配准网络中，得到固定图像F和浮动图像M之间的形变场
Figure FDA0003229968630000011
3)基于形变场
Figure FDA0003229968630000012
采用三线性插值对浮动图像M进行空间变换，得到最终的配准结果
Figure FDA0003229968630000013
配准过程中，将配准结果
Figure FDA0003229968630000014
与固定图像F的结构信息相似测度、平滑约束项和雅可比负值折叠罚项共同作为深度学习配准网络的损失函数L来引导网络参数的优化。
2.根据权利要求1所述的无监督学习的医学图像配准方法，其特征在于，所述步骤2)中，图像对：固定图像F和浮动图像M输入空间自注意力配准网络进行不同程度的下采样，形成多个低分辨率的图像，得到图像对之间的粗配准形变场
Figure FDA0003229968630000015
然后通过多分辨率图像配准网络对低分辨率的图像进行配准，最终得到固定图像F和浮动图像M之间的形变场
Figure FDA0003229968630000016
3.根据权利要求2所述的无监督学习的医学图像配准方法，其特征在于，所述空间自注意力配准网络包括编码模块、解码模块和自注意力门控模块；
图像对：固定图像F和浮动图像M连接为2通道图像作为空间自注意力配准网络的输入，依次经过编码和解码阶段，最终得到3通道的粗配准形变场
Figure FDA0003229968630000017
其中，编码阶段使用卷积核大小为3、步长为1的3D卷积层，并且每个卷积后面都紧接着LeakyReLU激活层；并且在编码阶段，使用两个最大池化层来下采样空间维度，同时增加通道深度；
其中，解码阶段交替使用上采样层、跨越连接和卷积层来逐步传递特征，最后经过一个步长为1的卷积和SoftSign激活层输出目标形变场；
其中，跨越连接采用自注意力门控模块连接，以将来自编解码阶段的不同水平信息合并到空间特征图上。
4.根据权利要求3所述的无监督学习的医学图像配准方法，其特征在于，其中，自注意力门控模块通过连接编码和解码阶段不同尺度的邻阶特征图，来获取空间维度上的不同权值，进而保留相关区域激活，去除不相关或者噪声响应，具体包括：
首先对解码阶段的当前特征图C进行上采样操作，得到与先前特征图P通道数目和图像大小一致的特征图C′；
然后沿着通道轴对P和C′分别采用平均池化和最大池化，并且将结果相加，得到一个有效的文本特征描述CF；
对于CF，再进行卷积核大小为1、步长为1的标准卷积操作后，得到的注意力特征图AF通过Sigmoid激活来归一化，消除差异性噪声；
最后，将AF与P进行体素间对位相乘，可得到具有丰富上下文信息的空间注意力特征图。
5.根据权利要求5所述的无监督学习的医学图像配准方法，其特征在于，所述步骤2)中，通过多分辨率图像配准网络得到形变场
Figure FDA0003229968630000021
的步骤具体包括：
2-1)首先，将输入的固定图像F和浮动图像M均通过三线性插值分别下采样为原来图像大小的1/2和1/4，即F＝2F2＝4F1，M＝2M2＝4M1；
2-2)将图像对(F1，M1)作为第一阶段的输入，通过空间自注意力配准网络计算图像F1和图像M1之间的形变场
Figure FDA0003229968630000022
2-3)对
Figure FDA0003229968630000023
上采样，得到与图像对F2、M2大小一样的形变场
Figure FDA0003229968630000024
将
Figure FDA0003229968630000025
作为形变场并对M2进行空间形变得到
Figure FDA0003229968630000026
2-4)将图像对
Figure FDA0003229968630000027
作为第二阶段的输入，通过空间自注意力配准网络计算图像F2和图像
Figure FDA0003229968630000028
之间的形变场
Figure FDA0003229968630000029
将
Figure FDA00032299686300000210
与
Figure FDA00032299686300000211
相加得到
Figure FDA00032299686300000212
2-5)对
Figure FDA00032299686300000213
上采样，得到与图像对F、M大小一样的形变场
Figure FDA00032299686300000214
利用形变场
Figure FDA00032299686300000215
对M进行空间形变得到
Figure FDA00032299686300000216
2-6)将图像对
Figure FDA00032299686300000217
作为第二阶段的输入，通过空间自注意力配准网络计算图像F和图像
Figure FDA00032299686300000218
之间的形变场
Figure FDA00032299686300000219
将
Figure FDA00032299686300000220
与
Figure FDA00032299686300000224
相加得到最终的形变场
Figure FDA00032299686300000222
6.根据权利要求1所述的无监督学习的医学图像配准方法，其特征在于，损失函数L的表达式为：
Figure FDA00032299686300000223
其中，
Figure FDA0003229968630000031
为配准结果
Figure FDA0003229968630000032
与固定图像F的结构信息相似测度，Lsmooth为平滑约束项，LJet为雅可比负值折叠罚项，α、β和γ均为权值。
7.根据权利要求6所述的无监督学习的医学图像配准方法，其特征在于，α、β和γ分别为10、0.5和200。
8.根据权利要求6或7所述的无监督学习的医学图像配准方法，其特征在于，其中，
Figure FDA0003229968630000033
的计算方法包括以下步骤：
3-1)对于图像I中的任意一点x的局部结构用六邻域进行表示：中心图块是以点x为中心、大小为p×p×p的图像块，外周是与中心图块距离为r的六邻域块；x点的邻域结构描述由x与六邻域图像块的高斯核距离来表示，假设六邻域中任一图像块为xi，则x与xi的高斯核距离表示为：
Figure FDA0003229968630000034
表示6组图像对的均方欧氏距离之和，其中，每组图像对表示为：
其中，i＝1，2...6，Dp(I，x，xi)表示6组图像对的均方欧氏距离之和，其中的每组图像对(x，xi)的均方欧氏距离为：以x为中心的图像块Ip(x)与以xi为中心的图像块Ip(xi)之间的均方欧氏距离；
其中，σ2是所有图像对的均方欧氏距离的期望值，即：
Figure FDA0003229968630000035
3-2)计算出所有的高斯核距离，定义模态无关邻域特征损失MIND为：
MIND＝[dgauss(I，x，xi)}，i＝1，2...6；
3-3)定义
Figure FDA0003229968630000036
为：
Figure FDA0003229968630000037
其中，N＝6。
9.根据权利要求8所述的无监督学习的医学图像配准方法，其特征在于，其中，LJet的表达式为：
Figure FDA0003229968630000038
其中，M是
Figure FDA0003229968630000039
中的全部元素总数，σ(·)表示一个线性激活函数，对所有正值都是线性的，负值全部为零；
Figure FDA00032299686300000310
代表形变场
Figure FDA00032299686300000311
的在位置p上的雅可比矩阵；
Figure FDA00032299686300000312
的表达式为：
Figure FDA0003229968630000041
10.一种无监督学习的医学图像配准系统，其特征在于，其采用如权利要求1-9中任意一项所述的方法进行医学图像配准。
CN202110984076.2A 2021-08-25 2021-08-25 无监督学习的医学图像配准方法及系统 Active CN113763441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110984076.2A CN113763441B (zh) 2021-08-25 2021-08-25 无监督学习的医学图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110984076.2A CN113763441B (zh) 2021-08-25 2021-08-25 无监督学习的医学图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN113763441A true CN113763441A (zh) 2021-12-07
CN113763441B CN113763441B (zh) 2024-01-26

Family

ID=78791279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984076.2A Active CN113763441B (zh) 2021-08-25 2021-08-25 无监督学习的医学图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN113763441B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN114445471A (zh) * 2022-01-26 2022-05-06 山东大学 基于多标准融合的多模态医学图像配准方法及系统
CN116051609A (zh) * 2023-01-18 2023-05-02 东北林业大学 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN116958217A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种mri与ct多模态3d自动配准方法及装置
WO2024082441A1 (zh) * 2022-10-21 2024-04-25 上海精劢医疗科技有限公司 基于深度学习的多模态影像配准方法、系统及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
US20190205766A1 (en) * 2018-01-03 2019-07-04 Siemens Healthcare Gmbh Medical Imaging Diffeomorphic Registration based on Machine Learning
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network
US20200146635A1 (en) * 2018-11-08 2020-05-14 General Electric Company System and method for unsupervised deep learning for deformable image registration
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN111524170A (zh) * 2020-04-13 2020-08-11 中南大学 一种基于无监督深度学习的肺部ct图像配准方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112802072A (zh) * 2021-02-23 2021-05-14 临沂大学 基于对抗学习的医学图像配准方法及系统
CN112967178A (zh) * 2021-03-08 2021-06-15 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质
US20210216878A1 (en) * 2018-08-24 2021-07-15 Arterys Inc. Deep learning-based coregistration

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190205766A1 (en) * 2018-01-03 2019-07-04 Siemens Healthcare Gmbh Medical Imaging Diffeomorphic Registration based on Machine Learning
US20210216878A1 (en) * 2018-08-24 2021-07-15 Arterys Inc. Deep learning-based coregistration
US20200074626A1 (en) * 2018-09-04 2020-03-05 The Trustees Of The University Of Pennsylvania Image Registration Using A Fully Convolutional Network
CN109299216A (zh) * 2018-10-29 2019-02-01 山东师范大学 一种融合监督信息的跨模态哈希检索方法和系统
US20200146635A1 (en) * 2018-11-08 2020-05-14 General Electric Company System and method for unsupervised deep learning for deformable image registration
CN110599528A (zh) * 2019-09-03 2019-12-20 济南大学 一种基于神经网络的无监督三维医学图像配准方法及系统
CN111242959A (zh) * 2020-01-15 2020-06-05 中国科学院苏州生物医学工程技术研究所 基于卷积神经网络的多模态医学图像的目标区域提取方法
CN111524170A (zh) * 2020-04-13 2020-08-11 中南大学 一种基于无监督深度学习的肺部ct图像配准方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112330724A (zh) * 2020-10-15 2021-02-05 贵州大学 一种基于集成注意力增强的无监督多模态图像配准方法
CN112802072A (zh) * 2021-02-23 2021-05-14 临沂大学 基于对抗学习的医学图像配准方法及系统
CN112967178A (zh) * 2021-03-08 2021-06-15 烟台艾睿光电科技有限公司 一种图像转换方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭艳芬，崔喆，杨智鹏: "基于深度学习的医学图像配准技术研究进展", 计算机工程与应用, vol. 57, no. 15, pages 1 - 8 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445471A (zh) * 2022-01-26 2022-05-06 山东大学 基于多标准融合的多模态医学图像配准方法及系统
CN114359360A (zh) * 2022-03-17 2022-04-15 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
CN114359360B (zh) * 2022-03-17 2022-06-10 成都信息工程大学 一种基于对抗的双向一致性约束医学图像配准算法
WO2024082441A1 (zh) * 2022-10-21 2024-04-25 上海精劢医疗科技有限公司 基于深度学习的多模态影像配准方法、系统及介质
CN116051609A (zh) * 2023-01-18 2023-05-02 东北林业大学 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN116051609B (zh) * 2023-01-18 2023-08-18 东北林业大学 一种基于带限变形傅里叶网络的无监督医学图像配准方法
CN116958217A (zh) * 2023-08-02 2023-10-27 德智鸿(上海)机器人有限责任公司 一种mri与ct多模态3d自动配准方法及装置
CN116958217B (zh) * 2023-08-02 2024-03-29 德智鸿(上海)机器人有限责任公司 一种mri与ct多模态3d自动配准方法及装置

Also Published As

Publication number Publication date
CN113763441B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN113763441A (zh) 无监督学习的医学图像配准方法及系统
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN107633522A (zh) 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
Sun et al. Super resolution reconstruction of images based on interpolation and full convolutional neural network and application in medical fields
CN116664397B (zh) TransSR-Net结构化图像超分辨重建方法
CN110197255A (zh) 一种基于深度学习的可变形卷积网络
CN114037714A (zh) 一种面向前列腺系统穿刺的3d mr与trus图像分割方法
CN108876716A (zh) 超分辨率重建方法及装置
CN113239749A (zh) 一种基于多模态联合学习的跨域点云语义分割方法
Guo et al. Multifeature extracting CNN with concatenation for image denoising
Shen et al. ICAFusion: Iterative cross-attention guided feature fusion for multispectral object detection
CN102013020A (zh) 用于合成人脸图像的方法和系统
CN115018999A (zh) 一种多机器人协作的稠密点云地图构建方法及装置
Zheng et al. Multi-strategy mutual learning network for deformable medical image registration
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
CN110599403B (zh) 一种具有良好高频视觉效果的图像超分辨率重建方法
CN115439669A (zh) 基于深度学习的特征点检测网络及跨分辨率图像匹配方法
CN105938615B (zh) 基于特征导向gmm和边缘图像的图像配准方法及系统
CN114092494A (zh) 一种基于超像素和全卷积神经网络的脑部mr图像分割方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统
Joshi et al. Efficient diffeomorphic image registration using multi-scale dual-phased learning
Shi et al. Self-parameterization based multi-resolution mesh convolution networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant