CN116958217B - 一种mri与ct多模态3d自动配准方法及装置 - Google Patents
一种mri与ct多模态3d自动配准方法及装置 Download PDFInfo
- Publication number
- CN116958217B CN116958217B CN202310969054.8A CN202310969054A CN116958217B CN 116958217 B CN116958217 B CN 116958217B CN 202310969054 A CN202310969054 A CN 202310969054A CN 116958217 B CN116958217 B CN 116958217B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- phi
- deformation field
- deformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013135 deep learning Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000001131 transforming effect Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 47
- 238000007667 floating Methods 0.000 claims description 42
- 238000002591 computed tomography Methods 0.000 claims description 40
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 37
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 5
- 230000000399 orthopedic effect Effects 0.000 claims description 5
- 238000011524 similarity measure Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000002610 neuroimaging Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 2
- 230000010365 information processing Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 208000020084 Bone disease Diseases 0.000 description 1
- 208000018084 Bone neoplasm Diseases 0.000 description 1
- 206010017076 Fracture Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000005437 stratosphere Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及医学图像配准技术领域，且公开了一种MRI与CT多模态3D自动配准方法，包括以下步骤：S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器。本发明解决了在骨科成像领域缺乏一个有针对性的MRI、CT自动配准工具的问题，且本发明利用窗体配准技术减少计算开销，借助深度学习提高匹配精度，能够快速得到高精度的腰椎MRI、CT融合图像。
Description
技术领域
本发明涉及医学图像配准技术领域，具体为一种MRI与CT多模态3D自动配准方法及装置。
背景技术
在诊断和治疗骨科疾病时，。其中，MRI提供了较好的软组织对比度和解剖信息，而CT显示了骨骼结构和钙化区域。因此，结合MRI和CT图像可以提供更全面和准确的信息，尤其是在进行骨折诊断、手术规划或骨肿瘤定位等方面。在现阶段，为了配准和融合不同对比度的多模态医学图像，Mimics、3D Slicer等医学软件被广泛应用。这些软件的存在一下缺陷：需要指定的输入格式，必须是同分辨率的图像对；使用传统配准算法，训练耗时长；配准图像的质量容易受到原始图像的形变和伪影的影响。
近几年来随着计算机视觉技术的快速发展，基于深度学习的图像配准方法开始应用于多模态医学图像配准领域。EasyReg、SynthMorph等基于深度学习的自动配准工具应运而生。这些软件工具大多使用无监督的卷积配准网络(CNN)来学习直接输出给定图像对的变形场的函数。不仅比传统配准算法高效(快一两个数量级)，而且还能兼容传统配准算法不支持的功能。例如，大范围形变配准、非刚性配准等。
然而，上述软件主要解决不同对比度的脑部MRI扫描的配准问题，无法直接应用于骨科多模态医学图像的配准。本发明针对上述问题，提出了完整的针对骨科影像学的，尤其是腰椎的MRI与CT多模态3D自动配准方法。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种MRI与CT多模态3D自动配准方法及装置。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种MRI与CT多模态3D自动配准方法，包括以下步骤：
S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；
S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；
S3：对深度学习配准网络进行双向训练；
S4：将预处理后的腰椎医学图像对(f,m)输入预训练得到的形变配准网络，得到形变场φ；
S5：基于形变场φ对浮动图像m进行三次样条插值变换，输出配准图像r与固定图像f；
S6：在解剖空间中融合并可视化深度学习配准网络输出的图像对；
S7：导出融合图像为常见的医学图像格式，作为骨科医疗诊断软件的输入。
优选的，所述S1中，自动预处理和仿射变换具体包括：
首先统一多模态医学图像的坐标轴方向和空间分辨率，多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT；
然后提取并匹配腰椎图像的解剖特征，基于各解刨特征的质心计算仿射配准。
优选的，所述S2中，构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；其中，形变配准网络的输入为预处理的固定图像f和浮动图像m组成的图像对，输出为图像对之间的正向形变场φ；所述正向空间变换器的输入为预处理的固定图像f和图像对之间的正向形变场φ，输出为配准图像r；所述逆向空间变换器的输入为正向空间变换器输出的配准图像r和正向形变场经反转形变后得到的逆向形变场φ'，输出为逆向图像
所述形变配准网络，包括编码模块、解码模块和残差连接模块；
其中，编码阶段使用卷积核大小为3、步长为2的3D卷积层，其中每个卷积层之后添加一个参数为0.2的LeakyReLU激活函数；并且在编码阶段，使用分层卷积将每一层的空间维度减小到一半，同时增加通道深度；
其中，解码阶段交替使用卷积层、上采样层和跳跃连接，将编码阶段学到的特征逐步传递到生成配准的层，在解码阶段的最后一层经过一个步长为1的卷积层和Sigmoid激活函数输出目标形变场φ；
其中，跳跃连接采用残差连接，以将来自编码阶段的不同水平信息合并到解码阶段的空间特征图上。
优选的，所述S3中，对深度学习配准网络进行双向训练的具体策略为：
正向训练形变配准网络，生成正向样本，然后逆向训练形变配准网络，生成逆向样本，随后对调固定图像f和浮动图像m的图像对，并不断重复；
总体损失包含由计算得到的正向样本相似度、逆向样本相似度、正向形变场φ的场平滑度、逆向形变场φ'的场平滑度，当误差曲线无限接近0附近时，模型收敛。
优选的，所述样本的具体训练方式为：
训练正向样本：随机选取预处理得到的固定图像f和浮动图像m的图像对，其中，固定图像f和浮动图像m分别是MRI、CT模态的3D腰椎图像；并将输入的浮动图像m空间变换成配准图像r，正向样本包括生成的配准图像r和输入的固定图像f；
训练逆向样本：将输出的配准图像r空间变换成逆向图像逆向样本包括生成的逆向图像/>和输入的浮动图像m；
所述深度学习的总体损失函数为：
L＝argmin w1Lφ+w2Lφ'；
其中，φ为正向形变场，φ'为逆向形变场，Lφ为正向相似损失函数，Lφ'为逆向相似度损失函数，w1、w2为每个损失函数的权重因子，在本发明中其值都为
所述正向相似损失函数Lφ为：
其中，表示浮动图像m被正向形变场φ变换后的配准图像r，函数/>度量固定图像f与配准图像r之间的图像相似性，本发明使用均方根误差作为相似度度量，函数Lsmooth(φ)计算正向形变场的平滑正则化，λ是正则化权衡参数，本发明使用L2正则化；
逆向相似损失函数Lφ'为：
其中，表示配准图像r被逆向形变场φ'变换后的逆向图像，函数/>度量浮动图像m与逆向图像/>之间的图像相似性，函数Lsmooth(φ')计算逆向形变场的平滑正则化，λ是L2正则化；
利用正向形变场φ计算逆向形变场φ'，其计算方式为：
其中，Inv_Field为逆向形变场，Field为正向形变场，p表示正向形变场的体素点，表示逆向形变场的像素点。
优选的，双向训练的具体策略，其具体训练方法为：
3-1)将浮动图像m和固定图像f输入形变配准网络，根据浮动图像m到固定图像f的体素对应关系得到形变场φ；
3-2)利用步骤3-1)得到的形变场φ和正向空间变换器的三次样条插值法对浮动图像m进行计算得到配准图像r，并利用正向形变场φ计算逆向形变场φ'；
3-3)利用逆向形变场φ'和逆向空间变换器的三次样条插值计算配准图像r的逆向图像
3-4)将逆向图像和浮动图像m的相似性度量RMSE，配准图像r和固定图像f的相似性度量RMSE，正向形变场φ的场平滑度，逆向形变场φ'的场平滑度组合成总体损失函数，以优化形变配准网络模型，完成一次双向训练；
3-5)将输入的图像对的位置对调，原固定图像f1变为现浮动图像m2，原浮动图像m1变为现固定图像f2，开始新一轮训练。
优选的，计算配准图像r的逆向图像其计算方式为：
其中，r为配准图像，p为浮配准图像的逆向图像中的像素点坐标位置，p'＝p+φ(p)为像素点p与其在形变场φ上的扭曲结果之和，q∈Z(p')为p'的邻域，d为迭代计算维度；p'd＝pd+φd(p)为维度空间d中的像素点p以及p在形变场上的扭曲结果之和，qd为维度空间d中像素点的邻域。
优选的，所述S6中，在解剖空间中融合配准后的图像对的策略是：对配准图像r和其对应的固定图像f进行体素别加权平均。
优选的，所述S7中，导出融合图像为常见的医学图像格式，具体包括：国际标准格式DICOM、神经影像学常见格式NIfTI、三维医学图像格式Analyze、多维图像数据MHA。
一种MRI与CT多模态3D自动配准装置，包括上述所述的MRI与CT多模态3D自动配准方法。
优选的，提供一种存储在存储器上并且可在处理器上运行的计算机程序，执行所述程序时实现上述的腰椎MRI和CT模态的3D图像的自动配准方法。
优选的，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实上述的腰椎MRI和CT模态的3D图像的自动配准方法。
(三)有益效果
与现有技术相比，本发明提供了一种MRI与CT多模态3D自动配准方法及装置，具备以下有益效果：
1、该一种MRI与CT多模态3D自动配准方法及装置，由于使用时不用重新训练深度配准网络，可以实现“开箱即用”配准髋关节的MRI与CT图像。
2、该一种MRI与CT多模态3D自动配准方法及装置，由于结合来传统配准技术和深度学习技术，利用传统配准技术处理较大的形变，然后用基于深度学习的非线性变换处理大形变。传统技术开销小，所以减少计算开销，提高实时性；深度学习又很准确，可以提高配准精确度。
3、该一种MRI与CT多模态3D自动配准方法及装置，由于支持多种医学图像格式的导出，包括DICOM、NIfTI和Analyze等，可以实现与骨科医疗分析软件的业务闭环。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明流程图；
图2为本发明原理框架图；
图3为本发明形变配准网络的网络结构图；
图4为本发明计算机设备的结构示意图。
图中：10、输入设备；11、主存储器；12、计算机信息处理过程；13、可视结果或指令；14、输出设备。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
本发明提供了一种MRI与CT多模态3D自动配准方法，如图1所示，包括如下步骤：
S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；
其中，预处理和仿射变换具体包括：
首先使用3DSlicer工具对MRI图像和CT图像进行坐标转换，将图像对统一到LPS解剖坐标系，并重新采样为256×256×256网格与1毫米各向同性体素；
其次使用ANTS软件包估计各ROI的质心，根据腰椎分段结构的质心来计算解剖空间的仿射配准；
标准化处理后，得到初步对齐的图像对(f,m)，任选其中一张作为固定图像f，另一张作为浮动图像m；
S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；
其中，形变配准网络是最主要的部分，用于生成固定图像f和浮动图像m间的形变场φ；
如图3所示，形变配准网络的编码阶段使用卷积核大小为3、步长为2的3D卷积层，其中每个卷积层之后添加一个参数为0.2的LeakyReLU激活函数；并且在编码阶段，使用分层卷积将每一层的空间维度减小到一半，同时增加通道深度；
其中，形变配准网络的解码阶段交替使用卷积层、上采样层和跳跃连接，将编码阶段学到的特征逐步传递到生成配准的层，在解码阶段的最后一层经过一个步长为1的卷积层和Sigmoid激活函数输出目标形变场φ；
其中，形变配准网络的跳跃连接采用残差连接，以将来自编码阶段的不同水平信息合并到解码阶段的空间特征图上；
S3：对深度学习配准网络进行双向训练；
本发明采用了微分同胚和互换图像对的训练策略，不仅同时考虑了正向训练的损失函数和逆向训练的损失函数，还考虑了不同模态图像的输入顺序对预测结果的影响；
首先正向训练形变配准网络，生成正向样本，然后逆向训练形变配准网络，生成逆向样本，随后对调固定图像f和浮动图像m的图像对，并不断重复；
其次设计总体损失包含由计算得到的正向样本相似度、逆向样本相似度、正向形变场φ的场平滑度、逆向形变场φ'的场平滑度，当误差曲线无限接近0附近时模型收敛，总体损失函数具体为：
L＝argmin w1Lφ+w2Lφ'；
其中，φ为正向形变场，φ'为逆向形变场场，Lφ为正向相似损失函数，Lφ'为逆向相似度损失函数，w1、w2为每个损失函数的权重因子，在本发明中其值都为
正向相似损失函数Lφ为：
其中，表示浮动图像m被正向形变场φ变换后的配准图像r，函数/>度量固定图像f与配准图像r之间的图像相似性，本发明使用均方根误差作为相似度度量，函数Lsmooth(φ)计算正向形变场的平滑正则化，λ是正则化权衡参数，本发明使用L2正则化；
逆向相似损失函数Lφ'为：
其中，表示配准图像r被逆向形变场φ'变换后的逆向图像，函数/>度量浮动图像m与逆向图像/>之间的图像相似性，函数Lsmooth(φ')计算逆向形变场的平滑正则化，λ是L2正则化；
本实施例中，如图2所示，在S3中，将训练样本集输入训练网络进行训练的具体步骤为：
3-1)将浮动图像m和固定图像f输入配准网络，根据浮动图像m到固定图像f的体素对应关系得到形变场φ，如图3所示；
3-2)利用S31得到的形变场和空间变换器的三次样条插值法对浮动图像进行计算得到配准图像，并利用形变场计算逆向形变场，其计算方式为：
其中，Inv_Field为逆向形变场，Field为正向形变场，p表示正向形变场的体素点，表示逆向形变场的像素点；
3-3)利用逆向形变场φ'和逆向空间变换器的三次样条插值计算配准图像r的逆向图像其计算方式为：
其中，r为配准图像，p为浮配准图像的逆向图像中的像素点坐标位置，p'＝p+φ(p)为像素点p与其在形变场φ上的扭曲结果之和，q∈Z(p')为p'的邻域，d为迭代计算维度；p'd＝pd+φd(p)为维度空间d中的像素点p以及p在形变场上的扭曲结果之和，qd为维度空间d中像素点的邻域；
3-4)将逆向图像和浮动图像m的相似性度量RMSE，配准图像r和固定图像f的相似性度量RMSE，正向形变场φ的场平滑度，逆向形变场φ'的场平滑度组合成总体损失函数，以优化形变配准网络模型，完成一次双向训练；
3-5)将输入的图像对的位置对调，原固定图像f1变为现浮动图像m2，原浮动图像m1变为现固定图像f2，开始新一轮训练；
S4：将预处理后的腰椎医学图像对(f,m)输入预训练得到的形变配准网络，得到形变场φ；
S5：基于形变场φ对浮动图像m进行三次样条插值变换，输出配准图像r与固定图像f；
S6：在解剖空间中融合并可视化深度学习配准网络输出的图像对；
其中，使用ITK图形处理库融合固定图像m和配准图像r，并可视化，具体方法为：
对配准图像r和其对应的固定图像f进行体素别加权平均；
S7：导出融合图像为常见的医学图像格式，作为骨科医疗诊断软件的输入。
其中包括，国际标准格式DICOM、神经影像学常见格式NIfTI、三维医学图像格式Analyze、多维图像数据MHA；
对于一种基于深度学习的MRI与CT多模态3D自动配准方法实施例而言，在获取CT和MRI模态的腰椎医学图像后对待配准CT图像和MRI三维医学图像采取深度学习方法配准网络，与其他传统配准方法相比，加强了网络的通道深度以及有关图像特征提取工作，故在自动配准任务方法上具有较强的实用性。
实施例2
在实施例1的基础上，本发明提供一种MRI与CT多模态3D自动配准装置，如图4所示，包括：输入设备10、主存储器11、计算机信息处理过程12、可视结果或指令13、输出设备14，各部分之间都在设备内部进行通信连接；
输入设备10和输出设备14用于连接输入/输出模块，以实现信息输入及输出。输入输出模块可以作为组件配置在设备中，也能够外接于设备以提供相应功能。其中，摄入设备可以包括键盘、鼠标﹑触摸屏、各类传感器等,输出设备可以包括显示器、指示灯等；
主存储器11可以采用只读存储器(ROM,read-only memory)、随机存取存储器(RAM，Random AccessMemory)静态存储设备,动态存储设备等形式实现。主存储器可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器11中,并由处理器11来调用执行；
计算机信息处理过程12是一个连续的循环，通过不断接收、存储、处理和输出数据，以实现计算机对各种信息的处理与应用；
关于装置实施例而言，实现一种基于深度学习的MRI与CT多模态3D自动配准方法的一个或多个功能的程序，在一个数字网络或者通过存储介质提供给系统或设备，并且该系统或设备的计算机采用处理器中的一个或多个处读取和执行程序的过程来实现，也可以由一个实现一个或多个功能的电路(如ASIC)来实现；
其中，在上述所需要的采用的信息处理器能够实现为独立的设备，且可以实现为能够相互通信以执行上述过程的多个设备的组合，整体都包括在本实施例中。其中信息处理装置和构成信息处理系统的多个装置能够以预定的信号传输频率进行信息处理；
其中，在本实施例中包括代码形式，实现上述实施方案功能的软件程序被提供给一个系统或设备，当设备中的计算机进行读取后将执行所提供的程序代码。根据计算机程序中的相关指令，能够在计算机上运行的操作系统或类似系统执行部分，实施例的功能依旧可以通过该处理实现。
Claims (7)
1.一种MRI与CT多模态3D自动配准方法，其特征在于，包括以下步骤：
S1：获取CT和MRI模态的腰椎医学图像并自动预处理和仿射变换；
自动预处理和仿射变换具体包括：
首先统一多模态医学图像的坐标轴方向和空间分辨率，多模态医学图像包括磁共振成像MRI、计算机断层扫描成像CT；
然后提取并匹配腰椎图像的解剖特征，基于各解刨特征的质心计算仿射配准；
S2：构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；
构建深度学习配准网络，包括形变配准网络、正向空间变换器和逆向空间变换器；其中，形变配准网络的输入为预处理的固定图像f和浮动图像m组成的图像对，输出为图像对之间的正向形变场φ；所述正向空间变换器的输入为预处理的固定图像f和图像对之间的正向形变场φ，输出为配准图像r；所述逆向空间变换器的输入为正向空间变换器输出的配准图像r和正向形变场经反转形变后得到的逆向形变场φ'，输出为逆向图像
所述形变配准网络，包括编码模块、解码模块和残差连接模块；
其中，编码阶段使用卷积核大小为3、步长为2的3D卷积层，其中每个卷积层之后添加一个参数为0.2的LeakyReLU激活函数；并且在编码阶段，使用分层卷积将每一层的空间维度减小到一半，同时增加通道深度；
其中，解码阶段交替使用卷积层、上采样层和跳跃连接，将编码阶段学到的特征逐步传递到生成配准的层，在解码阶段的最后一层经过一个步长为1的卷积层和Sigmoid激活函数输出目标形变场φ；
其中，跳跃连接采用残差连接，以将来自编码阶段的不同水平信息合并到解码阶段的空间特征图上；
S3：对深度学习配准网络进行双向训练；
对深度学习配准网络进行双向训练的具体策略为：
正向训练形变配准网络，生成正向样本，然后逆向训练形变配准网络，生成逆向样本，随后对调固定图像f和浮动图像m的图像对，并不断重复；
总体损失包含由计算得到的正向样本相似度、逆向样本相似度、正向形变场φ的场平滑度、逆向形变场φ'的场平滑度，当误差曲线无限接近0附近时，模型收敛；
S4：将预处理后的腰椎医学图像对(f,m)输入预训练得到的形变配准网络，得到形变场φ；
S5：基于形变场φ对浮动图像m进行三次样条插值变换，输出配准图像r与固定图像f；
S6：在解剖空间中融合并可视化深度学习配准网络输出的图像对；
S7：导出融合图像为常见的医学图像格式，作为骨科医疗诊断软件的输入。
2.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述样本的具体训练方式为：
训练正向样本：随机选取预处理得到的固定图像f和浮动图像m的图像对，其中，固定图像f和浮动图像m分别是MRI、CT模态的3D腰椎图像；并将输入的浮动图像m空间变换成配准图像r，正向样本包括生成的配准图像r和输入的固定图像f；
训练逆向样本：将输出的配准图像r空间变换成逆向图像逆向样本包括生成的逆向图像/>和输入的浮动图像m；
所述深度学习的总体损失函数为：
L＝argmin w1Lφ+w2Lφ；
其中，φ为正向形变场，φ'为逆向形变场，Lφ为正向相似损失函数，Lφ，为逆向相似度损失函数，w1、w2为每个损失函数的权重因子，在本发明中其值都为
所述正向相似损失函数Lφ为：
其中，表示浮动图像m被正向形变场φ变换后的配准图像r，函数/>度量固定图像f与配准图像r之间的图像相似性，本发明使用均方根误差作为相似度度量，函数Lsmooth(φ)计算正向形变场的平滑正则化，λ是正则化权衡参数，本发明使用L2正则化；
逆向相似损失函数Lφ，为：
其中，表示配准图像r被逆向形变场φ'变换后的逆向图像，函数/>度量浮动图像m与逆向图像/>之间的图像相似性，函数Lsmooth(φ')计算逆向形变场的平滑正则化，λ是L2正则化；
利用正向形变场φ计算逆向形变场φ'，其计算方式为：
其中，Inv_Field为逆向形变场，Field为正向形变场，p表示正向形变场的体素点，表示逆向形变场的像素点。
3.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：双向训练的具体策略，其具体训练方法为：
3-1)将浮动图像m和固定图像f输入形变配准网络，根据浮动图像m到固定图像f的体素对应关系得到形变场φ；
3-2)利用步骤3-1)得到的形变场φ和正向空间变换器的三次样条插值法对浮动图像m进行计算得到配准图像r，并利用正向形变场φ计算逆向形变场φ'；
3-3)利用逆向形变场φ'和逆向空间变换器的三次样条插值计算配准图像r的逆向图像
3-4)将逆向图像和浮动图像m的相似性度量RMSE，配准图像r和固定图像f的相似性度量RMSE，正向形变场φ的场平滑度，逆向形变场φ'的场平滑度组合成总体损失函数，以优化形变配准网络模型，完成一次双向训练；
3-5)将输入的图像对的位置对调，原固定图像f1变为现浮动图像m2，原浮动图像m1变为现固定图像f2，开始新一轮训练。
4.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：计算配准图像r的逆向图像其计算方式为：
其中，r为配准图像，p为浮配准图像的逆向图像中的像素点坐标位置，p'＝p+φ(p)为像素点p与其在形变场φ上的扭曲结果之和，q∈Z(p')为p'的邻域，d为迭代计算维度；p'd＝pd+φd(p)为维度空间d中的像素点p以及p在形变场上的扭曲结果之和，qd为维度空间d中像素点的邻域。
5.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述S6中，在解剖空间中融合配准后的图像对的策略是：对配准图像r和其对应的固定图像f进行体素别加权平均。
6.根据权利要求1所述的一种MRI与CT多模态3D自动配准方法，其特征在于：所述S7中，导出融合图像为常见的医学图像格式，具体包括：国际标准格式DICOM、神经影像学常见格式NIfTI、三维医学图像格式Analyze、多维图像数据MHA。
7.一种MRI与CT多模态3D自动配准装置，其特征在于：包括上述权利要求1-6任一项所述的MRI与CT多模态3D自动配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969054.8A CN116958217B (zh) | 2023-08-02 | 2023-08-02 | 一种mri与ct多模态3d自动配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310969054.8A CN116958217B (zh) | 2023-08-02 | 2023-08-02 | 一种mri与ct多模态3d自动配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958217A CN116958217A (zh) | 2023-10-27 |
| CN116958217B true CN116958217B (zh) | 2024-03-29 |
Family
ID=88461806
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310969054.8A Active CN116958217B (zh) | 2023-08-02 | 2023-08-02 | 一种mri与ct多模态3d自动配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958217B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767463A (zh) * | 2021-01-12 | 2021-05-07 | 深圳大学 | 一种对抗配准方法、装置、计算机设备及存储介质 |
| CN113763441A (zh) * | 2021-08-25 | 2021-12-07 | 中国科学院苏州生物医学工程技术研究所 | 无监督学习的医学图像配准方法及系统 |
| CN114332018A (zh) * | 2021-12-29 | 2022-04-12 | 大连理工大学 | 一种基于深度学习与轮廓特征的医学图像配准方法 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| CN114648562A (zh) * | 2022-03-18 | 2022-06-21 | 重庆大学附属肿瘤医院 | 基于深度学习网络的医学图像配准方法 |
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
| WO2022199135A1 (zh) * | 2021-03-26 | 2022-09-29 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法 |
| CN115578427A (zh) * | 2022-09-28 | 2023-01-06 | 东华大学 | 基于深度学习的无监督单模态医学图像配准方法 |
| CN116051609A (zh) * | 2023-01-18 | 2023-05-02 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
-
2023
- 2023-08-02 CN CN202310969054.8A patent/CN116958217B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767463A (zh) * | 2021-01-12 | 2021-05-07 | 深圳大学 | 一种对抗配准方法、装置、计算机设备及存储介质 |
| WO2022151586A1 (zh) * | 2021-01-12 | 2022-07-21 | 深圳大学 | 一种对抗配准方法、装置、计算机设备及存储介质 |
| WO2022193750A1 (zh) * | 2021-03-16 | 2022-09-22 | 深圳先进技术研究院 | 一种基于深度学习的乳腺图像配准方法 |
| WO2022199135A1 (zh) * | 2021-03-26 | 2022-09-29 | 中国科学院深圳先进技术研究院 | 一种基于深度学习的仰卧位和俯卧位乳腺图像配准方法 |
| CN113763441A (zh) * | 2021-08-25 | 2021-12-07 | 中国科学院苏州生物医学工程技术研究所 | 无监督学习的医学图像配准方法及系统 |
| CN114332018A (zh) * | 2021-12-29 | 2022-04-12 | 大连理工大学 | 一种基于深度学习与轮廓特征的医学图像配准方法 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| CN114648562A (zh) * | 2022-03-18 | 2022-06-21 | 重庆大学附属肿瘤医院 | 基于深度学习网络的医学图像配准方法 |
| CN115578427A (zh) * | 2022-09-28 | 2023-01-06 | 东华大学 | 基于深度学习的无监督单模态医学图像配准方法 |
| CN116051609A (zh) * | 2023-01-18 | 2023-05-02 | 东北林业大学 | 一种基于带限变形傅里叶网络的无监督医学图像配准方法 |
Non-Patent Citations (3)
| Title |
|---|
| 吴茜 ; 皮一飞 ; 周解平 ; .CT/MRI混合配准方法及其在放疗计划系统中的应用.中国医学物理学杂志.2020,(第09期),全文. * |
| 张家岗 ; 李达平 ; 杨晓东 ; 邹茂扬 ; 吴锡 ; 胡金蓉 ; .基于深度卷积特征光流的形变医学图像配准算法.计算机应用.2020,(第06期),全文. * |
| 王松伟 ; 赵秋阳 ; 王宇航 ; 饶小平 ; .基于深度学习的脑片图像区域划分方法.计算机应用.2020,(第04期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958217A (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
| CN107886508B (zh) | 差分减影方法和医学图像处理方法及系统 | |
| Van Uitert et al. | Subvoxel precise skeletons of volumetric data based on fast marching methods | |
| US8437521B2 (en) | Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN110914866A (zh) | 用于在图像分析中进行解剖结构分割的系统和方法 | |
| US20090180675A1 (en) | System and method for image based multiple-modality cardiac image alignment | |
| CN110036409B (zh) | 使用联合深度学习模型进行图像分割的系统和方法 | |
| CN110363802B (zh) | 基于自动分割和骨盆对齐的前列腺图像配准系统及方法 | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| CN114359360B (zh) | 一种基于对抗的双向一致性约束医学图像配准算法 | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN112102294A (zh) | 生成对抗网络的训练方法及装置、图像配准方法及装置 | |
| CN111584066B (zh) | 基于卷积神经网络与对称信息的脑部医学影像诊断方法 | |
| CN114387317B (zh) | Ct图像和mri三维图像的配准方法、装置 | |
| CN115512110A (zh) | 一种涉及跨模态注意力机制的医学图像肿瘤分割方法 | |
| CN115861656A (zh) | 用于自动处理医学图像以输出警报的方法、设备和系统 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| US9224229B2 (en) | Process and apparatus for data registration | |
| CN116958217B (zh) | 一种mri与ct多模态3d自动配准方法及装置 | |
| CN115115900A (zh) | 图像重建模型的训练方法、装置、设备、介质及程序产品 | |
| CN111932443A (zh) | 多尺度表达结合造影剂提升超声与磁共振配准精度的方法 | |
| Béala et al. | Contrast-agnostic deep learning–based registration pipeline: Validation in spinal cord multimodal MRI data | |
| CN113850710B (zh) | 一种跨模态医学影像精准转换方法 | |
| CN117710233B (zh) | 一种内窥图像的景深扩展方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |