CN112102373A - 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 - Google Patents
一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 Download PDFInfo
- Publication number
- CN112102373A CN112102373A CN202010742845.3A CN202010742845A CN112102373A CN 112102373 A CN112102373 A CN 112102373A CN 202010742845 A CN202010742845 A CN 202010742845A CN 112102373 A CN112102373 A CN 112102373A
- Authority
- CN
- China
- Prior art keywords
- image
- affine
- label
- fixed
- carotid artery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 49
- 210000001715 carotid artery Anatomy 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 238000006073 displacement reaction Methods 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 8
- 238000007667 floating Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 8
- 238000000844 transformation Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000005452 bending Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 3
- 210000001367 artery Anatomy 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005481 NMR spectroscopy Methods 0.000 claims description 2
- 238000002583 angiography Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 239000003963 antioxidant agent Substances 0.000 description 4
- 230000003078 antioxidant effect Effects 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000007306 turnover Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004614 tumor growth Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，将医学图像数据输入卷积网络中，并将固定图像以及移动图像输入到训练好的网络中，获得可变性位移变形场DVF(Deformable vector field)，在获得DVF的基础上，引入强约束形的仿射模块，用以获得全局性的仿射变换，将DVF和仿射变换结合获得新的网格DA grid(DVF和仿射变换结合网格)。本发明利用神经网络训练产生可变性形变场之外，在同一网络模型当中得到基于全局性的仿射变形，提高了图像配准的速度和精度。
Description
技术领域
本发明涉及医学图像配准领域，涉及一种利用深度学习进行多模态医学图像的配准方法。
背景技术
通过图像配准建立图像对应关系是许多临床任务的关键，如图像融合、器官图谱创建和肿瘤生长监测等。随着医学成像技术的发展进步，出现了大量的医学成像设备。这些成像设备为人们提供了各种模态的医学图像，如：CT、MRI、X射线等。不同模态的医学图像所提供的解剖结构和器官组织信息各不相同，两者进行融合才能提供更加全面的诊断信息。
多模态医学图像配准是将一个或者多个模态的医学图像寻找一种空间变换的对应关系，使得它们和另一模态图像上的对应点空间上达到一致。
传统的医学图像配准可以分为两大类：基于灰度和基于特征的配准方法。基于灰度的配准方法是指利用图像灰度信息作为依据进行配准的方法，例如互信息法、梯度信息法等。基于特征的配准方法又分为基于外部特征和基于内部特征的配准方法。利用体素强度的配准方法由于没有考虑图像的局部结构特征，用迭代优化的方式搜寻最优参数的，导致其处理速度相当慢，很难应用于实时化场景。基于特征的图像配准方法，是提取参考图像与待配准图像中不变的特征，列如边缘点、闭区域中心等，仅需提取少量的图像特征大幅度提高了配准速率，但配准精度对特征的提取更加敏感，该方法难以提供精确的配准结果。
随着深度学习应用与不同的技术领域，医学成像研究界开发了基于深度学习的方法，并在许多应用中达到了最先进的水平，包括图像配准。深度学习被成功地用于提高基于配准的迭代和强度，利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化，该方法只利用了深度学习进行相似性度量，仍然需要传统配准方法进行迭代优化，没有充分发挥深度学习的优势，花费时间长，难以实现实时配准。现今直接利用神经网络预测转换参数，实现端到端的图像配准，方法有深度迭代配准、监督变换估计和无监督变换估计。然而，利用深度学习进行多模态配准大多利用神经网络获得可变形的形变场，未能充分发挥优势。
发明内容
为了克服现现有技术的缺陷，本发明提供了一种基于可变性变形和强约束仿射变形的多模态颈动脉MRI配准方法，利用神经网络训练产生可变性形变场之外，在同一网络模型当中得到基于全局性的仿射变形，提高了图像配准的速度和精度。
本发明解决其技术问题所采用的技术方案是：
一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，所述方法包括以下步骤：
(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像(T1GD)，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像，并分别标注出两序列对应的颈动脉标签；
(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数；
(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。
进一步，所述步骤(1)中，数据选取包括以下步骤：
(1.1)图像预处理：将图像统一进行偏移场纠正后进行重采样，获得体素大小为0.6*0.6*0.6的数据。在重采样的基础上我们进行图像裁剪，以获得同样大小的图像，过程为：
(1.1.1)将两模态的图像进行左右，前后和上下裁剪，以扩增数据，裁剪过程要考虑不同模态对应点的空间信息匹配关系；
(1.1.2)由于浮动图像的图像定位的空间坐标系统使用RAS(Right,Anterior,Superior)，固定图像所用为RAI(Right,Anterior,Inferior)，即两序列图像对于空间位置坐标为：
fixed(x,y,z)＝moving(x,-z,y)
其中，moving(x,-z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示，这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z)。所以需要对移动图像进行装置翻转的相关操作，将转化moving(x,-z,y)为moving(x,y,z)，以满足网络训练时的像素点匹配的基本要求；
(1.2)颈动脉标签的标注：利用标注软件ITK-SNAP标注出颈动脉两个序列MRI图中的血管部位。
再进一步，所述步骤(2)中，网络训练包括以下步骤：
(2.1)多特征输入限制型仿射模型结构设计：
输入移动和固定图像，在输入网络前进如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作：
其中a为移动图像和固定图像的像素点总数，
为拼接符号；
(2.1.1)利用串行卷积的多特征输入预测融合：
串行的结构可以在每一卷积层之间获得不一样抽象特征，仿射变形和可变性变形共享下采样结构，我们在下采样和上采样的卷积层之间引入仿射层的输入，这样就可以充分利用不同层的特征参数，将其线性投影为仿射矩阵，预测更加准确的仿射变形；
在输出的三个仿射变形后，将其分别于可变形网格(deformable grid)结合，并进行相关的权重化的融合，仿射层C1，仿射层C2，仿射层C3分别对应的权重大小为0.2,0.3,0.5，这样对于高特征量的输入仿射层，占比更大，参数利用效果更高。最后获得DA grid(可变形网格Deformable grid和仿射网格Affine grid的结合网格)进行图像配准；
(2.1.2)强约束解决网络训练尺度不平衡的初始化以及适应性的仿射变形：
对于仿射矩阵的训练过程进行强约束，来约束该变化矩阵，防止训练过程中过度的仿射变形导致损失函数出现异常，解决了网络训练尺度不平衡的初始化问题；
仿射变换层由一个全连接层实现，用于回归变换参数，得到单个12神经元密集层，分别表示平移、旋转、缩放和剪切的三维仿射变换参数，假设把卷积后输入仿射层设为x，那么Am×n＝affine(X,W,b)＝Xm×kWk×n+b1×n，初始化权重Wk×n为随机正太分布，而
对Xm×kWk×n进行强约束，
其中-r≤aij≤r,(i＝1,2,3,j＝1,2,3,4)，r为约束值，这样就可以对该矩阵每一参数进行强约束，并且每个仿射层约束值不同，用以增加仿射预测的可变范围，不同配准的数据也可以设置自己的约束值，以便获得适应性的仿射变形；
(2.2)损失函数的确定：
利用dice作为loss来保证颈动脉的配准效果，在固定图像标签和移动图像标签经过DA grid后获得的弯曲图像标签，用以计算动脉形变：
其中N为标签的体素数量总和，ai,bi分别为固定图像标签和弯曲图像标签的二进制标签，为了避免异常，动脉形变损失Lad确定为：
利用弯曲能(bending energy)作为正则惩罚项保证网格的平滑度：
其中V为图像域的体素数量，对于仿射变换，这个正则化项是零，因此只惩罚可变性变换；
针对颈动脉图像的特点，将两序列间不同模态间分岔处的关键点进行标注，计算获得两标注点距离引入loss函数中：
其中S为分岔处关键点总数，Ifi和Imi分别为对应固定图像和移动图像的分岔关键点空间坐标。
最终获得loss为：
Loss＝Lad+αLbe+Ldistance
α为正则超参数。
更进一步，所述步骤(3)中，经过步骤(1)和(2)所述，通过训练得到配准后的模型，虽然训练需要移动图像，固定图像和它们对应的颈动脉标签，但验证过程只需要一对未标记的移动和固定图像，首先需要恢复训练的网络以便用于预测DA grid和训练的权重参数，然后通过配准图像计算获得两个模态之间的DA grid，最后通过DA grid和移动图像获得弯曲图像。
本发明的技术构思是：本发明所依据的数据基础是颈动脉的多模态磁共振成像数据，本发明的创新点在于依据深度学习神经网络的训练来获得基于像素的可变形位移场和利用强约束获得基于全局的仿射位移场结合，通过dice作为损失函数，来保证输出的可靠性。
总体而言，本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
首先，与传统的配准方法相比，传统的配准方法往往只利用图像的特征和灰度信息，往往配准时间长，配准精度不佳，而本发明方法利用深度学习，从数据中训练以获得配准模型，调用网络在几秒时间即可完成配准，并且能保证配准精度。其次，该方法与深度学习的配准方法相比，在实现可变性配准和仿射配准，网络特征参数利用率更高，网络结构简单，整体框架简洁，训练简单，易于实现。
附图说明
图1(a)为本发明的原始数据图像的移动图像；
图1(b)为本发明的原始数据图像的固定图像；
图2为本发明提供的配准方法示意图；
图3(a)为本发明配准后的弯曲图像；
图3(b)为本发明配准后网络输出的网格图像；
图3(c)为本发明颈动脉配准前后标签叠加图像。
具体实施方式
为了使本发明的技术细节和有点更加清楚，以下将结合附图，对本发明进一步详细说明。
参照图1～图3，一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，包括以下步骤：
(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像(T1GD)，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像。并分别标注出两序列对应的颈动脉标签。如图1所示为本发明实施例所用的颈动脉图像
步骤(1)的数据选择包括以下步骤：
(1.2)图像预处理：将图像统一进行偏移场纠正后进行重采样，获得体素大小为0.6*0.6*0.6的数据。在重采样的基础上我们进行图像裁剪，以获得同样大小的图像，过程为：
(1.1.3)将两模态的图像进行左右，前后和上下裁剪，以扩增数据，裁剪过程要考虑不同模态对应点的空间信息匹配关系；
(1.1.4)由于浮动图像的图像定位的空间坐标系统使用RAS(Right,Anterior,Superior)，固定图像所用为RAI(Right,Anterior,Inferior)，即两序列图像对于空间位置坐标为：
fixed(x,y,z)＝moving(x,-z,y)
其中，moving(x,-z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示，这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z)。所以需要对移动图像进行装置翻转的相关操作，将转化moving(x,-z,y)为moving(x,y,z)，以满足网络训练时的像素点匹配的基本要求；
(1.2)颈动脉标签的标注：利用标注软件ITK-SNAP标注出颈动脉两个序列MRI图中的血管部位；
(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数。如图2所示为本发明实施例步骤(2)提供的网络训练配准方法的示意图。
步骤(2)的网络训练，包括以下步骤：
(2.1)多特征输入限制型仿射模型结构设计：
输入移动和固定图像，在输入网络前进如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作：
其中a为移动图像和固定图像的像素点总数，
为拼接符号；
(2.1.1)利用串行卷积的多特征输入预测融合：
串行的结构可以在每一卷积层之间获得不一样抽象特征，仿射变形和可变性变形共享下采样结构，我们在下采样和上采样的卷积层之间引入仿射层的输入，这样就可以充分利用不同层的特征参数，将其线性投影为仿射矩阵，预测更加准确的仿射变形；
在输出的三个仿射变形后，将其分别于可变形网格(deformable grid)结合，并进行相关的权重化的融合，仿射层C1，仿射层C2，仿射层C3分别对应的权重大小为0.2,0.3,0.5，这样对于高特征量的输入仿射层，占比更大，参数利用效果更高，最后获得DA grid(Deformable grid和Affine grid的结合grid)进行图像配准；
(2.1.2)强约束解决尺度不平衡的初始化以及适应性的仿射变形：
对于仿射矩阵的训练过程进行强约束，来约束该变化矩阵，防止训练过程中过度的仿射变形导致损失函数出现异常；
仿射变换层由一个全连接层实现，用于回归变换参数，得到单个12神经元密集层，分别表示平移、旋转、缩放和剪切的三维仿射变换参数。假设把卷积后输入仿射层设为x，那么Am×n＝affine(X,W,b)＝Xm×kWk×n+b1×n,初始化权重Wk×n为随机正太分布，而
对Xm×kWk×n进行强约束，
其中-r≤aij≤r,(i＝1,2,3,j＝1,2,3,4)，r为约束值，这样就可以对该矩阵每一参数进行强约束，并且每个仿射层约束值不同，用以增加仿射预测的可变范围，不同配准的数据也可以设置自己的约束值，以便获得适应性的仿射变形；
(2.2)损失函数的确定：
利用dice作为loss来保证颈动脉的配准效果，在固定图像标签和移动图像标签经过DA grid后获得的弯曲图像标签，用以计算动脉形变：
其中N为标签的体素数量总和，ai,bi分别为固定图像标签和弯曲图像标签的二进制标签。为了避免异常，动脉形变损失Lad确定为：
利用弯曲能(bending energy)作为正则惩罚项保证网格的平滑度：
其中V为图像域的体素数量，对于仿射变换，这个正则化项是零，因此只惩罚可变性变换；
针对颈动脉图像的特点，将两序列间不同模态间分岔处的关键点进行标注，计算获得两标注点距离引入loss函数中：
其中S为分岔处关键点总数，Ifi和Imi分别为对应固定图像和移动图像的分岔关键点空间坐标；
最终获得loss为：
Loss＝Lad+αLbe+Ldistance
α为正则超参数；
(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。
如图3所示为本发明实施例步骤(3)获得的配准图像，其中图3(a)为弯曲图像，图3(b)为网络输出的网格。
为了更加直观的显示图像配准，为更直观地显示本发明的配准效果，我们提供了采用配准前后的标签叠加图显示配准效果，如图3(c)所示配准图像的视觉效果图，图的左边为配准前颈动脉标签的T1GD标签和TOF标签的叠加图，图的右边边为配准前颈动脉标签的T1GD标签和TOF标签的叠加图。
以上所述为本发明给出的实施案例，展示了一种基于深度学习的三维医学图像配准方法，显然本发明不只是限于上述实施例，在不偏离本发明基本精神及不超出本发明实质内容所涉及范围的前提下对其可作种种变形加以实施。本发明所提出的配准方案对多模态颈动脉医学图像是有效的，很好地达到像素间的对齐配准，从而方便医生后续的诊疗判断。本领域的技术人员容易理解，前面所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述方法包括以下步骤：
(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像，并分别标注出两序列对应的颈动脉标签；
(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数；
(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。
2.如权利要求1所述的一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述步骤(1)中，数据选取包括以下步骤：
(1.1)图像预处理：将图像统一进行偏移场纠正后进行重采样，获得体素大小为0.6*0.6*0.6的数据，在重采样的基础上我们进行图像裁剪，以获得同样大小的图像，过程为：
(1.1.1)将两模态的图像进行左右，前后和上下裁剪，以扩增数据，裁剪过程要考虑不同模态对应点的空间信息匹配关系；
(1.1.2)由于浮动图像的图像定位的空间坐标系统使用RAS，固定图像所用为RAI，即两序列图像对于空间位置坐标为：
fixed(x,y,z)＝moving(x,-z,y)
其中，moving(x,-z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示，这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z)，所以需要对移动图像进行装置翻转的相关操作，将转化moving(x,-z,y)为moving(x,y,z)，以满足网络训练时的像素点匹配的基本要求；
(1.2)颈动脉标签的标注：利用标注软件ITK-SNAP标注出颈动脉两个序列MRI图中的血管部位。
3.如权利要求1或2所述的基一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述步骤(2)中，网络训练包括以下步骤：
(2.1)多特征输入限制型仿射模型结构设计：
输入移动和固定图像，在输入网络前进如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作：
其中a为移动图像和固定图像的像素点总数，
为拼接符号；
(2.1.1)利用串行卷积的多特征输入预测融合：
串行的结构可以在每一卷积层之间获得不一样抽象特征，仿射变形和可变性变形共享下采样结构，我们在下采样和上采样的卷积层之间引入仿射层的输入，这样就可以充分利用不同层的特征参数，将其线性投影为仿射矩阵，预测更加准确的仿射变形；
在输出的三个仿射变形后，将其分别于可变形网格结合，并进行相关的权重化的融合，仿射层C1，仿射层C2，仿射层C3分别对应的权重大小为0.2,0.3,0.5，这样对于高特征量的输入仿射层，占比更大，参数利用效果更高，最后获得DA grid进行图像配准；
(2.1.2)强约束解决网络训练尺度不平衡的初始化以及适应性的仿射变形：
对于仿射矩阵的训练过程进行强约束，来约束该变化矩阵，防止训练过程中过度的仿射变形导致损失函数出现异常，解决了网络训练尺度不平衡的初始化问题；
仿射变换层由一个全连接层实现，用于回归变换参数，得到单个12神经元密集层，分别表示平移、旋转、缩放和剪切的三维仿射变换参数，假设把卷积后输入仿射层设为x，那么Am×n＝affine(X,W,b)＝Xm×kWk×n+b1×n，初始化权重Wk×n为随机正太分布，而
对Xm×kWk×n进行强约束，
其中-r≤aij≤r,(i＝1,2,3,j＝1,2,3,4)，r为约束值，这样就可以对该矩阵每一参数进行强约束，并且每个仿射层约束值不同，用以增加仿射预测的可变范围，不同配准的数据也可以设置自己的约束值，以便获得适应性的仿射变形；
(2.2)损失函数的确定：
利用dice作为loss来保证颈动脉的配准效果，在固定图像标签和移动图像标签经过DAgrid后获得的弯曲图像标签，用以计算动脉形变：
其中N为标签的体素数量总和，ai,bi分别为固定图像标签和弯曲图像标签的二进制标签，为了避免异常，动脉形变损失Lad确定为：
利用弯曲能(bending energy)作为正则惩罚项保证网格的平滑度：
其中V为图像域的体素数量，对于仿射变换，这个正则化项是零，因此只惩罚可变性变换；
针对颈动脉图像的特点，将两序列间不同模态间分岔处的关键点进行标注，计算获得两标注点距离引入loss函数中：
其中S为分岔处关键点总数，Ifi和Imi分别为对应固定图像和移动图像的分岔关键点空间坐标；
最终获得loss为：
Loss＝Lad+αLbe+Ldistance
α为正则超参数。
4.如权利要求1或2所述的一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述步骤(3)中，经过步骤(1)和(2)所述，通过训练得到配准后的模型，虽然训练需要移动图像，固定图像和它们对应的颈动脉标签，但验证过程只需要一对未标记的移动和固定图像，首先需要恢复训练的网络以便用于预测DA grid和训练的权重参数，然后通过配准图像计算获得两个模态之间的DA grid，最后通过DA grid和移动图像获得弯曲图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742845.3A CN112102373A (zh) | 2020-07-29 | 2020-07-29 | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010742845.3A CN112102373A (zh) | 2020-07-29 | 2020-07-29 | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102373A true CN112102373A (zh) | 2020-12-18 |
Family
ID=73749817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010742845.3A Pending CN112102373A (zh) | 2020-07-29 | 2020-07-29 | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102373A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012207A (zh) * | 2021-03-23 | 2021-06-22 | 北京安德医智科技有限公司 | 一种图像配准方法和装置 |
| CN113112534A (zh) * | 2021-04-20 | 2021-07-13 | 安徽大学 | 一种基于迭代式自监督的三维生物医学图像配准方法 |
| CN113269815A (zh) * | 2021-05-14 | 2021-08-17 | 中山大学肿瘤防治中心 | 一种基于深度学习的医学图像配准方法及终端 |
| CN113450394A (zh) * | 2021-05-19 | 2021-09-28 | 浙江工业大学 | 一种基于Siamese网络的异尺寸图像配准方法 |
| CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| CN113724301A (zh) * | 2021-04-23 | 2021-11-30 | 天津师范大学 | 一种基于互卷积的生物组织透射图像配准系统 |
| CN113724307A (zh) * | 2021-09-02 | 2021-11-30 | 深圳大学 | 基于特征自校准网络的图像配准方法、装置及相关组件 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| CN117994303A (zh) * | 2023-12-29 | 2024-05-07 | 磅客策(上海)智能医疗科技有限公司 | 基于前列腺mr图像分割结果的多模态配准方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194956A (zh) * | 2017-05-16 | 2017-09-22 | 山东大学 | 一种非刚性医学图像配准方法 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及系统 |
| US20200184660A1 (en) * | 2018-12-11 | 2020-06-11 | Siemens Healthcare Gmbh | Unsupervised deformable registration for multi-modal images |
-
2020
- 2020-07-29 CN CN202010742845.3A patent/CN112102373A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194956A (zh) * | 2017-05-16 | 2017-09-22 | 山东大学 | 一种非刚性医学图像配准方法 |
| US20200184660A1 (en) * | 2018-12-11 | 2020-06-11 | Siemens Healthcare Gmbh | Unsupervised deformable registration for multi-modal images |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110599528A (zh) * | 2019-09-03 | 2019-12-20 | 济南大学 | 一种基于神经网络的无监督三维医学图像配准方法及系统 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012207A (zh) * | 2021-03-23 | 2021-06-22 | 北京安德医智科技有限公司 | 一种图像配准方法和装置 |
| CN113112534A (zh) * | 2021-04-20 | 2021-07-13 | 安徽大学 | 一种基于迭代式自监督的三维生物医学图像配准方法 |
| CN113112534B (zh) * | 2021-04-20 | 2022-10-18 | 安徽大学 | 一种基于迭代式自监督的三维生物医学图像配准方法 |
| CN113724301A (zh) * | 2021-04-23 | 2021-11-30 | 天津师范大学 | 一种基于互卷积的生物组织透射图像配准系统 |
| CN113724301B (zh) * | 2021-04-23 | 2023-09-08 | 天津师范大学 | 一种基于互卷积的生物组织透射图像配准系统 |
| CN113269815A (zh) * | 2021-05-14 | 2021-08-17 | 中山大学肿瘤防治中心 | 一种基于深度学习的医学图像配准方法及终端 |
| CN113450394A (zh) * | 2021-05-19 | 2021-09-28 | 浙江工业大学 | 一种基于Siamese网络的异尺寸图像配准方法 |
| CN113450397A (zh) * | 2021-06-25 | 2021-09-28 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| CN113450397B (zh) * | 2021-06-25 | 2022-04-01 | 广州柏视医疗科技有限公司 | 基于深度学习的图像形变配准方法 |
| CN113724307A (zh) * | 2021-09-02 | 2021-11-30 | 深圳大学 | 基于特征自校准网络的图像配准方法、装置及相关组件 |
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| CN117994303A (zh) * | 2023-12-29 | 2024-05-07 | 磅客策(上海)智能医疗科技有限公司 | 基于前列腺mr图像分割结果的多模态配准方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102373A (zh) | 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法 | |
| CN110475505B (zh) | 利用全卷积网络的自动分割 | |
| JP6993334B2 (ja) | 自動化された心臓ボリュームセグメンテーション | |
| Hu et al. | Weakly-supervised convolutional neural networks for multimodal image registration | |
| Zhang et al. | Review of breast cancer pathologigcal image processing | |
| Xia et al. | Super-resolution of cardiac MR cine imaging using conditional GANs and unsupervised transfer learning | |
| US20230104173A1 (en) | Method and system for determining blood vessel information in an image | |
| EP1851722B8 (en) | Image processing device and method | |
| Li et al. | MV-RAN: Multiview recurrent aggregation network for echocardiographic sequences segmentation and full cardiac cycle analysis | |
| CN111091589A (zh) | 基于多尺度监督学习的超声和核磁图像配准方法及装置 | |
| Commowick et al. | An efficient locally affine framework for the smooth registration of anatomical structures | |
| CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
| CN103854276A (zh) | 图像配准及分割装置和方法，以及医学图像设备 | |
| CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
| Popescu et al. | Anatomically informed deep learning on contrast-enhanced cardiac magnetic resonance imaging for scar segmentation and clinical feature extraction | |
| Xu et al. | 3D‐SIFT‐Flow for atlas‐based CT liver image segmentation | |
| Yan et al. | Cine MRI analysis by deep learning of optical flow: Adding the temporal dimension | |
| Zou et al. | Multi-scale deformable transformer for multi-contrast knee MRI super-resolution | |
| Oh et al. | Unsupervised deep learning network with self-attention mechanism for non-rigid registration of 3D brain MR images | |
| Meng et al. | Mesh-based 3d motion tracking in cardiac mri using deep learning | |
| Wang et al. | Accurate lung nodule segmentation with detailed representation transfer and soft mask supervision | |
| Graves et al. | Siamese pyramidal deep learning network for strain estimation in 3D cardiac cine-MR | |
| Chen et al. | Radiologically based automated segmentation of cardiac MRI using an improved U-Net neural algorithm | |
| CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
| Olveres et al. | Deformable models for segmentation based on local analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |