CN109035316A - 核磁共振图像序列的配准方法及设备 - Google Patents
核磁共振图像序列的配准方法及设备 Download PDFInfo
- Publication number
- CN109035316A CN109035316A CN201810988485.8A CN201810988485A CN109035316A CN 109035316 A CN109035316 A CN 109035316A CN 201810988485 A CN201810988485 A CN 201810988485A CN 109035316 A CN109035316 A CN 109035316A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- magnetic resonance
- nuclear magnetic
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005481 NMR spectroscopy Methods 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 76
- 238000013519 translation Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000009466 transformation Effects 0.000 claims description 63
- 239000011159 matrix material Substances 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 230000001537 neural effect Effects 0.000 claims description 6
- 238000000280 densification Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000005311 nuclear magnetism Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 210000003478 temporal lobe Anatomy 0.000 description 4
- 230000002490 cerebral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种核磁共振图像序列配准方法及设备。该方法包括：响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；使用卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中所述参考图像序列中的多幅图像中的特定区域相互对齐，并且其中所述卷积神经网络包含用于图像配准的判别性特征，以及其中所述判别性特征用于判别将所述待配准图像序列中的图像相对于所述参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及输出经配准的核磁共振图像序列。本发明通过利用该卷积神经网络中的用于图像配准的判别性特征，可以一次性完成图像配准，从而大幅缩短图像配准时间。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种核磁共振图像序列的配准方法及设备。
背景技术
目前，图像处理技术和模式识别蓬勃发展，机器学习理论和方法日新月异。医学是人类生活关系最密切的领域之一，因此医学图像处理越来越受到人们的关注。
医学图像处理中的一个重要分支涉及根据核磁共振图像将脑部异常进行分类。如果根据患者的核磁共振图像，将他的脑部异常更准确的分类为各种囊肿或肿瘤，则将更有利于医生制定相应手术计划。
脑部异常分类的基础是脑部核磁共振图像序列配准。通常，因为各患者拍摄核磁共振图像时的不同旋转角度、不同深度等级以及不同脑部尺寸，所以任意两幅脑部核磁共振图像中的脑部特定区域是无法严格对齐的。因此，脑部核磁共振图像序列配准是指将不同图像标定到同一坐标系中的过程，从而在不同时间、从不同视角或由不同传感器拍摄的不同图像中实现脑部特定区域在尺寸上相似并且严格对齐。
相关技术中，人们已进行了若干医学图像配准研究。通常，这些工具包中实施的配准过程通过迭代更新变换参数来执行，直至用于度量待配准的两幅图像的相似度的预定义指标达到最优化。这些方法虽然已经取得了不错的表现，但是它们的配准速度缓慢，这主要因为迭代更新算法针对每一个新的配准任务都需要从头开始进行优化。
发明内容
本发明旨在提供一种核磁共振图像序列配准方法及设备，能够解决相关技术中配准速度缓慢的问题。
根据本发明的一个方面，提供了一种核磁共振图像序列配准方法。该方法包括：响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；使用卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中所述参考图像序列中的多幅图像中的特定区域相互对齐，并且其中所述卷积神经网络包含用于图像配准的判别性特征，以及其中所述判别性特征用于判别将所述待配准图像序列中的图像相对于所述参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及输出经配准的核磁共振图像序列。
优选地，使用所述卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，包括：在所述待配准图像序列中依次选择每张待配准图像；在所述参考图像序列中依次确定与所述待配准图像相应的参考图像；以及使用所述卷积神经网络，在所述待配准图像与其相应的参考图像之间进行图像配准。
优选地，使用所述卷积神经网络，在所述待配准图像与其相应的参考图像之间进行图像配准，包括：使用所述卷积神经网络，分别获取所述待配准图像与所述参考图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；以及使用所确定的图像变换矩阵，对所述待配准图像进行仿射变换。
优选地，使用所述卷积神经网络，分别获取所述待配准图像与所述参考图像中的判别性特征，包括：使用所述卷积神经网络中的编码器，分别对所述待配准图像与所述参考图像进行以下一项或多项操作：卷积、池化、密集化、扁平化、级联，其中所述一项或多项操作的每项操作参数对于所述待配准图像与所述参考图像均相同。
优选地，在使用所述卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准之前，还包括：随机生成图像变换矩阵；使用所述图像变换矩阵，将第一核磁共振图像变换为第二核磁共振图像；使用所述第一核磁共振图像和所述第二核磁共振图像训练所述卷积神经网络。
优选地，所述图像变换矩阵中的参数的约束包括：沿图像宽度方向的X轴的平移范围在85％至115％之间；沿图像长度方向的Y轴的平移范围在85％至115％之间；沿图像深度方向的Z轴的平移范围在80％至120％之间；绕所述Z轴的旋转范围在-0.8至0.8弧度之间；以及在所述X轴、所述Y轴和所述Z轴的缩放范围在80％至130％之间。
优选地，使用所述第一核磁共振图像与其相应的第二核磁共振图像，训练所述卷积神经网络，包括：在所述第一核磁共振图像与所述第二核磁共振图像的图像配准过程中，使用所述卷积神经网络分别获取所述第一核磁共振图像与所述第二核磁共振图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；使用所确定的图像变换矩阵，对所述第一核磁共振图像进行仿射变换，得到经配准的图像；以及根据所述经配准的图像与所述第二核磁共振图像之间的损失，训练所述卷积神经网络。
优选地，通过以下公式计算所述经配准的图像与所述第二核磁共振图像之间的损失。其中，K是用于训练图像的数量，W是所述卷积神经网络中待训练的权值向量，Iref [i]是第i个第二核磁共振图像，It [i]是第i个第一核磁共振图像，t[i]是第i个第一核磁共振图像的标签，f(Iref [i],It [i]；W)是针对第i个第一核磁共振图像的由W参数化的网络输出。
优选地，所述图像变换矩阵是四维方阵，所述四维方阵中的前三行元素用于指示所进行的图像平移、图像缩放、图像旋转和/或图像错切。
根据本发明的另一个方面，提供了一种核磁共振图像序列配准设备。该设备包括至少一个处理器及存储器，所述存储器存储有程序，并且被配置成由所述至少一个处理器执行以下步骤：响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；使用卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中所述参考图像序列中的多幅图像中的特定区域相互对齐，并且其中所述卷积神经网络包含用于图像配准的判别性特征，以及其中所述判别性特征用于判别将所述待配准图像序列中的图像相对于所述参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及输出经配准的核磁共振图像序列。
本发明通过利用该卷积神经网络中的用于图像配准的判别性特征，而不使用任何用于度量待配准图像的相似度的指标，可以一次性完成图像配准，从而大幅缩短图像配准时间。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的核磁共振图像序列配准方法的示意图；
图2是根据本发明实施例的核磁共振图像配准的工作流程的示意图；
图3是根据本发明实施例的卷积神经网络的架构的示意图；
图4是根据本发明一个实例的Ep,m的配准结果的示意图；以及
图5是根据本发明实施例的核磁共振图像序列配准设备的示意图。
具体实施方式
本发明实施例针对医学核磁共振图像配准提出了一种深度学习方法。与相关技术中采用的优化方式不同，本发明实施例不使用任何代表配准质量的度量指标作为优化函数，本发明实施例的卷积神经网络被设计为直接估计待配准的核磁共振图像之间的图像变换矩阵，然后使用所确定的图像变换矩阵对待配准图像进行仿射变换，即一次性配准。同时，该卷积神经网络的结构能够体现出对图像配准有用的判别性特征。与传统图像配准方法相比较，将本发明实施例提供的方法应用在来自不同患者大脑的、不同模态的轴向核磁共振图像上，均取得了更好的图像配准效果，并且执行时间缩短100倍。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
本发明实施例提供了一种核磁共振图像序列配准方法。图1是根据本发明实施例的核磁共振图像序列配准方法的示意图。如图1所示，包括如下的步骤S102至步骤S106。
步骤S102，响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列。
步骤S104，使用卷积神经网络，在该待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中该参考图像序列中的多幅图像中的特定区域相互对齐，并且其中该卷积神经网络包含用于图像配准的判别性特征，以及其中该判别性特征用于判别将该待配准图像序列中的图像相对于该参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切。
步骤S106，输出经配准的核磁共振图像序列。
相关技术中，核磁共振图像配准需要通过迭代更新变换参数来进行，直至用于度量待配准图像的相似度的预定义指标达到最优化，这就导致图像配准速度缓慢，这主要因为迭代更新算法针对每一个新的配准任务都需要从头开始进行优化。本发明实施例中，不使用任何用于度量待配准图像的相似度的指标，而是通过利用该卷积神经网络中的用于图像配准的判别性特征，可以一次性完成图像配准，从而大幅缩短图像配准时间。
根据本发明的实施例，使用该卷积神经网络，在该待配准图像序列与预先生成的参考图像序列之间进行图像配准，包括：在该待配准图像序列中依次选择每张待配准图像；在该参考图像序列中依次确定与该待配准图像相应的参考图像；以及使用该卷积神经网络，在该待配准图像与其相应的参考图像之间进行图像配准。其具体包括：使用该卷积神经网络，分别获取该待配准图像与该参考图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；以及使用所确定的图像变换矩阵，对该待配准图像进行仿射变换。
本实施例详细描述了核磁共振图像序列的配准过程。该配准过程的特点至少包括以下两点。第一，将待配准图像序列中的待配准图像依次与参考图像序列中相应的参考图像进行配准，这可以提高核磁共振图像序列配准的准确性，因为参考图像序列中的多幅图像中的特定区域已经预先相互对齐。第二，使用所确定的图像变换矩阵，对该待配准图像进行仿射变换，这也可以提高核磁共振图像序列配准的准确性，因为如下所述，图像变换矩阵是四维方阵，通过在图像变换矩阵中形成前三行(十二个)元素的各种组合，可以实现相应的图像平移、图像缩放、图像旋转和/或图像错切的图像变换组合。
根据本发明的实施例，使用该卷积神经网络，分别获取该待配准图像与该参考图像中的判别性特征，包括：使用该卷积神经网络中的编码器，分别对该待配准图像与该参考图像进行以下一项或多项操作：卷积、池化、密集化、扁平化、级联，其中该一项或多项操作的每项操作参数对于该待配准图像与该参考图像均相同。
在本实施例中，对该待配准图像与该参考图像进行的一项或多项操作中的操作参数的共享，可以将卷积神经网络中的编码器中的参数数量减少一半，从而降低过拟合风险。
根据本发明的实施例，在使用该卷积神经网络，在该待配准图像序列与预先生成的参考图像序列之间进行图像配准之前，还包括：随机生成图像变换矩阵；使用该图像变换矩阵，将第一核磁共振图像变换为第二核磁共振图像；使用该第一核磁共振图像和该第二核磁共振图像训练该卷积神经网络。其中，该图像变换矩阵中的参数的约束包括：沿图像宽度方向的X轴的平移范围在85％至115％之间；沿图像长度方向的Y轴的平移范围在85％至115％之间；沿图像深度方向的Z轴的平移范围在80％至120％之间；绕该Z轴的旋转范围在-0.8至0.8弧度之间；以及在该X轴、该Y轴和该Z轴的缩放范围在80％至130％之间。
本实施例详细描述了卷积神经网络的训练过程。该训练过程的特点至少包括：在特定约束条件下，采用随机变换的方式，将第一核磁共振图像变换为第二核磁共振图像，然后使用这些核磁共振图像训练该卷积神经网络。由于特定约束条件更贴近于图像实际采集过程，因此这样的训练可以提高核磁共振图像训练的效率和准确性。
根据本发明的实施例，使用该第一核磁共振图像与其相应的第二核磁共振图像，训练该卷积神经网络，包括：在该第一核磁共振图像与该第二核磁共振图像的图像配准过程中，使用该卷积神经网络分别获取该第一核磁共振图像与该第二核磁共振图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；使用所确定的图像变换矩阵，对该第一核磁共振图像进行仿射变换，得到经配准的图像；以及根据该经配准的图像与该第二核磁共振图像之间的损失，训练该卷积神经网络。具体地说，可以通过以下公式计算该经配准的图像与该第二核磁共振图像之间的损失，其中，K是用于训练图像的数量，W是该卷积神经网络中待训练的权值向量，Iref [i]是第i个第二核磁共振图像，It [i]是第i个第一核磁共振图像，t[i]是第i个第一核磁共振图像的标签，f(Iref [i],It [i]；W)是针对第i个第一核磁共振图像的由W参数化的网络输出。
本实施例详细描述了根据该经配准的图像与该第二核磁共振图像之间的损失，以有监督的方式来训练该卷积神经网络，可以提高核磁共振图像序列配准的准确性。
根据本发明的实施例，该图像变换矩阵是四维方阵，该四维方阵中的前三行元素用于指示所进行的图像平移、图像缩放、图像旋转和/或图像错切。本实施例中，通过在图像变换矩阵中形成前三行(十二个)元素的各种组合，可以实现相应的图像平移、图像缩放、图像旋转和/或图像错切的图像变换组合。
下面将结合实例对本发明实施例的实现过程进行详细描述。
图2是根据本发明实施例的核磁共振图像配准的工作流程的示意图。如图2所示，该工作流程至少包括：第一步，卷积神经网络获取待配准图像与参考图像中的判别性特征；然后第二步，卷积神经网络确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵中的图像变换参数；然后第三步，重采样器使用所确定的图像变换参数对待配准图像进行仿射变换，得到经配准的图像。
需要说明的是，上述第二步中的图像变换参数由显示在方框中的A-L十二个字母所代表。在图像变换矩阵中，通过形成十二个元素的各种组合，可以实现相应的图像平移、图像缩放、图像旋转和/或图像错切的图像变换组合。
更加优选地，参见图2中的“反向传播”，在训练卷积神经网络期间，还可以将损失函数(例如图像变换参数的均方误差)反向传播到卷积神经网络。
关于卷积神经网络更详细的描述，参见下图3。
图3是根据本发明实施例的卷积神经网络的架构的示意图。如图3所示，卷积神经网络包括编码器部分和回归部分，其中编码器部分用于获取图像的判别性特征，而回归部分用于确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵中的图像变换参数。
首先来说明编码器部分。
编码器部分由两条路径组成，每条路径用于获取一幅图像的判别性特征。例如，在图3中，上方路径用于获取参考图像的判别性特征，而下方路径用于获取待配准图像的判别性特征。同时，这两条路径共享相同的操作参数，从而可以将卷积神经网络中的编码器中的参数数量减少一半，降低过拟合风险。
需要说明的是，编码器部分由2D滤波器和3D滤波器混合。具体而言，编码器部分的初始部分由2D滤波器组成，编码器部分的后续部分由3D滤波器组成。这可以解决3D医学图像的各向异性问题，即输入图像的深度与其高度和宽度相比要小得多的问题。原因在于，在编码器部分的初始部分，由于在卷积和池化层中使用2D滤波器，因此使得特征映射的高度和宽度因2D池化层的作用而缩小，因此高度和宽度方向上的特征尺寸最终将与深度方向上的特征尺寸相似。
本发明实施例还提供了一个编码器部分的实例。
首先，待配准图像经过3×3卷积层。
其次，待配准图像经过2×2最大池化层进行缩小。
再次，待配准图像经过由多个2D(或3D)卷积层组成的密集块，增长率为8，其中每一个层以前一个特征映射的输入作为输入。图3中示出了每个密集块中的层数，随着网络变深，更多的层被添加，因为更深的层通常对应于更具体的特征并因此需要更多的捕获通道。
再其次，待配准图像经过过渡层(即，密集块之间的层)，其由1×1(或1×1×1)卷积层、批量归一化层和修正线性单元(ReLU)函数所组成，其后跟随2×2(或2×2×2)最大池化层，步长为2。
下面再来说明回归部分。
如图3所示，回归部分的输入是经级联的两个扁平化层的输出。回归部分包括若干个全连接层。其中，全连接层用于进行高层推理并确定从编码器部分提取的判别性特征之间的非线性关系。这些全连接层由线性层、批量归一化层和ReLU函数组成。回归模型最后将输出图像变换参数。
对于图3中的卷积神经网络，本发明实施例采用了有监督的方式进行训练。在训练期间，需要将经配准的图像与参考图像之间的损失作为目标函数并最小化。该损失可以通过以下公式计算：
其中，K是用于训练图像的数量，W是卷积神经网络中待训练的权值向量，Iref [i]是第i个第二核磁共振图像，It [i]是第i个第一核磁共振图像，t[i]是第i个第一核磁共振图像的标签，f(Iref [i],It [i]；W)是针对第i个第一核磁共振图像的由W参数化的网络输出。
本发明实施例还提供了一份详细比较数据，用于说明本发明实施例中的卷积神经网络的配准方法比相关技术中的传统配准方法的优越性。
具体来说，传统配准算法选用的是SimpleTK配准框架下的仿射变换函数。选择使用默认设置的Mattes互信息作为相似度度量指标并使用线性插值。对于优化器，采用的是正规步长梯度下降，学习率为0.005，最小步长为1×10-10，迭代次数为10000。
同时，本发明实施例中的卷积神经网络的配准方法与相关技术中的传统配准方法之间的比较的数据集是来自北京天坛医院提供的12个受检者组成的脑部核磁共振图像数据集。其中，每个受检者有着T2和T1加权的核磁共振图像。对于每个受检者，已完成大脑的人工解剖分割。
对于任何两张完美配准的核磁共振图像，两张图像中的通过匹配像素表示的特定区域(例如脑部颞叶区域)应当相互对齐。因此，本发明实施例使用参考图像和经配准的图像之间的分割掩码A和B的相似度来比较两种配准方法。在整个比较过程中使用以下三种度量指标来比较两个分割掩码A和B。
第一个度量指标是Jaccard指数(Jac)，其用于度量分割掩码A和B的相似度和多样性并定义为分割掩码A和B的交集的大小除以它们的并集的大小。
第二个度量指标是修正的Hausdorff距离[19](dH)，其用于度量两个分割掩码A和B之间的距离并定义为从一个分割掩码中的点到另一个分割掩码中最近的点的所有距离中最大值。其中，NA和NB分别代表分割掩码A和B中点的数量，d代表Euclidean距离。
第三个度量指标是运行时间(Rt)，其用于度量图像变换参数的计算过程所需的总时间(单位：秒)。所示结果基于在Intel Xeon CPU E5-2630 v4 2.2GHz上执行算法。
比较步骤包括：
第一，从数据集选择一名受检者P作为参考点。换句话说，该受检者的核磁共振图像将用作参考图像Iref。这样做的优点在于，作为Iref受检者P是随机选择的，而不是本发明实施例中的卷积神经网络可能已经训练过的，从而可以保证上述比较的可靠性。
第二，将其余受检者的T1加权图像配准到受检者P的T1加权图像，通过Ep(跨患者配准)来表示。
第三，将其余受检者的T1加权图像配准到受检者P的T2加权图像，通过Ep,m(跨患者和模态配准)来表示。
表1示出了针对特定脑部颞叶区域的分割掩码A和B，采用本发明实施例的卷积神经网络的配准方法与相关技术中的传统配准方法之间的比较的度量指标。其中，度量指标包含：(1)跨所有受检者的平均Jaccard指数；(2)跨所有受检者的平均Hausdorff距离；以及(3)每一配准的运行时间的平均和标准偏差。
表1中，各行列出了配准前的结果、使用相关技术中的SimpleITK配准的结果以及使用本发明实施例中的卷积神经网络配准的结果，其中最佳结果以粗体突出显示。
由此可见，本发明实施例中的卷积神经网络配准方法具有相当恒定的执行速度并比传统方法快100倍。同时，对于特定脑部颞叶区域，本发明实施例中的卷积神经网络配准方法还取得了更好的总体配准表现。
图4是根据本发明一个实例的Ep,m的配准结果的示意图。如图4所示，所选用的核磁共振图像是脑切片5至9。其中，(a)列代表待配准的图像It；(b)列代表It的真实数据分割掩码；(c)列代表参考图像Iref；(d)列代表Iref的真实数据分割掩码。(e)列和(g)列分别代表通过本发明实施例的卷积神经网络的配准方法与相关技术中的传统配准方法进行配准的It。(f)列和(h)列中的灰色区域为经配准的真实数据分割掩码，其与(e)列和(g)列分别对应，而白色区域为Iref的真实数据分割掩码。由(f)列和(h)列可见，对于特定脑部颞叶区域，本发明实施例中的卷积神经网络配准方法取得了更好的总体配准表现。
基于同一个发明构思，本发明实施例还提供了一种核磁共振图像序列配准设备。图5是根据本发明实施例的核磁共振图像序列配准设备的示意图。如图5所示，该设备包括至少一个处理器501及存储器502，其中该存储器502存储有程序，并且被配置成由至少一个处理器501执行以下步骤：响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；使用卷积神经网络，在该待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中该参考图像序列中的多幅图像中的特定区域相互对齐，并且其中该卷积神经网络包含用于图像配准的判别性特征，以及其中该判别性特征用于判别将该待配准图像序列中的图像相对于该参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及输出经配准的核磁共振图像序列。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：在该待配准图像序列中依次选择每张待配准图像；在该参考图像序列中依次确定与该待配准图像相应的参考图像；以及使用该卷积神经网络，在该待配准图像与其相应的参考图像之间进行图像配准。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：使用该卷积神经网络，分别获取该待配准图像与该参考图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；以及使用所确定的图像变换矩阵，对该待配准图像进行仿射变换。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：使用该卷积神经网络中的编码器，分别对该待配准图像与该参考图像进行以下一项或多项操作：卷积、池化、密集化、扁平化、级联，其中该一项或多项操作的每项操作参数对于该待配准图像与该参考图像均相同。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：随机生成图像变换矩阵；使用所述图像变换矩阵，将第一核磁共振图像变换为第二核磁共振图像；使用所述第一核磁共振图像和所述第二核磁共振图像训练所述卷积神经网络。其中，该图像变换矩阵中的参数的约束包括：沿图像宽度方向的X轴的平移范围在85％至115％之间；沿图像长度方向的Y轴的平移范围在85％至115％之间；沿图像深度方向的Z轴的平移范围在80％至120％之间；绕该Z轴的旋转范围在-0.8至0.8弧度之间；以及在该X轴、该Y轴和该Z轴的缩放范围在80％至130％之间。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：在该第一核磁共振图像序列和该第二核磁共振图像序列中选择一个核磁共振图像序列作为第二核磁共振图像序列并且确定另一个核磁共振图像序列作为第一核磁共振图像序列；在该第一核磁共振图像序列中依次选择每张第一核磁共振图像；在该第二核磁共振图像序列中依次确定与该第一核磁共振图像相应的第二核磁共振图像；以及使用该第一核磁共振图像与其相应的第二核磁共振图像，训练该卷积神经网络。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：使用该第一核磁共振图像与其相应的第二核磁共振图像，训练该卷积神经网络，包括：在该第一核磁共振图像与该第二核磁共振图像的图像配准过程中，使用该卷积神经网络分别获取该第一核磁共振图像与该第二核磁共振图像中的判别性特征；确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；使用所确定的图像变换矩阵，对该第一核磁共振图像进行仿射变换，得到经配准的图像；以及根据该经配准的图像与该第二核磁共振图像之间的损失，训练该卷积神经网络。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：通过以下公式计算该经配准的图像与该第二核磁共振图像之间的损失：
其中，K是用于训练图像的数量，W是该卷积神经网络中待训练的权值向量，Iref [i]是第i个第二核磁共振图像，It [i]是第i个第一核磁共振图像，t[i]是第i个第一核磁共振图像的标签，f(Iref [i],It [i]；W)是针对第i个第一核磁共振图像的由W参数化的网络输出。
根据本发明的实施例，存储器502存储的程序还被配置成由至少一个处理器501执行以下步骤：该图像变换矩阵是四维方阵，该四维方阵中的前三行元素用于指示所进行的图像平移、图像缩放、图像旋转和/或图像错切。
综上所述，根据本发明的上述实施例，提供了一种核磁共振图像序列配准方法。该方法包括：响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；使用卷积神经网络，在该待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中该参考图像序列中的多幅图像中的特定区域相互对齐，并且其中该卷积神经网络包含用于图像配准的判别性特征，以及其中该判别性特征用于判别将该待配准图像序列中的图像相对于该参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及输出经配准的核磁共振图像序列。本发明实施例中的核磁共振图像序列配准方法不使用任何用于度量待配准图像的相似度的指标，而是通过利用该卷积神经网络中的用于图像配准的判别性特征，可以一次性完成图像配准，从而大幅缩短图像配准时间。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种核磁共振图像序列配准方法，其特征在于，包括：
响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；
使用卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中所述参考图像序列中的多幅图像中的特定区域相互对齐，并且其中所述卷积神经网络包含用于图像配准的判别性特征，以及其中所述判别性特征用于判别将所述待配准图像序列中的图像相对于所述参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及
输出经配准的核磁共振图像序列。
2.根据权利要求1所述的方法，其特征在于，使用所述卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，包括：
在所述待配准图像序列中依次选择每张待配准图像；
在所述参考图像序列中依次确定与所述待配准图像相应的参考图像；以及
使用所述卷积神经网络，在所述待配准图像与其相应的参考图像之间进行图像配准。
3.根据权利要求2所述的方法，其特征在于，使用所述卷积神经网络，在所述待配准图像与其相应的参考图像之间进行图像配准，包括：
使用所述卷积神经网络，分别获取所述待配准图像与所述参考图像中的判别性特征；
确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；以及
使用所确定的图像变换矩阵，对所述待配准图像进行仿射变换。
4.根据权利要求3所述的方法，其特征在于，使用所述卷积神经网络，分别获取所述待配准图像与所述参考图像中的判别性特征，包括：使用所述卷积神经网络中的编码器，分别对所述待配准图像与所述参考图像进行以下一项或多项操作：卷积、池化、密集化、扁平化、级联，其中所述一项或多项操作的每项操作参数对于所述待配准图像与所述参考图像均相同。
5.根据权利要求1所述的方法，其特征在于，在使用所述卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准之前，还包括：
随机生成图像变换矩阵；
使用所述图像变换矩阵，将第一核磁共振图像变换为第二核磁共振图像；
使用所述第一核磁共振图像和所述第二核磁共振图像训练所述卷积神经网络。
6.根据权利要求5所述的方法，其特征在于，所述图像变换矩阵中的参数的约束包括：
沿图像宽度方向的X轴的平移范围在85％至115％之间；
沿图像长度方向的Y轴的平移范围在85％至115％之间；
沿图像深度方向的Z轴的平移范围在80％至120％之间；
绕所述Z轴的旋转范围在-0.8至0.8弧度之间；以及
在所述X轴、所述Y轴和所述Z轴的缩放范围在80％至130％之间。
7.根据权利要求5所述的方法，其特征在于，使用第一核磁共振图像和第二核磁共振图像训练所述卷积神经网络，包括：
在所述第一核磁共振图像与所述第二核磁共振图像的图像配准过程中，使用所述卷积神经网络分别获取所述第一核磁共振图像与所述第二核磁共振图像中的判别性特征；
确定所获取的判别性特征之间的非线性关系和相应的图像变换矩阵；
使用所确定的图像变换矩阵，对所述第一核磁共振图像进行仿射变换，得到经配准的图像；以及
根据所述经配准的图像与所述第二核磁共振图像之间的损失，训练所述卷积神经网络。
8.根据权利要求7所述的方法，其特征在于，通过以下公式计算所述经配准的图像与所述第二核磁共振图像之间的损失：
其中，K是用于训练图像的数量，W是所述卷积神经网络中待训练的权值向量，Iref [i]是第i个第二核磁共振图像，It [i]是第i个第一核磁共振图像，t[i]是第i个第一核磁共振图像的标签，f(Iref [i],It [i]；W)是针对第i个第一核磁共振图像的由W参数化的网络输出。
9.根据权利要求3至8中任一项所述的方法，其特征在于，所述图像变换矩阵是四维方阵，所述四维方阵中的前三行元素用于指示所进行的图像平移、图像缩放、图像旋转和/或图像错切。
10.一种核磁共振图像序列配准设备，其特征在于，包括至少一个处理器及存储器，所述存储器存储有程序，并且被配置成由所述至少一个处理器执行以下步骤：
响应于用户的操作，将患者的核磁共振图像序列作为待配准图像序列；
使用卷积神经网络，在所述待配准图像序列与预先生成的参考图像序列之间进行图像配准，其中所述参考图像序列中的多幅图像中的特定区域相互对齐，并且其中所述卷积神经网络包含用于图像配准的判别性特征，以及其中所述判别性特征用于判别将所述待配准图像序列中的图像相对于所述参考图像序列中相应的图像所进行的图像平移、图像缩放、图像旋转和/或图像错切；以及
输出经配准的核磁共振图像序列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810988485.8A CN109035316B (zh) | 2018-08-28 | 2018-08-28 | 核磁共振图像序列的配准方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810988485.8A CN109035316B (zh) | 2018-08-28 | 2018-08-28 | 核磁共振图像序列的配准方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035316A true CN109035316A (zh) | 2018-12-18 |
| CN109035316B CN109035316B (zh) | 2020-12-18 |
Family
ID=64625027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810988485.8A Active CN109035316B (zh) | 2018-08-28 | 2018-08-28 | 核磁共振图像序列的配准方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035316B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741379A (zh) * | 2018-12-19 | 2019-05-10 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110111371A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 一种基于卷积神经网络的斑点图图像配准方法 |
| WO2024130705A1 (zh) * | 2022-12-23 | 2024-06-27 | 深圳华大生命科学研究院 | 一种图像配准方法、装置、设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651132A (zh) * | 2012-04-06 | 2012-08-29 | 华中科技大学 | 一种基于交叉视觉皮质模型的医学图像配准方法 |
| CN104508703A (zh) * | 2012-06-28 | 2015-04-08 | 皇家飞利浦有限公司 | 用于配准图像序列的系统和方法 |
| CN104992400A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 多光谱图像配准方法和装置 |
| CN106530338A (zh) * | 2016-10-31 | 2017-03-22 | 武汉纺织大学 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
-
2018
- 2018-08-28 CN CN201810988485.8A patent/CN109035316B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651132A (zh) * | 2012-04-06 | 2012-08-29 | 华中科技大学 | 一种基于交叉视觉皮质模型的医学图像配准方法 |
| CN104508703A (zh) * | 2012-06-28 | 2015-04-08 | 皇家飞利浦有限公司 | 用于配准图像序列的系统和方法 |
| CN104992400A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 多光谱图像配准方法和装置 |
| CN106651750A (zh) * | 2015-07-22 | 2017-05-10 | 美国西门子医疗解决公司 | 用于基于卷积神经网络回归的2d/3d图像配准的方法和系统 |
| US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
| CN106530338A (zh) * | 2016-10-31 | 2017-03-22 | 武汉纺织大学 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
| CN107145727A (zh) * | 2017-04-26 | 2017-09-08 | 中国人民解放军总医院 | 一种利用卷积神经网络的医学图像处理装置与方法 |
| CN107798697A (zh) * | 2017-10-26 | 2018-03-13 | 中国科学院深圳先进技术研究院 | 一种基于卷积神经网络的医学图像配准方法、系统及电子设备 |
| CN108416802A (zh) * | 2018-03-05 | 2018-08-17 | 华中科技大学 | 一种基于深度学习的多模医学图像非刚性配准方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741379A (zh) * | 2018-12-19 | 2019-05-10 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN110111371A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 一种基于卷积神经网络的斑点图图像配准方法 |
| WO2024130705A1 (zh) * | 2022-12-23 | 2024-06-27 | 深圳华大生命科学研究院 | 一种图像配准方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035316B (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tang et al. | MATR: Multimodal medical image fusion via multiscale adaptive transformer | |
| US20230252075A1 (en) | Surgical video retrieval based on preoperative images | |
| Li et al. | Magnetic resonance image (MRI) synthesis from brain computed tomography (CT) images based on deep learning methods for magnetic resonance (MR)-guided radiotherapy | |
| Kamnitsas et al. | Ensembles of multiple models and architectures for robust brain tumour segmentation | |
| CN109035316A (zh) | 核磁共振图像序列的配准方法及设备 | |
| Hussain et al. | Segmentation of glioma tumors in brain using deep convolutional neural network | |
| Kumar et al. | Breast cancer classification of image using convolutional neural network | |
| Navab et al. | Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III | |
| CN110506278A (zh) | 隐空间中的目标检测 | |
| CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
| CN108986115A (zh) | 医学图像分割方法、装置及智能终端 | |
| Rezaei et al. | Whole heart and great vessel segmentation with context-aware of generative adversarial networks | |
| Che et al. | Deep group-wise registration for multi-spectral images from fundus images | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN108182686B (zh) | 基于曲线群匹配的oct眼底图像半自动分割方法和装置 | |
| CN109816657A (zh) | 一种基于深度学习的脑瘤医学图像分割方法 | |
| Li et al. | BrainK for structural image processing: creating electrical models of the human head | |
| Zuo et al. | Synthesizing realistic brain MR images with noise control | |
| Hou et al. | Robust 3D convolutional neural network with boundary correction for accurate brain tissue segmentation | |
| Jain et al. | Automatic Multi-organ Segmentation on Abdominal CT scans using Deep U-Net Model | |
| Yang et al. | Hierarchical progressive network for multimodal medical image fusion in healthcare systems | |
| Li et al. | NVTrans‐UNet: Neighborhood vision transformer based U‐Net for multi‐modal cardiac MR image segmentation | |
| Rajeshkumar et al. | Convolutional Neural Networks (CNN) based Brain Tumor Detection in MRI Images | |
| Luo et al. | Tissue segmentation in nasopharyngeal ct images using two-stage learning | |
| Rangini et al. | Detection of Alzheimer's disease through automated hippocampal segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Registration method and equipment of NMR image sequence Effective date of registration: 20220715 Granted publication date: 20201218 Pledgee: Su Qiwen Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd. Registration number: Y2022990000432 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20201218 Pledgee: Su Qiwen Pledgor: BEIJING ANDE YIZHI TECHNOLOGY Co.,Ltd. Registration number: Y2022990000432 |