CN113096166B - 一种医学影像配准的方法和装置 - Google Patents

一种医学影像配准的方法和装置 Download PDF

Info

Publication number
CN113096166B
CN113096166B CN201911305036.XA CN201911305036A CN113096166B CN 113096166 B CN113096166 B CN 113096166B CN 201911305036 A CN201911305036 A CN 201911305036A CN 113096166 B CN113096166 B CN 113096166B
Authority
CN
China
Prior art keywords
image
registration
floating
binary
preoperative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911305036.XA
Other languages
English (en)
Other versions
CN113096166A (zh
Inventor
孙建奇
徐攀龙
徐学敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Meijie Medical Technology Co ltd
Original Assignee
Shanghai Meijie Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Meijie Medical Technology Co ltd filed Critical Shanghai Meijie Medical Technology Co ltd
Priority to CN201911305036.XA priority Critical patent/CN113096166B/zh
Publication of CN113096166A publication Critical patent/CN113096166A/zh
Application granted granted Critical
Publication of CN113096166B publication Critical patent/CN113096166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请公开了一种医学影像配准方法、装置，该方法包括：分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图；对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准，计算所述浮动图像与所述固定图像的第一变换参数；以所述第一变换参数为初始条件，对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准，计算所述浮动图像与所述固定图像的第二变换参数并输出经变换的浮动图像。

Description

一种医学影像配准的方法和装置
技术领域
本发明涉及医学影像技术领域，且特别涉及一种医学影像的配准方法及配准装置。
背景技术
一直以来，肿瘤治疗都是医学界的一大难题，而肝脏肿瘤则是致死率最高的肿瘤之一。对于肿瘤治疗，目前常见的医疗手段包括手术切除、放射治疗、射频消融和化学治疗。射频消融治疗和其他治疗方法相比具有微创性、简单易操作以及副作用小等优点，因此受到医学界广泛关注。在射频治疗过程中，常常需要借助医学影像如CT(计算机断层扫描成像技术)、US(超声成像技术)或MRI(磁共振成像技术)进行术中引导。MRI图像对软组织有较好的区分度，因此可以用来实现肿瘤的诊断以及精确定位，CT对密度较大的组织如骨骼有很好的区分度，但很多时候对软组织的成像效果不佳。因此，在射频消融手术前，手术医师会利用MRI图像进行肿瘤定位，在手术开始前拍摄一组CT图像，结合MRI和CT图像插入消融针，之后再拍摄一组CT图像，通过肉眼观察术前MRI和术中CT来判断消融针插入的位置正确与否，此过程主观性较强，受医师个人能力影响较大，而医学图像配准技术可以很好的解决此问题。
图像配准技术是图像处理领域内的重要分支之一，而医学图像配准技术则是图像配准领域的研究热点。医学图像配准技术可以融合不同模态图像如CT/MR、CT/PET、PET/MR等的特征，从而达到互补的效果。
医学图像配准是指针对一幅医学图像寻求一种(或一系列)空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置。配准的结果应使两幅图像上的所有解剖点，或至少是具有诊断意义的点及手术感兴趣的点都达到匹配。
医学图像配准技术有多种分类方法：按维度可以分为2D/2D、3D/3D、2D/3D等；按图像的模态可以分为单模态配准与多模态配准；按处理位置可以分为脑部配准、胸腔配准以及腹腔配准等；按变换类型可以分为刚性配准和非刚性配准；按相似性度量类型可以分为基于特征和基于灰度两大类型；按交互性又可以分为交互式、半自动和自动配准。
发明内容
本发明的目的在于提出一种医学影像的配准方法和配准装置，实现全自动三维多模态腹腔图像的配准。
本申请公开了一种医学影像配准方法，包括：
分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图；
对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准，计算所述浮动图像与所述固定图像的第一变换参数；
以所述第一变换参数为初始条件，对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准，计算所述浮动图像与所述固定图像的第二变换参数并输出经变换的浮动图像。
在一个优选例中，所述对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准的步骤，进一步包括：
采用KS系数作为相似性度量进行所述刚性配准，所述KS系数为：
其中μ是所述刚性配准中的位移变量，IF是所述固定图像的二值图，IM是所述浮动图像的二值图，Tμ是空间变换函数，1是指标函数，ΩF是图像域。
在一个优选例中，所述对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准的步骤，进一步包括：
采用互信息作为相似性度量进行所述自由形变配准，所述互信息为：
MI(IF,IM)＝H(IF)+H(IM)-H(IF,IM)，其中H(IF)是所述固定图像的灰度图的灰度熵，H(IM)是所述浮动图像的灰度图的灰度熵，H(IF，IM)是所述固定图像的灰度图和所述浮动图像的灰度图的联合熵。
在一个优选例中，所述分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图的步骤，进一步包括：
分别将固定图像或浮动图像的训练样本输入到被初始化的UNet++神经网络中进行训练，根据二值交叉熵和Dice系数确定的损失函数分别计算输出图像与相应的真值之间的误差，获得训练后的固定图像分割网络和参考图像分割网络；
将术中的固定图像输入所述固定图像分割网络获取所述感兴趣区域的所述术中的固定图像的灰度图和二值图；
将术前的浮动图像输入所述浮动图像分割网络获取所述感兴趣区域的所述术前的浮动图像的灰度图和二值图；
其中所述损失函数为：
其中/>y是真值，/>是预测值。
在一个优选例中，所述UNet++神经网络包括若干层图像尺寸逐渐递减的卷积块，每层中在先的卷积块分别与在后的卷积块跳跃连接，每层中的第一个卷积块下采样至其下一层的第一个卷积块，每层中的第{i,j}个卷积块上采样至第{i-1，j+1}个卷积块，其中i为网络层数序号，j为卷积块序号。
在一个优选例中，每个所述卷积块包括若干层依次连接的卷积层和残差结构，所述残差结构连接第一层所述卷积层和最后一层所述卷积层。
在一个优选例中，所述UNet++神经网络包括五层图像尺寸逐渐递减的卷积块，并且下一层特征图像的尺寸是上一层特征图像的四分之一。
在一个优选例中，所述浮动图像是核磁共振图像，所述固定图像是计算机断层扫描图像。
本申请还公开了一种医学影像的配置装置包括：
分割模块，所述分割模块采用神经网络模型分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图；
第一配准模块，所述第一配准模块对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准，计算所述浮动图像与所述固定图像的第一变换参数；
第二配准模块，所述第二配准模块以所述第一变换参数为初始条件，对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准，计算所述浮动图像与所述固定图像的第二变换参数；
输出模块，配置为输出经变换的浮动图像。
本公开至少一个实施例还提供一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行实现本公开任一实施例所述的医学影像配准方法的指令。
相对于现有技术，本申请具有以下有益效果：
1、本申请配准方法的鲁棒性强，不仅适用于体位一致的情况，例如术前MRI和术中CT拍摄时均采用平躺体位，同样也适用于体位不一致的情况，例如拍摄术前MRI时病人为平躺体位，而拍摄术中CT时病人为侧躺或俯卧体位，即使在器官发生较大形变的情况下也能得到很好的配准结果。
2、本申请的配准方法仅需术前MRI和术中CT图像，不需要术前CT图像的参与，理论上可以省去术前CT的拍摄，减少病人受到的X光辐射剂量。
3、本申请的配准方法可自动化完成，可在1分钟左右完成配准，适用于临床应用场景。
附图说明
图1示出了本发明一实施例中的医学影像配准方法的流程图；
图2示出了本发明一实施例中的医学影像配准方法更详细的流程图；
图3示出了本发明一实施例中的UNet++神经网络结构的示意图；
图4示出了本发明一实施例中的卷积块的示意图；
图5示出了本发明一实施例中医学影像配准装置的框图；
图6示出了本发明一实施例中对肝脏进行术前MRI和术中CT进行医学影像配准的流程示意图；
图7示出了本发明一实施例中对肝脏进行术前MRI和术中CT进行刚性配准和自由形变配准的结果示意图。
具体实施方式
为了进行多模态图像配准，许多研究学者提出了不同的配准方法，例如，Archip等人[1]提出了一种基于有限元的可变形配准方法，并将其应用到射频消融手术中术前增强MRI与术中CT图像的配准过程中，最后分别和基于B-spline与基于demons的可变形配准方法的结果进行比较，结果表明他们的方法比其他两种方法准确度更高，但作者并未对其快速性进行比较分析。Huang等人[2]也进行了类似的研究，他们以互信息作为相似性度量，利用Powell进行加速搜索最优解，对MRI和CT图像进行仿射变换配准，并将最终的配准结果进行融合显示，虽然最终取得了较好的结果，但他们的方法不适用于肝脏产生较大形变的情况。为了能够将配准技术应用到临床场景中，Elhawary等人[3]通过回顾性研究分析了不同参数条件下的最优配准方法，包括图像层厚、FOV区域大小、是否分割肝脏等参数，并将最佳参数组合应用到肝脏肿瘤射频消融手术的术前规划、术中定位和监控过程。实验结果表明他们的方法是可行的，但由于这种方法需要人工分割肝脏，配准时间大大增加，无法真正应用于临床手术。Song等人[4]基于B-spline可变形配准，提出了一种更快的配准策略，该方法使用了L-BFGS(Broyden-Fletcher-Goldfarb-Shannon)优化策略，结果表明这种方法的速度要比传统方法快一倍左右。为了达到更高的配准精度，Foruzan等人[5]提出了一种新的CT-MRI配准路线，他们首先对MRI和CT图像分别进行肝脏分割，然后使用一种基于PCA的刚性配准方法，最后提取出血管分支作为标志点进行可变形配准，得到了较高的配准精度，但这种方法需要医生手动提取特征点，并且运算时间较长，平均耗时540s。Luu等人[6]在配准前也对肝脏进行了分割，并提出一种两步配准方法，但由于平均耗时7-20分钟，且成功率只有84％，无法应用于临床实践。
[1]N.Archip,S.Tatli,P.R.Morrison,F.A.Jolesz,S.K.Warfield,andS.G.Silverman,“Non-rigid registration of pre-procedural MR images with intra-procedural unenhanced CT images for improved targeting of tumors during liverradiofrequency ablations,”in Proc.Int.Conf.Med.Image Comput.Comput.-Assist.Intervent.,2007,pp.969-977.
[2]X.Huang,B.Wang,R.Liu,X.Wang,and Z.Wu,“CT-MR image registration inliver treatment by maximization of mutual information,”in IEEE Int.Symp.ITMed.Educ.,2008,pp.715-718.
[3]H.Elhawary et al.,“Intra-operative multimodal non-rigidregistration of the liver for navigated tumor ablation,”inProc.Int.Conf.Med.Image Comput.Comput.-Assist.Intervent.,2009,pp.837-844.
[4]H.Song,J.J.Li,S.L.Wang,and J.T.Ma,“Multi-modality liver imageregistration based on multilevel B-splines free-form deformation and L-BFGSoptimal algorithm,”J.Cent.S.Univ.,vol.21,no.1,pp.287-292,2014.
[5]A.H.Foruzan and H.R.Motlagh,“Multimodality liver registration ofOpen-MR and CT scans,”Int.J.Comput.Assisted Radiol.Surg.,vol.10,no.8,pp.1253-1267,2015.
[6]H.M.Luu et al.,“Non-Rigid Registration of Liver CT Images for CT-Guided Ablation of Liver Tumors,”Plos One,vol.11,no.9:e0161600,Sep.2016.
发明人发现目前的配准技术由于耗时长，成功率低等原因均无法实现临床应用。因此，本申请的发明人开发出新的更快更准更稳定的配准方法。
在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各项权利要求所要求保护的技术方案。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
本申请的第一实施方式中公开了一种医学影像配准方法，其流程图参考图1所示，包括：
步骤101，分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图。在一个优选例中，所述分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图的步骤，进一步包括：分别将固定图像或浮动图像的训练样本输入到被初始化的UNet++神经网络中进行训练，根据二值交叉熵和Dice系数确定的损失函数分别计算输出图像与相应的真值之间的误差，获得训练后的固定图像分割网络和参考图像分割网络；将术中的固定图像输入所述固定图像分割网络获取所述感兴趣区域的所述固定图像的灰度图和二值图；将所述术前的浮动图像输入所述浮动图像分割网络获取所述感兴趣区域的所述浮动图像的灰度图和二值图；其中所述损失函数为：其中/>y是真值，是预测值。
在一个优选例中，所述UNet++神经网络包括若干层图像尺寸逐渐递减的卷积块，每层中在先的卷积块分别与在后的卷积块跳跃连接，每层中的第一个卷积块下采样至其下一层的第一个卷积块，每层中的第{i,j}个卷积块上采样至第{i+1，j+1}个卷积块，其中i为网络层数序号，j为卷积块序号。在一个优选例中，每个所述卷积块包括若干层依次连接的卷积层和残差结构，所述残差结构连接第一层所述卷积层和最后一层所述卷积层。在一个优选例中，所述UNet++神经网络包括五层图像尺寸逐渐递减的卷积块，相邻层所述卷积块依次递减一个卷积块，并且下一层特征图像的尺寸是上一层特征图像的四分之一，即下一层特征图像尺寸的长和宽分别减小为上一层特征图像的一半。在本申请的其他实施例中，还可以采用U-Net神经网络结构或V-Net神经网络结构。
步骤102，对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准，计算所述浮动图像与所述固定图像的第一变换参数。在一个优选例中，所述对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准的步骤，进一步包括：采用KS系数作为相似性度量进行所述刚性配准，所述KS系数为：其中μ是所述刚性配准中的变换参数，IF是所述固定图像的二值图，IM是所述浮动图像的二值图，Tμ是空间变换函数，1是指标函数，ΩF是图像域。在一实施例中，所述刚性配准采用仿射变换或刚性变换。
步骤103，以所述第一变换参数为初始条件，对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准，计算所述浮动图像与所述固定图像的第二变换参数并输出经变换的浮动图像。在一个优选例中，所述对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准的步骤，进一步包括：采用互信息作为相似性度量进行所述自由形变配准，所述互信息为：MI(IF,IM)＝H(IF)+H(IM)-H(IF,IM)，其中H(IF)是所述固定图像的灰度图的灰度熵，H(IM)是所述浮动图像的灰度图的灰度熵，H(IF，IM)是所述固定图像的灰度图和所述浮动图像的灰度图的联合熵。
在一个优选例中，所述浮动图像是核磁共振图像(MRI)，所述固定图像是计算机断层扫描图像(CT)，将术前MRI图像与术中CT图像进行配准。由于配准的图像只有术前MRI和术中CT，术前CT并没有参与进来，理论上可以免去术前CT的拍摄，从而减少病人受到的辐射剂量。
参考图2所示，图2中示出了本申请一实施例中更详细的流程图，以肝脏作为感兴趣区域的术前MRI图像和术中CT图像的配准为例进行说明。需要说明的是，患者在拍摄术前MRI时通常采用平躺体位，拍摄术中CT图像时可能采用侧躺或俯卧等体位，区别于具有骨组织的术前术中形变较小的其他器官，肝脏完全是软组织，术前和术中的体位不一致使得肝脏的形变较大，配准难度高。本申请的配准方法尤其适用于形变较大的器官的配准。应当理解，本申请的配准方法还可以应用于肾脏等其他器官作为感兴趣区域的配准，并不限于肝脏。
首先，分别将MRI图像和CT图像的训练样本输入到初始化的UNet++神经网络中，根据二值交叉熵和Dice系数确定的损失函数分别计算输出图像与所述MRI图像和CT图像真值之间的误差，获得训练后的MRI图像分割网络和CT图像分割网络；
其中所述损失函数为：
其中/>y是真值，/>是预测值。其中，/>是二值交叉熵。
网络训练完成后，将术前MRI图像输入所述MRI图像分割网络获取所述感兴趣区域(如肝脏)的所述术前MRI图像的灰度图和二值图。将术中CT图像输入所述CT图像分割网络获取所述感兴趣区域的所述术中CT图像的灰度图和二值图。通过该步骤对肝脏进行提取，由于加入了残差结构使得肝脏分割的精度得到了很大提升，由于没有非感兴趣区域(如非肝脏区域)像素的影响，配准的鲁棒性得到了有效保障，同时也提高了配准的速度和精准度。
所述UNet++神经网络结构参考图3所示，所述UNet++神经网络包括若干层图像尺寸逐渐递减的卷积块，如图3中圆圈所示。在一个优选例中，所述UNet++神经网络包括五层图像尺寸逐渐递减的卷积块，相邻层所述卷积块依次递减一个卷积块，例如第一层包括5个卷积块X0,0、X0,1、X0,3、X0,4、X0,5，第二层包括4个卷积块X1,0、X1,1、X1,3、X1,4，第三层包括3个卷积块X2,0、X2,1、X2,3，第四层包括2个卷积块X3,0、X3,1、第五层包括1个卷积块X4,0。每层中在先的卷积块分别与在后的卷积块跳跃连接，如图中虚线箭头例如卷积块X0,0跳跃连接卷积块X0,2、X0,3、X0,4、X0,5，卷积块X0,1跳跃连接卷积块X0,3、X0,4、X0,5，依次类推。每一层中的第一个卷积块下采样至其下一层的第一个卷积块，如图中向下的箭头/>例如卷积块X0,0下采样至卷积块X1,0。每一层中的第{i,j}个卷积块上采样至第{i+1，j+1}个卷积块，其中i为层数，j为卷积块个数，如图中向上的箭头/>进一步的，参考图4所示，每个所述卷积块包括若干层依次连接的卷积层和残差结构，所述残差结构连接第一层所述卷积层和最后一层所述卷积层，将后续卷积的结果与第一层卷积的结果进行叠加，提高模型训练的准确性。
再次，采用KS系数作为相似性度量对所述MRI图像的二值图和所述CT图像的二值图进行刚性配准的步骤，其中所述KS系数为：
其中μ是所述刚性配准中的位移变量，IF是所述固定图像的二值图，IM是所述浮动图像的二值图，Tμ是空间变换函数，1是指标函数，ΩF是图像域。其中/>是所述固定图像的二值图与所述浮动图像的二值图取值均为1的情形，/>是所述浮动图像的二值图取值为1的情形，/>是所述固定图像的二值图取值为1的情形。
最后，采用互信息作为相似性度量所述对所述MRI图像的灰度图和所述CT图像的灰度图进行自由形变配准的步骤，所述互信息为：
MI(IF,IM)＝H(IF)+H(IM)-H(IF,IM)，其中H(IF)是所述固定图像的灰度图的灰度熵，H(IM)是所述浮动图像的灰度图的灰度熵，H(IF，IM)是所述固定图像的灰度图和所述浮动图像的灰度图的联合熵。
本实施例中，在进行自由形变配准过程中，为了避免出现局部极小值，采用四层金字塔模型，其中顶层分辨率最低，底层分辨率最高，上面一层分辨率都是下一层图像经过两倍降采样以及高斯平滑操作得到。同时，每一层的网格间距与图像分辨率匹配，即图像分辨率越高，网格间距越小，顶层网格间距最大，底层网格间距最小，上面一层的网格间距是下面一层的二倍。
在本申请的其他实施例中，自由形变配准过程中，上面一层分辨率还可以是下一层图像只经过两倍降采样或只采用高斯平滑操作得到。
本实施例中，首先采用术前MRI图像的二值图和术中CT图像的二值图进行刚性配准，接着采用术前MRI图像的灰度图和术中CT图像的灰度图进行自由形变配准，图像配准过程中的计算量小，速度快。
为了能够更好地理解本说明书的技术方案，下面结合一个具体的例子来进行说明，该例子中罗列的细节主要是为了便于理解，不作为对本申请保护范围的限制。
1.为方便后续处理，将原始DICOM图像转换为NIfTI格式；
2.将NIfTI格式的术前MRI图像Pre-MRI和术中CT图像Intra-CT转换为二维图像序列；
3.将上述Pre-MRI二维图像输入训练好的MRI-UNet++网络中，分割出MRI中的肝脏区域，得到肝脏二值图像MRI-mask图像以及肝脏灰度图像MRI-liver；将上述Intra-CT二维图像输入训练好的CT-UNet++网络中，分割出CT中的肝脏区域，得到肝脏二值图像CT-mask图像以及肝脏灰度图像CT-liver；
4.将上述CT-mask作为固定图像，上述MRI-mask作为浮动图像，以KS系数作为相似性度量，采用随机梯度下降法或者梯度下降法作为迭代优化方法进行寻优，变换方式可以为刚性变换或者仿射变换。此外，采用两层图像金字塔配准策略进行逐步逼近求解。得到粗配准变换参数T0。其中每层的图像可以通过三种方式得到：a)降采样并且进行高斯平滑；b)只进行降采样；c)只进行高斯平滑；
5.利用步骤4所得变换参数T0作为初始条件对步骤3所述的MRI-liver与CT-liver做精配准。同样，以MRI-liver为浮动图像，CT-liver为固定图像。此步骤的相似性度量为Mattes互信息，寻优方法为随机梯度下降法或者梯度下降法。采用四层图像金字塔配准策略进行逐步逼近求解，每层的图像可以通过三种方式得到：a)降采样并且进行高斯平滑；b)只进行降采样；c)只进行高斯平滑。对金字塔每层图像进行基于B样条的自由形变配准(B-FFD)，每一层的网格间距是其下一层的2倍，最底层网格间距最小。经过精配准后，得到最终变换参数T以及经过重采样的MRI图像Deformed-MRI。
本申请的第二实施方式公开了一种医学影像的配置装置，该装置的框图参考图5所示，包括：
分割模块501，所述分割模块501采用神经网络模型分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图；
第一配准模块502，所述第一配准模块502对所述浮动图像的二值图和所述固定图像的二值图进行刚性配准，计算所述浮动图像与所述固定图像的第一变换参数；
第二配准模块503，所述第二配准模块503以所述第一变换参数为初始条件，对所述浮动图像的灰度图和所述固定图像的灰度图进行自由形变配准，计算所述浮动图像与所述固定图像的第二变换参数；
输出模块504，配置为输出经变换的浮动图像。
本实施方式的配置装置的鲁棒性强，配准速度快，准确性高，可以实现自动化配准。图6示出了本申请一实施例中对以肝脏为感兴趣区域进行术前MRI和术中CT进行医学影像配准的流程示意图。图7示出了本申请一实施例中以对肝脏为感兴趣区域进行术前MRI和术中CT进行刚性配准和自由形变配准的结果示意图。从图6、图7中可以看出，经过本申请的刚性配准和自由形变配准可以达到很好的配准效果。
第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。
需要说明的是，本领域技术人员应当理解，上述医学影像配准装置的实施方式中所示的各模块的实现功能可参照前述基于医学影像配准方法的相关描述而理解。上述在医学影像配准装置的实施方式中所示的各模块的功能可通过运行于处理器上的程序(可执行指令)而实现，也可通过具体的逻辑电路而实现。本说明书实施例上述医学影像配准装置如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本说明书各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本说明书实施例不限制于任何特定的硬件和软件结合。
相应地，本说明书实施方式还提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本说明书的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读存储介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
此外，本说明书实施方式还提供一种医学影像配准装置，其中包括用于存储计算机可执行指令的存储器，以及，处理器；该处理器用于在执行该存储器中的计算机可执行指令时实现上述各方法实施方式中的步骤。
在一个实施例中，其中，该处理器可以是中央处理单元(Central ProcessingUnit，简称“CPU”)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，简称“DSP”)、专用集成电路(Application Specific Integrated Circuit，简称“ASIC”)等。前述的存储器可以是只读存储器(read-only memory，简称“ROM”)、随机存取存储器(random access memory，简称“RAM”)、快闪存储器(Flash)、硬盘或者固态硬盘等。本发明各实施方式所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。在一个实施例中，该医学影像配准装置还包括总线和通信接口。处理器、存储器和通信接口都通过总线相互连接。通信接口可以是无线通信接口也可以是有线通信接口，用于使得处理器能够与其他的系统通信。
在一个实施例中，所述医学影像配准装置还可以包括图形处理器，其中，所述图形处理器可以是通用的GPU设备。优选的，本申请采用的图形处理器为NVIDIA GTX 1080Ti，内存为11GB，以适应于神经网络计算对处理性能的高要求。
应当注意以上所描述的所有或者任一实施例可以彼此结合，除非另外声明或者此类实施例可能在功能上和/或架构上相互排斥。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (5)

1.一种多模态的医学影像配准方法，其特征在于，包括：
分别获取感兴趣区域的术前的浮动图像的灰度图和二值图以及术中的固定图像的灰度图和二值图，无需获取术前的固定图像，其中所述术前的浮动图像是核磁共振图像，所述术中的固定图像是计算机断层扫描图像；其中，采用初始化的UNet++神经网络获取感兴趣区域的术前的浮动图像的灰度图和二值图以及术中的固定图像的灰度图和二值图，所述UNet++神经网络包括若干层图像尺寸逐渐递减的卷积块，每层中在先的卷积块分别与在后的卷积块跳跃连接，每层中的第一个卷积块下采样至其下一层的第一个卷积块，每层中的第{i,j}个卷积块上采样至第{i-1，j+1}个卷积块，其中i为网络层数序号，j为卷积块序号，每个所述卷积块包括若干层依次连接的卷积层和残差结构，所述残差结构连接第一层所述卷积层和最后一层所述卷积层；
对所述术前的浮动图像的二值图和所述术中的固定图像的二值图进行刚性配准，计算所述术前的浮动图像与所述术中的固定图像的第一变换参数；所述对所述术前的浮动图像的二值图和所述术中的固定图像的二值图进行刚性配准的步骤，进一步包括：
采用KS系数作为相似性度量进行所述刚性配准，所述KS系数为：
其中μ是所述刚性配准中的位移变量，IF是所述术中的固定图像的二值图，IM是所述术前的浮动图像的二值图，Tμ是空间变换函数，1是指标函数，ΩF是图像域；
以所述第一变换参数为初始条件，对所述术前的浮动图像的灰度图和所述术中的固定图像的灰度图进行自由形变配准，计算所述术前的浮动图像与所述术中的固定图像的第二变换参数并输出经变换的术前的浮动图像；所述对所述术前的浮动图像的灰度图和所述术中的固定图像的灰度图进行自由形变配准的步骤，进一步包括：
采用互信息作为相似性度量进行所述自由形变配准，所述互信息为：
MI(IF,IM)＝H(IF)+H(IM)-H(IF,IM)，其中H(IF)是所述术中的固定图像的灰度图的灰度熵，H(IM)是所述术前的浮动图像的灰度图的灰度熵，H(IF，IM)是所述术中的固定图像的灰度图和所述术前的浮动图像的灰度图的联合熵。
2.如权利要求1所述的医学影像配准方法，其特征在于，所述分别获取感兴趣区域的术前的浮动图像和术中的固定图像的灰度图和二值图的步骤，进一步包括：
分别将固定图像或浮动图像的训练样本输入到被初始化的UNet++神经网络中进行训练，根据二值交叉熵和Dice系数确定的损失函数分别计算输出图像与相应的真值之间的误差，获得训练后的固定图像分割网络和参考图像分割网络；
将术中的固定图像输入所述固定图像分割网络获取所述感兴趣区域的所述术中的固定图像的灰度图和二值图；
将术前的浮动图像输入所述浮动图像分割网络获取所述感兴趣区域的所述术前的浮动图像的灰度图和二值图；
其中所述损失函数为：
其中/>y是真值，/>是预测值。
3.如权利要求1所述的医学影像配准方法，其特征在于，所述UNet++神经网络包括五层图像尺寸逐渐递减的卷积块，并且下一层特征图像的尺寸是上一层特征图像的四分之一。
4.一种多模态的医学影像的配准装置，其特征在于，包括：
分割模块，所述分割模块采用神经网络模型分别获取感兴趣区域的术前的浮动图像的灰度图和二值图以及术中的固定图像的灰度图和二值图，无需获取术前的固定图像，其中所述术前的浮动图像是核磁共振图像，所述术中的固定图像是计算机断层扫描图像；其中，采用初始化的UNet++神经网络获取感兴趣区域的术前的浮动图像的灰度图和二值图以及术中的固定图像的灰度图和二值图，所述UNet++神经网络包括若干层图像尺寸逐渐递减的卷积块，每层中在先的卷积块分别与在后的卷积块跳跃连接，每层中的第一个卷积块下采样至其下一层的第一个卷积块，每层中的第{i,j}个卷积块上采样至第{i-1，j+1}个卷积块，其中i为网络层数序号，j为卷积块序号，每个所述卷积块包括若干层依次连接的卷积层和残差结构，所述残差结构连接第一层所述卷积层和最后一层所述卷积层；
第一配准模块，所述第一配准模块对所述术前的浮动图像的二值图和所述术中的固定图像的二值图进行刚性配准，计算所述术前的浮动图像与所述术中的固定图像的第一变换参数；对所述术前的浮动图像的二值图和所述术中的固定图像的二值图进行刚性配准，进一步包括：
采用KS系数作为相似性度量进行所述刚性配准，所述KS系数为：
其中μ是所述刚性配准中的位移变量，IF是所述术中的固定图像的二值图，IM是所述术前的浮动图像的二值图，Tμ是空间变换函数，1是指标函数，ΩF是图像域；
第二配准模块，所述第二配准模块以所述第一变换参数为初始条件，对所述术前的浮动图像的灰度图和所述术中的固定图像的灰度图进行自由形变配准，计算所述术前的浮动图像与所述术中的固定图像的第二变换参数；对所述术前的浮动图像的灰度图和所述术中的固定图像的灰度图进行自由形变配准，进一步包括：
采用互信息作为相似性度量进行所述自由形变配准，所述互信息为：
MI(IF,IM)＝H(IF)+H(IM)-H(IF,IM)，其中H(IF)是所述术中的固定图像的灰度图的灰度熵，H(IM)是所述术前的浮动图像的灰度图的灰度熵，H(IF，IM)是所述术中的固定图像的灰度图和所述术前的浮动图像的灰度图的联合熵
输出模块，配置为输出经变换的术前的浮动图像。
5.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现权利要求1-3任一所述的影像配准方法的指令。
CN201911305036.XA 2019-12-17 2019-12-17 一种医学影像配准的方法和装置 Active CN113096166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911305036.XA CN113096166B (zh) 2019-12-17 2019-12-17 一种医学影像配准的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911305036.XA CN113096166B (zh) 2019-12-17 2019-12-17 一种医学影像配准的方法和装置

Publications (2)

Publication Number Publication Date
CN113096166A CN113096166A (zh) 2021-07-09
CN113096166B true CN113096166B (zh) 2023-08-18

Family

ID=76662717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911305036.XA Active CN113096166B (zh) 2019-12-17 2019-12-17 一种医学影像配准的方法和装置

Country Status (1)

Country Link
CN (1) CN113096166B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187335A (zh) * 2021-11-09 2022-03-15 北京东软医疗设备有限公司 多视图医学图像的配准方法、装置及设备
CN114119934B (zh) * 2021-11-26 2024-10-01 杭州柳叶刀机器人有限公司 盆骨转正方法、手术系统、存储介质及电子设备
CN114463456A (zh) * 2021-12-31 2022-05-10 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947860A (zh) * 2010-06-15 2013-02-27 皇家飞利浦电子股份有限公司 显微镜学中的图像处理方法
JP6276901B1 (ja) * 2017-05-26 2018-02-07 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN108577940A (zh) * 2018-02-11 2018-09-28 苏州融准医疗科技有限公司 一种基于多模态医学图像信息的靶向穿刺引导系统及方法
CN110223331A (zh) * 2019-04-11 2019-09-10 南京邮电大学 一种大脑mr医学图像配准方法
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726555B2 (en) * 2018-06-06 2020-07-28 International Business Machines Corporation Joint registration and segmentation of images using deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102947860A (zh) * 2010-06-15 2013-02-27 皇家飞利浦电子股份有限公司 显微镜学中的图像处理方法
JP6276901B1 (ja) * 2017-05-26 2018-02-07 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN108577940A (zh) * 2018-02-11 2018-09-28 苏州融准医疗科技有限公司 一种基于多模态医学图像信息的靶向穿刺引导系统及方法
CN110223331A (zh) * 2019-04-11 2019-09-10 南京邮电大学 一种大脑mr医学图像配准方法
CN110517235A (zh) * 2019-08-19 2019-11-29 苏州大学 一种基于GCS-Net进行OCT图像脉络膜自动分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Graph cuts的分割算法在心脏图像中的应用研究;马双;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190615;第2019年卷(第06期);第4.2.3节第1-2和4段 *

Also Published As

Publication number Publication date
CN113096166A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN111161326B (zh) 用于可变形图像配准的无监督深度学习的系统和方法
CN113096166B (zh) 一种医学影像配准的方法和装置
Guan et al. A review of point feature based medical image registration
Machado et al. Non-rigid registration of 3D ultrasound for neurosurgery using automatic feature detection and matching
JP5584441B2 (ja) ボリュームデータ間の対応付け方法
US9275432B2 (en) Method of, and apparatus for, registration of medical images
AU2007221876B2 (en) Registration of images of an organ using anatomical features outside the organ
US8233681B2 (en) Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and a blood vessel and tissue surface image for the subject
Zhang et al. A markerless automatic deformable registration framework for augmented reality navigation of laparoscopy partial nephrectomy
Coupé et al. 3D rigid registration of intraoperative ultrasound and preoperative MR brain images based on hyperechogenic structures
CN115690178A (zh) 基于深度学习的跨模块非刚体配准方法、系统及介质
Xu et al. ROI-based intraoperative MR-CT registration for image-guided multimode tumor ablation therapy in hepatic malignant tumors
Nazem et al. Two-stage point-based registration method between ultrasound and CT imaging of the liver based on ICP and unscented Kalman filter: a phantom study
Ferrante et al. Slice-to-volume deformable registration: efficient one-shot consensus between plane selection and in-plane deformation
Zeng et al. Learning-based US-MR liver image registration with spatial priors
CN116612166A (zh) 一种多模态影像的配准融合算法
CN115527003A (zh) 术前术中肝脏点云数据配准系统、方法、终端以及存储介质
JP6775294B2 (ja) 画像処理装置および方法並びにプログラム
Liu et al. CT-ultrasound registration for electromagnetic navigation of cardiac intervention
Oliveira et al. Segmentation of kidney and renal collecting system on 3D computed tomography images
Alqaoud et al. Multi-Modality Breast MRI Segmentation Using NNU-NET For Preoperative Planning Of Robotic Surgery Navigation
Zhu et al. A novel method for 3D knee anatomical landmark localization by combining global and local features
Acar et al. Towards navigation in endoscopic kidney surgery based on preoperative imaging
Jeong et al. Non-rigid registration based on hierarchical deformation of coronary arteries in CCTA images
CN115984239A (zh) 脑动脉血管的中心线提取方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20211009

Address after: 200240 Room 403 and 405, 4th floor, No. 418, Guiping Road, Xuhui District, Shanghai

Applicant after: Shanghai Meijie Medical Technology Co.,Ltd.

Address before: 200240 floor 1, building 5, No. 951, Jianchuan Road, Minhang District, Shanghai (set)

Applicant before: Shanghai Meijie Medical Technology Co.,Ltd.

Applicant before: Xu Xuemin

Applicant before: Zhang Aili

Applicant before: Liu Ping

Applicant before: Sun Jianqi

Applicant before: Bai Jingfeng

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant