CN110838140A - 基于混合监督学习的超声和核磁图像配准融合方法及装置 - Google Patents

基于混合监督学习的超声和核磁图像配准融合方法及装置 Download PDF

Info

Publication number
CN110838140A
CN110838140A CN201911182583.3A CN201911182583A CN110838140A CN 110838140 A CN110838140 A CN 110838140A CN 201911182583 A CN201911182583 A CN 201911182583A CN 110838140 A CN110838140 A CN 110838140A
Authority
CN
China
Prior art keywords
image
registration
network
rigid
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911182583.3A
Other languages
English (en)
Inventor
丛伟建
武潺
邓巧玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ari Mai Di Technology Shijiazhuang Co Ltd
Original Assignee
Ari Mai Di Technology Shijiazhuang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ari Mai Di Technology Shijiazhuang Co Ltd filed Critical Ari Mai Di Technology Shijiazhuang Co Ltd
Priority to CN201911182583.3A priority Critical patent/CN110838140A/zh
Publication of CN110838140A publication Critical patent/CN110838140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

基于混合监督学习的超声和核磁图像配准融合方法及装置，其既满足了任务的需求又大大降低了训练的难度和时间成本，同时降低了对人工标签的数量以及精度的要求。其包括：(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；(2)使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。

Description

基于混合监督学习的超声和核磁图像配准融合方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于混合监督学习的超声和核磁图像配准融合方法，以及基于混合监督学习的超声和核磁图像配准融合装置。
背景技术
磁共振MR(即，磁共振共像，Magnetic Resonance Imaging)和超声US(即，超声波扫描，ultrasound scan)肝脏图像的配准和融合可以为肝脏消融手术提供高质量的指导。然而，准确的MR-US配准仍然是一项具有挑战性的任务，主要困难来自于不同物理原理成像时组织或器官外观的巨大变化，包括：两种形态之间的灰度变化，超声较低的成像质量，和由于超声探头的压迫而引起的肝脏大规模的形变，以及患者呼吸的影响。
在过去的几十年中已经提出了许多配准算法。这些多模态配准方法可分为两类。一类是根据图像灰度。根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI，NMI，CC，NCC等。但是这些相似性测度在面临US和MR的配准任务时却往往失败，由于这两种模态图像截然不同的表观。此外，慢速的迭代优化过程也阻碍该图像配准方法在临床中的应用。另一类配准方法基于特征。当自动提取特征时，它将面临与基于图像灰度的方法相似的挑战。人工手动选择解剖学特征是比较稳定的，但比较费时而且昂贵，有时甚至是不可行的。
最近，基于深度学习的方法，尤其是利用卷积神经网络，在配准领域展现了很好的前景。
之前人们提出以传统算法得到形变场作为金标准，通过回归网络学习形变场与成对图像表观差异之间的关系，以及基于人工相似性测度作为损失函数的无监督学习。这两类方法并不太适用于US、MR这两种模态差异如此之大的图像，因为目前并没有一个足够鲁棒的相似性测度可以完成US、MR的配准。
有学者认为基于解剖知识的高层次对应结构作为标签更实用并且可靠。通过标出同一对图像中相同的器官以及它们的边界，病理区域和一些其它的解剖结构，形态或生理特征作为弱标签来训练低级体素之间的对应关系。通过这个方法，他们成功实现前列腺的US和MR图像的配准。但是，对于面临的肝脏MR与US的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3D US图像中手动标注。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于混合监督学习的超声和核磁图像配准融合方法，其既满足了任务的需求又大大降低了训练的难度和时间成本，并降低了对人工标签的数量以及精度的要求。
本发明的技术方案是：这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：
(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。
(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
本发明通过一个全局刚性配准网络与局部B样条配准网络串接，简化的架构降低了网络的参数数量，因此既满足了任务的需求又大大降低了训练的难度和时间成本；使用由血管标签和MIND相似性度量共同监督的B样条配准网络的训练来预测MR和3D超声图像之间的弹性变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。
本发明提供了基于混合监督学习的超声和核磁图像配准融合装置，其包括：
刚性对准模块，通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准。
非刚性配准模块，其使用由血管标签和MIND相似性度量共同监督的B样条配准网络的训练来预测MR和3D超声图像之间的弹性变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
附图说明
图1是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的整体架构。
图2是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的训练策略。
图3示出了刚性配准的网络架构和弹性配准网络结构的区别，其中虚线上部分展示了刚性配准的网络架构，虚线下部分描述了弹性配准网络结构。
图4是根据本发明的基于混合监督学习的超声和核磁图像配准融合方法的流程图。
具体实施方式
对于面临的肝脏MR与US的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3D US图像中手动标注。幸运的是，隔膜通常是超声图像中最亮的部分，并且具有较强的梯度响应，因此一些高级相似性测度也可以用来处理这些区域的配准。
受这些想法的启发，申请人提出了基于混合监督的配准网络。首先，通过血管标签驱动的刚性网络以确保两个图像在空间上刚性对准，然后我们使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系。实验表明，该方法大大提高了性能。
如图4所示，这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：
(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。
(2)使用由血管标签和MIND相似性度量共同监督的弹性配准网络来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
本发明通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；使用由血管标签和MIND相似性度量共同监督的弹性配准网络来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。
优选地，该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。
优选地，所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。
优选地，对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。
优选地，对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择了B样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*323大小的特征；经过一次反卷积，padding为0，得到特征大小为batch-size*32*343，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的B样条网格形变场；对该网络形变场进行B样条插值，得到稠密形变场，对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，padding为1，下采样参数为2，激活层为LeakyRelu。
优选地，所述步骤(2)中，将浮动3D US图像和固定图像MR堆叠在一起为双通道网络的输入；输入的大小为128×128×128×2，将网络输出转换为密集变形场，其大小为128×128×128×3，使用空间变换函数将密集变形场作用到US图像上，然后通过双线性插值对US图像进行重采样；在得到扭曲的超声图像之后，计算它与固定的MR图像之间的相似性测度，并将结果用作网络训练的第一个监督项；将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。
优选地，对于用于训练的浮动图像和固定图像，分别为Im和If,浮动图像和固定图像标签为lm和lf，这些标签代表着固定图像以及浮动图像中对应的解剖结构，包括肝脏重要的门静脉血管以及下腔静脉；将损失函数用公式表达如下：
标签损失为公式(1)：
Figure BDA0002291665260000061
其中
Figure BDA0002291665260000062
代表平均灰度，ΩF
代表lf的图像空间，|ΩF|代表像素的个数，NCC代表着固定标签lf和形变后标签
Figure BDA0002291665260000066
计算得到的归一化互相关系数，其中u是网络预测出的形变场；
图像损失为公式(2)：
使用基于图像梯度的相似性测度来监督隔膜和其他难以手动标注的细血管区域的配准，选择模态独立邻域描述符MIND作为相似性度量
其中I代表磁共振或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径，Dp为距离度量，Vp为对方差的估计，通过使用MIND，图像将由在每个位置x，大小为|R|的向量表示，固定图像If和变形图像
Figure BDA0002291665260000065
之间的图像相似性损失表示为公式(3)：
Figure BDA0002291665260000064
其中r＝1；
总体损失为公式(4)：
其中R(u)为对形变场平滑项，α＝0.01,β＝100,γ＝1。
优选地，在所述步骤(1)之前还包括数据预处理，获取两位病人的术前MR以及包含其半个呼吸周期的14例3D US图像，对于MR及每一例3DUS，人工的标注出肝脏中心最明显的血管以及穿过肝脏部位的下腔静脉；将肝脏区域从腹部MR图像中分割了出来以降低误匹配的概率；离散并且均匀地在半个呼吸周期中取8例作为训练，另外7例作为测试；选择呼气末节点的3D US图像与术前病人的3D MR图像通过简单地人工选点进行初始的刚性配准，将所有的3D US粗略地刚性配准到MR；所有的图像重采样到1mmx1mmx1mm,并且下采样到128x128x128vox。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于混合监督学习的超声和核磁图像配准融合装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
刚性对准模块，其通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准，通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；网络训练模块，其使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
优选地，其还包括实时配准融合模块，其将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。
以下更详细地说明本发明。
图像配准的目标就是找到一个将浮动图像Im扭曲到固定图像If的形变场μ，使得变形图像
Figure BDA0002291665260000082
相似于If。经典配准方法可以用公式表述如下：
Figure BDA0002291665260000081
第一项
Figure BDA0002291665260000083
计算固定图像和变形图像之间的距离，S表示相似性度量。第二项R(u)使形变场更为平滑。β和γ是权重参数，通常设定为β＝γ＝1。
在配准方法中，通常是先进行全局配准再进行复杂的局部弹性配准。在本文中将继续沿用这个思路。由于肝脏的形变主要是由呼吸和腹压而造成的，形变主要由一部分的滑动加上平滑的弹性形变构成。选择刚性形变作为全局形变模型，B样条作为弹性形变模型。在满足精度的条件下降低了训练的时间和调参难度。如图1所示，训练和测试过程中，所有图像都被下采样到128*128*128体素。将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。
图2表明了所提出的混合监督配准网络的训练策略，为了节省布局，将刚性网络和弹性配准网络一起绘制，由虚线分开。它们的训练策略是相似的，在弹性配准网络中使用图像测度和分割标签测度，但对于刚性配准网络，分割标签测度就足够了。在训练之后，配准网络仅需要成对的固定图像和浮动图像便可预测输出的稠密形变场，通过该形变场可以将浮动图像配准到固定图像。
借鉴Hu et al.的网络框架，如图2所示，将浮动3D US图像和固定图像MR堆叠在一起为双通道网络的输入。在实验中，输入的大小为128×128×128×2。虽然刚性配准网络和弹性配准网络的输出不同，但将它们都转换为密集变形场，其大小为128×128×128×3。使用空间变换函数将密集变形场作用到US图像上，然后通过双线性插值对US图像进行重采样。在得到扭曲的超声图像之后，计算它与固定的MR图像之间的相似性测度，并将结果用作网络训练监督项之一。同时，将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。
对于用于训练的浮动图像和固定图像，分别为Im和If,浮动图像和固定图像标签为lm和lf，这些标签代表着固定图像以及浮动图像中对应的解剖结构包括肝脏重要的门静脉血管以及下腔静脉。将损失函数用公式表达出来如下：
标签损失：
其中
Figure BDA0002291665260000092
代表平均灰度，ΩF代表lf的图像空间，|ΩF|代表像素的个数。
在这项工作中，NCC代表着固定标签lf和形变后标签
Figure BDA0002291665260000094
计算得到的归一化互相关系数，其中u是网络预测出的形变场。
图像损失：
使用基于图像梯度的相似性测度来监督隔膜和其他难以手动标注的细血管区域的配准。在本文中，选择MIND(模态独立邻域描述符)作为相似性度量，其优点是对跨模态图像可以有效的提取特征。
Figure BDA0002291665260000093
其中I代表磁共振或者超声图像，x代表图像中的一点。n为归一化常数，r∈R代表搜索半径。其中Dp为距离度量，Vp为对方差的估计，通过使用MIND，图像将由在每个位置x，大小为|R|的向量表示。最后，固定图像If和变形图像
Figure BDA0002291665260000104
之间的图像相似性损失可表示为：
Figure BDA0002291665260000101
为了计算简便，这里选择r＝1。
总体损失：
最后总损失函数为标签损失与图像损失以一定的权重相加，再加入对形变场的平滑项R(u),选择
Figure BDA0002291665260000103
最后的损失函数为
在这项任务中，选择α＝0.01,β＝100,γ＝1。
图3示出了刚性配准的网络架构和非刚性配准网络结构的区别，其中虚线上部分展示了刚性配准的网络架构，虚线下部分描述了非刚性配准网络结构。
对于刚性配准网络，用双通道网络结构。它由五个卷积层和四个向下采样层组成。这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3。最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。
对于弹性配准网络，同样用双通道网络结构。将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道。由于对每一个病人都训练一个网络模型，网络训练的速度也是值得重视的。选择参数较少的B样条弹性配准模型。在经过一系列在传统算法上的测试后选择了Bspline的网格插值间隔为9。在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3。将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*323大小的特征。在这之后，经过一次反卷积(padding为0)，得到特征大小为batch-size*32*343，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的B样条网格形变场。对该网络形变场进行B样条插值，得到稠密形变场，(实现B样条插值的方法可以参考AirLab[9])。对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，没有特别说明的padding为1。下采样参数为2。激活层为leakyrelu。
数据预处理
获取两位病人的术前MR以及包含其半个呼吸周期的14例3D US图像，志愿者A和B。对于MR及每一例3D US，人工的标注出肝脏中心最明显的血管以及穿过肝脏部位的下腔静脉。除此之外，将肝脏区域从腹部MR图像中分割了出来以降低误匹配的概率。离散并且均匀地在半个呼吸周期中取8例作为训练，另外7例作为测试。选择呼气末节点的3D US图像与术前病人的3D MR图像通过简单地人工选点进行初始的刚性配准，将所有的3D US粗略地刚性配准到MR。之后所有的图像重采样到1mmx1mmx1mm,并且下采样到128x128x128vox，来减少内存的使用。
本文展示了一种基于深度学习配准框架，用于学习MR和3D US序列图像的外观差异与变形场之间的对应关系。该方法在手术过程中可以快速获得配准融合结果，并且在肝脏的血管和隔膜的配准上都得到了良好的效果。本方法使用顺序连接全局刚性配准网络和局部弹性配准网络来一次性生成刚性和弹性配准的变换参数。该方法完成文中配准任务中一例数据用时0.403s，而GPU加速的传统算法仍然需要35s。将来，如果提供足够的数据，可以尝试更复杂的网络来学习更普遍适用的模型。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：其包括以下步骤：
(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动的以确保超声和核磁图像在空间上刚性对准；
(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
2.根据权利要求1所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。
3.根据权利要求2所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。
4.根据权利要求3所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。
5.根据权利要求4所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择B样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*323大小的特征；经过一次反卷积，padding为0，得到特征大小为batch-size*32*343，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的B样条网格形变场；对该网络形变场进行B样条插值，得到稠密形变场，对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，padding为1，下采样参数为2，激活层为LeakyRelu。
6.根据权利要求5所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(2)中，将浮动3D US图像和固定图像MR堆叠在一起为双通道网络的输入；输入的大小为128×128×128×2，将网络输出转换为密集变形场，其大小为128×128×128×3，使用空间变换函数将密集变形场作用到US图像上，然后通过双线性插值对US图像进行重采样；在得到扭曲的超声图像之后，计算它与固定的MR图像之间的相似性测度，并将结果用作网络训练的第一个监督项；将该密集变形场用于分割出的血管标签图像，然后将形变后的标签和固定图像标签之间的差异作为网络训练的第二个监督项。
7.根据权利要求6所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于用于训练的浮动图像和固定图像，分别为ImIf,浮动图像和固定图形标签为lm和lf，这些标签代表着固定图像以及浮动图像中对应的解剖结构，包括肝脏重要的门静脉血管以及下腔静脉；将损失函数用公式表达如下：
标签损失为公式(1)：
其中
Figure FDA0002291665250000032
代表平均灰度，ΩF代表lf的图像空间，|ΩF|代表像素的个数，NCC代表着固定标签lf和形变后标签
Figure FDA0002291665250000033
计算得到的归一化互相关系数，其中u是网络预测出的形变场；
图像损失为公式(2)：
使用基于图像梯度的相似性测度来监督隔膜和其他难以手动标注的细血管区域的配准，选择模态独立邻域描述符MIND作为相似性度量
其中I代表磁共振或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径，Dp为距离度量，Vp为对方差的估计，通过使用MIND，图像将由在每个位置x，大小为|R|的向量表示，固定图像If和变形图像
Figure FDA0002291665250000035
之间的图像相似性损失表示为公式(3)：
Figure FDA0002291665250000036
其中r＝1；
总体损失为公式(4)：
Figure FDA0002291665250000037
其中R(u)为对形变场平滑项，α＝0.01,β＝100,γ＝1。
8.根据权利要求7所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：在所述步骤(1)之前还包括数据预处理，获取两位病人的术前MR以及包含其半个呼吸周期的14例3D US图像，对于MR及每一例3D US，人工的标注出肝脏中心最明显的血管以及穿过肝脏部位的下腔静脉；将肝脏区域从腹部MR图像中分割了出来以降低误匹配的概率；离散并且均匀地在半个呼吸周期中取8例作为训练，另外7例作为测试；选择呼气末节点的3D US图像与术前病人的3D MR图像通过简单地人工选点进行初始的刚性配准，将所有的3DUS粗略地刚性配准到MR；所有的图像重采样到1mmx1mmx1mm,并且下采样到128x128x128体素。
9.基于混合监督学习的超声和核磁图像配准融合装置，其包括：
刚性对准模块，刚性形变作为全局形变模型，通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准；
弹性配准模块，B样条作为弹性形变模型，其使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。
10.根据权利要求9所述的基于混合监督学习的超声和核磁图像配准融合装置，其特征在于：其还包括实时配准融合模块，其将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。
CN201911182583.3A 2019-11-27 2019-11-27 基于混合监督学习的超声和核磁图像配准融合方法及装置 Pending CN110838140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911182583.3A CN110838140A (zh) 2019-11-27 2019-11-27 基于混合监督学习的超声和核磁图像配准融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911182583.3A CN110838140A (zh) 2019-11-27 2019-11-27 基于混合监督学习的超声和核磁图像配准融合方法及装置

Publications (1)

Publication Number Publication Date
CN110838140A true CN110838140A (zh) 2020-02-25

Family

ID=69577545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911182583.3A Pending CN110838140A (zh) 2019-11-27 2019-11-27 基于混合监督学习的超声和核磁图像配准融合方法及装置

Country Status (1)

Country Link
CN (1) CN110838140A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
CN112348811A (zh) * 2020-12-04 2021-02-09 深圳大学 深度学习图像的配准方法、装置、电子设备及存储介质
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112465813A (zh) * 2020-12-17 2021-03-09 北京工业大学 一种基于应力应变的血管内超声弹性分析方法
CN112598718A (zh) * 2020-12-31 2021-04-02 北京深睿博联科技有限责任公司 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113506331A (zh) * 2021-06-29 2021-10-15 武汉联影智融医疗科技有限公司 组织器官的配准方法、装置、计算机设备和存储介质
CN113689480A (zh) * 2021-08-20 2021-11-23 北京理工大学 基于管状结构检测的三维us/mr配准融合方法及装置
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140153797A1 (en) * 2012-12-04 2014-06-05 Toshiba Medical Systems Corporation Image registration device and method, image segmentation device and method and medical image apparatus
CN104933672A (zh) * 2015-02-26 2015-09-23 浙江德尚韵兴图像科技有限公司 基于快速凸优化算法配准三维ct与超声肝脏图像的方法
CN106204561A (zh) * 2016-07-04 2016-12-07 西安电子科技大学 基于混合模型的前列腺多模态图像非刚性配准方法
CN106934821A (zh) * 2017-03-13 2017-07-07 中国科学院合肥物质科学研究院 一种基于icp算法和b样条的锥形束ct和ct图像配准方法
CN108711168A (zh) * 2018-06-04 2018-10-26 中北大学 基于zmld与gc离散优化的非刚性多模态医学图像配准方法
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140153797A1 (en) * 2012-12-04 2014-06-05 Toshiba Medical Systems Corporation Image registration device and method, image segmentation device and method and medical image apparatus
CN104933672A (zh) * 2015-02-26 2015-09-23 浙江德尚韵兴图像科技有限公司 基于快速凸优化算法配准三维ct与超声肝脏图像的方法
CN106204561A (zh) * 2016-07-04 2016-12-07 西安电子科技大学 基于混合模型的前列腺多模态图像非刚性配准方法
CN106934821A (zh) * 2017-03-13 2017-07-07 中国科学院合肥物质科学研究院 一种基于icp算法和b样条的锥形束ct和ct图像配准方法
CN108711168A (zh) * 2018-06-04 2018-10-26 中北大学 基于zmld与gc离散优化的非刚性多模态医学图像配准方法
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ALESSA HERING等: "Enhancing Label-Driven Deep Deformable Image Registration with Local Distance Metrics for State-of-the-Art Cardiac Motion Tracking", 《ARXIV:1812.01859V1[CS.CV]》, 31 December 2018 (2018-12-31), pages 1 - 3 *
KOEN A. J. EPPENHOF等: "Pulmonary_CT_Registration_Through_Supervised_Learning_With_Convolutional_Neural_Networks", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
KOEN A. J. EPPENHOF等: "Pulmonary_CT_Registration_Through_Supervised_Learning_With_Convolutional_Neural_Networks", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》, vol. 5, no. 38, 31 May 2019 (2019-05-31), pages 2 - 4 *
YIPENG HU等: "LABEL-DRIVEN WEAKLY-SUPERVISED LEARNING FOR MULTIMODAL DEFORMABLE IMAGE REGISTRATION", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018)》 *
YIPENG HU等: "LABEL-DRIVEN WEAKLY-SUPERVISED LEARNING FOR MULTIMODAL DEFORMABLE IMAGE REGISTRATION", 《2018 IEEE 15TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING (ISBI 2018)》, 30 April 2018 (2018-04-30), pages 1070 - 1072 *
孙水发: "《3D打印逆向建模技术及应用》", 南京师范大学出版社, pages: 98 - 99 *
宋湘芬等: "基于B样条的医学图像弹性配准", 《生物医学工程研究》 *
宋湘芬等: "基于B样条的医学图像弹性配准", 《生物医学工程研究》, 5 March 2017 (2017-03-05) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862175A (zh) * 2020-07-13 2020-10-30 清华大学深圳国际研究生院 一种基于循环正则训练的跨模态医学图像配准方法及装置
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112435281B (zh) * 2020-09-23 2022-06-24 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112348811A (zh) * 2020-12-04 2021-02-09 深圳大学 深度学习图像的配准方法、装置、电子设备及存储介质
CN112465813A (zh) * 2020-12-17 2021-03-09 北京工业大学 一种基于应力应变的血管内超声弹性分析方法
CN112465813B (zh) * 2020-12-17 2024-05-28 北京工业大学 一种基于应力应变的血管内超声弹性分析方法
CN112598718A (zh) * 2020-12-31 2021-04-02 北京深睿博联科技有限责任公司 一种无监督多视角多模态智能眼镜图像配准方法及装置
CN113506331A (zh) * 2021-06-29 2021-10-15 武汉联影智融医疗科技有限公司 组织器官的配准方法、装置、计算机设备和存储介质
CN113689480A (zh) * 2021-08-20 2021-11-23 北京理工大学 基于管状结构检测的三维us/mr配准融合方法及装置

Similar Documents

Publication Publication Date Title
CN110838140A (zh) 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN111091589B (zh) 基于多尺度监督学习的超声和核磁图像配准方法及装置
CN110475505B (zh) 利用全卷积网络的自动分割
US8538109B2 (en) Method and system for dynamic pulmonary trunk modeling and intervention planning
US8218845B2 (en) Dynamic pulmonary trunk modeling in computed tomography and magnetic resonance imaging based on the detection of bounding boxes, anatomical landmarks, and ribs of a pulmonary artery
Zheng et al. Automatic aorta segmentation and valve landmark detection in C-arm CT: application to aortic valve implantation
US20230104173A1 (en) Method and system for determining blood vessel information in an image
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US8948484B2 (en) Method and system for automatic view planning for cardiac magnetic resonance imaging acquisition
US20060122480A1 (en) Segmenting occluded anatomical structures in medical images
Liu et al. Automated cardiac segmentation of cross-modal medical images using unsupervised multi-domain adaptation and spatial neural attention structure
CN112102373A (zh) 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
US9129392B2 (en) Automatic quantification of mitral valve dynamics with real-time 3D ultrasound
Wang et al. Sk-unet: An improved u-net model with selective kernel for the segmentation of lge cardiac mr images
CN115830016B (zh) 医学图像配准模型训练方法及设备
Zimmer et al. A multi-task approach using positional information for ultrasound placenta segmentation
Meng et al. MulViMotion: Shape-aware 3D myocardial motion tracking from multi-view cardiac MRI
EP2498222B1 (en) Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices
Yong et al. Automatic ventricular nuclear magnetic resonance image processing with deep learning
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
CN109741439A (zh) 一种二维mri胎儿图像的三维重建方法
CN113689441A (zh) 一种基于DeepLabV3网络的左心室超声动态分割方法
Chen et al. Automatic 3D mitral valve leaflet segmentation and validation of quantitative measurement
Zhao et al. Automated coronary tree segmentation for x-ray angiography sequences using fully-convolutional neural networks
CN114419015A (zh) 一种基于多模态配准的脑功能融合分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225