CN111091589A - 基于多尺度监督学习的超声和核磁图像配准方法及装置 - Google Patents

基于多尺度监督学习的超声和核磁图像配准方法及装置 Download PDF

Info

Publication number
CN111091589A
CN111091589A CN201911168691.5A CN201911168691A CN111091589A CN 111091589 A CN111091589 A CN 111091589A CN 201911168691 A CN201911168691 A CN 201911168691A CN 111091589 A CN111091589 A CN 111091589A
Authority
CN
China
Prior art keywords
image
magnetic resonance
images
ultrasonic
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911168691.5A
Other languages
English (en)
Other versions
CN111091589B (zh
Inventor
杨健
范敬凡
王涌天
邓巧玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911168691.5A priority Critical patent/CN111091589B/zh
Publication of CN111091589A publication Critical patent/CN111091589A/zh
Application granted granted Critical
Publication of CN111091589B publication Critical patent/CN111091589B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30—Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

基于多尺度监督学习的超声和核磁图像配准方法及装置，在测试阶段只输入超声和磁共振图像便可预测出由超声到磁共振的形变场，完成超声到磁共振的配准，无需传统算法的迭代，在速度和准确度上大幅度提升。包括：(1)采集多个病人的肝脏三维磁共振图像以及与之对应的超声图像作为训练样本，将重要的组织区域分割出来作为标签图像；(2)构建基于3DUnet的配准基本框架；(3)得到基于多尺度监督神经网络；(4)将对应的磁共振和超声图像刚性配准；将处理好的磁共振和超声图像作为两个通道输入神经网络中，以MIND相似性测度，分割标签损失及形变场平滑项三个损失函数对神经网络进行训练；(5)根据配准参数将磁共振和超声图像配准。

Description

基于多尺度监督学习的超声和核磁图像配准方法及装置
技术领域
本发明涉及医学图像处理的技术领域，尤其涉及一种基于多尺度监督学习的超声和核磁图像配准方法，以及基于多尺度监督学习的超声和核磁图像配准装置。
背景技术
肝癌以其高发病率、高死亡率的特点成为我国人民面临的重大疾病威胁之一。基于超声US(即，超声波扫描，ultrasound scan)实时引导的肝脏肿瘤消融手术，由于其具有成本低，创面小等优点而成为临床医学重点发展方向。然而超声图像相对于只能术前采集的磁共振MR(即，磁共振共像，Magnetic Resonance Imaging)图像而言，成像质量低，视野范围窄，难以提供全面的解剖细节信息。所以在临床手术过程中将两种图像进行配准融合来进行辅助治疗可以达到更好的治疗效果。因此超声以及磁共振图像的配准融合是必要的。
传统基于迭代的图像配准算法，往往根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI(互信息)，NMI(归一化互信息)，CC(相关系数)，NCC(归一化相关系数)等，以及后来一些学者提出的基于图像灰度梯度的MIND(模态独立的邻域描述子)在超声和磁共振图像配准中取得了一定的进展。但由于超声和磁共振图像之间巨大的差异以及肝脏部位因呼吸和位姿造成的大形变，传统算法很难得到满意的结果，并且常常会因陷入局部最优而得到不满意的结果。
近些年来，由于深度学习可以通过图像的表观差异与形变场之间的对应关系从而学习到配准所需的形变场参数，已经逐渐应用到多模态图像配准中来。基于深度学习的配准方法主要包括：以传统算法得到形变场作为金标准来训练配准网络；或者以已知相似性测度作为神经网络的损失函数，无需金标准。
这些网络一经训练完成，在测试阶段不用经过繁重的迭代过程就可以得到配准结果，加快了配准的速度，但由于它们用的都是既有的传统相似性测度，难以应用到超声到磁共振图像的多模态图像配准。
最近一些学者提出以超声和磁共振图像中的重要器官或血管等管状结构的分割标签的重叠率作为多尺度监督学习金标准来训练配准网络，成功的将超声前列腺的超声磁共振图像配准到其对应的磁共振图像。但仍存在以下问题：
1.人工标注标签，无法避免误差。
2.人工标签是稀疏的，有些区域无法进行有效的监督。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于多尺度监督学习的超声和核磁图像配准方法，其在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
本发明的技术方案是：这种基于多尺度监督学习的超声和核磁图像配准方法，其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
本发明将超声、磁共振图像中对应重要器官结构分割出来，用分割标签匹配差异，超声图像形变后与磁共振图像的基于梯度描述子的相似性测度差异，以及对形变场起到平滑作用的正则项，这三个损失函数共同作为神经网络的训练损失；在传统的3Dunet网络上进行修改，得到基于多尺度监督神经网络；将对应的磁共振图像和超声图像，首先进行刚性配准，将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；因此在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
还提供了基于多尺度监督学习的超声和核磁图像配准装置，其包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；
刚性配准及网络训练模块，其配准来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配准来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
附图说明
图1是根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的整体架构。
图2示出了根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的各级的损失函数。
图3是根据本发明的基于多尺度监督学习的超声和核磁图像配准方法的流程图。
具体实施方式
对于基于深度学习的多模态图像配准而言，最大的挑战就是难以得到金标准。由于超声图像质量低，噪声多。传统算法也很难得到满意的配准结果。申请人将超声、磁共振图像中对应重要器官结构分割出来，用分割标签匹配差异，超声图像形变后与磁共振图像的基于梯度描述子的相似性测度差异，以及对形变场起到平滑作用的正则项，这三个损失函数共同作为神经网络的训练损失。需要分割的重要解剖结构包括器官轮廓，血管等管状结构边界。为了追求更高的配准精度以及提高配准网络的鲁棒性，在传统的3Dunet网络上进行修改，在解码网络中加入多尺度策略：先预测低分辨率形变场，用低分辨形变场初始化更高分辨率的形变场，在经过四个由低到高的分辨率尺度后，得到原图大小的稠密形变场。该网络一经训练完成，测试阶段只需要输入对应的超声和磁共振图像，便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程。
如图3所示，这种基于多尺度监督学习的超声和核磁图像配准方法，其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
本发明将超声、磁共振图像中对应重要器官结构分割出来，用分割标签匹配差异，超声图像形变后与磁共振图像的基于梯度描述子的相似性测度差异，以及对形变场起到平滑作用的正则项，这三个损失函数共同作为神经网络的训练损失；在传统的3Dunet网络上进行修改，得到基于多尺度监督神经网络；将对应的磁共振图像和超声图像，首先进行刚性配准，将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；因此在测试阶段只需要输入对应的超声和磁共振图像便可以直接预测出由超声图像到磁共振图像的形变场，完成超声到磁共振图像的配准过程，无需传统算法的迭代过程，在速度和准确度上都可以得到大幅度的提升。
优选地，所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3Dunet的编码解码网络中，网络输出通道数为三的形变场；将形变场
Figure BDA0002288139620000071
作用到超声图像Simg上得到形变后的图像Warpimg；与此同时，将形变场
Figure BDA0002288139620000072
作用到预先人工分割好的超声图像的标签Slabel上，得到形变后的超声标签Warplabel。
优选地，所述步骤(2)中，网络的损失函数包括：磁共振图像和形变图像基于梯度的多模态测度MIND(Timg，Warpimg)、形变后的超声图像的标签和磁共振图像标签基于灰度差的均方根SSD(Tlabel,Warplabel)、对形变场的平滑约束项
Figure BDA0002288139620000073
优选地，所述步骤(3)中，在3Dunet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的
Figure BDA0002288139620000074
以及全尺寸这四个尺度下输出通道数为三的张量作为形变场
Figure BDA0002288139620000075
为大小为原图
Figure BDA0002288139620000076
的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的
Figure BDA0002288139620000077
形变场，再添加形变后图像与固定分割图像的差异这个损失。
优选地，所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场
Figure BDA0002288139620000078
分别为16,32,64,128.的三维矩阵*3得到的四维矩阵；将每一级尺度的形变场，作用到对应的超声图像
Figure BDA0002288139620000079
上，
Figure BDA00022881396200000710
为原超声图像下采样到
Figure BDA00022881396200000711
从而得到
Figure BDA00022881396200000712
以及超声的分割二值图像上
Figure BDA00022881396200000713
优选地，所述步骤(2)中，磁共振图像和形变图像基于梯度的多模态测度MIND为公式(1)
Figure BDA0002288139620000081
其中I代表磁共振图像或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径；其中：Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p)2，计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的像素灰度之差的平方和SSD，
Figure BDA0002288139620000082
V(I,x)为对方差的估计，最后两幅多模态图像I,J的相似性测度为公式(2)
Figure BDA0002288139620000083
r＝1,p＝0，
每一级下采样到对应尺寸的
Figure BDA0002288139620000084
(尺寸为原图大小的1/2n-1的源图像和目标图像)，该级相似性测度损失为公式(3)
Figure BDA0002288139620000085
优选地，所述步骤(2)中，对每一级损失函数加入形变场梯度的L2范数，作为正则损失，各个级的正则损失函数为公式(4)
Figure BDA0002288139620000086
其中
Figure BDA0002288139620000087
代表形变场，Ω代表图像空间
参考图2，各级的损失函数为公式(5)
Figure BDA0002288139620000088
其中η＝1,γ＝1。
优选地，所述步骤(2)中，在最后一级加入分割标签损失公式(6)
Figure BDA0002288139620000089
得到整体损失函数为公式(7)
Loss＝αLossseg+β(0.08*loss1+0.04*loss2+0.02*loss3+0.01*loss4) (7)
其中α＝0.1，β＝10。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于多尺度监督学习的超声和核磁图像配准装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；
刚性配准及网络训练模块，其配准来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配准来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (9)

1.基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
2.根据权利要求1所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3Dunet的编码解码网络中，网络输出通道数为三的形变场；将形变场
Figure FDA0002288139610000011
作用到超声图像Simg上得到形变后的图像Warpimg；与此同时，将形变场
Figure FDA0002288139610000028
作用到预先人工分割好的超声图像的标签Slabel上，得到形变后的超声标签Warplabel。
3.根据权利要求2所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，网络的损失函数包括：磁共振图像和形变图像基于梯度的多模态测度MIND(Timg，Warpimg)、形变后的超声图像的标签和磁共振图像标签基于灰度差的均方根SSD(Tlabel,Warplabel)、对形变场的平滑约束项
Figure FDA0002288139610000029
4.根据权利要求3所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，在3Dunet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的
Figure FDA0002288139610000021
以及全尺寸这四个尺度下输出通道数为三的张量作为形变场
Figure FDA0002288139610000022
Figure FDA0002288139610000023
为大小为原图
Figure FDA0002288139610000024
的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的
Figure FDA0002288139610000027
形变场，再添加形变后图像与固定分割图像的差异这个损失。
5.根据权利要求4所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场
Figure FDA0002288139610000025
分别为16,32,64,128.的三维矩阵*3得到的四维矩阵；将每一级尺度的形变场，作用到对应的超声图像
Figure FDA0002288139610000026
上，
Figure FDA0002288139610000031
为原超声图像下采样到
Figure FDA0002288139610000032
从而得到
Figure FDA0002288139610000033
以及超声的分割二值图像上
Figure FDA0002288139610000034
6.根据权利要求5所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，磁共振图像和形变图像基于梯度的多模态测度MIND为公式(1)
Figure FDA0002288139610000035
其中I代表磁共振图像或者超声图像，x代表图像中的一点，n为归一化常数，r∈R代表搜索半径；其中：Dp(I,x1,x2)＝∑p∈P(I(x1+p)-I(x2+p)2，计算的是在搜索区域R内的所有小块与以两个体素x1和x2为中心的小块内的像素灰度之差的平方和SSD，
Figure FDA0002288139610000036
V(I,x)为对方差的估计，最后两幅多模态图像I,J的相似性测度为公式(2)
Figure FDA0002288139610000037
每一级下采样到对应尺寸的
Figure FDA0002288139610000038
其尺寸为原图大小的1/2n-1的源图像和目标图像，该级相似性测度损失为公式(3)
Figure FDA0002288139610000039
7.根据权利要求6所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，对每一级损失函数加入形变场梯度的L2范数，作为正则损失，各个级的正则损失函数为公式(4)
Figure FDA00022881396100000310
其中
Figure FDA00022881396100000311
代表形变场，Ω代表图像空间
各级的损失函数为公式(5)
Figure FDA0002288139610000041
其中η＝1,γ＝1。
8.根据权利要求7所述的基于多尺度监督学习的超声和核磁图像配
准方法，其特征在于：所述步骤(2)中，在最后一级加入分割标
签损失公式(6)
Figure FDA0002288139610000042
得到整体损失函数为公式(7)
Loss＝αLossseg+β(0.08*loss1+0.04*loss2+0.02*loss3+0.01*loss4) (7)
其中α＝0.1，β＝10。
9.基于多尺度监督学习的超声和核磁图像配准装置，其特征在于：
其包括：
采集分割模块，其配置来采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
框架构建模块，其配置来构建基于3DUnet的配准基本框架；
优化模块，其配置来对3DUnet进一步优化，得到基于多尺度监督神经网络；
刚性配准及网络训练模块，其配准来将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
实时配准模块，其配准来测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。
CN201911168691.5A 2019-11-25 2019-11-25 基于多尺度监督学习的超声和核磁图像配准方法及装置 Active CN111091589B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168691.5A CN111091589B (zh) 2019-11-25 2019-11-25 基于多尺度监督学习的超声和核磁图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168691.5A CN111091589B (zh) 2019-11-25 2019-11-25 基于多尺度监督学习的超声和核磁图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN111091589A true CN111091589A (zh) 2020-05-01
CN111091589B CN111091589B (zh) 2023-11-17

Family

ID=70394156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168691.5A Active CN111091589B (zh) 2019-11-25 2019-11-25 基于多尺度监督学习的超声和核磁图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN111091589B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111657883A (zh) * 2020-06-03 2020-09-15 北京理工大学 基于序列造影的冠脉syntax分数自动计算方法与系统
CN111709976A (zh) * 2020-08-24 2020-09-25 湖南国科智瞳科技有限公司 一种显微图像的快速配准方法、系统及计算机设备
CN111724423A (zh) * 2020-06-03 2020-09-29 西安交通大学 基于流体散度损失的微分同胚的非刚体配准方法
CN111784706A (zh) * 2020-06-28 2020-10-16 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111932443A (zh) * 2020-07-16 2020-11-13 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
CN111950714A (zh) * 2020-08-24 2020-11-17 重庆市云迈科技有限公司 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法
CN112084840A (zh) * 2020-07-24 2020-12-15 浙江工业大学 一种基于三维nmi的指静脉识别方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112419377A (zh) * 2020-11-20 2021-02-26 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113409349A (zh) * 2021-05-27 2021-09-17 拓微摹心数据科技(南京)有限公司 一种基于人工智能的主动脉结构图像自动分割方法
CN113450397A (zh) * 2021-06-25 2021-09-28 广州柏视医疗科技有限公司 基于深度学习的图像形变配准方法
CN113689480A (zh) * 2021-08-20 2021-11-23 北京理工大学 基于管状结构检测的三维us/mr配准融合方法及装置
WO2022011984A1 (zh) * 2020-07-16 2022-01-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备
CN114693753A (zh) * 2022-03-24 2022-07-01 北京理工大学 基于纹理保持约束的三维超声弹性配准方法及装置
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
WO2022247296A1 (zh) * 2021-05-27 2022-12-01 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN116563096A (zh) * 2023-07-11 2023-08-08 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备
CN116645576A (zh) * 2023-07-26 2023-08-25 深圳华声医疗技术股份有限公司 超声图像标签处理方法、装置、超声设备及存储介质
WO2023169575A1 (zh) * 2022-03-10 2023-09-14 中国科学院深圳先进技术研究院 核磁共振图像批量配准方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373108A (zh) * 2016-08-29 2017-02-01 王磊 一种将实时超声图像与术前核磁图像进行融合的方法及装置
CN109360181A (zh) * 2018-10-29 2019-02-19 中惠医疗科技（上海）有限公司 超声图像与核磁图像融合方法和系统
US20190080456A1 (en) * 2017-09-12 2019-03-14 Shenzhen Keya Medical Technology Corporation Method and system for performing segmentation of image having a sparsely distributed object
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法
CN110189369A (zh) * 2019-06-05 2019-08-30 深圳大学 一种超声与磁共振图像融合配准方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373108A (zh) * 2016-08-29 2017-02-01 王磊 一种将实时超声图像与术前核磁图像进行融合的方法及装置
US20190080456A1 (en) * 2017-09-12 2019-03-14 Shenzhen Keya Medical Technology Corporation Method and system for performing segmentation of image having a sparsely distributed object
CN109360181A (zh) * 2018-10-29 2019-02-19 中惠医疗科技（上海）有限公司 超声图像与核磁图像融合方法和系统
CN110163897A (zh) * 2019-04-24 2019-08-23 艾瑞迈迪科技石家庄有限公司 一种基于合成超声图像的多模态图像配准方法
CN110189369A (zh) * 2019-06-05 2019-08-30 深圳大学 一种超声与磁共振图像融合配准方法及终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BART R.THOMSON 等: "Hepatic vessel segmentation using a reduced filter 3D U-Net in ultrasound imaging" *
苏新宇 等: "基于心脏磁共振端州电影图像的右心室分割新进展" *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111657883A (zh) * 2020-06-03 2020-09-15 北京理工大学 基于序列造影的冠脉syntax分数自动计算方法与系统
CN111724423B (zh) * 2020-06-03 2022-10-25 西安交通大学 基于流体散度损失的微分同胚的非刚体配准方法
CN111724423A (zh) * 2020-06-03 2020-09-29 西安交通大学 基于流体散度损失的微分同胚的非刚体配准方法
CN111784706A (zh) * 2020-06-28 2020-10-16 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111784706B (zh) * 2020-06-28 2021-06-04 广州柏视医疗科技有限公司 鼻咽癌原发肿瘤图像自动识别方法及系统
CN111932443A (zh) * 2020-07-16 2020-11-13 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
CN111932443B (zh) * 2020-07-16 2024-04-02 江苏师范大学 多尺度表达结合造影剂提升超声与磁共振配准精度的方法
JP2022543531A (ja) * 2020-07-16 2022-10-13 上▲海▼商▲湯▼智能科技有限公司 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
WO2022011984A1 (zh) * 2020-07-16 2022-01-20 上海商汤智能科技有限公司 图像处理方法及装置、电子设备、存储介质和程序产品
CN112084840A (zh) * 2020-07-24 2020-12-15 浙江工业大学 一种基于三维nmi的指静脉识别方法
CN111950714A (zh) * 2020-08-24 2020-11-17 重庆市云迈科技有限公司 一种基于3d全卷积神经网络的能谱ct图像域材料识别方法
CN111709976A (zh) * 2020-08-24 2020-09-25 湖南国科智瞳科技有限公司 一种显微图像的快速配准方法、系统及计算机设备
WO2022052303A1 (zh) * 2020-09-14 2022-03-17 中国科学院深圳先进技术研究院 超声图像和ct图像的配准方法、装置及设备
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112150425B (zh) * 2020-09-16 2024-05-24 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法
CN112435281A (zh) * 2020-09-23 2021-03-02 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112435281B (zh) * 2020-09-23 2022-06-24 山东师范大学 一种基于对抗学习的多光谱眼底图像分析方法及系统
CN112419377A (zh) * 2020-11-20 2021-02-26 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN112419377B (zh) * 2020-11-20 2021-10-08 推想医疗科技股份有限公司 配准图像确定方法及配准图像确定装置
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113409349A (zh) * 2021-05-27 2021-09-17 拓微摹心数据科技(南京)有限公司 一种基于人工智能的主动脉结构图像自动分割方法
WO2022247296A1 (zh) * 2021-05-27 2022-12-01 广州柏视医疗科技有限公司 基于标记点的图像配准方法
CN113409349B (zh) * 2021-05-27 2022-04-19 拓微摹心数据科技(南京)有限公司 一种基于人工智能的主动脉结构图像自动分割方法
CN113450397A (zh) * 2021-06-25 2021-09-28 广州柏视医疗科技有限公司 基于深度学习的图像形变配准方法
CN113689480A (zh) * 2021-08-20 2021-11-23 北京理工大学 基于管状结构检测的三维us/mr配准融合方法及装置
WO2023169575A1 (zh) * 2022-03-10 2023-09-14 中国科学院深圳先进技术研究院 核磁共振图像批量配准方法及系统
CN114693753A (zh) * 2022-03-24 2022-07-01 北京理工大学 基于纹理保持约束的三维超声弹性配准方法及装置
CN114693753B (zh) * 2022-03-24 2024-05-03 北京理工大学 基于纹理保持约束的三维超声弹性配准方法及装置
CN115393527A (zh) * 2022-09-14 2022-11-25 北京富益辰医疗科技有限公司 基于多模影像与交互设备的解剖导航构建方法及装置
CN116563096A (zh) * 2023-07-11 2023-08-08 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备
CN116563096B (zh) * 2023-07-11 2023-09-26 福建自贸试验区厦门片区Manteia数据科技有限公司 用于图像配准的形变场的确定方法、装置以及电子设备
CN116645576B (zh) * 2023-07-26 2023-09-19 深圳华声医疗技术股份有限公司 超声图像标签处理方法、装置、超声设备及存储介质
CN116645576A (zh) * 2023-07-26 2023-08-25 深圳华声医疗技术股份有限公司 超声图像标签处理方法、装置、超声设备及存储介质

Also Published As

Publication number Publication date
CN111091589B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111091589B (zh) 基于多尺度监督学习的超声和核磁图像配准方法及装置
Zhou et al. Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method
Jin et al. 3D PBV-Net: an automated prostate MRI data segmentation method
Mahapatra et al. Joint registration and segmentation of xray images using generative adversarial networks
CN109859184B (zh) 一种连续扫描乳腺超声图像的实时检测与决策融合方法
Tang et al. An augmentation strategy for medical image processing based on statistical shape model and 3D thin plate spline for deep learning
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN110363802B (zh) 基于自动分割和骨盆对齐的前列腺图像配准系统及方法
CN110838140A (zh) 基于混合监督学习的超声和核磁图像配准融合方法及装置
CN113826143A (zh) 特征点检测
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112102373A (zh) 一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
CN110782428A (zh) 一种用于构建临床脑部ct图像roi模板的方法及系统
Gsaxner et al. PET-train: Automatic ground truth generation from PET acquisitions for urinary bladder segmentation in CT images using deep learning
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
Wu et al. Automatic symmetry detection from brain MRI based on a 2-channel convolutional neural network
CN114119635B (zh) 一种基于空洞卷积的脂肪肝ct图像分割方法
CN110223331B (zh) 一种大脑mr医学图像配准方法
Tong et al. Registration of histopathology images using self supervised fine grained feature maps
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
CN114419309A (zh) 一种基于大脑T1-w磁共振影像的高维特征自动提取方法
Sreelekshmi et al. A Review on Multimodal Medical Image Fusion
Zhou et al. Unsupervised registration for liver CT-MR images based on the multiscale integrated spatial-weight module and dual similarity guidance
Niu et al. A Generalized Densely Connected Encoder-Decoder Network for epithelial and stromal regions segmentation in histopathological images
CN116012526B (zh) 一种基于二维影像的三维ct影像病灶重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant