CN115222780A - 基于语义掩膜的跨模态大形变图像配准方法 - Google Patents

基于语义掩膜的跨模态大形变图像配准方法 Download PDF

Info

Publication number
CN115222780A
CN115222780A CN202210896469.2A CN202210896469A CN115222780A CN 115222780 A CN115222780 A CN 115222780A CN 202210896469 A CN202210896469 A CN 202210896469A CN 115222780 A CN115222780 A CN 115222780A
Authority
CN
China
Prior art keywords
registration
training set
image
mask
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210896469.2A
Other languages
English (en)
Inventor
缑水平
陈阳
袁景
童诺
汪文婷
刘豪锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210896469.2A priority Critical patent/CN115222780A/zh
Publication of CN115222780A publication Critical patent/CN115222780A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义掩膜的跨模态大形变图像配准方法，主要解决现有技术使用对大形变跨模态医学图像配准效果差的问题。其方案是：使用分割网络从原始数据中分割出关键器官；使用关键器官的分割结果计算关键器官的均值掩膜；使用仿射配准网络对关键器官的均值掩膜做仿射配准得到仿射配准参数；使用仿射配准参数对原始数据做仿射配准，根据放射配准结果计算质心主轴掩膜；使用形变配准网络对质心主轴掩膜做形变配准得到形变场；使用形变场对仿射配准结果做形变配准得到最终配准结果。本发明能保持大形变配准过程中器官内部结构，改善配准结果平滑度，提高跨模态配准效果，可用于大形变跨模态的医学图像配准，协助医生做放疗和穿刺手术。

Description

基于语义掩膜的跨模态大形变图像配准方法
技术领域
本发明属于图像处理技术领域，主要涉及一种图像配准方法，可用于在跨模态和大形变的场景下对医学图像进行配准。
背景技术
医学图像配准是图像处理领域中最具挑战性的任务之一。不论是在放射性治疗还是在穿刺手术中，跨模态的图像配准技术的作用都十分关键。随着医学成像设备的进步，对于同一患者，既可以采集含有准确解剖信息的图像，又可以采集到含有功能信息的图像。医生通常根据自己的主观经验和知识来对比不同模态的图像，获得不同的病灶信息。而正确的配准方法可以将不同模态的图像信息融合在一起，让医生更方便、更精确地观察病灶。辅助放疗和手术的图像配准任务主要存在两个问题需要解决，分别是图像跨模态问题和器官大形变问题。
目前，对于小形变的跨模态图像配准主要使用深度特征和生成模型的配准方法，这类方法主要应用在脑部和肺部这种结构固定的图像上。而对于腹部这种形变较大、结构不固定的图像，这些方法无法准确的配准。同时，现有方法仅在灰度信息跨度小的图像上配准效果较好，例如在磁共振MRI的T1和T2之间、高质量CT与低质量CT之间。而对于CT与磁共振MRI这种灰度信息跨度大的图像，现有方法配准效果很差。
对于大形变的图像配准问题，目前主要采用多层配准框架来解决。常用的框架包括先刚性配准再做非刚性两个步骤。但是这些框架难以捕捉到跨模态图像的信息。部分方法使用图像分割结果作为辅助监督信息。但是分割结果只能携带相应器官的形状和位置信息，无法携带器官内部结构信息，使得配准结果不平滑，其器官内部结构被破坏，无法满足医生需求。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种基于语义掩膜的跨模态大形变图像配准方法，以保持大形变配准过程中器官内部结构，改善结果平滑度，提高跨模态配准效果。
为实现上述目的，本发明的技术方案包括：
(1)以跨模态大形变医学图像数据集作为原始数据，将其按照4:1划分为训练集和测试集,训练集和测试集均包括标签和图像两部分，其中训练集的图像标记为IV，测试集的图像标记为IT；
(2)将训练集中的图像输入到Mask-RCNN网络中，使用训练集中的标签和Mask-RCNN网络的输出结果迭代更新网络参数，直到进行10000次迭代后，得到训练好的Mask-RCNN网络；
(3)将测试集和训练集中的图像输入到训练好的Mask-RCNN网络中，得到测试集的分割结果DT和训练集的分割结果DV；
(4)利用分割结果构建多级配准框架，并使用多级配准框架得到多级配准结果：
(4a)将测试集的分割结果DT和训练集的分割结果DV乘以固定系数L，得到测试集的均值语义掩膜MT和训练集的均值语义掩膜MV；
(4b)利用训练集的均值语义掩膜MV，构建用语义掩膜训练的仿射配准网络SA′，并使用SA′从测试集的均值语义掩膜MT得到仿射配准结果；
(4c)利用仿射配准结果生成训练集的质心主轴语义掩膜MPθV和测试集的质心主轴语义掩膜MPθT；
(4d)利用训练集的质心主轴语义掩膜MPθV，构建用语义掩膜训练的形变配准网络SB′，并使用SB′从测试集的质心主轴语义掩膜MPθT中得到形变配准结果，所得到的形变配准结果即多级配准结果。
本发明与现有技术相比具有如下优点：
1.本发明通过引入语义掩膜的生成方式，依据器官特点生成不同的语义掩膜，解决了跨模态图像在配准时无法提取通用语义信息的问题。
2.本发明通过引入多级配准框架，先仿射配准，再形变配准，提高了大形变配准的准确性。
3.本发明通过引入适应不同配准阶段的语义掩膜，针对不同配准阶段提供不同图像信息，提升了对内部结构复杂、位置结构不固定器官的配准能力。
附图说明
图1是本发明的实现流程框图。
图2是分别用本发明方法和现有5种医学图像配准算法对下腹部磁共振和CT数据配准结果的对比图。
具体实施方式
结合附图，对本发明的实施例和效果作进一步详细描述。
参照图1，本实例的实现步骤如下：
步骤1，使用Mask-RCNN网络得到训练集和测试集的分割结果。
跨模态图像处理问题的难点之一是灰度不一致问题，使用分割标签进行监督学习或者信息表示是常用的方法之一。目前的医学图像分割标签难以获取，所以本实例使用弱监督学习的Mask-RCNN网络进行器官分割，具体实现如下：
1.1)以跨模态大形变医学图像数据集作为原始数据，将其按照4∶1的比例划分为训练集和测试集，训练集和测试集均包括标签和图像两部分，其中训练集的图像标记为IV，测试集的图像标记为IT；
1.2)根据Mask-RCNN网络损失函数计算其损失值Lmask：
Lmask＝-∑i(yclog(pc))
其中，yc为标签中的像素值，pc为网络输出结果中的像素值，∑i表示对图像中每个点计算结果求和；
1.3)使用反向传播算法，根据损失值计算Mask-RCNN网络的参数梯度；
1.4)设置学习率为0.0005，根据Mask-RCNN网络的参数梯度，利用随机梯度下降法更新Mask-RCNN网络的参数。
1.5)执行步骤1.2～1.4迭代10000次后，得到训练好的Mask-RCNN网络；
1.6)将测试集和训练集中的图像输入到训练好的Mask-RCNN网络中，得到测试集的分割结果DT和训练集的分割结果DV。
步骤2，将测试集的分割结果DT和训练集的分割结果DV得到测试集的均值掩膜MT和训练集的均值掩膜MV。
由于仿射配准的过程中参数较少，配准算法对浮动图像的形变很小。所以仿射配准步骤需要的信息只是目标器官的位置和形状大小。虽然距离图可以更好地表示边界信息，但是其轮廓内部的负值在神经网络反向传播的过程中不适用。所以采用只携带位置和形状大小信息的均值图作为掩膜。具体实现如下：
2.1)根据待配准器官的平均像素数Nl和图像总像素数N设定固定系数L：
Figure BDA0003769256960000031
2.2)将训练集的分割结果DV乘以固定系数L，得到训练集的均值掩膜MV；
2.3)将测试集的分割结果DT乘以固定系数L，得到测试集的均值掩膜MT。
步骤3，利用训练集的均值语义掩膜MV，构建用语义掩膜训练的仿射配准网络SA′，并使用SA′从测试集的均值语义掩膜MT得到仿射配准结果。
使用多步配准是用来解决大形变问题的常用方法，其中配准分为仿射配准和形变配准。仿射变换包括线性变换和平移，可以大幅度地整体性改变图像的形态。采取仿射配准可以较大幅度地改变待配准图像的位置和大小，防止大幅度地形变配准对图像结构造成破坏。
本步骤使用仿射配准网络计算待配准图像的仿射配准参数，具体实现如下：
3.1)将训练集的均值掩膜MV输入到仿射配准网络SA中，得到训练集的仿射配准参数HV；
3.2)根据训练集的仿射配准参数HV，对训练集的分割结果DV和图像IV进行坐标映射；
3.3)对训练集的分割结果DV和图像IV坐标映射后的空白像素做双线性插值，即按照空白像素与相邻像素间距离的比例，对相邻像素值加权求和，得到训练集的分割结果DV和图像IV空白像素的像素值
3.4)使用训练集的分割结果DV和图像IV空白像素的像素值填充训练集的分割结果DV和图像IV坐标映射结果中的空白像素，得到DV的仿射配准结果DV′和IV的仿射配准结果I′V；
3.5)根据仿射配准网络损失函数，计算该仿射配准网络的行列式损失值Ldet和正交损失值Lortho：
Ldet＝(-1+det(HV+I))2
Figure BDA0003769256960000041
其中，I为单位矩阵，λ为HV+I的奇异值；
3.6)使用反向传播算法，根据损失值计算仿射配准网络的参数梯度；
3.7)设置学习率为0.0001，根据仿射配准网络的参数梯度，利用自适应矩估计法更新仿射配准网络的参数。
3.8)对步骤3.5～3.7迭代20000次后，得到用语义掩膜训练好的仿射配准网络SA′；
3.9)将测试集的均值掩膜MT输入到用语义掩膜训练好的仿射配准网络SA′中，得到测试集的仿射配准参数HT；
3.10)根据测试集的仿射配准参数HT，对测试集的分割结果DT和图像IT进行坐标映射；
3.11)对测试集的分割结果DT和图像IT坐标映射后的空白像素做双线性插值，即通过计算两个方向的线性插值结果得到测试集的分割结果DT和图像IT空白像素的像素值；
3.12)使用得到的测试集的分割结果DT和图像IT空白像素的像素值填充测试集的分割结果DT和图像IT坐标映射结果中的空白像素，得到DT的仿射配准结果DT′和IT的仿射配准结果IT′。
步骤4，利用仿射配准结果生成训练集的质心主轴语义掩膜MPθV和测试集的质心主轴语义掩膜MPθT。
虽然固定值掩膜可以提供位置和形状大小的信息，但由于在配准过程中还需要关注器官的内部结构和纹理信息，因而构建包含器官内部结构信息的掩膜是十分重要的。对于单个器官来说，虽然不同模态图像对相同组织的成像灰度值不同，但单个模态对于相同组织成像是相同的，所以在单一图像的器官上基于均值构建的质心特征对于不同模态是适应性极强的。如果质心掩膜在约束结构的旋转变换上效果不好，容易导致在极坐标空间的误差和信息不足。因此本发明还引入主轴信息作为额外约束，在此原理的基础上构建质心主轴掩膜，具体实现如下：
4.1)相乘切割：将DV的仿射配准结果DV′和IV的仿射配准结果I′V相乘，得到切割后的训练集图像CV；
4.2)计算切割后训练集图像CV的质心PV：
Figure BDA0003769256960000051
Figure BDA0003769256960000052
其中，x，y分别是图片中像素的坐标，bV(x，y)是切割后的训练集图像CV在坐标(x，y)处的像素值，
Figure BDA0003769256960000053
是所求的该图像的质心PV的坐标；
4.3)计算切割后训练集图像CV的主轴的倍角2θV：
Figure BDA0003769256960000054
其中a、b、c为中间变量，计算公式如下：
a＝∫∫xV′2bV(xV′，yV′)dxV′dyV′
b＝2∫∫xV′yV′bV(xV′，yV′)dxV′dyV′
c＝∫∫yV′2bV(xV′，yV′)dxV′dyV′
式中
Figure BDA0003769256960000055
是图像的质心坐标，
Figure BDA0003769256960000056
(x，y)为图像中像素的坐标；
4.4)根据训练集图像CV的主轴的倍角2θV计算得到主轴θV：
Figure BDA0003769256960000057
4.5)根据主轴θV计算除质心外主轴上的另外一点坐标：
Figure BDA0003769256960000061
其中，1为该点的横坐标，
Figure BDA0003769256960000062
为点的纵坐标；
4.6)根据两点式公式计算得到切割后的训练集图像每个点到主轴的欧氏距离dav；
Figure BDA0003769256960000063
4.7)根据质心坐标计算切割后的训练集图像每个点到质心的欧氏距离dcv；
Figure BDA0003769256960000064
4.8)根据dav和dcv计算训练集的质心主轴掩膜MPθV：
Figure BDA0003769256960000065
其中，x、Y为训练集图像的长宽，m″xyv为根据dav和dcv计算的质心主轴掩膜MPθV第x行y列的像素值，公式如下：
m″xyv＝255-dcvcp-davap
式中，ap为主轴衰减系数，cp为质心衰减系数；
4.9)相乘切割：将DT的仿射配准结果DT′和IT的仿射配准结果IT′相乘，得到切割后的测试集图像CT；
4.10)计算切割后的测试集图像CT的质心PT：
Figure BDA0003769256960000066
Figure BDA0003769256960000067
其中，x，y分别是图片中像素的坐标，bT(x，y)是切割后的训练集图像CT在坐标(x，y)处的像素值，
Figure BDA0003769256960000068
是所求的该图像的质心PT的坐标。
4.11)计算切割后的测试集图像CT的主轴的倍角2θT：
Figure BDA0003769256960000069
其中，a、b、c为中间变量，计算公式如下：
a＝∫∫xT′2bT(xT′，yT′)dxT′dyT′
b＝2∫∫xT′yT′bT(xT′，yT′)dxT′dyT′
c＝∫∫yT′2bT(xT′，yT′)dxT′dyT′
式中
Figure BDA0003769256960000071
是图像的质心坐标，
Figure BDA0003769256960000072
(x，y)为图像中像素的坐标；
4.12)根据测试集图像CT的主轴的倍角2θT计算得到其主轴θT：
Figure BDA0003769256960000073
4.13)根据测试集图像主轴θT计算除质心外主轴上的另外一点坐标：
Figure BDA0003769256960000074
其中，1为该点的横坐标，
Figure BDA0003769256960000075
为点的纵坐标；
4.14)根据两点式公式计算得到切割后测试集图像每个点到主轴的欧氏距离dat；
Figure BDA0003769256960000076
4.15)根据质心坐标计算切割后的测试集图像每个点到质心的欧氏距离dct；
Figure BDA0003769256960000077
4.16)根据dat和dct计算测试集的质心主轴掩膜MPθT：
Figure BDA0003769256960000078
其中，X、Y为训练集图像的长宽，m″xyt为根据dat和dct计算的质心主轴掩膜MPθT第x行y列的像素值，公式如下：
m″xyt＝255-dctcp-datap
式中，ap为主轴衰减系数，cp为质心衰减系数。
步骤5，利用训练集的质心主轴语义掩膜MPθV，构建用语义掩膜训练的形变配准网络SB′，并使用SB′从测试集的质心主轴语义掩膜MPθT中得到形变配准结果。
在进行仿射配准后，需要对图像的边缘和内部进行微调，此时要用到形变配准。形变配准是对图像中的每个像素点都计算出一个位置映射向量，这些向量组成矩阵被称为形变场。再根据向量对像素点进行移动和插值，完成配准任务。
本步骤使用形变配准网络计算待配准图像的形变场，具体实现如下：
5.1)将训练集的质心主轴掩膜MPθV输入到形变配准网络SB中，得到训练集的形变场FV；
5.2)根据训练集的形变场FV，对训练集的质心主轴掩膜MPθV和仿射配准后的训练集图像IV′做坐标映射；
5.3)对训练集的质心主轴掩膜MPθV和仿射配准后的训练集图像IV′坐标映射后的空白像素做双线性插值，即通过计算两个方向的线性插值结果得到训练集的质心主轴掩膜MPθV和仿射配准后的训练集图像IV′空白像素的像素值；
5.4)使用训练集的质心主轴掩膜MPθV和仿射配准后的训练集图像IV′空白像素的像素值填充训练集的质心主轴掩膜MPθV和仿射配准后的训练集图像IV′坐标映射结果中的空白像素，得到形变配准后的训练集质心主轴掩膜MPθV′和图像IV″。
5.5)根据形变配准网络损失函数，计算形变配准网络的相关系数损失值LCorr和总变异损失值LTV：
Figure BDA0003769256960000081
Figure BDA0003769256960000082
其中，Ω表示空间体素，I1、I2分别表示训练集质心主轴掩膜MPθV′中的浮动图像和基准图像，ei为
Figure BDA0003769256960000084
的自然基，Cov[I1，I2]为I1、I2的余弦相似度，计算公式如下：
Figure BDA0003769256960000083
5.6)使用反向传播算法，根据损失值计算形变配准网络的参数梯度；
5.7)设置学习率为0.0001，根据形变配准网络的参数梯度，利用自适应矩估计法更新形变配准网络的参数；
5.8)对步骤5.5～5.7迭代20000次后，得到用语义掩膜训练好的形变配准网络SB′；
5.9)将测试集的质心主轴掩膜MPθT输入到用语义掩膜训练好的形变配准网络SB′中，得到测试集的形变场FT；
5.10)根据测试集的形变场FT，对测试集的质心主轴掩膜MPθT和仿射配准后的测试集图像I′V进行坐标映射；
5.11)对测试集的质心主轴掩膜MPθT和仿射配准后的测试集图像I′V坐标映射后的空白像素做双线性插值，即通过计算两个方向的线性插值结果得到测试集的质心主轴掩膜MPθT和仿射配准后的测试集图像I′V空白像素的像素值；
5.12)使用测试集的质心主轴掩膜MPθT和仿射配准后的测试集图像I′V得到的空白像素的像素值填充测试集的质心主轴掩膜MPθT和仿射配准后的测试集图像I′V坐标映射结果中的空白像素，得到形变配准后的测试集质心主轴掩膜MPθT′和图像IT″′。
本发明的效果可通过以下仿真进一步说明。
1.仿真条件：
本实验的仿真平台为Intel Core i7-9700K CPU和内存32GB的台式电脑，操作系统为Windows10，使用python3.6、keras2.2.4和tensorflow1.13.0混合编程构建与训练神经网络模型，使用NVIDIA 1080Ti GPU和CUDA10.0进行加速。
仿真所使用的实验数据是某医院放射科和放射科的158例下腹部术前T2MRI和术中CBCT患者。每组包括60多张MRI和100多张CBCT，重采样到(0.97，0.97，5)mm间距。每个组都是手动对齐的。
分割网络batch size设置为2，初始学习率设置为0.0001，使用的优化器是Adam。从三个器官中分割出来的标签数据有1200多条，分离出150对作为测试集。
仿真时所采用的分割性能评价指标包括戴斯相似系数DSC、互信息MI和平均表面距离ASD，其具体计算公式如下：
Figure BDA0003769256960000091
MI(A，B)＝H(A)+H(B)-H(A，B)
Figure BDA0003769256960000092
其中，A表示真实标签，B表示预测结果，其中H(A)和H(B)表示A和B的信息熵，H(A，B)是A和B的联合熵，S(A)表示真实标签的表面像素，S(B)表示预测结果的表面像素，d(sA，S(B))表示真实标签任意像素到预测结果表面像素的最短距离，d(sB，S(A))表示预测结果任意像素到真实标签表面像素的最短距离。
仿真使用的现有图像配准方法：包括集成配准方法elastix、迭代配准方法demons、demons的微分同胚版本Symmetric demons、传统方法SyN、深度学习方法VoxelMorph。
2.仿真内容
(2.1)在上述仿真条件下，使用本发明和所述现有的5种配准方法和对数据集进行配准，结果如图2所示，其中第一行是不同算法的配准结果与参考图像的对比，第二行是参考图像和配准结果的拼接结果，其中左上四分之一和右下四分之一是参考图像，右上四分之一和左下四分之一是配准结果。
由图2第一行可见，现有elastix、demons、Symmetric demons、SyN、VoxelMorph配准方法均不能获得准确的配准结果，本发明配准结果较为准确。
由图2第二行可见，现有SyN和本发明的结果可以与参考图像平滑拼接，说明配准结果相对准确。与SyN相比，本发明的结果在拼接比较上可以更好地对齐轮廓，说明本发明在位置和外部轮廓的配准上更加准确。
(2.2)对现有的elastix、demons、Symmetric demons、SyN、VoxelMorph配准方法和本发明分别对测试集做配准测试的量化指标DSC、MI、ASD进行计算，结果如表1。
表1不同方法对图像配准的DSC、MI、ASD结果
Method Dice MI ASD
elastix 0.315895 0.194039 15.876984
demons 0.280000 0.093330 16.075311
Symmetric demons 0.086978 0.012995 nan
SyN 0.412759 0.128072 13.076204
VoxelMorph 0.337425 0.116464 16.062301
本发明 0.971510 0.322582 0.561818
由表1可见，在DSC、MI、ASD指标中，本发明相对于其他方法都有较大提升，其中，DSC指标提升超过0.6，ASD指标提升超过12，这是因为其他的方法无法在跨模态场景中获得足够的信息，并且没有足够的形变能力来准确的配准大形变器官，而本发明通过语义掩膜表示不同模态的信息，通过多级配准准确地配准大形变器官。
上述比较结果表明，本发明能解决跨模态图像在配准时无法提取通用语义信息的问题，提高大形变器官配准的准确性。

Claims (12)

1.一种基于语义掩膜的跨模态大形变图像配准方法，其特征在于，包括：
(1)以跨模态大形变医学图像数据集作为原始数据，将其按照4∶1划分为训练集和测试集，训练集和测试集均包括标签和图像两部分，其中训练集的图像标记为IV，测试集的图像标记为IT；
(2)将训练集中的图像输入到Mask-RCNN网络中，使用训练集中的标签和Mask-RCNN网络的输出结果迭代更新网络参数，直到进行10000次迭代后，得到训练好的Mask-RCNN网络；
(3)将测试集和训练集中的图像输入到训练好的Mask-RCNN网络中，得到测试集的分割结果DT和训练集的分割结果DV；
(4)利用分割结果构建多级配准框架，并使用多级配准框架得到多级配准结果：
(4a)将测试集的分割结果DT和训练集的分割结果DV乘以固定系数L，得到测试集的均值语义掩膜MT和训练集的均值语义掩膜MV；
(4b)利用训练集的均值语义掩膜MV，构建用语义掩膜训练的仿射配准网络SA′，并使用SA′从测试集的均值语义掩膜MT得到仿射配准结果；
(4c)利用仿射配准结果生成训练集的质心主轴语义掩膜MPθV和测试集的质心主轴语义掩膜MPθT；
(4d)利用训练集的质心主轴语义掩膜MPθV，构建用语义掩膜训练的形变配准网络SB′，并使用SB′从测试集的质心主轴语义掩膜MPθT中得到形变配准结果，所得到的形变配准结果即多级配准结果。
2.根据权利要求1所述的方法，其特征在于，所述(4b)中利用训练集的均值语义掩膜MV，构建用语义掩膜训练的仿射配准网络SA′，并使用SA′从测试集的均值语义掩膜MT得到仿射配准结果，实现如下：
(4b1)将训练集的均值语义掩膜MV输入到仿射配准网络SA中，得到训练集的仿射配准参数HV；
(4b2)使用训练集的仿射配准参数HV分别对训练集的分割结果DV和图像IV做仿射配准，得到DV的仿射配准结果DV′和IV的仿射配准结果I′V；
(4b3)使用仿射配准后的训练集分割结果DV′和训练集的仿射配准参数HV迭代更新网络参数，直到进行20000次迭代后，得到用语义掩膜训练好的仿射配准网络SA′；
(4b4)将测试集的均值语义掩膜MT输入到用语义掩膜训练好的仿射配准网络SA′中，得到测试集的仿射配准参数HT；
(4b5)利用测试集的仿射配准参数HT，使用与训练集相同的方法，分别对测试集的分割结果DT和图像IT做仿射配准，得到DT的仿射配准结果DT′和IT的仿射配准结果IT′。
3.根据权利要求1所述的方法，其特征在于，所述(4c)中利用仿射配准结果生成训练集的质心主轴语义掩膜MPθV和测试集的质心主轴语义掩膜MPθT，实现如下：
(4c1)相乘切割：将DV的仿射配准结果DV′和IV的仿射配准结果I′V相乘，得到切割后的训练集图像CV；
(4c2)计算切割后的训练集图像CV的质心PV、主轴θV；
(4c3)根据DV的仿射配准结果DV′和切割后训练集图像CV的质心PV、主轴θV，计算训练集的质心主轴语义掩膜MPθV；
(4c4)相乘切割：将DT的仿射配准结果DT′和IT的仿射配准结果IT′相乘，得到切割后的测试集图像CT；
(4c5)使用与训练集相同的方法计算切割后的测试集图像CT的质心PT、主轴θT；
(4c6)根据DT的仿射配准结果DT′，和切割后的测试集图像CT的质心PT、主轴θT，使用与训练集相同的方法，计算出测试集的质心主轴语义掩膜MPθT。
4.根据权利要求1所述的方法，其特征在于，所述(4d)中利用训练集的质心主轴语义掩膜MPθV，构建用语义掩膜训练的形变配准网络SB′，并使用SB′从测试集的质心主轴语义掩膜MPθT中得到形变配准结果，实现如下：
(4d1)将训练集的质心主轴语义掩膜MPθV输入到形变配准网络SB中，得到训练集的形变场FV；
(4d2)使用训练集的形变场FV分别对训练集的质心主轴语义掩膜MPθV和仿射配准后的训练集图像IV′做形变配准，得到形变配准后的训练集质心主轴语义掩膜MPθV′和图像IV″；
(4d3)使用形变配准后的训练集质心主轴语义掩膜MPθV′和训练集的形变场FV迭代更新网络参数，直到进行20000次迭代后，得到用语义掩膜训练好的形变配准网络SB′；
(4d4)将测试集的质心主轴语义掩膜MPθT输入到用语义掩膜训练好的形变配准网络SB′中，得到测试集的形变场FT；
(4d5)利用测试集的形变场FT，使用与训练集相同的方法，分别对测试集的质心主轴语义掩膜MPθT和图像IT′做形变配准，得到形变配准后的测试集质心主轴语义掩膜MPθT′和图像IT″。
5.根据权利要求1所述的方法，其特征在于，所述(2)中使用训练集中的标签和Mask-RCNN网络的输出结果迭代更新网络参数，实现如下：
(2a)根据Mask-RCNN网络损失函数计算损失值：
Figure FDA0003769256950000031
其中yc为标签中的像素值，pc为网络输出结果中的像素值，i表示对图像中每个点计算结果求和，Lmask为网络损失值；
(2b)使用反向传播算法，根据损失值计算Mask-RCNN网络的参数梯度；
(2c)设置学习率为0.0005，根据Mask-RCNN网络的参数梯度，利用随机梯度下降法更新Mask-RCNN网络的参数。
6.根据权利要求1所述的方法，其特征在于，所述(4a)中的固定系数L，是根据待配准器官的平均像素数Nl和图像总像素数N设定，即：
Figure FDA0003769256950000032
7.根据权利要求2所述的方法，其特征在于，所述(4b2)中使用训练集的仿射配准参数HV分别对训练集的分割结果DV和图像IV做仿射配准，实现如下：
(4b2a)根据训练集的仿射配准参数HV，对训练集的分割结果DV和图像IV进行坐标映射；
(4b2b)对坐标映射后的空白像素做双线性插值，即通过计算两个方向的线性插值结果得到空白像素的像素值；
(4b2c)使用空白像素的像素值填充坐标映射结果中的空白像素，得到仿射配准后的训练集分割结果DV′和训练集图像IV′。
8.根据权利要求2所述的方法，其特征在于，所述(4b3)中使用仿射配准后的训练集分割结果DV′和训练集的仿射配准参数HV迭代更新网络参数，实现如下：
(4b3a)根据仿射配准网络损失函数，计算该仿射配准网络的行列式损失值Ldet和正交损失值Lortho：
Ldet＝(-1+det(HV+I))2
Figure FDA0003769256950000041
其中，I为单位矩阵，λ为HV+I的奇异值，det(HV+I)是对HV+I进行行列式运算；
(4b3b)使用反向传播算法，根据损失值计算仿射配准网络的参数梯度；
(4b3c)设置学习率为0.0001，根据仿射配准网络的参数梯度，利用自适应矩估计法更新仿射配准网络的参数。
9.根据权利要求3所述的方法，其特征在于，所述(4c2)中计算切割后的训练集图像CV的质心PV、主轴θV，实现如下：
(4c2a)计算切割后训练集图像CV的质心PV：
Figure FDA0003769256950000042
Figure FDA0003769256950000043
其中，x，y分别是图片中像素的坐标，bV(x，y)是切割后的训练集图像CV在坐标(x，y)处的像素值，
Figure FDA0003769256950000046
是所求的该图像的质心PV的坐标；
(4c2b)计算切割后训练集图像CV的主轴的倍角2θV：
Figure FDA0003769256950000044
其中a、b、c为中间变量，计算公式如下：
a＝∫∫xV′2bV(xV′，yV′)dxV′dyV′
b＝2∫∫xV′yV′bV(xV′，yV′)dxV′dyV′
c＝∫∫yV′2bV(xV′，yV′)dxV′dyV′
式中
Figure FDA0003769256950000047
是图像的质心坐标，
Figure FDA0003769256950000045
(x，y)为图像中像素的坐标；
(4c2c)根据半角公式得到主轴θV：
Figure FDA0003769256950000051
10.根据权利要求3所述的方法，其特征在于，所述(4c3)中根据仿射配准后的训练集分割结果DV′和切割后的训练集图像CV的质心PV、主轴θV，计算出训练集的质心主轴语义掩膜MPθV。实现如下：
(4c3a)根据主轴θV计算除质心外主轴上的另外一点坐标：
Figure FDA0003769256950000052
其中1为该点的横坐标，tanθV为θV的正切值，
Figure FDA0003769256950000053
为点的纵坐标；
(4c3b)根据两点式公式计算得到切割后的训练集图像每个点到主轴的欧氏距离dav；
Figure FDA0003769256950000054
(4c3c)根据质心坐标计算切割后的训练集图像每个点到质心的欧氏距离dcv；
Figure FDA0003769256950000055
(4c3d)根据dav和dcv计算训练集的质心主轴语义掩膜MPθV：
m″xyv＝255-dcvcp-davap
其中ap为主轴衰减系数，cp为质心衰减系数。由像素点m″xyv构成的矩阵为训练集的质心主轴语义掩膜MPθV。
11.根据权利要求4所述的方法，其特征在于，所述(4d2)中使用训练集的形变场FV分别对训练集的质心主轴语义掩膜MPθV和仿射配准后的训练集图像IV′做形变配准，得到形变配准后的训练集质心主轴语义掩膜MPθV′和图像IV″，实现如下：
(4d2a)根据训练集的形变场FV，对训练集的质心主轴语义掩膜MPθV和仿射配准后的训练集图像IV′做坐标映射；
(4d2b)对坐标映射后的空白像素做双线性插值，即通过计算两个方向的线性插值结果得到空白像素的像素值；
(4d2c)使用空白像素的像素值填充坐标映射结果中的空白像素，得到形变配准后的训练集质心主轴语义掩膜MPθV′和图像IV″。
12.根据权利要求4所述的方法，其特征在于，所述(4d3)中使用形变配准后的训练集质心主轴语义掩膜MPθV′和训练集的形变场FV迭代更新网络参数，实现如下：
(4d3a)根据形变配准网络损失函数，计算形变配准网络的相关系数损失值LCorr和总变异损失值LTV：
Figure FDA0003769256950000061
Figure FDA0003769256950000062
其中，Ω表示空间体素，I1、I2分别表示训练集质心主轴语义掩膜MPθV′中的浮动图像和基准图像，ei为
Figure FDA0003769256950000064
的自然基，Cov[I1，I2]为I1、I2的余弦相似度，计算公式如下：
Figure FDA0003769256950000063
(4d3b)使用反向传播算法，根据损失值计算形变配准网络的参数梯度；
(4d3c)设置学习率为0.0001，根据形变配准网络的参数梯度，利用自适应矩估计法更新形变配准网络的参数。
CN202210896469.2A 2022-07-28 2022-07-28 基于语义掩膜的跨模态大形变图像配准方法 Pending CN115222780A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210896469.2A CN115222780A (zh) 2022-07-28 2022-07-28 基于语义掩膜的跨模态大形变图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210896469.2A CN115222780A (zh) 2022-07-28 2022-07-28 基于语义掩膜的跨模态大形变图像配准方法

Publications (1)

Publication Number Publication Date
CN115222780A true CN115222780A (zh) 2022-10-21

Family

ID=83614773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210896469.2A Pending CN115222780A (zh) 2022-07-28 2022-07-28 基于语义掩膜的跨模态大形变图像配准方法

Country Status (1)

Country Link
CN (1) CN115222780A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115908515A (zh) * 2022-11-11 2023-04-04 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115631186B (zh) * 2022-11-08 2023-10-03 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115908515A (zh) * 2022-11-11 2023-04-04 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置
CN115908515B (zh) * 2022-11-11 2024-02-13 北京百度网讯科技有限公司 影像配准方法、影像配准模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN115222780A (zh) 基于语义掩膜的跨模态大形变图像配准方法
CN109377520B (zh) 基于半监督循环gan的心脏图像配准系统及方法
Sokooti et al. 3D convolutional neural networks image registration based on efficient supervised learning from artificial deformations
CN109215064B (zh) 一种基于超像素向导的医学图像配准方法
US8861891B2 (en) Hierarchical atlas-based segmentation
CN110363802B (zh) 基于自动分割和骨盆对齐的前列腺图像配准系统及方法
Zhou et al. Registration of pre-and postresection ultrasound volumes with noncorresponding regions in neurosurgery
Robert et al. Clinical implementation of deep-learning based auto-contouring tools–Experience of three French radiotherapy centers
Jin et al. Object recognition in medical images via anatomy-guided deep learning
Spinczyk et al. Automatic liver segmentation in computed tomography using general-purpose shape modeling methods
Wang et al. Liver segmentation from CT images using a sparse priori statistical shape model (SP-SSM)
CN107516314B (zh) 医学图像超体素分割方法和装置
Lu et al. A hybrid multimodal non-rigid registration of MR images based on diffeomorphic demons
CN104933672B (zh) 基于快速凸优化算法配准三维ct与超声肝脏图像的方法
Yang et al. An effective MR-guided CT network training for segmenting prostate in CT images
Hu et al. Unsupervised computed tomography and cone-beam computed tomography image registration using a dual attention network
Xiao et al. Deep learning-based lung image registration: A review
Ramus et al. Construction of patient specific atlases from locally most similar anatomical pieces
He et al. A statistical deformation model-based data augmentation method for volumetric medical image segmentation
Shi et al. Pulmonary nodule registration in serial CT scans based on rib anatomy and nodule template matching
Gooya et al. An EM algorithm for brain tumor image registration: A tumor growth modeling based approach
Wang et al. 3D Shape‐Weighted Level Set Method for Breast MRI 3D Tumor Segmentation
WO2022183851A1 (zh) 一种基于数字人技术的肺叶分割方法
Kim et al. Automatic deformable surface registration for medical applications by radial basis function-based robust point-matching
Sultana et al. A deformable multimodal image registration using PET/CT and TRUS for intraoperative focal prostate brachytherapy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination