CN111080658A - 基于可形变配准和dcnn的宫颈mri图像分割方法 - Google Patents

基于可形变配准和dcnn的宫颈mri图像分割方法 Download PDF

Info

Publication number
CN111080658A
CN111080658A CN201911294953.2A CN201911294953A CN111080658A CN 111080658 A CN111080658 A CN 111080658A CN 201911294953 A CN201911294953 A CN 201911294953A CN 111080658 A CN111080658 A CN 111080658A
Authority
CN
China
Prior art keywords
image
segmentation
model
distance
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911294953.2A
Other languages
English (en)
Inventor
陆雪松
孙鸾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN201911294953.2A priority Critical patent/CN111080658A/zh
Publication of CN111080658A publication Critical patent/CN111080658A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可形变配准和DCNN的宫颈MRI图像分割方法，涉及医学影像处理技术领域，本发明提供了一种可形变配准和深度神经网络相结合的由粗到精的分割策略。首先对采用最小距离树的多特征互信息实施改良，利用这种新型度量完成可形变配准实现对潜在边界区域的粗分割，这种改良策略是对初始生成图的边进行自相似估计加权，使其更加紧凑，利于配准参数寻优；其次，通过迁移学习的方法将在自然图像上性能良好的像素分类器深度神经网络应用到当前任务中，从而重新预测潜在边界区域中每个像素的类别标签，完成精分割，在宫颈MRI图像上提高了分割性能，获得了更高的分割精度。

Description

基于可形变配准和DCNN的宫颈MRI图像分割方法
技术领域
本发明涉及医学影像处理技术领域，具体涉及一种基于可形变配准和DCNN的宫颈MRI图像分割方法。
背景技术
在失去手术机会的情况下，放射治疗对于宫颈癌是至关重要的。与CT(ComputedTomography,计算机断层扫描)相比，MRI(Magnetic Resonance Imaging,磁共振成像)不仅没有电离辐射还可以提供较好的软组织对比度，越来越多地被用于放射治疗。精确定位宫颈及其周围结构是MRI引导宫颈癌放射治疗的必要条件。手工分割多个组织器官十分耗时，而且可能会存在不同观察者的差异。由于具有灰度不均匀性且器官的解剖变异较大，宫颈MRI图像的计算机辅助分割任务仍是一项具有挑战性的工作。如图1所示，该挑战主要与灰度不均匀性和器官形状变化有关。
为了解决这些问题，通常采用atlas-to-target(模板图像到目标图像)的可形变配准方法。Staring等在文献中采用KNNG(k-Nearest Neighbors Graph,k-最近邻图)的方法来实现α-MI(Multi-feature Mutual Information,多特征互信息)，对宫颈MRI图像进行配准。与MI(Mutual Information,标准的互信息)方法相比，他们使用笛卡尔特征集的方法明显提高了配准精度。Lu等在文献中将自动分割、非刚性配准和肿瘤检测集成到贝叶斯框架中，该框架需要使用水平集表示来构造形状先验。Berendsen等在患者间的图像配准中，将统计形状模型视为自由形变框架内的一个惩罚项。然而，由于训练数据的形状和大小变化较大，建立统计形状模型并不是一项简单的任务。
因此，亟需一种精度更高的实现宫颈MRI图像分割的技术方案。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种基于可形变配准和DCNN的宫颈MRI图像分割方法，以获得更高的分割精度。
为达到以上目的，本发明采取的技术方案是：一种基于可形变配准和DCNN的宫颈MRI图像分割方法，包括以下步骤：
采用目标图像的自相似性加权初始生成图的边，计算基于最小距离树的加权α-MI度量；
采用加权α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优，通过配准结果对模板标签图像进行形变，获得粗分割结果；
采用粗分割结果的符号距离场定位潜在的边界区域，采用经过迁移学习的DCNN模型进行所述潜在边界区域的分类预测；
对DCNN模型输出的预测结果进行边界细化提炼，得到精分割结果。
在上述技术方案的基础上，计算基于最小距离树的α-MI度量，具体包括以下步骤：
假设z(xi)＝[z1(xi)，…，zd(xi)]表示一个包含了点xi所有特征的d维度向量，Tμ(·)是参数为μ的形变模型，zf(xi)为目标图像上点xi的特征向量，zm(Tμ(xi))为坐标转换后的点Tμ(xi)在模板图像上的特征向量，zfm(xi，Tμ(xi))为两个特征向量的拼接：[zf(xi)，zm(Tμ(xi))]，依据下面的公式构造三个最小距离树：
Figure BDA0002320264450000031
Figure BDA0002320264450000032
Figure BDA0002320264450000033
其中，||·||表示欧氏距离，γ∈(0，d)，n表示采样点的个数，i和j是两个不同点xi和xj的下标；
基于最小距离树的α-MI度量的计算公式为：
Figure BDA0002320264450000034
其中α＝(d-γ)/d，Lf,Lm和Lfm分别为上述构造的三个最小距离树的长度。
在上述技术方案的基础上，采用目标图像的自相似性加权初始生成图的边，计算基于最小距离树的加权α-MI度量，具体包括以下步骤：
构造一个直方图描述子，将以当前体素为中心的图像块投影到二维直方图中，该直方图的坐标轴是中心体素到样本点的径向距离和样本点的强度值；
采用Moran′I空间自相关系数将自相似估计限制在结构信息丰富的图像区域，用于计算该系数的图像块大小与用于构造直方图描述子的图像块大小相同；
选择Moran′I系数值大于整体标准差的像素点，使用两个直方图描述子之间的陆地移动距离计算两个像素的相似性ωij；
使用自相似性度量ωij对初始生成图的边进行加权，改良公式(3)为：
Figure BDA0002320264450000035
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，n表示采样点的个数，||·||表示欧氏距离，γ∈(0，d)；
将公式(5)替代公式(3)代入到公式(4)中即可获得基于最小距离树的加权α-MI度量。
在上述技术方案的基础上，采用加权的α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优，通过配准结果对模板标签图像进行形变，获得粗分割结果，具体包括以下步骤：
采用梯度下降法实现参数寻优，需要计算加权的α-MI度量相对于形变模型参数μ的梯度解析表达式：
Figure BDA0002320264450000041
其中α＝(d-γ)/d，γ∈(0，d)，d是特征向量的维度，Lm和Lfm为公式(2)和(3)定义的两个最小距离树；
为了更简洁的表达，预先定义
Figure BDA0002320264450000042
代表两点特征向量的距离：
Figure BDA0002320264450000043
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，从公式(5)可以推导出Lfm的梯度为：
Figure BDA0002320264450000044
进一步地有，
Figure BDA0002320264450000051
其中，
Figure BDA0002320264450000052
是模板特征图像的空间导数，
Figure BDA0002320264450000053
是该变换的雅可比矩阵；
采用类似的方法得到Lm的梯度与公式(9)一起代入到公式(6)中进行计算；
梯度下降法通过迭代的方式获得最佳的形变场
Figure BDA0002320264450000054
计算公式有，
μk+1＝μk+ak·dk (10)
其中ak为步长因子，dk为通过公式(6)计算的加权α-MI度量的梯度，μk为第k步的形变模型参数；
采用最佳形变场
Figure BDA0002320264450000055
对模板标签图像进行形变，获得目标图像的粗分割结果。
在上述技术方案的基础上，采用粗分割结果的符号距离场定位潜在的边界区域，采用经过迁移学习的DCNN模型进行该潜在边界区域的分类预测，具体包括以下步骤：
在预处理过程中，每幅图像的灰度值被归一化为[0,255]；从轴向视角对每个二维切片实施精分割；
选择VGG-19网络执行从自然图像到MRI图像的迁移学习，采用ImageNet数据库中的自然图像对VGG-19模型进行预训练；
从当前任务的训练切片中提取图像块对已预训练好的VGG-19模型进行微调；在每个训练切片中，通过人工手动分割结果，边界区域被定义为符号距离值在-5到5之间的一组像素；在此边界区域中随机选取种子像素，以每个种子像素为中心提取一个图像块，并重复三次作为训练样本；
对于上一阶段的粗分割结果，通过符号距离场定位潜在的边界区域，该边界区域被定义为符号距离值在-5到5之间；对于该区域的每个像素，以它为中心提取图像块，输入到已训练好的VGG-19网络模型中，将该像素预测分类为前景或背景。
在上述技术方案的基础上，对VGG-19模型进行预训练，具体包括以下步骤：
在拥有1000类自然图像的ImageNet数据库上进行VGG-19网络的预训练；
VGG-19由16个卷积层、5个池化层和3个全连接层组成；保留最后一个全连接层的两个神经元，并移除其他输出神经元。
在上述技术方案的基础上，对DCNN模型输出的预测结果进行边界细化提炼，得到精分割结果，具体包括以下步骤：
采用中值滤波以去除单独的刺和洞；
移除10％的边界点；
用立方的b样条拟合剩下的边界点，形成精分割。
与现有技术相比，本发明的优点在于：
本发明提供了一种可形变配准和深度神经网络相结合的由粗到精的分割策略。首先对采用最小距离树的多特征互信息实施改良，利用这种新型度量完成可形变配准实现对潜在边界区域的粗分割，这种改良策略是对初始生成图的边进行自相似估计加权，使其更加紧凑，利于配准参数寻优；其次，通过迁移学习的方法将在自然图像上性能良好的像素分类器深度神经网络应用到当前任务中，从而重新预测潜在边界区域中每个像素的类别标签，完成精分割，在宫颈MRI图像上提高了分割性能，获得了更高的分割精度。
附图说明
图1为背景技术中宫颈MRI图像示例图；
图2为本发明实施例的基于可形变配准和DCNN的宫颈MRI图像分割方法的流程示意图；
图3为本发明实施例的定位边界区域取图像块的示意图；
图4为本发明实施例的不同方法在不同解剖结构下的配准精度DSC箱线图，*表示该列与前一列相比有统计显著性差异；
图5为本发明实施例的分割结果对比展示图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细说明。
参见图2所示，本发明实施例提供一种基于可形变配准和DCNN的宫颈MRI图像分割方法，包括以下步骤：
S1、采用目标图像的自相似性加权初始生成图的边，计算基于最小距离树的加权α-MI度量；
S2、采用加权α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优，通过配准结果对模板标签图像进行形变，获得粗分割结果；
S3、采用粗分割结果的符号距离场定位潜在的边界区域，采用经过迁移学习的DCNN模型进行所述潜在边界区域的分类预测；
S4、对DCNN模型输出的预测结果进行边界细化提炼，得到精分割结果。
S1、基于MST(Minimal Spanning Tree,最小距离树)的加权α-MI
假设z(xi)＝[z1(xi)，...，zd(xi)]表示一个包含了点xi所有特征的d维度向量，Tμ(·)是参数为μ的形变模型，zf(xi)为目标图像上点xi的特征向量，zm(Tμ(xi))为坐标转换后的点Tμ(xi)在模板图像上的特征向量，zfm(xi，Tμ(xi))为两个特征向量的拼接：[zf(xi)，zm(Tμ(xi))]。
三个MST图可以依据下面公式进行构造：
Figure BDA0002320264450000081
Figure BDA0002320264450000082
Figure BDA0002320264450000083
其中，||·||表示欧氏距离，γ∈(0，d)，n表示采样点的个数，i和j是两个不同点xi和xj的下标；
基于MST的α-MI度量(称为aMI-MST)可以表达为：
Figure BDA0002320264450000084
其中α＝(d-γ)/d，Lf，Lm和Lfm分别为上述构造的三个MST图的长度。
为了解决局部极值问题，利用目标图像的自相似性来加权初始生成图的边。首先，构造一个直方图描述子，将以当前体素为中心的图像块投影到二维直方图中，该直方图的坐标轴是中心体素到样本点的径向距离和样本点的强度值。然后，利用Moran′I空间自相关系数将自相似估计限制在结构信息丰富的图像区域。用于计算该系数的图像块大小(r＝4)与用于构造直方图描述子的图像块大小相同。对于在一个局部邻域内的自相似估计，选择那些Moran′I系数值大于整体标准差的像素点。最后，使用两个直方图描述子之间的EMD(Earth Mover’s Distance,陆地移动距离)来计算两个像素的相似性ωit。
使用自相似性度量ωij对初始生成图的边进行加权，改良公式(3)为：
Figure BDA0002320264450000085
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，n表示采样点的个数，||·||表示欧氏距离，γ∈(0，d)；
将公式(5)替代公式(3)代入到公式(4)中即可获得基于MST的加权α-MI度量(称为aMI-WMST)。
S2、使用可形变配准进行粗分割
在第一阶段，粗分割使用了一种atlas-to-target的配准方法进行。通常，atlas由模板灰度图像和模板标签图像组成。模板标签图像通常是由专家手动分割模板灰度图像而得。采用加权的α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优。通过配准结果对模板标签图像进行形变，可以获得目标解剖结构的初始轮廓。同时为α-MI度量选择一组笛卡尔图像结构特征，其中包含了一阶和二阶梯度。无论是旋转还是平移，这些特征都是不变的。这些不变量可以用范围为σ＝1,2的高斯梯度计算。
当随机梯度下降策略被应用于图像配准的参数优化问题时，加权的α-MI度量相对于变换参数μ的导数是必需的。因此，有：
Figure BDA0002320264450000091
其中α＝(d-γ)/d，γ∈(0，d)，d是特征向量的维度，Lm和Lfm为公式(2)和(3)定义的两个MST图；
为了更简洁的表达，预先定义
Figure BDA0002320264450000092
代表两点特征向量的距离；
Figure BDA0002320264450000093
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，从公式(5)可以推导出Lfm的梯度为：
Figure BDA0002320264450000094
Figure BDA0002320264450000101
进一步地有，
Figure BDA0002320264450000102
其中，
Figure BDA0002320264450000103
是模板特征图像的空间导数，
Figure BDA0002320264450000104
是该变换的雅可比矩阵；
采用类似的方法得到Lm的梯度与公式(9)一起代入到公式(6)中进行计算；
梯度下降法通过迭代的方式获得最佳的形变场
Figure BDA0002320264450000105
计算公式有，
μk+1＝μk+ak·dk (10)
其中ak为步长因子，dk为通过公式(6)计算的加权α-MI度量的梯度，μk为第k步的形变模型参数。
采用最佳形变场
Figure BDA0002320264450000106
对模板标签图像进行形变，获得目标图像的粗分割结果。
S3、使用深度卷积神经网络进行精分割
在预处理过程中，每幅图像的灰度值被归一化为[0,255]。由于切片间的厚度比xoy平面像素的分辨率大得多，从轴向视角对每个二维切片实施精分割。
因为VGG-19网络在大量自然图像上具有良好的表现，所以选择它来执行从自然图像迁移学习到MRI图像的分割任务。VGG-19由16个卷积层、5个池化层和3个全连接层组成。每个卷积层的输入与多个3×3内核进行卷积从而得到一组特征图。VGG-19网络的预训练在拥有1000类自然图像的ImageNet数据库上完成。为了精分割，保留了最后一个全连接层的两个神经元，并移除其他输出神经元。
从训练切片中提取图像块对预训练好的VGG-19模型进行微调。如图3所示，(a)为人工手动的标记结果；(b)为该标记结果的符号距离场；(c)为在对应的灰度图像上提取训练块的操作，在每个训练切片中，通过人工手动分割结果，边界区域被定义为符号距离值在-5到5之间的一组像素。在此边界区域中随机选取种子像素，以每个种子像素为中心提取一个48×48的图像块，并重复三次作为训练样本。将种子像素的所属类别视为本次训练样本的类标签，训练的图像块数量约为100,000个，其中正样本和负样本各占一半。
对于上一阶段的粗分割结果，通过符号距离场定位潜在的边界区域，该边界区域同样被定义为符号距离值在-5到5之间；对于该区域的每个像素，以它为中心提取图像块，输入到已训练好的VGG-19网络模型中，将该像素预测分类为前景或背景。
S4、对DCNN模型输出的预测结果进行边界细化提炼
由于VGG-19模型输出的分割结果可能包含不规则区域，因此需要进一步的边界提炼。在此过程中，首先采用中值滤波以去除单独的刺和洞；然后移除10％的边界点，这些边界点到质心的距离与平均距离相差最大；最后用立方的b样条拟合剩下的边界点，形成精分割。
以下对本发明的实施例的实验与结果作进一步详细说明。
在基于ITK(Insight Segmentation and Registration Toolkit，是美国国家卫生院下属的国立医学图书馆开发的一款医学图像处理软件包)的开源配准工具包elastix上实现加权α-MI度量。所有的配准实验都是在64位Windows系统(Intel 48-cores 2.60GHzCPU和128GB内存)上执行。DCNN模型的训练实验是在64位Windows系统(Intel 8-cores3.40GHz CPU,NVIDIA GeForce GTX 1080和16GB内存)上执行。
(一)数据集和验证方法
实验采用17例患者的T2-加权MRI宫颈图像数据，在五周的时间里，每位患者每周接受一次扫描。图像的大小为512×512×30，体素大小为0.625×0.625×4.5毫米。在配准之前，所有图像都被裁剪为210×250×30大小。由两名临床专家对宫颈(cervix)、膀胱(bladder)和直肠(rectum)进行手动分割，它们将在算法性能评估中被视为金标准。
将数据分为训练集和测试集。训练集包括所有患者的第一周和第二周图像，用于调整配准参数和训练DCNN模型。剩下的51幅图像组成测试集用于方法的验证。在atlas-to-target配准实验中，将aMI-MST和aMI-WMST与LMI(Localized Mutual Information,局部互信息)进行比较，测量各算法自动分割与金标准之间的DSC(Dice SimilarityCoefficient,Dice相似系数)。双侧Wilcoxon试验中p＜0.05的值被认为是有统计学意义的差异。
(二)参数设置
对训练集通过试错的方式选择配准参数，在所有可形变配准之前还需执行基于MI的刚性配准。针对可形变配准，一种基于高斯平滑的多分辨率策略被使用。在x和y方向使用σ＝4.0，2.0，1.0的范围，在z方向使用σ＝2.0，1.0，0.5的范围。三种分辨率分别采用网格间距为80mm、40mm和20mm的参数化b样条变换模型。
设置A＝50,τ＝0.602,a＝2000,和600次迭代以优化aMI-MST，随机样本的数量设置为N＝5000。对于aMI-WMST和LMI，在每次迭代中随机选取大小为403立方毫米的局部邻域，设置A＝200,τ＝0.6,a＝2000,和2000次迭代，随机样本的数量设置为N＝2000。
在MST的实现过程中，选择一个bucket大小为50、误差边界值为10.0的kD树。其中，k＝20。此外，α值被设置为0.99。在VGG-19模型的迁移学习中，学习率设置为0.0001，批量大小设置为20。
(三)粗分割结果分析
为了对测试集的34幅图像进行粗分割，进行了同一患者不同周次图像之间的配准(共17×2次)。对每位患者，选择某一周的图像作为模板图像，而下周的图像作为目标图像。通过主成分分析，将多维笛卡尔特征集压缩成六个分量的子集合。三种方法的Dice系数箱线图如图4所示。结果表明，LMI的分割精度明显低于其他方法。与aMI-MST相比，aMI-WMST的中值重叠率明显增加，其中宫颈部位由0.834增长到0.843(p＝1.0×10-3)，膀胱部位由0.804增长到0.826(p＝1.2×10-2)，直肠部位由0.767增长到0.782(p＝1.1×10-3)。
如图4所示，不同方法在不同解剖结构下的DSC箱线图。对于每个结构，星号表示中值重叠率与前一列相比存在统计显著性差异。
(四)精分割结果分析
在使用aMI-WMST进行可形变配准之后，34幅目标图像的宫颈和膀胱结构被微调的VGG-19模型进行进一步的提炼。与粗分割相比，精分割的中值重叠率显著增加，其中宫颈部位由0.843增加至0.882，膀胱部位由0.826增加至0.857。图5为分割结果对比展示图，其中，(a)为金标准的分割；(b)为粗分割结果；(c)为最终分割结果。虽然在最终结果中可以发现膀胱和宫颈附近软组织的复杂性，但是通过精分割得到的边界比粗分割更接近于金标准。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于可形变配准和DCNN的宫颈MRI图像分割方法，其特征在于，包括以下步骤：
采用目标图像的自相似性加权初始生成图的边，计算基于最小距离树的加权α-MI度量；
采用加权α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优，通过配准结果对模板标签图像进行形变，获得粗分割结果；
采用粗分割结果的符号距离场定位潜在的边界区域，采用经过迁移学习的DCNN模型进行所述潜在边界区域的分类预测；
对DCNN模型输出的预测结果进行边界细化提炼，得到精分割结果。
2.如权利要求1所述的方法，其特征在于，计算基于最小距离树的α-MI度量，具体包括以下步骤：
假设z(xi)＝[z1(xi)，…，zd(xi)]表示一个包含了点xi所有特征的d维度向量，Tμ(·)是参数为μ的形变模型，zf(xi)为目标图像上点xi的特征向量，zm(Tμ(xi))为坐标转换后的点Tμ(xi)在模板图像上的特征向量，zfm(xi，Tμ(xi))为两个特征向量的拼接：[zf(xi)，zm(Tμ(xi))]，依据下面的公式构造三个最小距离树：
Figure FDA0002320264440000011
Figure FDA0002320264440000012
Figure FDA0002320264440000013
其中，||·||表示欧氏距离，γ∈(0，d)，n表示采样点的个数，i和j是两个不同点xi和xj的下标；
基于最小距离树的α-MI度量的计算公式为：
Figure FDA0002320264440000021
其中α＝(d-γ)/d，Lf,Lm和Lfm分别为上述构造的三个最小距离树的长度。
3.如权利要求1所述的方法，其特征在于，采用目标图像的自相似性加权初始生成图的边，计算基于最小距离树的加权α-MI度量，具体包括以下步骤：
构造一个直方图描述子，将以当前体素为中心的图像块投影到二维直方图中，该直方图的坐标轴是中心体素到样本点的径向距离和样本点的强度值；
采用Moran′I空间自相关系数将自相似估计限制在结构信息丰富的图像区域，用于计算该系数的图像块大小与用于构造直方图描述子的图像块大小相同；
选择Moran′I系数值大于整体标准差的像素点，使用两个直方图描述子之间的陆地移动距离计算两个像素的相似性ωij；
使用自相似性度量ωij对初始生成图的边进行加权，改良公式(3)为：
Figure FDA0002320264440000022
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，n表示采样点的个数，||·||表示欧氏距离，γ∈(0，d)；
将公式(5)替代公式(3)代入到公式(4)中即可获得基于最小距离树的加权α-MI度量。
4.如权利要求1所述的方法，其特征在于，采用加权的α-MI度量进行目标图像和模板图像之间的可形变配准，期间采用梯度下降法实现参数寻优，通过配准结果对模板标签图像进行形变，获得粗分割结果，具体包括以下步骤：
采用梯度下降法实现参数寻优，需要计算加权的α-MI度量相对于形变模型参数μ的梯度解析表达式：
Figure FDA0002320264440000031
其中α＝(d-γ)/d，γ∈(0，d)，d是特征向量的维度，Lm和Lfm为公式(2)和(3)定义的两个最小距离树；
为了更简洁的表达，预先定义
Figure FDA0002320264440000032
代表两点特征向量的距离：
Figure FDA0002320264440000033
其中zfm(xi，Tμ(xi))为两个特征向量的拼接，从公式(5)可以推导出Lfm的梯度为：
Figure FDA0002320264440000034
进一步地有，
Figure FDA0002320264440000035
其中，
Figure FDA0002320264440000036
是模板特征图像的空间导数，
Figure FDA0002320264440000037
是该变换的雅可比矩阵；
采用类似的方法得到Lm的梯度与公式(9)一起代入到公式(6)中进行计算；
梯度下降法通过迭代的方式获得最佳的形变场
Figure FDA0002320264440000041
计算公式有，
μk+1＝μk+ak·dk (10)
其中ak为步长因子，dk为通过公式(6)计算的加权α-MI度量的梯度，μk为第k步的形变模型参数；
采用最佳形变场
Figure FDA0002320264440000042
对模板标签图像进行形变，获得目标图像的粗分割结果。
5.如权利要求1所述的方法，其特征在于，采用粗分割结果的符号距离场定位潜在的边界区域，采用经过迁移学习的DCNN模型进行该潜在边界区域的分类预测，具体包括以下步骤：
在预处理过程中，每幅图像的灰度值被归一化为[0,255]；从轴向视角对每个二维切片实施精分割；
选择VGG-19网络执行从自然图像到MRI图像的迁移学习，采用ImageNet数据库中的自然图像对VGG-19模型进行预训练；
从当前任务的训练切片中提取图像块对已预训练好的VGG-19模型进行微调；在每个训练切片中，通过人工手动分割结果，边界区域被定义为符号距离值在-5到5之间的一组像素；在此边界区域中随机选取种子像素，以每个种子像素为中心提取一个图像块，并重复三次作为训练样本；
对于上一阶段的粗分割结果，通过符号距离场定位潜在的边界区域，该边界区域被定义为符号距离值在-5到5之间；对于该区域的每个像素，以它为中心提取图像块，输入到已训练好的VGG-19网络模型中，将该像素预测分类为前景或背景。
6.如权利要求5所述的方法，其特征在于：对VGG-19模型进行预训练，具体包括以下步骤：
在拥有1000类自然图像的ImageNet数据库上进行VGG-19网络的预训练；
VGG-19由16个卷积层、5个池化层和3个全连接层组成；保留最后一个全连接层的两个神经元，并移除其他输出神经元。
7.如权利要求1所述的方法，其特征在于：对DCNN模型输出的预测结果进行边界细化提炼，得到精分割结果，具体包括以下步骤：
采用中值滤波以去除单独的刺和洞；
移除10％的边界点；
用立方的b样条拟合剩下的边界点，形成精分割。
CN201911294953.2A 2019-12-16 2019-12-16 基于可形变配准和dcnn的宫颈mri图像分割方法 Pending CN111080658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911294953.2A CN111080658A (zh) 2019-12-16 2019-12-16 基于可形变配准和dcnn的宫颈mri图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911294953.2A CN111080658A (zh) 2019-12-16 2019-12-16 基于可形变配准和dcnn的宫颈mri图像分割方法

Publications (1)

Publication Number Publication Date
CN111080658A true CN111080658A (zh) 2020-04-28

Family

ID=70315026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294953.2A Pending CN111080658A (zh) 2019-12-16 2019-12-16 基于可形变配准和dcnn的宫颈mri图像分割方法

Country Status (1)

Country Link
CN (1) CN111080658A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381838A (zh) * 2020-11-14 2021-02-19 四川大学华西医院 一种数字病理切片图像的自动切图方法
CN112669327A (zh) * 2020-12-25 2021-04-16 上海交通大学 磁共振图像分割系统及其分割方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN117333725A (zh) * 2023-11-29 2024-01-02 中国医学科学院北京协和医院 一种基于mri的先天性宫颈畸形分类方法、系统及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3013241A1 (en) * 2013-06-26 2016-05-04 Koninklijke Philips N.V. Method and system for multi-modal tissue classification
CN106548206A (zh) * 2016-10-27 2017-03-29 太原理工大学 基于最小生成树的多模态磁共振影像数据分类方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
CN106846382A (zh) * 2017-01-22 2017-06-13 深圳市唯特视科技有限公司 一种基于直方图控制点的图像配准目标检测方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108510507A (zh) * 2018-03-27 2018-09-07 哈尔滨理工大学 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3013241A1 (en) * 2013-06-26 2016-05-04 Koninklijke Philips N.V. Method and system for multi-modal tissue classification
CN106548206A (zh) * 2016-10-27 2017-03-29 太原理工大学 基于最小生成树的多模态磁共振影像数据分类方法
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
CN106846382A (zh) * 2017-01-22 2017-06-13 深圳市唯特视科技有限公司 一种基于直方图控制点的图像配准目标检测方法
CN107220980A (zh) * 2017-05-25 2017-09-29 重庆理工大学 一种基于全卷积网络的mri图像脑肿瘤自动分割方法
CN108510507A (zh) * 2018-03-27 2018-09-07 哈尔滨理工大学 一种融合加权随机森林的3d椎骨ct图像主动轮廓分割方法
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110232691A (zh) * 2019-04-18 2019-09-13 浙江大学山东工业技术研究院 一种多模态的ct影像的分割方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
HASSAN RIVAZ 等: "Self-similarity Weighted Mutual Information:A New Nonrigid Image Registration Metric", 《SPRINGER》 *
MARIUS STARING 等: "Registration of Cervical MRI Using Multifeature Mutual Information", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 *
MERT R. SABUNCU 等: "Using Spanning Graphs for Efficient Image Registration", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
XUESONG LU 等: "Feature-Based Deformable Registration Using Minimal Spanning Tree for Prostate MR Segmentation", 《IEEE》 *
刘庆烽: "基于图论的医学图像分割关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
胡永祥: "基于互信息的多模态医学图像非刚性配准研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
苏坡: "癌症诊疗中的医学图像配准和分割算法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381838A (zh) * 2020-11-14 2021-02-19 四川大学华西医院 一种数字病理切片图像的自动切图方法
CN112381838B (zh) * 2020-11-14 2022-04-19 四川大学华西医院 一种数字病理切片图像的自动切图方法
CN112669327A (zh) * 2020-12-25 2021-04-16 上海交通大学 磁共振图像分割系统及其分割方法
CN112669327B (zh) * 2020-12-25 2023-02-14 上海交通大学 磁共振图像分割系统及其分割方法
CN113112534A (zh) * 2021-04-20 2021-07-13 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN117333725A (zh) * 2023-11-29 2024-01-02 中国医学科学院北京协和医院 一种基于mri的先天性宫颈畸形分类方法、系统及设备

Similar Documents

Publication Publication Date Title
Bernal et al. Deep convolutional neural networks for brain image analysis on magnetic resonance imaging: a review
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN106340021B (zh) 血管提取方法
CN106485695B (zh) 基于统计形状模型的医学图像Graph Cut分割方法
Men et al. Cascaded atrous convolution and spatial pyramid pooling for more accurate tumor target segmentation for rectal cancer radiotherapy
CN103714536B (zh) 基于稀疏表示的多模态磁共振图像的分割方法及装置
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
US9025841B2 (en) Method and system for segmentation of the prostate in 3D magnetic resonance images
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
US8135189B2 (en) System and method for organ segmentation using surface patch classification in 2D and 3D images
Mahapatra et al. Automatic cardiac RV segmentation using semantic information with graph cuts
CN109509193B (zh) 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN107220965B (zh) 一种图像分割方法及系统
RU2654199C1 (ru) Сегментация тканей человека на компьютерном изображении
CN108629785B (zh) 基于自步学习的三维磁共振胰腺图像分割方法
CN107424162B (zh) 一种图像分割方法及系统
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
CN110110727A (zh) 基于条件随机场和贝叶斯后处理的图像分割方法
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
Carmo et al. Extended 2D consensus hippocampus segmentation
CN114332563A (zh) 图像处理模型训练方法及相关装置、设备和存储介质
CN107230211B (zh) 一种图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200428