CN111598838B - 心脏mr图像自动分割方法、装置、电子设备和存储介质 - Google Patents

心脏mr图像自动分割方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111598838B
CN111598838B CN202010320939.1A CN202010320939A CN111598838B CN 111598838 B CN111598838 B CN 111598838B CN 202010320939 A CN202010320939 A CN 202010320939A CN 111598838 B CN111598838 B CN 111598838B
Authority
CN
China
Prior art keywords
layer
network
region
image
centroid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010320939.1A
Other languages
English (en)
Other versions
CN111598838A (zh
Inventor
徐胜舟
程时宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South Central Minzu University
Original Assignee
South Central University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South Central University for Nationalities filed Critical South Central University for Nationalities
Priority to CN202010320939.1A priority Critical patent/CN111598838B/zh
Publication of CN111598838A publication Critical patent/CN111598838A/zh
Application granted granted Critical
Publication of CN111598838B publication Critical patent/CN111598838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供了一种基于Dilated‑DenseNet卷积网络的左心室MR图像分割方法。该方法利用空洞卷积缓解深度学习中梯度消失和内存过度消耗的问题，并且通过数据增强和提取感兴趣区域的方法提升了网络的准确性。分割结果采用最小平均欧几里得距离、Dice系数等指标进行评价分析。在MICCAI2009心室分割数据集的138张图片上的测试结果为：内、外膜的平均Dice系数分别为0.9135和0.9579，最小平均欧几里得距离分别为1.7134和1.4165。实验结果表明，此方法分割精度明显高于传统方法，对于含有左心室流出道的MR图像也能准确分割。

Description

心脏MR图像自动分割方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤指心脏MR图像自动分割方法、装置、电子设备和存储介质。
背景技术
心脏病是造成现代世界人们死亡的主要病因之一。在全世界因病死亡的患者中每三个病例就有一例是心脏病。近些年来，核磁共振(Magnetic Resonance,MR)图像技术越来越成熟，心脏MR图像为医生提供了更为准确的疾病信息，对于医学临床治疗具有重大意义。但是由于病人太多，医生每天接收到的患者MR图像可能达到成百上千张，人工看图诊断一方面耗费人力，另外也过于依赖医生的经验知识，从而判断结果会偏于主观。
基于这些问题，现有技术对心脏MR图像的自动分割算法进行了广泛的研究，可以分为两大类：传统分割算法和基于深度学习的分割算法。
在传统算法里，为了分割出左心室的内膜和外膜边界，主要采取动态规划法和活动轮廓模型法，但是单纯利用这两种方法很难达到令人满意的效果，需要对这两种算法上进行优化或综合其他算法。例如，胡怀飞提出了一种采用非极大值抑制和限制区域范围的动态规划分割算法(在下文中用“HU的方法”来表示胡怀飞提出的算法)，在此算法中，极大值点代替了基本动态规划中的梯度代价，能较好地克服非心外膜组织的强边缘干扰，然而，其不足之处在于个别图像中，心肌内部出现的极大值点对心外膜提取有较大的干扰。
近些年来，深度学习在语义识别、计算机视觉上取得了突飞猛进的发展，很多学者也将深度学习用于左心室的分割上。Avendi等人提出一种基于深度学习算法的左心室自动分割方法。他们将问题分解为定位、形状推断和分割任务，选择卷积网络进行定位和提取感兴趣区域(Region of Interest,ROI)，用分层预训练来防止网络的过拟合现象，使用堆叠AE稀疏自编码神经网络进行训练，该种方法具有较强的鲁棒性和准确性。
但是，在利用深度学习的方法分割左心室MR图像时，梯度消失现象是经常容易出现的问题。在计算机视觉会议CVPR2017年提出的网络中，DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维，从特征的角度考虑，通过特征重用和旁路(Bypass)设置，既大幅度减少了网络的参数量，又在一定程度上缓解了梯度消失问题的产生，加强了特征的传递并更有效地利用了特征，在一定程度上减少了参数数量。但是，DenseNet有个缺陷，其特征的数量仍然会随着网络层数的增加而成倍的增长，会非常消耗内存并且在训练时也会过于浪费时间。
发明内容
本发明实施例的目的是提供一种心脏MR图像自动分割方法、装置、电子设备及存储介质，借以解决利用深度学习网络进行MR图像自动分割时梯度消失和内存过度消耗的问题，并提升网络的准确性，继而提高分割的精度。
本发明提供的技术方案如下：
第一方面，本发明实施例提供了一种心脏MR图像自动分割方法，所述方法包括：
对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强；
基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练，所述模型训练包括调整所述Dilated-DenseNet网络的参数；
判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件；
对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割的结果。
优选地，所述心脏MR图像数据的感兴趣区域提取具体包括以下步骤：
S1.取出所述心脏MR图像中间层的MRI图像，将所述MRI图像的中心作为第一参考点R1，以R1为中心提取110*110像素大小的图片；
S2.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算所述每个连通区域的面积和连通区域质心到R1的距离，若连通区域面积大于预设面积且距离小于预设距离，则将该连通区域的质心列为第一候选点；判断是否有第一候选点，若有，则找出所有第一候选点中距离R1最近的点作为第一血池质心s1；若没有，则以第一参考点R1作为第一血池质心s1；以s1为中心提取110*110像素大小的图片，中间层的感兴趣区域提取完毕；
S3.开始心尖层方向的分割，将上一层的第一血池质心s1作为第二参考点R2，以第二参考点R2为中心提取110*110像素大小的图片；
S4.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算每个连通区域的面积和连通区域质心到第二参考点R2的距离，若连通区域面积大于预设面积且距离小于预设距离，则将该连通区域的质心列为第二候选点；判断是否有第二候选点，若有，则找出所有第二候选点中距离第二参考点R2最近的点作为第二血池质心s2；若没有，则以第二参考点R2作为第二血池质心s2；以s2为中心提取110*110像素大小的图片，心尖层的感兴趣区域提取完毕；判定心尖层方向有没有剩余未分割的图片，如果有则继续S3、S4步骤，如果没有则结束心尖层方向的分割；
S5.开始心底层方向的分割，将上一层的血池质心作为第三参考点R3，以R3为中心提取110*110像素大小的图片；
S6.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算每个连通区域的面积和连通区域质心到R3的距离，若连通区域面积大于预设面积且距离小于预设距离，则将该连通区域的质心列为第三候选点；判断是否有第三候选点，若有，则找出所有第三候选点中距离R3最近的点作为第三血池质心s3；若没有，则以第三参考点R3作为第三血池质心s3，以s3为中心提取110*110像素大小的图片，当前心底层的感兴趣区域提取完毕；判定心底层方向有没有剩余未分割的图片，如果有则继续S5,S6步骤，如果没有则结束心底层方向的分割。
优选地，所述数据增强包括如下步骤：
对训练集中的MR图像数据进行预定方向的旋转，得到预定倍数的数据。
优选地，所述Dilated-DenseNet网络包括8层Dense Layer，网络中每一层DenseLayer都和前面所有的Dense Layer有直接的连接，包含前面层传递来的特征信息；每一层的特征图总数为本层新增的特征图数量与其前一层特征图数量之和；
网络的开始进行5×5卷积；网络的结束进行softmax计算；网络中间的每一层分别依次进行批量标准化、ReLU激活函数、3×3空洞卷积计算。
优选地，所述Dilated-DenseNet网络的输入层为110*110像素大小左心室感兴趣区域单通道图像，进行一次5*5的卷积操作连接第一层Dense Layer；第一层Dense Layer首先进行批量标准化操作，然后通过ReLU激活函数，再由扩张率为1、卷积核大小为3的空洞卷积连接第二层Dense Layer；第二层Dense Layer在连接下一层的时候采取批量标准化、ReLU激活函数、3×3空洞卷积计算，只是此时所用空洞卷积的扩张率为2，随着层数不断加深，扩张率进行相应的翻倍，整个网络中图像大小不变，恒为110*110像素，在到达第八层Dense Layer后，进行Softmax操作连接输出层，最终输出层为110*110像素的左心室内外膜的掩膜区域和背景图像。
优选地，所述判断分割结果是否优于调整参数之前的结果具体包括：
判断自动分割的轮廓和金标准的接近程度，用平均最小欧几里得距离进行区分，所述平均最小欧几里得距离定义如下，
Figure BDA0002461383450000051
其中，d(ai，B)是边界A上的像素点ai到边界B上所有像素点的距离的最小值。
优选地，所述判断分割结果是否优于调整参数之前的结果具体包括：
判断自动分割的轮廓和金标准的接近程度，用Dice系数进行区分，所述Dice系数计算如下：
设自动分割轮廓包围面积为Aa，金标准轮廓包围面积为Am，
Figure BDA0002461383450000052
其中，Dice系数的值介于0到1之间，Dice系数的值越接近1，表示分割结果越接近金标准；
在计算Dice系数时，低于AMED阈值的轮廓被排除在外，只有高于AMED阈值的轮廓才参与计算。
第二方面，本发明实施例提供了一种心脏MR图像自动分割装置，所述装置包括：
对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强的单元；
基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练的单元，所述模型训练包括调整所述Dilated-DenseNet网络的参数；
判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件的单元；对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割的结果的单元。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或更多个处理器；
一个或更多个存储器；
一个或更多个模块，其被存在存储器中且能够由所述一个或更多个处理器中的至少一个处理器以执行如第一方面所述心脏MR图像自动分割方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质，用于存储一个或多个计算机程序，所述计算机程序在所述传感器数据输入时，被所述中央处理模块执行，实现根据第一方面所述的方法。
本发明实施例提供了一种心脏MR图像自动分割方法、装置、电子设备及存储介质，通过基于Dilated-DenseNet卷积网络的左心室MR图像分割方法，利用空洞卷积缓解了深度学习中梯度消失和内存过度消耗的问题，并且通过数据增强和提取感兴趣区域的方法提升了网络的准确性，继而提高了分割的精度。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对异步系统的实现方法、电子设备和存储介质的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明实施例中一种图像自动分割方法的流程示意图；
图2是本发明实施例心脏MR图像分割模型示意图；
图3a是本发明实施例心室分割数据集上的原图片；
图3b表示本发明实施例心室分割数据集上的原图片中的感兴趣区域；
图4是本发明实施例中左心室形状示意图；
图5是本发明实施例ROI提取流程示意图；
图6是本发明实施例中MR图像数据增强示意图；
图7表示本发明实施例Dilated-DenseNet网络结构示意图；
图8a为普通3*3卷积网络；
图8b为扩张率为2的3*3空洞卷积网络；
图9是本发明实施例一种电子设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本发明实施例中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
图1表示本发明实施例的图像分割方法的流程图。
S100.对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强；
S200.基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练，所述模型训练包括调整所述Dilated-DenseNet网络的参数；
S300.判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件；
S400.对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割的结果。
首先对训练集进行感兴趣区域(Region of Interest,ROI)提取和数据增强，然后调整Dilated-DenseNet网络参数，进行模型训练，判断如今的结果是否优于调整参数之前所得出的结果，如果变差则重复这一过程，直到得出的结果比较满意，保存此时的网络模型。之后对测试集进行ROI区域提取，然后用最终的网络模型进行训练，最终得出结果。
本发明实施例提供了一种心脏MR图像自动分割方法、装置、电子设备及存储介质，通过基于Dilated-DenseNet卷积网络的左心室MR图像分割方法，利用空洞卷积缓解了深度学习中梯度消失和内存过度消耗的问题，并且通过数据增强和提取感兴趣区域的方法提升了网络的准确性，继而提高了分割的精度。
图2上半部(a部)最左列表示心脏的示意图。从上往下依次为心底层(Basal)、中间层(Mid-Cavity)和心尖层(Apical)；中间列图片代表其对应的MR切片。根据箭头方向，表示一个心动周期从心底层到心尖层的MR切片排列顺序，最右列则是从对应的切片中提取的感兴趣区域ROI。
图3a为MICCAI2009心室分割数据集上的原图片，在图3b中白色方框区域就已经包含左心室内膜和外膜。在深度学习中，输入图片尺寸的大小可以直接影响到网络的训练速度，同时多余的部分也会对训练产生一定的干扰。若对原图像进行感兴趣区域(region ofinterest,ROI)提取操作，则可以在很大程度上避免这一问题。
如图4所示，左心室类似一个倒置的梨，心脏MR图像有多层，上面大，属于心底部分，下面小，属于心尖部分。靠近心尖层的图像血池区域较小，血池与周围组织灰度差别不如心底层明显，不借鉴先验知识血池不容易被检测出来，为了解决这个问题，本发明实施例采用从中间到两端的方法定位血池，图5表示提取ROI的流程图，主要步骤如下:
S1.取出病例中间层的MRI图像，将图片的中心作为第一参考点R1，以R1为中心提取110*110像素大小的图片，从而去除血池外面过多的干扰因素；
S2.对提取出的110*110像素大小图片进行分割，得出多个连通区域，其中，所述分割采取的算法可以是OTSU算法；然后计算所述多个连通区域的面积和连通区域质心到R1的距离，若连通区域面积大于预设面积且距离小于预设距离，例如所述预设面积为300，预设距离为20，则将其列为第一候选点。为了提高图像选取的准确性，其中，图片分割选取110*110像素大小是根据图像中分割目标左心室在图像中的大小选取的，太大则会包含过多的非目标组织，影响分割效果；太小则不能包含完整的目标区域，也会影响分割结果，同时，阈值分割后，左心室血池一般位于感兴趣区域中心附近，且面积较大，所以连通区域面积要选取合适的面积，例如300，距离为20。
判断是否有第一候选点，若有，则找出所有第一候选点中距离R1最近的点作为第一血池质心s1；若没有，则以第一参考点R1作为第一血池质心s1。以s1为中心提取110*110像素大小的图片，中间层的ROI区域提取完毕；
S3.进行心尖层方向的分割，将上一层的第一血池质心s1作为第二参考点R2(心尖层方向的第一张图像的上一层就是中间层)，以第二参考点R2为中心提取110*110像素大小的图片。
S4.对提取出的110*110像素大小图片进行分割，得出多个连通区域，其中，所述分割采取的算法可以是OTSU算法，然后计算连通区域的面积和连通区域质心到第二参考点R2的距离，若连通区域面积大于所述预设面积且距离小于所述预设距离，则将其列为第二候选点。判断是否有第二候选点，若有，则找出所有第二候选点中距离第二参考点R2最近的点作为第二血池质心s2；若没有，则以第二参考点R2作为第二血池质心s2。以s2为中心提取110*110像素大小的图片，当前层的ROI区域提取完毕。判定心尖层方向有没有剩余未分割的图片，如果有则继续S3、S4步骤，如果没有则结束心尖层方向的分割。
S5.进行心底层方向的分割，将上一层的血池质心作为第三参考点R3(心底层方向的第一张图像的上一层就是中间层)，以R3为中心提取110*110像素大小的图片。
S6.对提取出的110*110像素大小图片进行分割，得出多个连通区域，其中，所述分割采取的算法可以是OTSU算法，然后计算多个连通区域的面积和连通区域质心到R3的距离，若连通区域面积大于所述预设面积且距离小于所述预设距离，则将其列为第三候选点。判断是否有第三候选点，若有，则找出所有第三候选点中距离R3最近的点作为第三血池质心s3；若没有，则以第三参考点R3作为第三血池质心s3。以s3为中心提取110*110像素大小的图片，当前层的ROI区域提取完毕。判定心尖层方向有没有剩余未分割的图片，如果有则继续3,4步骤，如果没有则结束心尖层方向的分割。
上述ROI提取充分利用了MR图像相邻层之间的目标位置关系，并采用了全自动的血池定位方法来获取ROI，因此，具有以下优点：减少深度学习模型计算时间：ROI是原图像上的局部区域，能有效减少计算时间；提高深度学习模型分割精度：避免了原图像中含有很多非目标组织从而影响模型的训练效果ROI的问题。
另外，因MR图像存在数据集过小的问题，通过数据增强来解决因数据集过小而导致的过拟合现象，从而提升训练的准确率。如图6所示，白色线代表左心室内膜和外膜的金标准，本发明实施例对训练集图像进行顺时针90°旋转、180°旋转、270°旋转、水平翻转、垂直翻转，经过数据增强后训练集病例数量扩大五倍。
图7为本发明实施例用到的Dilated-DenseNet卷积网络。此网络一共有8层DenseLayer，在图中用不同灰度的长方形表示。因为此网络中每一层Dense Layer和前面所有的Dense Layer都有直接的连接，所以在图中用不同灰度的空心长方形表示前面层所传递过来的特征信息，箭头表示前面层和后面层的连接关系。
网络开始部分的黑色空心箭头表示5×5卷积；网络结束部分的黑色箭头表示softmax计算；网络中间部分的灰色三角形表示batch normalization、ReLU激活函数和3×3空洞卷积，灰色三角形的形状越宽，表示所用空洞卷积的扩张率(Dilated rate)越大，D表示此层Dilated rate的大小。长方形右下角的数字代表当前层的特征图总数，每一层的特征图总数为本层新增的特征图数量(本层新增特征图数量为64)与前一层特征图数量之和。如第一层Dense Layer的特征图总数为1+64＝65，第二层Dense Layer的特征图总数为65+64＝129，第三层Dense Layer的特征图总数为129+64＝193，以此类推。
网络的输入层为110*110像素大小左心室ROI单通道图像，进行一次5*5大小的卷积操作连接第一层Dense Layer。第一层Dense Layer首先进行batch normalization批量标准化操作，然后通过ReLU激活函数，再由一个Dilated rate为1卷积核大小为3的空洞卷积连接第二层Dense Layer。第二层Dense Layer在连接下一层的时候采取同样方法，只是此时所用空洞卷积的Dilated rate变成了2。后面的网络以此类推，随着层数不断加深，Dilated rate也相应的翻倍，整个网络中图像大小不变，恒为110*110像素。在到达第八层Dense Layer后，进行Softmax操作连接输出层，最终输出层为110*110像素的左心室内外膜的掩膜区域和背景图像。
对于左心室MR图像分割，传统方法难以有效解决流出道粘连问题以及血池边缘泄露问题，而深度学习方法能够较好克服这些问题；在CNN(卷积神经网络)中，各个特征会不断的经过线性和非线性的综合计算，网络越深，特征的表达能力越强，但与之一起带来的，是梯度消失和梯度爆炸问题。然而，本发明实施例的Dilated-DenseNet模型的网络结构相对于其它卷积神经网络模型，具有很好的抗过拟合性能，特别适合左心室MR图像这样数据集过小的问题；另外，由于DenseNet的网络连接方式(与前面所有层连接，不过度依赖于其上一层)，每个卷积层输出的feature map都不大，所以网络比较窄，计算效率更高；最后，引入空洞卷积，这时候网络所消耗的内存就更小，可以进一步提高计算效率。在本发明实施例的网络中，每一层Dense Layer都使用前面所有层的特征作为输入，并且将其自身的特征作为所有后续层的输入，极大地缓解了梯度消失的问题，并加强了特征传播。DenseNet相较于其他网络参数更少，改进了整个网络的信息流和梯度，使其更易于训练。
图7表示本发明实施例Dilated-DenseNet网络结构示意图，实际上，以扩张率Dilated rate为2的3*3空洞卷积网络为例，如图8a和8b所示，8a为普通3*3卷积，8b为扩张率Dilated rate＝2,3*3空洞卷积，可以看出，扩张率Dilated rate为2的3*3空洞卷积网络其感受远比普通卷积较大。空洞卷积网络的输入层为110*110大小的感兴趣区域单通道图像，网络的输出层为包含左心室内外膜的掩膜，可以提取出相应的左心室内外膜轮廓。
第一个Dense Layer在连接下一层时首先进行批量标准化(batchnormalization)，然后通过ReLU激活函数，再进行一次间隔数为1的空洞卷积，卷积核大小为3*3。
第二个Dense Layer因为包含第一层的特征信息，所以在图中用不同灰度的空心灰色长方形和实心灰色长方形表示第一层和第二层相连一起的信息。第二层在连接下一层的时候，同样先进行一次batch normalization，然后通过ReLU激活函数，再进行一次间隔数为2的空洞卷积，卷积核大小为3*3。后面的网络如图以此类推，空洞卷积间隔在经过每个Dense Layer后都增大至两倍。
在这个网络中任意两个层之间有直接的连接，对于每一层，使用前面所有层的特征作为输入，并且将其自身的特征作为所有后续层的输入，极大地缓解了梯度消失的问题，并加强了特征传播。DenseNet相较于其他网络参数更少，改进了整个网络的信息流和梯度，使其更易于训练。
为了衡量自动分割的轮廓和金标准的接近程度，用平均最小欧几里得距离(average minimum Euclidean distance,AMED)把轮廓分为好的和差的。平均最小欧几里得距离定义如下，
Figure BDA0002461383450000131
d(ai，B)是边界A上的像素点ai到边界B上所有像素点的距离的最小值。AMED值越小，证明分割出的轮廓越接近金标准的轮廓。如果一个自动分割的轮廓和金标准间的AMED值小于5mm，那此轮廓就被定义为好的轮廓。好的轮廓占总轮廓的比数为好的分割率。
Dice系数
设自动分割轮廓包围面积为Aa，金标准轮廓包围面积为Am。
Figure BDA0002461383450000132
Dice系数的值介于0到1之间，Dice值越接近1，证明分割结果越接近金标准。在计算Dice系数时，低于AMED阈值的轮廓被排除在外，只有高于AMED阈值的轮廓才参与计算。
本发明实施例还提供了一种心脏MR图像自动分割装置，所述装置包括：
对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强的单元；
基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练的单元，所述模型训练包括调整所述Dilated-DenseNet网络的参数；
判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件的单元；
对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割的结果的单元。
以由MICCAI(Medical Image Computing and Computer-AssistedIntervention)2009提供的心脏核磁共振图像数据集为例，其中，所有图像在屏气10-15秒内获得，整个心动周期分为20个心脏时相的时间分辨率。从房室环到心尖共采集6-12层短轴图像：层厚为8-10mm，视野320mm×320mm，矩阵为256×256，金标准轮廓信息文件为.txt格式的文本，对于每个病例，医生只勾画了该病例中心脏舒张期和收缩期的图像，对于舒张期图像，医生勾画左心室内外膜的轮廓，对于收缩期，医生只勾画了心内膜轮廓，而没有对心外膜轮廓进行提取。
整个数据集共有45个病例，按照每组15个病例，平均分为了三组。每一组15个病例中包含了四种类型的心脏图像，即4个缺血性心衰竭(heart failure with ischemia，记为HF-I)、4个非缺血性心衰竭(heart failure without ischemia，记为HF-NI)、4个心肌肥大(hypertrophy，记为HYP)、3个正常(normal，记为N)。
在本发明实施例中，将第一组和第三组数据的总和通过数据增强后用8:2的比率划分为训练集和验证集，将第二组数据作为测试集。
本发明实施例用到的网络模型在训练时，使用Adam优化器，DenseNet层数设置为8层。在MICCAI2009测试集15个病例上取得如表1结果。
Figure BDA0002461383450000151
表1
经过实验证明，本发明实施例在好的检测率和Dice系数这两个指标中，不管是内膜还是外膜，得出的结果都优于其他算法；并且在AMED这一指标中，本发明实施例数值更小，也就是本发明实施例分割出的轮廓更接近于金标准的轮廓。
图9为本发明实施例提供的电子设备的实体结构示意图，所述电子设备架设于第三方设备中，例如移动终端、便携式计算机、IPAD等，如图9所示，该服务器可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：
对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强；
基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练，所述模型训练包括调整所述Dilated-DenseNet网络的参数；
判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件；
对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割的结果。
通信总线640是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器610通过通信总线640从其它元素接收到命令，解密接收到的命令，根据解密的命令执行计算或数据处理。存储器630可以包括程序模块，例如内核(kernel)，中间件(middleware)，应用程序程序编程接口(Application Programming Interface，API)和应用程序。该程序模块可以是有软件、固件或硬件、或其中的至少两种组成。通信接口620将该电子设备与其它网络设备、客户端、移动设备、网络进行连接。例如，通信接口620可以通过有线或无线连接到网络以连接到外部其它的网络设备或用户设备。无线通信可以包括以下至少一种：无线保真(WiFi)，蓝牙(BT)，近距离无线通信技术(NFC)，全球卫星定位系统(GPS)和蜂窝通信等等。有线通信可以包括以下至少一种：通用串行总线(USB)，高清晰度多媒体接口(HDMI)，异步传输标准接口(RS-232)等等。网络可以是电信网络和通信网络。通信网络可以为计算机网络、因特网、物联网、电话网络。电子设备可以通过通信接口620连接网络，电子设备和其它网络设备通信所用的协议可以被应用程序、应用程序程序编程接口(API)、中间件、内核和通信接口620至少一个支持。
本领域普通技术人员可以理解：此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的评估设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制，上述实施例均可根据需要自由组合；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种心脏MR图像自动分割方法，其特征在于，所述方法包括：
对训练集中的心脏MR图像数据进行感兴趣区域提取，并进行数据增强，其中，所述对训练集中的心脏MR图像数据进行感兴趣区域提取具体包括：S1.取出所述心脏MR图像的中间层的MRI图像，将所述MRI图像的中心作为第一参考点R1，以R1为中心提取110*110像素大小的图片；
S2.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算每个所述连通区域的面积和连通区域质心到R1的距离，若连通区域面积大于预设面积且距离小于预设距离，则将该连通区域的质心列为第一候选点；判断是否有第一候选点，若有，则找出所有第一候选点中距离R1最近的点作为第一血池质心s1；若没有，则以第一参考点R1作为第一血池质心s1；以s1为中心提取110*110像素大小的图片，中间层的感兴趣区域提取完毕；
S3. 开始心尖层方向的分割，将上一层的第一血池质心s1作为第二参考点R2，以第二参考点R2为中心提取110*110像素大小的图片；
S4.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算每个连通区域的面积和连通区域质心到第二参考点R2的距离，若连通区域面积大于所述预设面积且距离小于所述预设距离，则将该连通区域的质心列为第二候选点；判断是否有第二候选点，若有，则找出所有第二候选点中距离第二参考点R2最近的点作为第二血池质心s2；若没有，则以第二参考点R2作为第二血池质心s2；以s2为中心提取110*110像素大小的图片，心尖层的感兴趣区域提取完毕；判定心尖层方向有没有剩余未分割的图片，如果有则继续S3、S4步骤，如果没有则结束心尖层方向的分割；
S5.开始心底层方向的分割，将上一层的血池质心作为第三参考点R3，以R3为中心提取110*110像素大小的图片；
S6.对提取出的110*110像素大小图片进行分割，得出多个连通区域，计算每个连通区域的面积和连通区域质心到R3的距离，若连通区域面积大于预设面积且距离小于预设距离，则将该连通区域的质心列为第三候选点；判断是否有第三候选点，若有，则找出所有第三候选点中距离R3最近的点作为第三血池质心s3；若没有，则以第三参考点R3作为第三血池质心s3，以s3为中心提取110*110像素大小的图片，当前心底层的感兴趣区域提取完毕；判断心底层方向是否有剩余未分割的图片，如果有则继续S5,S6步骤，如果没有则结束心底层方向的分割；
基于所述数据增强后的数据，进行Dilated-DenseNet网络模型训练，所述模型训练包括调整所述Dilated-DenseNet网络的参数，其中，所述Dilated-DenseNet网络包括8层Dense Layer，网络中每一层Dense Layer都和前面所有的Dense Layer有直接的连接，包含前面层传递来的特征信息，每一层的特征图总数为本层新增的特征图数量与其前一层的特征图数量之和；
所述Dilated-DenseNet网络的输入层为110*110像素大小左心室感兴趣区域单通道图像，进行一次5*5的卷积操作连接第一层Dense Layer；第一层Dense Layer首先进行批量标准化操作，然后通过ReLU激活函数，再由扩张率为1、卷积核大小为3的空洞卷积连接第二层Dense Layer；第二层Dense Layer在连接下一层的时候采取批量标准化、ReLU激活函数、3×3空洞卷积计算，只是此时所用空洞卷积的扩张率为2，随着层数不断加深，扩张率进行相应的翻倍，整个网络中图像大小不变，恒为110*110像素，在到达第八层Dense Layer后，进行Softmax操作连接输出层，最终输出层为110*110像素的左心室内外膜的掩膜区域和背景图像；
判断所述网络模型是否满足收敛条件，若否则重复进行Dilated-DenseNet网络模型训练，直到调整后的Dilated-DenseNet网络模型符合收敛条件，所述判断所述网络模型是否满足收敛条件具体为判断模型训练得到的图像分割结果是否优于调整参数之前的结果；
对测试集的心脏MR图像数据进行感兴趣区域提取，并以最终网络模型对预处理的图像数据进行分割，得到图像分割结果。
2.根据权利要求1所述的心脏MR图像自动分割方法，其特征在于，所述数据增强包括如下步骤：
对训练集中的MR图像数据进行预定方向的旋转和/或翻转，得到预定倍数的数据。
3.根据权利要求1任意一项所述的心脏MR图像自动分割方法，其特征在于，所述判断模型训练得到的分割结果是否优于调整参数之前的结果具体包括：
判断自动分割的轮廓和金标准的接近程度，用平均最小欧几里得距离进行区分，所述平均最小欧几里得距离定义如下，
(1)
其中，d(a i ，B)是边界A上的像素点a i 到边界B上所有像素点的距离的最小值。
4.根据权利要求1任意一项所述的心脏MR图像自动分割方法，其特征在于，所述判断模型训练得到的分割结果是否优于调整参数之前的结果具体包括：
判断自动分割的轮廓和金标准的接近程度，用Dice系数进行区分，所述Dice系数计算如下：
设自动分割轮廓包围面积为A a ，金标准轮廓包围面积为A m ，
(2)
其中，Dice系数的值介于0到1之间，Dice系数的值越接近1，表示分割结果越接近金标准；
在计算Dice系数时，低于AMED阈值的轮廓被排除在外，只有高于AMED阈值的轮廓才参与计算。
5.一种电子设备，其特征在于，所述电子设备包括：
一个或更多个处理器；
一个或更多个存储器；
一个或更多个模块，其被存在存储器中且能够由所述一个或更多个处理器中的至少一个处理器以执行如权利要求1至4任一所述心脏MR图像自动分割方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质，用于存储一个或多个计算机程序，所述计算机程序实现根据权利要求1～4中任一项所述的方法。
CN202010320939.1A 2020-04-22 2020-04-22 心脏mr图像自动分割方法、装置、电子设备和存储介质 Active CN111598838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010320939.1A CN111598838B (zh) 2020-04-22 2020-04-22 心脏mr图像自动分割方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010320939.1A CN111598838B (zh) 2020-04-22 2020-04-22 心脏mr图像自动分割方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111598838A CN111598838A (zh) 2020-08-28
CN111598838B true CN111598838B (zh) 2023-04-07

Family

ID=72190315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010320939.1A Active CN111598838B (zh) 2020-04-22 2020-04-22 心脏mr图像自动分割方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111598838B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116869571B (zh) * 2023-09-07 2023-11-07 深圳华声医疗技术股份有限公司 超声心脏反流自动检测评估方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765430A (zh) * 2018-05-24 2018-11-06 西安思源学院 一种基于心脏ct图像和机器学习的心脏左腔区域分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN110599499A (zh) * 2019-08-22 2019-12-20 四川大学 基于多路卷积神经网络的mri图像心脏结构分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711165B2 (en) * 2005-07-28 2010-05-04 Siemens Medical Solutions Usa, Inc. System and method for coronary artery segmentation of cardiac CT volumes
US10290109B2 (en) * 2015-12-22 2019-05-14 Shanghai United Imaging Healthcare Co., Ltd. Method and system for cardiac image segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363210A (zh) * 2018-04-10 2019-10-22 腾讯科技（深圳）有限公司 一种图像语义分割模型的训练方法和服务器
CN108765430A (zh) * 2018-05-24 2018-11-06 西安思源学院 一种基于心脏ct图像和机器学习的心脏左腔区域分割方法
CN110120051A (zh) * 2019-05-10 2019-08-13 上海理工大学 一种基于深度学习的右心室自动分割方法
CN110599499A (zh) * 2019-08-22 2019-12-20 四川大学 基于多路卷积神经网络的mri图像心脏结构分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李晓宁 ; 厉元杰 ; 幸浩洋 ; 陈玉成 ; .一种带心肌瘢痕的心脏磁共振图像左室壁分割方法.四川大学学报(自然科学版).2016,(第05期),正文全文. *

Also Published As

Publication number Publication date
CN111598838A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
EP3783533A1 (en) Artificial intelligence-based ophthalmic disease diagnostic modeling method, apparatus, and system
Liu et al. Automated layer segmentation of retinal optical coherence tomography images using a deep feature enhanced structured random forests classifier
US9795351B2 (en) Three-dimensional cardiac image segmentation method and apparatus
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
CN116236150A (zh) 基于眼底图像的动静脉血管图像分割方法
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
CN110992370B (zh) 一种胰腺组织的分割方法、装置及终端设备
CN113643353B (zh) 眼底图像的血管管径的增强分辨率的测量方法
CN109410181B (zh) 一种心脏图像分割方法及装置
CN111815610A (zh) 一种病变图像的病灶检测方法及装置
CN111598838B (zh) 心脏mr图像自动分割方法、装置、电子设备和存储介质
CN110288581B (zh) 一种基于保持形状凸性水平集模型的分割方法
WO2020007026A1 (zh) 分割模型训练方法、装置及计算机可读存储介质
CN117576123A (zh) 一种心血管ct图像数据分割检测方法
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
WO2015184742A1 (zh) 基于语义技术与医学图像分割结合的心力衰竭检测方法
CN111091578B (zh) 一种针对血管医学影像的分割方法
CN112712540A (zh) 一种基于ct影像的肺部支气管提取方法
Zhang et al. A multi-scale deep convolutional neural network for joint segmentation and prediction of geographic atrophy in SD-OCT images
CN115409857A (zh) 一种基于深度学习的三维脑积水ct图像分割方法
CN111784696B (zh) 一种训练右心室分割模型、右心室分割的方法及系统
CN114519722A (zh) 一种基于卷积神经网络的颈动脉提取方法
CN114399519A (zh) 一种基于多模态融合的mr图像3d语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant