CN108898606B - 医学图像的自动分割方法、系统、设备及存储介质 - Google Patents

Abstract

本发明提供一种医学图像的自动分割方法和系统。该医学图像的自动分割方法包括：采用视觉注意模型获得待训练的医学图像的显著图，并用于训练深度学习神经网络的参数；通过视觉注意模型获得待分割的医学图像的显著图，并输入到训练好的深度学习神经网络中进行分割，得到初分割结果；把初分割结果用于构建统计形状模型的初始轮廓并且用于优化所述统计形状模型，以及采用优化的统计形状模型对待分割的医学图像进行分割。本发明将统计形状模型和深度学习模型结合起来，利用深度学习网络的初分割结果减少统计形状模型中匹配操作的计算量，从而实现了利用统计形状模型快速、准确地对三维医学图像进行分割。

Description

医学图像的自动分割方法、系统、设备及存储介质

技术领域

本发明属于医学图像的计算机分析技术的应用领域，具体涉及一种医学图像的自动分割方法及系统。

背景技术

近年来，随着医学诊断和影像技术的不断发展，医学图像的各种计算机辅助分析方法在预测疾病、介入治疗指导等方面得到了广泛的应用。心脏是人体最为重要器官，负责把血液运行至身体各个部分，心脏疾病直接影响到人的生死存亡。据统计心脏疾病是全球死亡率最高的疾病之一，给社会经济发展带来巨大的影响。为此，开展心脏病早期诊断与治疗的新技术研究，具有非常重要的社会意义与使用价值。

在临床上，对心脏射血分数和心肌质量，以及其它功能参数(如室壁运动和壁厚)的评估，是心脏疾病早期诊断的重要手段之一。而这些功能参数指标的测量依赖于医学影像(如MR成像，CT成像和SPECT成像)中心脏在不同时间上的分割，即四维分割。医学图像的分割是将医学图像中具有特殊含义的不同区域分开的过程。随着成像设备时间和空间分辨率的大幅提高，海量的影像数据极大地增加了分割难度。另外，对于复杂的医学图像(例如心脏图像)，现有的分割方法容易受图像质量的影响，缺乏普适性和鲁棒性。因此，借助于信息处理技术，研究准确的医学图像自动分割方法成为研究的热点。

发明内容

本公开的目的在于克服现有技术的不足，提供一种医学图像的自动分割方法和分割系统，能够快速、准确地对医学图像进行分割。

为了实现上述目的，本发明提供一种医学图像的自动分割方法，包括：

采用视觉注意模型获得待训练的医学图像的显著图；

将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

通过视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

基于所述初分割结果来构建统计形状模型的初始轮廓和优化所述统计形状模型，以获得优化的统计形状模型；以及

采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓。

按照本发明的另一方面，提供了一种医学图像的自动分割系统，包括：

显著图生成模块，其采用视觉注意模型获得待训练医学图像的显著图；

训练模块，用于将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

初分割模块，用于通过所述视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

轮廓构建和优化模块，用于基于所述初分割结果来构建形状模型的初始轮廓和优化所述统计形状模型，得到优化的统计形状模型；以及

轮廓生成模块，用于采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓。

优选地，统计形状模型是三维活动形状模型，轮廓构建和优化模块包括：

轮廓构建单元，用于基于所述初分割结果构建三维活动形状模型的初始形状，和

模型优化单元，用于优化三维活动形状模型的图像强度模型。

优选地，轮廓构建单元具体用于根据初分割结果，通过点云配准把三维活动形状模型的平均形状变换成初始形状，模型优化单元具体用于根据粗分割结果构建窄带，用于限制图像轮廓点的搜索区域，建立像素点和该像素点到所述窄带的距离之间的函数关系，并且根据该函数关系计算图像强度模型中的马氏距离。

优选地，深度学习神经网络是深度卷积神经网络，训练模块具体用于根据手工标记的金标准与待分割的医学图像的显著图，采用所述深度卷积神经网络对所述显著图进行训练。

优选地，显著图生成模块包括：

特征提取单元，用于在多个特征通道内分别提取视觉特征，所述视觉特征包括灰度、纹理和亮度中的至少一种，

特征融合单元，用于在多个特征通道内分别进行视觉特征的融合，以获得多幅特征显著图，以及

显著图融合单元，用于把所述多幅特征显著图线性融合成待训练的医学图像的显著图。

优选地，所述多个特征通道包括运动方向通道、运动强度通道、空间方向通道和空间强度通道，以及所述特征提取单元具体用于采用时空滤波器模拟初级视皮层简单细胞的静态和动态属性，以提取方向性的运动能量；基于构成时空滤波器的空间高斯包和时间高斯包来建立环绕抑制加权函数，并建立基于环绕抑制加权函数的环绕易化的运动能量和环绕抑制的运动能量；通过迭代过程来实现环绕易化与环绕抑制之间的动态平衡，并输出迭代结果作为所述视觉特征。

按照本发明的再一方面，提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，可执行如上所述的根据本发明实施例的医学图像的自动分割方法。

按照本发明的又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上所述的根据本发明实施例的医学图像的自动分割方法。

本发明的医学图像的自动分割方法和系统相比于现有技术具有如下有益效果：

1)视觉注意模型采用时空滤波器来获取有效的时空信息，减少了信息处理量。

2)卷积神经网络以显著图作为输入，提高了目标图像与背景图像的区分性，从而有效提高了卷积神经网络的分类性能，改善了分割效果。

3)将统计形状模型和深度学习模型结合起来，利用深度学习网络的初分割结果减少统计形状模型中匹配操作的计算量，从而实现了利用统计形状模型快速、准确地对三维医学图像进行分割。

4)三维活动形状模型按照卷积神经网络的二维分割结果对平均形状进行变换来得到三维的初始形状，这样对于分割难度大的医学图像(例如右心室)也能获得良好的分割效果。

本发明提出的医学图像的自动分割方法和系统在不需要人工干预的情况下，能够自动对四维MR心脏图像序列进行分割，仿真实验结果表明，取得了良好的分割效果。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅用于解释本公开的构思。

图1是本发明实施例1提供的医学图像的自动分割方法的流程示意图；

图2是本发明实施例2提供的医学图像的自动分割系统的结构示意图；

图3是本发明一个例子中采用深度学习网络对输入图像进行训练的流程示意图；

图4是本发明一个例子中采用训练好的深度学习网络对输入图像进行初分割的流程示意图；

图5是本发明一个例子中采用三维活动形状模型对输入图像进行细分割的流程示意图；

图6是剖面采样点选择示意图；

图7a-7c是由平均形状得到初始形状的示意图，其中图7a示出了平均形状，图7b示出了通过深度学习网络得到的初分割结果；图7c示出了初始形状；

图8是左心室内/外膜轮廓点窄带构造图；

图9是右心室轮廓点窄带构造图；

图10是基于深度学习网络的初分割结果来构造左心室距离函数图的示意图，其中图10a示出了通过深度学习网络得到的分割后的显著图，图10b示出了由深度学习网络输出的左心室粗分割结果，图10c示出了左心室的距离函数图；

图11为本发明实施例3提供的设备的结构示意图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的目的和技术方案做进一步的详细说明。请注意，为了便于清楚地表现出本公开实施例的各部分的结构，各附图之间不一定按照相同的比例绘制，相同或相似的参考标记用于表示相同或相似的部分。这里所给出和描述的实施例仅仅是本公开一部分实施例，而非全部的实施例。对于本公开中的实施例，本领域普通技术专业人员在没有做出创造性劳动的前提下所提供的所有其它实施例，都属于本公开保护的范围。

实施例1

图1为本发明实施例1提供的医学图像的自动分割方法的流程示意图，本发明实施例提供的自动分割方法的执行主体，可为本发明实施例提供的自动分割系统，该系统可以集成于移动终端设备(例如，智能手机、平板电脑、笔记本等)，也可以集成于服务器中，该自动分割系统可以采用硬件或软件实现。本发明实施例提供的自动分割方法尤为适用于基于核磁图像的心脏图像计算机辅助诊断的情形，下面将结合实施例进行说明。

如图1所示，自动分割方法具体包括：

S101，采用视觉注意模型获得待训练的医学图像的显著图；

其中，医学图像可以是四维核磁共振心脏图像。在视觉注意模型中，采用时空滤波器模拟初级视皮层简单细胞的静态和动态属性，提取包括灰度、纹理和亮度中的至少一种的视觉特征，可以减少信息处理量。

S102，将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

其中，深度学习神经网络可以是深度卷积神经网络，根据手工标记的金标准与待分割的医学图像的显著图，采用深度卷积神经网络对所述显著图进行训练。

S103，通过所述视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

卷积神经网络以显著图作为输入，提高了目标图像与背景图像的区分性，从而可以提高卷积神经网络的分类性能和改善分割效果。

S104，基于所述初分割结果来构建统计形状模型的初始轮廓和优化所述统计形状模型，得到优化的统计形状模型；

其中，统计形状模型可以是三维活动形状模型。具体的，基于初分割结果构建三维活动形状模型的初始形状和优化三维活动形状模型的图像强度模型。

S105，采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓。

本实施例通过深度学习网络对医学图像的显著图进行初分割，并根据初分割的结果对统计形状模型进行轮廓构建和优化，能够通过将统计形状模型和深度学习模型结合起来实现对三维医学图像的精确分割，提高分割精度。

实施例2

图2为本发明实施例2提供的医学图像的自动分割系统的结构示意图，该系统可以集成于移动终端设备(例如，智能手机、平板电脑、笔记本等)，也可以集成于服务器中，该定位装置可以采用硬件或软件实现。

如图2所示，该系统具体包括显著图生成模块201、训练模块202、初分割模块203、轮廓构建和优化模块204和轮廓生成模块205；

显著图生成模块201采用视觉注意模型获得待训练医学图像的显著图；

训练模块202用于将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

初分割模块203用于通过所述视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

轮廓构建和优化模块204用于基于所述初分割结果来构建形状模型的初始轮廓和优化所述统计形状模型，得到优化的统计形状模型；以及

轮廓生成模块205用于采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓。

本实施例所述的医学图像的自动分割系统用于执行上述各实施例所述的自动分割方法，其技术原理和产生的技术效果类似，这里不再累述。

在上述实施例的基础上，显著图生成模块201包括特征提取单元2011、特征融合单元2012和显著图融合单元2013，

特征提取单元2011用于在多个特征通道内分别提取视觉特征，所述视觉特征包括灰度、纹理和亮度中的至少一种，

特征融合单元2012用于在多个特征通道内分别进行视觉特征的融合，以获得多幅特征显著图，以及

显著图融合单元2013用于把所述多幅特征显著图线性融合成待训练的医学图像的显著图。

在上述实施例的基础上，轮廓构建和优化模块204包括轮廓构建单元2041和模型优化单元2042，

轮廓构建单元2041用于基于所述初分割结果构建三维活动形状模型的初始形状，和

模型优化单元2042用于优化三维活动形状模型的图像强度模型。

上面已通过框图、流程图和/或实施例进行了详细描述，阐明了根据本发明的实施例的装置和/或方法的不同实施方式。当这些框图、流程图和/或实施例包含一个或多个功能和/或操作时，本领域的技术人员明白，这些框图、流程图和/或实施例中的各功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合而单独地和/或共同地实施。在一种实施方式中，本说明书中描述的主题的几个部分可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其他集成形式实现。然而，本领域的技术人员会认识到，本说明书中描述的实施方式的一些方面能够全部或部分地在集成电路中以在一个或多个计算机上运行的一个或多个计算机程序的形式(例如，以在一个或多个计算机系统上运行的一个或多个计算机程序的形式)、以在一个或多个处理器上运行的一个或多个程序的形式(例如，以在一个或多个微处理器上运行的一个或多个程序的形式)、以固件的形式、或以实质上它们的任意组合的形式等效地实施，并且，根据本说明书中公开的内容，设计用于本公开的电路和/或编写用于本公开的软件和/或固件的代码完全是在本领域技术人员的能力范围之内。

例如，上述系统和各个组成模块、单元、子单元可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机(例如图11所示的通用计算机600)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能。

应用实例

下面描述本发明的医学图像的自动分割方法的一个应用实例，其中借助于本发明的自动分割方法对三维核磁共振心脏图像进行计算机辅助诊断。

具体过程如下：

①建立基于视皮层细胞感受野动态属性的视觉注意模型

鉴于不同个体的心脏组织在三维MR(magnetic resonance,磁共振)图像中具有相对固定的位置和相似的形态结构等特征，利用模拟人的视觉系统建立起来的视觉注意模型，可以有选择性地获取所关注目标的显著信息，从而大量降低信息处理量。视觉注意模型利用人类的视觉注意机制计算图像中的显著部分并将其表示为一幅灰度图，即显著图，显著图中的像素值(即显著值)是一个相对值。

视觉感知是视觉系统的基础与源泉，而时空信息感知也是该系统中的基础和保证。为了获取有效的时空信息，拟采用时空滤波器模拟初级视皮层简单细胞的静态和动态属性，保证感知信息的有效性。为此，拟设计一种3维Gabor滤波器

并对心脏运动图像的视觉特征参数I(x,y,t)进行卷积，提取方向性的运动能量

以便获取时空信息，其中视觉特征参数I(x,y,t)例如是灰度、纹理、亮度等。该滤波器

由下式(1)确定：

其中

u_t和τ表示高斯函数在时间上的均值与方差，v为检测的速度，σ是滤波器的高斯核大小，γ是一个指定的常数。θ用来选择旋转滤波器在空间上的某个方向，

表示滤波器的空间对称性，这两个参数可以根据实际需要选择不同数量的不同值，依据这些可以构造滤波器组。其它滤波器参数需要考虑V1简单细胞的特点来决定。该滤波器的表达形式主要包含三个部分，即空间高斯包、时间高斯包以及正弦载波调制。该滤波器很好地模拟了初级视觉皮层神经元的时空属性，如方向选择性、速度选择性、在时间上的动态性等，从而能获得较好的运动信息。然而，该滤波器在空间与时间之间建立了相应的关系，及在高速运动时要求其空间感受野大，反之亦然。这种关系可以使用下面的公式(2)表达：

其中λ₀为常数，σ/λ＝0.56，λ表示空间波长。

另一方面，经典感受野的动态属性表明，其时间高斯包也是随速度变化的，为此，我们拟建立如下(3)式的关系：

在考虑方向选择性细胞的同时也考虑无方向选择性细胞，为了计算简单可以通过各方向感知的平均值来获取无方向性的运动能量。此外，为了获得稀疏的时空信息，考虑了初级视皮层细胞之间的环绕抑制相互作用，以去除背景干扰，增强运动感知，具体地，基于构成时空滤波器的空间高斯包和时间高斯包来建立环绕抑制加权函数

以模拟神经元的周围作用权重。变量k≥1，决定了经典感受野的大小，k值越大，中心的经典感受野区域就越大。环绕抑制加权函数

的公式为：

其中|·|⁺为半波调制，|·|₁表示L₁范式，x＝(x,y)，G_v,k,(θ)(x,y,t)与G_v,1(θ)(x,y,t)分别为

其中σ₁＝σ+0.05t，ε(t)表示跃阶函数。

于是，对空间上的每一点，我们计算出抑制后的运动能量

作为视觉感知的结果：

其中α为抑制因子，用于控制环绕抑制的范围，r_v,(θ)(x,y,t)表示运动能量。

感知结果是一些表征对象的局部特征，还需要进行进一步的从局部到全局的特征加工。根据神经心理学的研究结果，我们对于神经元活动做出如下假设：神经细胞间是相互作用的，包括易化和抑制，随着时间的推移这种相互作用会达到一个动态平衡，这一过程称为感知组合，即，利用神经元间的相互作用实现特征的全局性加工。

首先，我们通过权重作用建立环绕易化的运动能量

以及环绕抑制的运动能量

实现全局的对象感知。环绕易化的运动能量

的公式为：

其中k为方向权重因子。

环绕抑制的运动能量

的公式为：

其次，判断环绕易化和环绕抑制是否达到平衡，可以采用某个物理量来进行衡量，例如，用图像熵的变化趋势作为是否动态平衡的判断依据。具体地，我们通过如下的迭代过程来实现易化与抑制之间的动态平衡：将视觉感知的结果

作为初始响应

根据响应大小确定变量k并计算出相应的权重系数w，首先按照公式(6)对响应进行环绕易化，再按照公式(7)对作用结果O_v,(θ)进行环绕抑制，得到本次迭代的作用结果R_v,(θ)。求得R_v,(θ)图像熵值的变化量，判断该变化量是否小于预定阈值，如果否，修改抑制因子α后重复上述步骤；如果是，则迭代结束，将最后的迭代结果R_v,(θ)作为感知组合的特征F_v,(θ)(x,y,t)。

初级视皮层的感知特性是感受野对刺激的响应受到其非经典感受野的影响，根据此特性，我们用Gabor能量描述感受野对刺激的响应，通过同质性抑制描述来自非经典感受野中上下文的影响。每个体素位置的响应由自身强度GE及其上下文的调制信息组成，将这多种信息进行感知组合，建立视觉注意模型。

最后，利用不同速度下感知信息的特点，融合时空信息，来获得显著图。例如，我们根据不同速度下提取的特征定义了四个特征通道：运动方向通道，运动强度通道，空间方向通道和空间强度通道，并且，如上所述计算一组特征F_v,(θ)(x,y,t)。

首先，在特征通道内进行特征融合，即，把计算得到的特征组合成四幅特征显著图：运动方向显著图M_O、运动强度显著图M、空间方向显著图F_O和空间强度显著图F，表达式分别如下：

由于不同的动态范围和提取机制，全局采用归一化算子N(·)来提升显著图，于是四幅归一化后的特征显著图被线性融合成显著图S：

S＝N(F_O)+N(F)+N(M_O)+N(M)

这种动态的融合方式能减弱无效特征提取所带来的影响，较大程度上提升了对象特征的整合效果。最终的显著图能保证运动对象较强的显著性，且对背景保持较强的抑制。

②融合视觉注意模型与深度学习网络的左右心室内外膜的粗分割

对于四维MR心脏图像，可以把它看成时间序列的三维心脏图像，通过上面建立的视觉注意模型得到显著图，用于训练深度学习神经网络，例如深度卷积神经网络DCNN(DeepConvolutional Neural Networks)。深度卷积神经网络的建立可以采用本领域内的已知方法，在此不再赘述。图3是本发明一个例子中采用深度学习网络对输入图像进行训练的流程示意图。如图3所示，根据手工标记的金标准与心脏序列图像的显著图，采用深度学习网络对显著图进行训练，从而得到最优的深度卷积神经网络DCNN的训练参数。

然后，采用训练好的深度卷积神经网络DCNN进行图像的初分割，以实现对图像中心脏的定位。图4是本发明一个例子中采用训练好的深度学习网络对输入图像进行初分割的流程示意图。如图4所示，对于新输入的心脏图像序列，首先采用视觉注意模型计算其显著图，再采用训练得到的深度卷积神经网络DCNN对其进行处理，从而得到左右心室的初分割结果。

③结合深度学习网络与三维活动形状模型对左右心室的精细分割

在采用深度学习网络对输入序列图像进行初分割后，基于初分割结果对统计形状模型进行构建和优化。具体地，初分割结果被用来构建统计形状模型的初始轮廓(初始形状)，并且用初分割得到的左右心室轮廓构建距离函数图，以优化统计形状模型的强度模型。这样，得到优化的统计形状模型，用于对输入图像进行分割。图5是本发明一个例子中采用三维活动形状模型3DASM(3D Active Shape Model)对输入图像进行细分割的流程示意图。

包括活动形状模型ASM在内的统计形状模型对物体的形状或外观进行编码，产生强大的先验知识，该先验知识用来提高医学图像分割的鲁棒性和准确性，进而能够保证医学图像分割的正确性。进一步，在统计形状模型中使用主成分分析(PCA)来约束目标点坐标的形状变化，产生一个可接受的分割，以便在统计统计模型的形变范围内拟合图像数据。

三维活动形状模型3DASM包含两个因素：点分布模型PDM(Point DistributionModel)和图像强度模型IAM(Image Activity Measure)。3DASM采用的平均形状模板是通过一些不同数据集进行训练得到的，该模板囊括了不同数据集的三维目标图像形状变化，是通过图像轮廓边界的标记点来构建的，因此被称为点分布模型PDM。点分布模型可以约束三维心脏体的形状变化，在图像强度模型的作用下，初始形状不断朝着目标轮廓靠近。在迭代若干次数后，在点分布模型与图像强度模型的共同作用，最终产生左右心室心脏体的三维轮廓。

设心脏体的训练集有M个形状S＝[s₁,...,s_M]，每个形状由N个空间三维点

组成，i＝1...M，j＝1...N，令

表示第i个左右心室形状，平均形状

相应的协方差矩阵为

应用主成分分析法，从协方差矩阵C中，得出前l个最大的特征值Λ＝diag(λ₁,λ₂,...,λ_l)及其对应的特征向量

考虑到形状服从多维高斯概率分布，任何一个形状都可以用下面的公式(8)表示。

这里b是一个l维的向量，满足以下公式(9)和(10)。

对于平均形状

中的每一个特征点，构建一个图像强度模型，用以捕获所有训练形状中对应特征点的图像强度信息，例如灰度信息。具体地，在所有训练集图像的剖面方向提取特征，这里的剖面方向是指垂直于表面的方向，提取出各个标记点的平均剖面和该平均剖面上的主要变化模态，如图6所示，图6中的空心方块代表主要变化模态。

在现有三维活动形状模型3DASM的匹配搜索过程中，平均形状模型上的点在各种条件的约束下朝着边界点(图6中的边界是指医学图像的实际边界)移动，其剖面模型的位置是由剖面采样点y_i和模型之间的马氏距离来度量的。为获得最优匹配位置，对每一个采样点y_i的灰度计算马氏距离，最优位置即为具有最小马氏距离的采样点

其中g(y_i)为给出采样点的图像灰度，S_gi为协方差矩阵，

为图像强度模型中各个图像相应采样点的图像灰度的平均值。这里，采样点的图像灰度表示在该采样点的某个区域内的灰度分布规律，是一个梯度值。

在本发明实施例中，基于初分割结果来构建3DASM的初始轮廓和优化3DASM的图像强度模型。参见图5，输入卷积神经网络的初分割结果和3DASM的三维平均形状，通过点云配准把平均形状变换成初始形状。图7a-7c是由平均形状得到初始形状的示意图。如图中所示，按照图7b所示的采用深度学习网络所得二维初分割结果的空间位置，对图7a所示的3DASM的平均形状(其为三维图形)进行点云配准，这相当于把平均形状进行位移、拉伸和旋转，以便构建3DASM的初始轮廓。这样，3DASM模型通过把平均形状进行缩放和移位，得到了心脏体的初始形状，如图7c所示。由于我们已经根据深度学习网络得到了心脏体的粗分割，因此可以通过点配准的方法，把平均形状拉伸和移位，最终得到初始形状。

另一方面，如图5所示，我们用初分割得到的左右心室轮廓构建左右心室的距离函数图，利用距离函数图对3DASM的图像强度模型进行优化。原始的3DASM采用公式11搜索候选点，我们改进了图像的搜索方法，采用深度学习得到的左右心室的粗分割结果构建一个窄带，用于限制左心室内外膜、右心室轮廓点的搜索区域。图8是左心室内/外膜轮廓点窄带构造图。如图8所示，三个同心的封闭曲线中，实线表示经过DCNN粗分割得到的左心室的内膜或外膜，两个封闭的虚线构成了对内膜或外膜边界点的搜索范围，点A和点C分别表示这两个封闭虚线上的点，点B表示实线曲线上的点，点O表示左心室内膜的中心点。

令R表示点O到左心室外膜点截尾均值，r表示点O到左心室内膜截尾均值。α＝0.4为左心室内外膜边界点的约束系数。

则在图中，三个封闭曲线上的点A、B和C与左心室内膜的中心点O之间的距离满足下列关系式：

图9是右心室轮廓点窄带构造图，图9的左边视图示出了DCNN得到的右心室粗分割结果，图9的右边视图示出了右心室轮廓点的窄带区域。由于右心室的形状不规则，如图9所示，我们直接把DCNN得到的右心室粗分割的结果通过形态学的膨胀和腐蚀操作，得到了右心室轮廓点的窄带区域。

可以将matlab自带的函数bwdist作为距离函数D(y_i)，图10是基于深度学习网络的初分割结果来构造左心室距离函数图的示意图。在窄带里，我们让距离函数D(y_i)为0，距离图中的点的函数值和该点距离窄带的距离有关，距离越大，函数值越小，这样做的目的是让活动形状模型尽量向粗分割区域靠拢。图10c为图10b中线段OA上的点的距离函数图，其中y坐标为距离函数的绝对值|D(y_i)|。结合图10b和图10c可见，窄带里距离函数D(y_i)为0。类似的，我们可以基于右心室的初分割结果构造右心室的距离函数图。

然后，我们对公式(11)中的马氏距离加一个惩罚项|D(y_i)|，得到优化的马氏距离，

其中η为惩罚因子，根据经验获得。这样，3DASM的图像强度模型得到了优化。

再次参见图5，输入待分割的核磁心脏序列图像，采用优化的三维活动形状模型3DASM对心脏序列图像进行分割。具体地，将通过上述过程得到的初始形状放入待分割图像中作为心脏轮廓的初始估计，针对各个标记点搜索最佳移动候选点，即具有最小马氏距离的剖面釆样点，进行迭代搜索，直到形状不再有显著变化量，得到心脏的三维轮廓。

我们利用深度学习网络得到心脏体的粗分割，减少3DASM模型中特征点的搜索空间。通过点分布模型的约束，图像强度模型的驱动，初始形状不断地往心脏轮廓逼近，最终得到四维心脏图像的左右心室较理想分割结果。进一步，可以基于最终的分割结果计算心脏的各种功能参数，用于评估心脏功能。这些心脏功能参数包括左心室舒张期的体积(LVEDV)、左心室收缩期的体积(LVESV)、左心室的质量(LVM)、左心室射血分数(LVSV，LVEF)、右心室的质量(RVM)以及右心室容积和射血分数(RVEF)等。

通过本发明的方法得到的心脏体分割结果可以提供给放射科医师作为诊断的参考意见，有助于提高心脏疾病诊断的效率和精准度。

这里的三维活动形状模型3DASM可以是稀疏活动形状模型SPASM(Sparse ActiveShape Model)。

除了三维活动形状模型以外，还可以采用三维活动外观模型3DAAM(3D ActiveAppearance Model)来进行心脏图像的精细分割。三维活动外观模型3DAAM包括形状模型和纹理模型。在采用深度学习网络对输入序列图像进行初分割后，其分割结果可以用来构建三维活动外观模型的初始轮廓，并且根据初分割的左右心室轮廓来优化活动外观模型的纹理模型，从而得到最终的分割结果。

实施例3

图11为本发明实施例3提供的设备的结构示意图，该设备可用于实现根据本发明实施例的医学图像的自动分割方法。

在图11中，中央处理单元(CPU)601根据只读存储器(ROM)602中存储的程序或从存储部分608加载到随机存取存储器(RAM)603的程序执行各种处理。在RAM 603中，还根据需要存储当CPU 601执行各种处理等等时所需的数据。CPU 601、ROM602和RAM 603经由总线604彼此连接。输入/输出接口605也连接到总线604。

下述部件也连接到输入/输出接口605：输入部分606(包括键盘、鼠标等等)、输出部分607(包括显示器，例如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分608(包括硬盘等)、通信部分609(包括网络接口卡例如LAN卡、调制解调器等)。通信部分609经由网络例如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出接口605。可拆卸介质611例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质611安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图11所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

实施例4

根据本发明实施例，还提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的医学图像的自动分割方法。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

以上仅为本公开的优选实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (4)

1.一种医学图像的自动分割方法，包括：

采用视觉注意模型获得待训练的医学图像的显著图，所述视觉注意模型采用时空滤波器来获取有效的时空信息；

将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

通过所述视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

基于所述初分割结果来构建统计形状模型的初始轮廓和优化所述统计形状模型，以获得优化的统计形状模型；以及

采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓；

其中，所述统计形状模型是三维活动形状模型，基于所述初分割结果来构建统计形状模型的初始轮廓和优化所述统计形状模型以获得优化的统计形状模型包括，基于所述初分割结果构建三维活动形状模型的初始形状和优化三维活动形状模型的图像强度模型；

其中，基于所述初分割结果构建三维活动形状模型的初始形状包括，根据所述初分割结果，通过点云配准把三维活动形状模型的平均形状变换成初始形状，以及基于所述初分割结果优化三维活动形状模型的图像强度模型包，根据粗分割结果构建窄带，用于限制图像轮廓点的搜索区域，建立像素点和该像素点到所述窄带的距离之间的函数关系，并且根据该函数关系计算图像强度模型中的马氏距离；

采用视觉注意模型获得待训练的医学图像的显著图包括，

在多个特征通道内分别提取视觉特征，所述视觉特征包括灰度、纹理和亮度中的至少一种，

在所述多个特征通道内分别进行所述视觉特征的融合，以获得多幅特征显著图，以及

把所述多幅特征显著图线性融合成待训练的医学图像的显著图；

所述多个特征通道包括运动方向通道、运动强度通道、空间方向通道和空间强度通道，以及在多个特征通道内分别提取视觉特征包括，

采用时空滤波器模拟初级视皮层简单细胞的静态和动态属性，以提取方向性的运动能量；

基于构成时空滤波器的空间高斯包和时间高斯包来建立环绕抑制加权函数，并建立基于环绕抑制加权函数的环绕易化的运动能量和环绕抑制的运动能量；

通过迭代过程来实现环绕易化与环绕抑制之间的动态平衡，并输出迭代结果作为所述视觉特征。

2.根据权利要求1所述的自动分割方法，其中，所述深度学习神经网络是深度卷积神经网络，将待训练的医学图像的显著图输入深度学习神经网络中以便训练深度学习神经网络的参数包括，根据手工标记的金标准与待分割的医学图像的显著图，采用所述深度卷积神经网络对所述显著图进行训练。

3.根据权利要求1所述的自动分割方法，其中，所述医学图像是四维核磁共振心脏图像。

4.一种医学图像的自动分割系统，包括：

显著图生成模块，用于采用视觉注意模型获得待训练的医学图像的显著图；

训练模块，用于将待训练的医学图像的显著图输入深度学习神经网络中，以便训练深度学习神经网络的参数；

初分割模块，用于通过所述视觉注意模型获得待分割的医学图像的显著图，并利用训练好的深度学习神经网络对待分割的医学图像的显著图进行分割，得到初分割结果；

轮廓构建和优化模块，用于基于所述初分割结果来构建形状模型的初始轮廓和优化统计形状模型，得到优化的统计形状模型；以及

轮廓生成模块，用于采用优化的统计形状模型对待分割的医学图像进行分割，得到该医学图像的轮廓；

其中，所述统计形状模型是三维活动形状模型，所述轮廓构建和优化模块包括：

轮廓构建单元，用于基于所述初分割结果构建三维活动形状模型的初始形状，和

模型优化单元，用于优化三维活动形状模型的图像强度模型；

其中，所述轮廓构建单元具体用于根据所述初分割结果，通过点云配准把三维活动形状模型的平均形状变换成初始形状，所述模型优化单元具体用于根据粗分割结果构建窄带，用于限制图像轮廓点的搜索区域，建立像素点和该像素点到所述窄带的距离之间的函数关系，并且根据该函数关系计算图像强度模型中的马氏距离；

所述显著图生成模块包括：

特征提取单元，用于在多个特征通道内分别提取视觉特征，所述视觉特征包括灰度、纹理和亮度中的至少一种，

特征融合单元，用于在多个特征通道内分别进行视觉特征的融合，以获得多幅特征显著图，以及

显著图融合单元，用于把所述多幅特征显著图线性融合成待训练的医学图像的显著图；

所述多个特征通道包括运动方向通道、运动强度通道、空间方向通道和空间强度通道，以及所述特征提取单元具体用于采用时空滤波器模拟初级视皮层简单细胞的静态和动态属性，以提取方向性的运动能量；基于构成时空滤波器的空间高斯包和时间高斯包来建立环绕抑制加权函数，并建立基于环绕抑制加权函数的环绕易化的运动能量和环绕抑制的运动能量；通过迭代过程来实现环绕易化与环绕抑制之间的动态平衡，并输出迭代结果作为所述视觉特征。

Images