CN109598734A - 心脏与肺叶分割的方法和系统 - Google Patents

Abstract

本公开涉及一种心脏与肺叶分割的系统，包括分割模型，配置成基于神经网络对胸片图像进行心脏分割和肺叶分割；以及心胸比计算组件，配置成基于所述心脏分割和所述肺叶分割的结果，计算心脏宽度与肺叶宽度的比值。本公开还涉及相应的方法和计算机可读介质。

Description

心脏与肺叶分割的方法和系统

技术领域

本公开一般涉及医疗图像处理，尤其涉及心脏与肺叶分割。

背景技术

心脏居于胸部中间偏左位置，其大小与人的身高体重有关。正常心脏的宽度占胸腔宽度的50％以下。心脏肥大一般可指心脏的宽度占胸腔的宽度超过50％。

心脏肥大可以分为扩大以及肥大两种。扩大时心脏肌肉没有变厚，有时反而更薄。引起这种状况的常见原因有心肌炎、心瓣膜关闭不全、甲状腺功能亢进以及维生素B1缺乏等。肥大时心肌会变厚，但是心腔没有出现增大，有时反而变小，只是整个心脏的外观比正常大。引起这种状况的常见原因有高血压以及遗传性肥厚型心肌病等。

心脏肥大的检测对于提早发现心脏疾病具有重要作用。X光(X-Rays)胸片由于其比较低廉的价格以及相对较好的效果，在肺部疾病以及心脏疾病的早期发现以及诊断当中占有重要的地位。然而，目前大部分医院缺乏足够的放射科医生，因此往往一位放射科医生每天可能需要查看几百张X光胸片。如此大的工作量给放射科医生带来了巨大的负担，而且还增加了放射科医生对于X光胸片当中疾病的误诊以及漏诊的概率。

现有的肺叶分割算法，诸如基于对象边缘检测的算法，例如索伯(Sobel)、普鲁伊特(Prewitt)和拉普拉斯(Laplacian)都不能做出令人满意的分割结果，这是因为这些算法对图像噪声很敏感。后来出现了结合图像形态学以及坎尼(Canny)边缘滤波器的分割算法、以及基于FCM(模糊C均值)的分割算法，这些方法虽然一定程度上提升了分割准确性，然而都需要选取合适的阈值，这无疑增加了算法的复杂性。通过类似配准的方法来自动估算心脏与肺叶的算法虽然能够同时分割心脏与肺叶，但是这种方法得到的分割结果准确率不高，并且速度比较慢。

在现有技术条件下，想要真正实现快速实时地对X光胸片进行高精度分割可能需要进行繁琐的数据预处理以及模型迭代的过程。并且现有算法有时会出现分割失败的情况，这样显然是无法满足实际应用需求的。

由此，需要能够实现对X光胸片或其他医学图像中的心脏与肺叶的实时且准确的自动分割(例如，1秒以内)的改进的技术。

发明内容

本公开的一方面涉及一种心脏与肺叶分割的系统，包括分割模型，配置成基于神经网络对胸片图像进行心脏分割和肺叶分割；以及心胸比计算组件，配置成基于所述心脏分割和所述肺叶分割的结果，计算心脏宽度与肺叶宽度的比值。

根据一示例性而非限定性实施例，该系统进一步包括预处理器组件，其被配置成在对所述胸片图像进行心脏分割和肺叶分割之前对至少一部分所述胸片图像进行以下至少一项或其任何组合：标准化与归一化。

根据另一示例性而非限定性实施例，分割模型被进一步配置成基于训练图像集进行学习，所述学习包括有监督学习或半监督学习。

根据又一示例性而非限定性实施例，预处理组件还被配置成在所述数据增强组件对所述训练图像集进行数据增强之前，筛除所述训练图像集中侧位的胸片并保留正位的胸片，并且所述系统进一步包括数据增强组件，配置成对所述训练图像集进行数据增强处理，所述数据增强处理包括以下至少一项或其任何组合：大小调整、裁剪、旋转、填充、平移、翻转、改变对比度。

本公开的其它方面还涉及相应的方法、设备和计算机可读介质。

附图说明

图1示出了根据本公开的一示例性方面的基于神经网络的心脏与肺叶分割系统的示例性实现的框图。

图2示出了根据本公开一方面的基于神经网络的心脏与肺叶分割的方法。

图3示出了根据本公开一方面的训练基于神经网络的用于心脏与肺叶的分割模型的方法。

图4示出根据本公开的一方面的基于神经网络实现心脏与肺叶分割的实例。

具体实施方式

图1示出了根据本公开的一示例性方面的基于神经网络的心脏与肺叶分割系统100的框图。系统100可包括处理器102和存储器104。系统100还可包括输入单元110、分割模型112以及输出单元114。系统100还可包括预处理组件116、数据增强组件117、训练模块118、验证模块120以及心胸比计算组件130。上述各种组件可由例如总线106耦合并通过总线106来彼此通信。

根据一示例性而非限定性实施例，输入单元110可进行数据采集。例如，根据一示例，可从外部源输入所采集的X光胸片数据。根据另一示例，可直接进行X光胸片数据的采集。应当理解，尽管本申请的实施例是结合X光胸片来描述的，但是本申请的技术方案同样可被应用于其他医学图像。

所采集的X光胸片数据可以包括患有心脏肥大的病例和未患有心脏肥大的病例。所采集的X光胸片数据构成原始数据集。当采集了原始的X光胸片数据之后，预处理组件116可对这些数据进行预处理。根据一示例性而非限定性实施例，预处理可包括在对胸片图像进行分割之前对其进行归一化和标准化。根据一示例性而非限定性实施例，例如归一化公式可为：其中x’为归一化以后的像素值，x为归一化以前的像素值，min(x)为图片像素的最小值，max(x)为图片像素的最大值。根据另一示例性而非限定性实施例，标准化公式可为：其中μ为所有训练数据像素值的均值，σ为所有训练数据像素值的标准差。尽管以上给出了具体的归一化和标准化公式的示例，但是本公开并不被限定于此。

根据一示例性而非限定性实施例，可选取至少一部分数据作为训练集。选取一部分数据作为训练集可包括去除原始数据集中侧位的胸片而保留正位的胸片以及对所保留的胸片进行人工标注，标注结果可称为掩膜(mask)。例如，人工标注可包括标注出心脏和肺叶等。根据另一示例性而非限定性实施例，还可包括保留训练集中的至少一部分数据作为验证集，也可以从原始数据集中另取至少一部分数据作为验证集并对其进行人工标注以获得掩膜。原始数据集中剩余的数据可作为测试集。

数据增强组件117可对于训练集及其对应的标注结果(即，掩膜)可以进行数据增强。根据又一示例性而非限定性实施例，数据增强包括对训练集及其对应的标注结果(即，掩膜)做同样的随机水平变换。随机的水平变换可包括水平方向上的随机左右翻转或随机平移、随机旋转或上述各项的各种组合。根据又一示例性而非限定性的实施例，数据增强可包括对图像进行大小调整、裁剪、旋转、填充、平移、翻转、改变对比度等或其任何组合。此类数据增强可在学习过程中增强分割模型的泛化性能。在训练集中所包括的数据有限或不足时，此类预处理还能够迅速高效地增加训练数据和/或验证数据的量。

在训练阶段，训练模块118可将经数据增强组件117增强的训练集中的经标注的图像输入到分割模型112。训练集可包括经标注的图像及其对应的掩膜，其中掩膜可作为金标准。在数据增强包括了对经标注的图像做随机水平变换、随机垂直变换、随机旋转或其任何组合的情形中，训练集还可包括经水平方向上的随机左右翻转和/或随机平移的经标注图像和对应的经水平方向上的随机左右翻转和/或随机平移的掩膜。在此情形中，经随机水平变换的经标注图像的掩膜可以和未经随机水平变换的经标注图像的掩膜一起作为金标准。

分割模型112可采用基于神经网络的网络结构。此类基于神经网络的网络结构可包括但不限于例如全卷积网络，诸如V-NET、U-NET、FC-Densenet等。通过将训练集的经标注图像作为输入提供给分割模型112，并使用其相对应的掩膜作为金标准来监督学习。例如，系统可使用所输入的经标注图像的掩膜作为金标准来计算分割损失。所计算出的分割损失可被反向传播给分割模型以更新其权重。

根据一示例性而非限定性的实施例，分割模型112可进一步包括心脏分割子模型122和肺叶分割子模型124。心脏分割子模型122和肺叶分割子模型124可基于训练集来被联合训练或分别训练。分割模型112也可以是单一的分割模块并被配置成进行心脏和肺叶的分割。

验证模块120可对经训练的分割模型112进行验证。根据一示例性而非限定性实施例，验证模块120可将验证集中的经标注的图像输入到预处理组件116中并将经预处理(例如，归一化和标准化)的图像输入到经训练的分割模型112。通过使用验证集中对应的掩膜作为金标准，验证模块120可验证分割模型112是否已经达到分割质量要求。例如，达到分割质量要求可包括达到或超过分割质量阈值。对于未达到分割质量要求的分割模型112，可进一步由训练模块118对其进行训练，直至达到分割质量要求。

当分割模型112已达到分割质量要求，可将分割模型112投入使用。在测试阶段，可将测试集的图像数据输入到经训练的分割模型112。经训练的分割模型112对测试集的图像进行心脏和肺叶的分割，并可将分割结果提供给输出单元114和/或心胸比计算组件130。心胸比计算组件130可给予心脏和肺叶分割的结果来计算心胸比。例如，心胸比可包括心脏最大宽度与肺叶最大宽度之比。计算出的心胸比也可被提供给输出单元114以供与分割结果一同或分别输出。

基于神经网络，本公开的心脏与肺叶分割系统100它充分学习样本特征，得到准确度较高的分割结果以及精确度较高的心胸比值。

图2示出了根据本公开一方面的基于神经网络的心脏与肺叶分割的方法200。方法200可包括在框202获取胸片图像。根据一示例性实施例，获取胸片图像可包括从外部源输入所采集的胸片数据。根据另一示例性实施例，获取胸片图像可包括直接进行胸片数据的采集。获取胸片图像可以使用例如以上结合图1描述的心脏与肺叶分割系统100的输入单元110来执行。

在框202获取胸片图像之后，方法200可包括在框204对胸片图像进行预处理。根据一示例性而非限定性实施例，预处理可包括对胸片图像进行归一化和/或标准化，或其任何组合。预处理可例如使用例如以上结合图1描述的预处理模块116来执行。

当在框204对胸片图像进行了预处理之后，方法200可包括在框206使用经训练的基于神经网络的分割模型对胸片图像进行心脏和肺叶分割。心脏和肺叶分割206可例如使用以上结合图1描述的分割模型112来执行。根据一示例性而非限定性实施例，在分割模型112包括心脏分割子模型122和肺叶分割子模型124的情形中，心脏和肺叶分割206还可分别由心脏分割子模型122和肺叶分割子模型124来分别执行。

在框206执行了心脏和肺叶分割之后，方法200还可包括在框208基于心脏和肺叶分割的结果来计算心胸比。计算心胸比可包括基于心脏分割的结果来计算心脏宽度，基于肺叶分割的结果来计算肺叶宽度，并如前所述地基于心脏宽度和肺叶宽度来计算心胸比，即心脏宽度与肺叶宽度的比值。基于心脏分割的结果来计算心脏宽度可例如包括计算经分割的胸片图像上所分割出的心脏的最大宽度。基于肺叶分割的结果来计算肺叶宽度可例如包括计算经分割的胸片图像上所分割出的肺叶的最大宽度。计算心胸比可例如包括计算心脏最大宽度与肺叶最大宽度的比值。

在框208计算了心胸比之后，方法200可以提供所计算出的心胸比210及(可任选地)相关信息。根据进一步的实施例，方法200还可任选地包括例如在心胸比210大于阈值(例如，50％)时输出提示心脏肥大的信息。

图3示出了根据本公开一方面的训练基于神经网络的用于心脏与肺叶的分割模型的方法300。方法300可包括在框302获取训练集。根据一示例性实施例，获取测试集可包括从外部源输入训练集。根据另一示例性实施例，获取胸片图像可包括直接进行胸片数据的采集。获取训练集可以使用例如以上结合图1描述的心脏与肺叶分割系统100的输入单元110来执行。根据一示例性而非限定性实施例，获取训练集可包括选取至少一些胸片数据并去除侧位的胸片而保留正位的胸片，这可由例如预处理组件116等执行。获取训练集还可包括对胸片数据进行标注。标注可使用人工方式或自动方式进行。标注结果可称为掩膜(mask)。例如，人工标注可包括标注出心脏和肺叶等。

在框302获取训练集之后，方法300可包括在框304对训练集中的胸片图像进行增强。根据一示例性而非限定性实施例，对胸片图像进行增强可包括对训练集及其对应的标注结果(即，掩膜)做同样的随机水平变换、随机旋转或上述各项的各种组合。随机的水平变换可包括水平方向上的随机左右翻转或随机平移。根据又一示例性而非限定性的实施例，对胸片图像进行增强还可包括对胸片图像进行大小调整、裁剪、旋转、填充、平移、翻转、改变对比度或其任何组合。数据增强可例如使用以上结合图1描述的数据增强组件117来执行。此类数据增强可在学习过程中增强分割模型的泛化性能。在训练集中所包括的数据有限或不足时，此类数据增强能够迅速高效地增加训练数据的量。

当在框304对胸片图像进行了增强之后，方法300可包括在框306使用训练集对基于神经网络的分割模型进行针对心脏和肺叶分割的训练。根据一示例性而非限定性实施例，使用训练集对分割模型进行训练可包括例如通过将训练集的经标注图像作为输入提供给分割模型112，并使用其相对应的掩膜作为金标准来监督学习。训练可例如使用以上结合图1描述的训练模块118来执行。

可任选地，方法300还可包括在框308对经训练的分割模型进行验证。根据另一示例性而非限定性实施例，可包括保留训练集中的至少一部分数据作为验证集，也可以从原始数据集中另取至少一部分数据作为验证集并对其进行人工标注以获得掩膜。根据一示例性而非限定性实施例，进行验证可包括将验证集中的经标注的图像输入到经训练的分割模型，并使用验证集中对应的掩膜作为金标准来验证分割模型是否已经达到分割质量要求。例如，达到分割质量要求可包括达到或超过分割质量阈值。对于未达到分割质量要求的分割模型，可返回框306进一步对其进行训练，直至达到分割质量要求。

方法300可进一步包括在框310，将分割模型投入使用。将分割模型投入使用可包括例如将经训练和/或经验证的分割模型用于例如如图1中所描述的系统和2中所描述的方法。

图4示出根据本公开的一方面的基于神经网络实现心脏与肺叶分割的实例。实例1中，左边为X光胸片图像。实例1的中间为使用经训练的基于神经网络的分割模型做出的分割结果。可以看到，中间白色的部分为心脏，两边是两个肺叶。实例1的右边为人工标注的掩模。

实例2中，类似地，左边为X光胸片图像。实例2的中间为使用经训练的基于神经网络的分割模型做出的分割结果。可以看到，中间白色的部分为心脏，两边是两个肺叶。实例2的右边为人工标注的掩模。

如所可见，本公开在大量样本的基础上，使用神经网络技术进行模型训练，从而模型能充分学习样本特征，快速高效地得到准确度比较高的分割结果以及精确度较高的心胸比值。

本领域普通技术人员应理解，本公开的有益效果并非由任何单个实施例来全部实现。各种组合、修改和替换均为本领域普通技术人员在本公开的基础上所明了。

此外，术语“或”旨在表示包含性“或”而非排他性“或”。即，除非另外指明或从上下文能清楚地看出，否则短语“X”采用“A”或“B”旨在表示任何自然的可兼排列。即，短语“X”采用“A”或“B”藉由以下实例中任何实例得到满足：X采用A；X采用B；或X采用A和B两者。属于“连接”与“耦合”可表示相同含义，表示两器件的电气连接。另外，本公开和所附权利要求书中所用的冠词“一”和“某”一般应当被理解成表示“一个或多个”，除非另外声明或者可从上下文中清楚看出是指单数形式。

各个方面或特征将以可包括数个设备、组件、模块、及类似物的系统的形式来呈现。应理解和领会，各种系统可包括附加设备、组件、模块等，和/或可以并不包括结合附图所讨论的全部设备、组件、模块等。也可以使用这些办法的组合。

结合本文所公开的实施例描述的各种说明性逻辑、逻辑块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。此外，至少一个处理器可包括可作用于执行以上描述的一个或多个步骤和/或动作的一个或多个模块。例如，以上结合各个方法描述的实施例可以通过处理器和耦合到处理器的存储器来实现，其中该处理器可被配置成执行前述任何方法的任何步骤或其任何组合。

此外，结合本文中所公开的方面描述的方法或算法的步骤和/或动作可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。例如，以上结合各个方法描述的实施例可以通过存储有计算机程序代码的计算机可读介质来实现，其中该计算机程序代码在由处理器/计算机执行时执行前述任何方法的任何步骤或其任何组合。

本公开中通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且意在被权利要求书所涵盖。此外，本文所公开的任何内容都并非旨在贡献给公众——无论这样的公开是否在权利要求书中被显式地叙述。

Claims (10)

1.一种心脏与肺叶分割的系统，其特征在于，包括：

分割模型，配置成基于神经网络对胸片图像进行心脏分割和肺叶分割；以及

心胸比计算组件，配置成基于所述心脏分割和所述肺叶分割的结果，计算心脏宽度与肺叶宽度的比值。

2.如权利要求1所述的系统，其特征在于，进一步包括：

预处理器组件，其被配置成在对所述胸片图像进行心脏分割和肺叶分割之前对至少一部分所述胸片图像进行以下至少一项或其任何组合：标准化与归一化。

3.如权利要求2所述的系统，其特征在于，所述分割模型被进一步配置成基于训练图像集进行学习，所述学习包括有监督学习或半监督学习。

4.如权利要求3所述的系统，其特征在于，所述预处理组件还被配置成在所述数据增强组件对所述训练图像集进行数据增强之前，筛除所述训练图像集中侧位的胸片并保留正位的胸片，并且所述系统进一步包括：

数据增强组件，配置成对所述训练图像集进行数据增强处理，所述数据增强处理包括以下至少一项或其任何组合：大小调整、裁剪、旋转、填充、平移、翻转、改变对比度。

5.一种心脏与肺叶分割的方法，其特征在于，包括：

使用基于神经网络的分割模型对胸片图像进行心脏分割和肺叶分割；以及

基于所述心脏分割和所述肺叶分割的结果，计算心脏宽度与肺叶宽度的比值。

6.如权利要求5所述的方法，其特征在于，进一步包括：

在对所述胸片图像进行所述心脏分割和所述肺叶分割之前，对至少一部分所述胸片图像进行预处理，所述预处理包括以下至少一项或其任何组合：标准化与归一化。

7.如权利要求6所述的方法，其特征在于，进一步包括：

基于训练图像集进行学习，所述学习包括有监督学习或半监督学习。

8.如权利要求7所述的方法，其特征在于，所述预处理进一步包括筛除所述训练图像集中侧位的胸片并保留正位的胸片，其中

所述训练图像集进行数据增强处理，所述数据增强处理包括以下至少一项或其任何组合：大小调整、裁剪、旋转、填充、平移、翻转、改变对比度。

9.一种存储有处理器可读指令的计算机可读介质，所述处理器可读指令在由处理器执行时，使所述处理器执行如权利要求5–8中的任一项所述的方法。

10.一种用于心脏与肺叶分割的设备，其特征在于，包括：

用于使用基于神经网络的分割模型对胸片图像进行心脏分割和肺叶分割的装置；以及

用于基于所述心脏分割和所述肺叶分割的结果，计算心脏宽度与肺叶宽度的比值的装置。