CN113177948A - 一种基于语义分割的医学图像自动窗口调节方法及应用 - Google Patents

Abstract

本发明属于医学图像处理技术领域，公开了一种基于语义分割的医学图像自动窗口调节方法及应用，所述窗口调节方法包括以下步骤：选择语义分割模型，并使用相关数据集进行训练，获得拥有较高精度的高精度模型；将需要进行自动窗口调节的医学图像输入训练所得模型中，生成预测掩膜图像；接着根据预测掩膜图像中预测的目标区域位置，对输入图像中相应的部位进行提取；绘制提取后的图像的灰度分布折线图并分析；进行误差调整，选取用于窗口值计算的新最值；计算窗口值，并进行窗口调节。通过本发明的方法实现精准且迅速地对目标区域进行窗口调节，并且大幅减少了语义分割模型的预测误差对窗口调节操作所带来的影响。

Description

一种基于语义分割的医学图像自动窗口调节方法及应用

技术领域

本发明属于医学图像处理技术领域，特别涉及一种基于语义分割的医学图像自动窗口调节方法及应用。

背景技术

医学图像的存储一般使用10-12不等的位深度，从而导致其像素灰度值的取值范围较大。一般的显示设备仅支持0-255共256个灰阶的显示，而人眼仅仅能识别大约16个不同的灰阶，这就使得位置相邻且灰度值相近的部位在人眼看来变成了颜色完全相同的一片区域。从肉眼的角度观察医学图像，可见各个组织和器官只是使用灰色填充的一块区域，器官的轮廓和病灶的位置难以辨认，其纹理更是几乎不可见。

由于各个组织器官或病变部位在医学图像中表现为具有不同的灰度值，在对医学图像进行解读时，放射科医生为了能够更加清晰地观察组织、器官或病灶等目标区域的纹理，通常使用窗口调节技术来对图像中的灰度分布进行一定的人为干预，从而提高目标区域与非目标区域之间的对比度。

现今大部分的医学图像查看器或医学图像工具包都支持窗口调节功能，以方便专家进行诊断。在进行窗口调节操作时，前提已知目标区域的窗口值，放射科医生需要手动输入窗口值或滑动滑块来完成该操作。由于不同患者个体的不同目标区域的窗口值均不同，需要找到一种方法来对窗口值进行定位。

第一种方法是手动调节窗口值或滑块，每次都向窗口调节效果更好的窗口值逼近，最终得到最容易观察到目标区域的图像。该方法能够较为准确地获得效果最好的窗口值，但步骤重复过多、耗时过长，容易导致放射科医生的疲劳。

第二种方法是根据常用的窗口值进行窗口调节。例如对于腹腔的CT图像，窗宽往往以300-500为宜，窗位往往以30-50为宜，可以用这些窗口值对待解读图像进行统一的窗口调节。该方法能够使放射科医生尽快地得到窗口调节后的图像，但由于患者个体差异的存在，该窗口值较为不准确，其效果相应地较差，尤其是较小或较为模糊的目标区域。

第三种方法是通过分析医学图像的灰度分布直方图(或折线图)，总结医学图像中可能出现的几种典型灰度分布，并根据不同的灰度分布类型找到对应峰值附近的极值点来计算窗口值。该方法能够借助计算机的运算自动地计算出较为合适的窗口值，然而该方法对于非典型灰度分布的医学图像效果较差，并且一味地选取峰值两侧的极值的做法对于包含在组织器官内的病灶的突出效果较差。

此外，部分针对医学图像的深度学习工作中，往往选择使用标签图像在原图像中所对应区域的最大灰度值与最小灰度值计算窗口值来进行窗口调节。其中，窗宽应为最大值与最小值的差值，而窗位应为最大值与最小值和的一半。该方法能够获得较完美地窗口调节效果，然而由于临床诊断中并不存在标签图像，该方法在临床诊断中无效。另外，在标签图像引入了误差的情况下，单纯地使用最值计算窗口值也为窗口调节操作带来了隐患。

发明内容

针对现有技术存在的不足，本发明提供一种基于语义分割的医学图像自动窗口调节方法及应用，结合计算机视觉中的语义分割技术来自动地为不同医学图像提供目标区域的窗口值，提高在解读医学图像时所进行的窗口调节操作的效率，相比原有的方法速度更快、效果更好。

为了解决上述技术问题，本发明采用的技术方案是：

首先，本发明提供一种基于语义分割的医学图像自动窗口调节方法，包括以下步骤：

S1、选择语义分割模型，并使用相关数据集进行训练，获得拥有较高精度的高精度模型；

S2、将需要进行自动窗口调节的医学图像输入训练所得模型中，生成预测掩膜图像；

S3、接着根据预测掩膜图像中预测的目标区域位置，对输入图像中相应的部位进行提取；

S4、绘制提取后的图像的灰度分布折线图并分析；

S5、进行误差调整，选取用于窗口值计算的新最值；

S6、计算窗口值，并进行窗口调节。

进一步的，在灰度分布折线图中，目标区域像素的灰度值构成了最高峰，误差部分像素的灰度值构成了稀疏的矮峰，进行误差调整时，剔除稀疏的矮峰，仅保留最高峰，并取最高峰两侧的零点作为用于窗口值计算的新最值。

进一步的，误差调整时具体方法为找到灰度分布折线图的最高点，分别向两侧遍历，直到找到与最高点相邻的最近的两个零点。

进一步的，所述医学图像是以肝脏肿瘤为目标区域的腹腔CT图像。

进一步的，S1中选择U-Net语义分割模型，并使用MSD肝脏及肝脏肿瘤数据集对其进行训练，最终获得拥有0.84的Dice值的U-Net模型。

进一步的，S5中，求得新最小值为-52，新最大值为201，计算可得窗宽为253，窗位为74.5。

本发明还公开了一种基于语义分割的医学图像自动窗口调节方法的应用，用于医学图像查看器，所述医学图像查看器设有采用所述自动窗口调节方法的窗口调节按键，打开医学图像，选择可提供的目标区域，然后进行一键窗口调节。

本发明还公开了一种基于语义分割的医学图像自动窗口调节方法的应用，用于深度学习的预处理手段：使用所述的窗口调节方法对图像进行自动化窗口调节，然后使用窗口调节后的图像进行深度学习。

与现有技术相比，本发明优点在于：

1.本发明将窗口调节操作与深度学习方法相结合，通过使用较高精度的语义分割模型生成的预测图像来模拟深度学习训练中所使用的标签图像，再根据模拟的标签图像提取原图像中被预测为目标区域的部分。通过对该部分的分析，求得对应的窗口值。从而精准且迅速地对目标区域进行窗口调节，其窗口调节效果远超于使用固定窗口值进行窗口调节的效果。

2.本发明进一步对提取图像的灰度分布折线图进行分析，取折线图中最高峰值两侧的零点作为该部分的新最值参与窗口值的计算，从而得出最适合该图像中目标区域的窗口值，大幅减少了语义分割模型的预测误差对窗口调节操作所带来的影响。

3.此外，与单纯地分析输入图像灰度分布直方图的方法相比，本发明不局限于常见灰度分布，能够处理任意灰度分布的医学图像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1的方法流程示意图；

图2a为本发明实施例1的输入图像；

图2b为本发明实施例1的预测掩膜图像；

图2c为本发明实施例1根据预测掩膜图像提取肝脏肿瘤部分后的输入图像；

图2d为本发明实施例1提取后的图像的灰度分布折线图；

图2e为本发明实施例1窗口调节结果图像；

图2f为本发明实施例1另一个提取后的图像的灰度分布折线图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的说明。

实施例1

结合附图1，本例详细描述对以肝脏肿瘤为目标区域的腹腔CT图像进行自动化窗口调节的过程。

首先，训练一个对腹腔CT图像中的肝脏肿瘤拥有较好预测效果的语义分割模型。在这个步骤中，本例选择U-Net语义分割模型，并使用MSD肝脏及肝脏肿瘤数据集对其进行训练，最终获得拥有0.84的Dice值的U-Net模型(高精度模型)。

随后，将需要进行自动窗口调节的医学图像(图2a)输入训练所得模型中，生成预测掩膜图像(图2b)。在预测掩膜图像中，被判定为肝脏肿瘤的部分用白色像素表示，其他部分用黑色像素表示。

接着根据预测掩膜图像中预测的肝脏肿瘤位置，对输入图像中相应的部位进行提取。根据预测掩膜图像提取肝脏肿瘤部分后的输入图像如图2c所示。

然后，绘制提取后的图像的灰度分布折线图并分析。

如图2d所示，由提取后的图像及其灰度分布折线图可知，预测的掩膜图像中存在误差，体现为预测的目标区域中包含了非肿瘤区域的其他像素，并且这些像素的灰度值远高于或低于构成肿瘤区域像素的灰度值。在灰度分布折线图中，肿瘤区域像素的灰度值构成了最高峰，误差部分像素的灰度值构成了稀疏的矮峰。

预测误差对于后续窗口调节效果的影响非常之大，较大的预测误差动辄使得整张图片亮度极低，目标区域中的大部分像素变为纯黑色(原因是掩膜包含了亮度较高的区域)或亮度极高，目标区域中的大部分像素变为纯白色(原因是掩膜包含了亮度较低的区域)，用于构成目标区域的像素信息大量丢失，从而导致目标区域变得不可辨识，与窗口调节的目的背道而驰。

本发明从灰度分布折线图的角度，剔除稀疏的矮峰，仅保留最高峰，并取最高峰两侧的零点作为用于窗口值计算的新最值。具体方法为找到灰度分布折线图的最高点，分别向两侧遍历，直到找到与最高点相邻的最近的两个零点。本例中，求得新最小值为-52，新最大值为201。计算可得窗宽为253，窗位为74.5。根据该窗口值进行窗口调节，即可得到结果图像，如图2e所示。

相比输入图像，窗口调节结果图像中的肝脏肿瘤部分表现为与肝脏等其他组织器官对比度更强的阴影，因此更容易被观察到，也使得该图像更容易被放射科医生解读，从而完成诊断。

此外，关于误差调整策略还想说明的是，如图2f所示另一个提取后的图像的一种灰度分布折线图，这种情况是掩膜区域过小，导致灰度分布不连续，零点众多且穿插在构成目标区域的灰度之间，单纯地选取最高峰两侧零点的方法会导致求得的窗宽异常偏小，使得窗口调节后所得图像对比度变得极大，甚至二值化。因此，需要分析各CT图像肿瘤部分的最值，求得平均最值作为最值阈值，若根据误差调整策略所得新最大值小于求得的最大值阈值或新最小值大于求得的最小值阈值，则放弃该值继续寻找下一个最近的零点，直到所得新最大值大于等于求得的最大值阈值或新最小值小于等于求得的最小值阈值。更进一步优选的策略还可以是以深度学习的方法来自动识别该类掩膜的新最值。

实施例2

本实施例提供一种基于语义分割的医学图像自动窗口调节方法的应用，用于医学图像查看器，所述医学图像查看器设有窗口调节按键，该窗口调节按键的插件程序采用本发明所述的自动窗口调节方法。

医学图像查看器在使用时，打开医学图像，只需选择可提供的目标区域(如下拉栏-肝脏肿瘤、肺结节…)然后进行一键窗口调节。具体窗口调节方法及原理可参见实施例1的记载，此处不再赘述。

实施例3

本实施例提供一种基于语义分割的医学图像自动窗口调节方法的应用，用于深度学习的预处理手段：使用本发明所述的窗口调节方法对图像进行自动化窗口调节，然后使用窗口调节后的图像进行深度学习。

综上所述，本发明将深度学习技术与医学图像的窗口调节技术结合起来，通过预测所得到的掩膜图像对目标区域进行分析并计算得出针对输入图像目标区域的最佳窗口值，其窗口调节效果远超于使用固定窗口值进行窗口调节的效果。此外，与单纯地分析输入图像灰度分布直方图的方法相比，本发明不局限于常见灰度分布，能够处理任意灰度分布的医学图像。

本发明具有较快的处理速度。在上述例子中，U-Net对患者腹腔CT图像的处理速度高达0.62秒/CT图像(此处CT图像指的是三维CT图像，上述例子中展示的仅仅是三维CT图像的一个z轴切片，该三维CT图像共包含有781个这样的切片)，相较于手动对窗口值进行调整的方法，极大地缩短了窗口调节所需要的时间。

当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。

Claims (8)

1.一种基于语义分割的医学图像自动窗口调节方法，其特征在于，包括以下步骤：

S1、选择语义分割模型，并使用相关数据集进行训练，获得拥有较高精度的高精度模型；

S2、将需要进行自动窗口调节的医学图像输入训练所得模型中，生成预测掩膜图像；

S3、接着根据预测掩膜图像中预测的目标区域位置，对输入图像中相应的部位进行提取；

S4、绘制提取后的图像的灰度分布折线图并分析；

S5、进行误差调整，选取用于窗口值计算的新最值；

S6、计算窗口值，并进行窗口调节。

2.根据权利要求1所述的基于语义分割的医学图像自动窗口调节方法，其特征在于，在灰度分布折线图中，目标区域像素的灰度值构成了最高峰，误差部分像素的灰度值构成了稀疏的矮峰，进行误差调整时，剔除稀疏的矮峰，仅保留最高峰，并取最高峰两侧的零点作为用于窗口值计算的新最值。

3.根据权利要求2所述的基于语义分割的医学图像自动窗口调节方法，其特征在于，误差调整时具体方法为找到灰度分布折线图的最高点，分别向两侧遍历，直到找到与最高点相邻的最近的两个零点。

4.根据权利要求3所述的基于语义分割的医学图像自动窗口调节方法，其特征在于，所述医学图像是以肝脏肿瘤为目标区域的腹腔CT图像。

5.根据权利要求4所述的基于语义分割的医学图像自动窗口调节方法，其特征在于，S1中选择U-Net语义分割模型，并使用MSD肝脏及肝脏肿瘤数据集对其进行训练，最终获得拥有0.84的Dice值的U-Net模型。

6.根据权利要求5所述的基于语义分割的医学图像自动窗口调节方法，其特征在于，S5中，求得新最小值为-52，新最大值为201，计算可得窗宽为253，窗位为74.5。

7.权利要求3所述的基于语义分割的医学图像自动窗口调节方法的应用，其特征在于，用于医学图像查看器，所述医学图像查看器设有采用所述自动窗口调节方法的窗口调节按键，打开医学图像，选择可提供的目标区域，然后进行一键窗口调节。

8.权利要求3所述的基于语义分割的医学图像自动窗口调节方法的应用，其特征在于，用于深度学习的预处理手段：使用所述的窗口调节方法对图像进行自动化窗口调节，然后使用窗口调节后的图像进行深度学习。

Images