CN111091575B - 一种基于强化学习方法的医学图像分割方法 - Google Patents

Abstract

本发明公开了一种基于强化学习方法的医学图像分割方法，包括以下步骤：采集待分割医学3D图像和训练医学3D图像，将待分割医学3D图像和训练医学3D图像顺序且均匀地分片，得到待分割的2D医学图像序列和训练2D医学图像序列；建立神经网络模型，根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练；将待分割的2D医学图像序列依次输入训练完成的神经网络模型，得到分割结果。本发明提高了医学图像的分割效率，且能够高精度地对脑部肿瘤图像进行分割。

Description

一种基于强化学习方法的医学图像分割方法

技术领域

本发明属于图像分割领域，具体涉及一种基于强化学习方法的医学图像分割方法。

背景技术

在过去的几十年中，医学成像技术已被用于早期检测，诊断和治疗疾病。尤其是脑肿瘤的诊断与分析领域，核磁共振成像(MRI)已经被广泛应用，脑部MRI图像具有四种模态：T1、T1C、T2和FLAIR，其区别在于：不同模态对于不同脑肿瘤组织结构的反应程度不同，使得其在成像时亮度、纹理具有一定差异，放射科医师和临床医生据此来判断脑肿瘤的大小、结构、严重程度等，因此，MRI图像在脑肿瘤的在临床诊断和治疗具有重要价值。然而，针对MRI图像中脑肿瘤组织的分割却是广泛地由放射科医师和临床医生手动标注的。一方面，脑作为人体最复杂的器官，其成像后的脑部影像也会因个人差异而体现出不同的特征，所以脑部MRI图像具有较高的复杂性，并且，受到灰度不均匀性、伪影等因素的影响，使得脑肿瘤的分割任务成为了一个巨大的挑战；另一方面，手动分割MRI图像中的脑肿瘤组织区域不仅对医生的专业性要求很高，而且费时费力，严重影响工作效率，浪费医疗资源。

传统的图像处理技术主要是建立于数字信号处理学科的基础上，把二维图像当作二维信号进行时频域的分析、滤波等，但在处理过程中不能有效地提取图像中的高级语义特征，从而只能在相对简单的图像处理任务上取得成效。神经网络的出现使得这类问题出现了转机，当前主流的针对三维图像的分割方法：均是先将三维图像均匀地分片成若干张大小相同的二维图像，再依次顺序地对这些二维图像进行分割，最终在处理完所有二维图像后，把这些二维的分割结果再按序拼接成对应原始三维图像的三维分割结果。但是神经网络模型是独立地对这些二维图像进行分割，忽略了这些二维图像之间的内在联系，从而导致分割精度不够。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于强化学习方法的医学图像分割方法解决了现有技术对脑部肿瘤图像分割精度不够的问题。

为了达到上述发明目的，本发明采用的技术方案为：一种基于强化学习方法的医学图像分割方法，包括以下步骤：

S1、采集待分割医学3D图像和训练医学3D图像，将待分割医学3D图像和训练医学3D图像顺序且均匀地分片，得到待分割的2D医学图像序列和训练2D医学图像序列；

S2、建立神经网络模型，根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练；

S3、将待分割的2D医学图像序列依次输入训练完成的神经网络模型，得到分割结果。

进一步地，所述神经网络模型包括输入层、特征提取模块、分割模块、掩码生成模块、缓存层和输出层；

所述输入层、特征提取模块、分割模块、缓存层和输出层依次连接，所述掩码生成模块分别与特征提取模块、分割模块和缓存层连接。

进一步地，所述特征提取模块包括依次连接的第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元；

所述分割模块包括依次连接的第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元；

所述掩码生成模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、循环神经网络层、全连接层、最大价值操作选择层和掩码生成层；

所述输入层的输出端还与第四上采样单元连接，所述第一下采样单元的输出端还与第三上采样单元连接，所述第二下采样单元的输出端还与第二上采样单元连接，所述第三下采样单元的输出端还与第一上采样单元连接，所述第四下采样单元的输出端还与第一卷积层的输入端连接；

所述掩码生成层的输入端还与缓存层的输出端连接，所述掩码生成层的输出端分别与第一上采样单元的输入端、第二上采样单元的输入端、第三上采样单元的输入端和第四上采样单元的输入端连接。

进一步地，所述第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元结构相同，且均包括若干依次连接的残差结构，所述残差结构包括依次连接的第四卷积层、第五卷积层、第六卷积层和加法层，且第四卷积层的输入端和加法层的输入端连接；所述加法层用于将输入端的数据进行逐元素相加操作，并将相加结果输出。

进一步地，所述第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元结构相同，且均包括依次连接的乘法层、第七卷积层、ReLU函数层、第八卷积层、Sigmoid函数层、加权层、乘法层、反卷积层、加法层、第十卷积层和第十一卷积层，所述两个乘法层的输入端并联，且为上采样单元的输入端，所述第十一卷积层的输出端为上采样单元的输出端，所述上采样单元中加法层的输入端还与第九卷积层的输出端连接，所述第九卷积层的输入端用于与下采样单元的输出端或输入层的输出端连接；所述乘法层用于将输入端的数据进行逐元素相乘操作，并将相乘结果输出。

进一步地，所述第一卷积、第二卷积层和第三卷积层的卷积核大小均为4×4，步长均为2。

进一步地，所述第四卷积层和第六卷积层的卷积核大小均为1×1，所述第五卷积层的卷积核大小为3×3。

进一步地，所述第七卷积层、第八卷积层和第九卷积层的卷积核大小均为1×1，所述第十卷积层和第十一卷积层的卷积核大小均为3×3。

进一步地，所述步骤S2中根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练的具体方法为：

A1、对训练2D医学图像序列进行手工标注，获取真值图；

A2、将训练2D医学图像序列作为训练数据依次输入神经网络模型中，将真值图作为标签；

A3、以训练数据与标签之间的损失值最小为目标，采用Adam算法作为网络优化算法，对神经网络模型进行训练；

A4、当损失值不再下降时，将此时的网络参数作为最终的神经网络模型参数，得到训练完成的神经网络模型。

本发明的有益效果为：

(1)本发明通过将待分割医学3D图像顺序分片，获取待分割医学2D图像序列，考虑了2D图像之间的联系，使图像分割结果更加准确；

(2)本发明通过构建神经网络模型，并根据强化学习方法对其进行训练，缩减了医学图像分割流程，提高了效率；

(3)本发明在当前帧2D图像时，通过将上一帧2D图像作为当前帧2D图像的先验知识，不仅考虑了2D图像之间的关系，而且提高了分割精度；

(4)本发明提高了医学图像的分割效率，且能够高精度地对脑部肿瘤图像进行分割。

附图说明

图1为本发明中一种基于强化学习方法的医学图像分割方法流程图；

图2为本发明中神经网络模型结构图；

图3为本发明中第一下采样单元、第二下采样单元、第三下采样单元或第四下采样单元的结构图。

图4为本发明中第一上采样单元、第二上采样单元、第三上采样单元或第四上采样单元的结构图。

图5为本发明实施例中一张2D图像的分割结果。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

下面结合附图详细说明本发明的实施例。

如图1所示，一种基于强化学习方法的医学图像分割方法，包括以下步骤：

S1、采集待分割医学3D图像和训练医学3D图像，将待分割医学3D图像和训练医学3D图像顺序且均匀地分片，得到待分割的2D医学图像序列和训练2D医学图像序列；

S2、建立神经网络模型，根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练；

S3、将待分割的2D医学图像序列依次输入训练完成的神经网络模型，得到分割结果。

如图2所示，所述神经网络模型包括输入层、特征提取模块、分割模块、掩码生成模块、缓存层和输出层；所述输入层、特征提取模块、分割模块、缓存层和输出层依次连接，所述掩码生成模块分别与特征提取模块、分割模块和缓存层连接。

所述特征提取模块包括依次连接的第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元；所述分割模块包括依次连接的第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元；所述掩码生成模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、循环神经网络层、全连接层、最大价值操作选择层和掩码生成层；所述输入层的输出端还与第四上采样单元连接，所述第一下采样单元的输出端还与第三上采样单元连接，所述第二下采样单元的输出端还与第二上采样单元连接，所述第三下采样单元的输出端还与第一上采样单元连接，所述第四下采样单元的输出端还与第一卷积层的输入端连接。

所述掩码生成层的输入端还与缓存层的输出端连接，所述掩码生成层的输出端分别与第一上采样单元的输入端、第二上采样单元的输入端、第三上采样单元的输入端和第四上采样单元的输入端连接。

如图3所示，所述第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元结构相同，且均包括若干依次连接的残差结构，所述残差结构包括依次连接的第四卷积层、第五卷积层、第六卷积层和加法层，且第四卷积层的输入端和加法层的输入端连接；所述加法层用于将输入端的数据进行逐元素相加操作，并将相加结果输出。

如图4所示，所述第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元结构相同，且均包括依次连接的乘法层、第七卷积层、ReLU函数层、第八卷积层、Sigmoid函数层、加权层、乘法层、反卷积层、加法层、第十卷积层和第十一卷积层，所述两个乘法层的输入端并联，且为上采样单元的输入端，所述第十一卷积层的输出端为上采样单元的输出端，所述上采样单元中加法层的输入端还与第九卷积层的输出端连接，所述第九卷积层的输入端用于与下采样单元的输出端或输入层的输出端连接；所述乘法层用于将输入端的数据进行逐元素相乘操作，并将相乘结果输出。

所述第一卷积、第二卷积层和第三卷积层的卷积核大小均为4×4，步长均为2。

所述第四卷积层和第六卷积层的卷积核大小均为1×1，所述第五卷积层的卷积核大小为3×3。

所述第七卷积层、第八卷积层和第九卷积层的卷积核大小均为1×1，所述第十卷积层和第十一卷积层的卷积核大小均为3×3。

在本实施例中，通过输入层依次输入待分割医学2D图像序列，在特征提取模块中，待分割医学2D图像每经过一个下采样单元，尺寸变为原来的一半，并提取层次语义特征，经由四个相同结构的下采样单元后，得到尺寸为原始尺寸1/16的深度层次语义特征，即为特征提取模块的输出，作为分割模块以及掩码生成模块的输入；在掩码生成模块中，深度层次语义特征依次经过第一卷积层、第二卷积层、第三卷积层、循环神经网络层、全连接层，解析并输出每个平移或放缩操作的价值，然后经由最大价值操作选择层输出选定的操作，作为掩码生成层的输入，从缓存层中输出上一帧的分割结果输入掩码生成层，掩码生成层将选定的操作应用与上一帧的分割结果上，生成当前帧的掩码，即为掩码生成模块的输出，用于作为上采样单元的输入，帮助分割模块关注带分割医学2D图像中更为重要的局部，提升分割准确率；在分割模块中，深度层次语义特征每经过一个上采样单元，其尺寸变为原来的两倍，并被解析得到层次结果特征；每个上采样单元除了输入层次结果特征之外，还需输入掩码生成模块生成的掩码用于引入注意力机制关注医学2D图像中的局部，以及输入对应的、相同尺寸的下采样单元，即输入层的输出端连接第四上采样单元、第一下采样单元的输出端连接第三上采样单元、第二下采样单元的输出端连接第二上采样端元和第三上采样单元的输出端连接第一上采样单元；所提取的层次语义特征用于弥补由于反卷积上采样操作造成的信息丢失以提高准确率，在经由四个相同结构的上采样单元后，得到尺寸与原始尺寸相同的分割结果图，即为分割模块的输出；分割模块的输出通过缓存层缓存当前帧的分割结果供下一帧使用，并通过输出层输出当前待分割医学2D图像的分割结果。

所述步骤S2中根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练的具体方法为：

A1、对训练2D医学图像序列进行手工标注，获取真值图；

A2、将训练2D医学图像序列作为训练数据依次输入神经网络模型中，将真值图作为标签；

A3、以训练数据与标签之间的损失值最小为目标，采用Adam算法作为网络优化算法，对神经网络模型进行训练；

A4、当损失值不再下降时，将此时的网络参数作为最终的神经网络模型参数，得到训练完成的神经网络模型。

如图5所示，在本实施例中，图a为MRI图像的T1模态，图b为MRI图像的T1C模态，图c为MRI图像的T2模态，图d为MRI图像的FLAIR模态，图f为待分割医学3D图像分片而来的一张2D图像的真值图，图g为待分割医学3D图像分片而来的一张2D图像分割结果。可以得出，本发明对于脑部肿瘤图像的分割精度高。

在本实施例中，将本发明的分割精度与其它网络分割精度进行比较，具体如表1所示。

表1

从表1可以明显看出，本发明的分割精度高，分割效果好。

本发明的有益效果为：

(1)本发明通过将待分割医学3D图像顺序分片，获取待分割医学2D图像序列，考虑了2D图像之间的联系，使图像分割结果更加准确；

(2)本发明通过构建神经网络模型，并根据强化学习方法对其进行训练，缩减了医学图像分割流程，提高了效率；

(3)本发明在当前帧2D图像时，通过将上一帧2D图像作为当前帧2D图像的先验知识，不仅考虑了2D图像之间的关系，而且提高了分割精度；

(4)本发明提高了医学图像的分割效率，且能够高精度地对脑部肿瘤图像进行分割。

Claims (7)

1.一种基于强化学习方法的医学图像分割方法，其特征在于，包括以下步骤：

S1、采集待分割医学3D图像和训练医学3D图像，将待分割医学3D图像和训练医学3D图像顺序且均匀地分片，得到待分割的2D医学图像序列和训练2D医学图像序列；

S2、建立神经网络模型，根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练；

其中，所述神经网络模型包括输入层、特征提取模块、分割模块、掩码生成模块、缓存层和输出层；所述输入层、特征提取模块、分割模块、缓存层和输出层依次连接，所述掩码生成模块分别与特征提取模块、分割模块和缓存层连接；所述特征提取模块包括依次连接的第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元；所述分割模块包括依次连接的第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元；所述掩码生成模块包括依次连接的第一卷积层、第二卷积层、第三卷积层、循环神经网络层、全连接层、最大价值操作选择层和掩码生成层；所述输入层的输出端还与第四上采样单元连接，所述第一下采样单元的输出端还与第三上采样单元连接，所述第二下采样单元的输出端还与第二上采样单元连接，所述第三下采样单元的输出端还与第一上采样单元连接，所述第四下采样单元的输出端还与第一卷积层的输入端连接；所述掩码生成层的输入端还与缓存层的输出端连接，所述掩码生成层的输出端分别与第一上采样单元的输入端、第二上采样单元的输入端、第三上采样单元的输入端和第四上采样单元的输入端连接；

S3、将待分割的2D医学图像序列依次输入训练完成的神经网络模型，得到分割结果。

2.根据权利要求1所述的基于强化学习方法的医学图像分割方法，其特征在于，所述第一下采样单元、第二下采样单元、第三下采样单元和第四下采样单元结构相同，且均包括若干依次连接的残差结构，所述残差结构包括依次连接的第四卷积层、第五卷积层、第六卷积层和加法层，且第四卷积层的输入端和加法层的输入端连接；所述加法层用于将输入端的数据进行逐元素相加操作，并将相加结果输出。

3.根据权利要求2所述的基于强化学习方法的医学图像分割方法，其特征在于，所述第一上采样单元、第二上采样单元、第三上采样单元和第四上采样单元结构相同，且均包括依次连接的乘法层、第七卷积层、ReLU函数层、第八卷积层、Sigmoid函数层、加权层、乘法层、反卷积层、加法层、第十卷积层和第十一卷积层，所述两个乘法层的输入端并联，且为上采样单元的输入端，所述第十一卷积层的输出端为上采样单元的输出端，所述上采样单元中加法层的输入端还与第九卷积层的输出端连接，所述第九卷积层的输入端用于与下采样单元的输出端或输入层的输出端连接；所述乘法层用于将输入端的数据进行逐元素相乘操作，并将相乘结果输出。

4.根据权利要求1所述的基于强化学习方法的医学图像分割方法，其特征在于，所述第一卷积、第二卷积层和第三卷积层的卷积核大小均为4×4，步长均为2。

5.根据权利要求2所述的基于强化学习方法的医学图像分割方法，其特征在于，所述第四卷积层和第六卷积层的卷积核大小均为1×1，所述第五卷积层的卷积核大小为3×3。

6.根据权利要求3所述的基于强化学习方法的医学图像分割方法，其特征在于，所述第七卷积层、第八卷积层和第九卷积层的卷积核大小均为1×1，所述第十卷积层和第十一卷积层的卷积核大小均为3×3。

7.根据权利要求3所述的基于强化学习方法的医学图像分割方法，其特征在于，所述步骤S2中根据强化学习方法并通过训练2D医学图像序列对神经网络模型进行训练的具体方法为：

A1、对训练2D医学图像序列进行手工标注，获取真值图；

A2、将训练2D医学图像序列作为训练数据依次输入神经网络模型中，将真值图作为标签；

A3、以训练数据与标签之间的损失值最小为目标，采用Adam算法作为网络优化算法，对神经网络模型进行训练；

A4、当损失值不再下降时，将此时的网络参数作为最终的神经网络模型参数，得到训练完成的神经网络模型。

Images