CN111127487A - 一种实时多组织医学图像的分割方法 - Google Patents

Abstract

本发明公开了一种实时多组织医学图像的分割方法，先获取MRI、CT图像并整理统一，然后基于空洞卷积的高分辨率特征并行提取方法搭建全卷积神经网络模型；利用获取的图像对全卷积神经网络模型进行训练，在具体训练过程中通过自适应的loss函数实现较快的网络收敛速度，并获得了较高的分割精度，从而得到最终的标准全卷积神经网络模型，最后通过该模型进行实时分割，这样大大较少计算量实现实时的图像分割任务。

Description

一种实时多组织医学图像的分割方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种实时多组织医学图像的分割方法。

背景技术

近年来，随着医学影像设备的迅速发展，医生可以通过图片等简洁的数据形式来更好的诊断患者的病情，大大提高了医生的工作效率并降低了误判的几率，但是，医生们得到医学设备提供的图像后，一般还必须通过手动处理，人工的标注等复杂且非常乏味的工作以得到想要的数据，，比如患者病症组织的轮廓以及肿瘤的确切位置等等，这种处理模式耗时耗力，并且其准确程度与医生的专业程度关系很大，一个经验不足的医生还是很容易出现人工处理的错误，与人工标注相比，利用计算机进行医学图像处理，辅助医生进行诊断，不仅能大大降低医生的工作强度也有助于提高诊断的效率，因而逐渐成为了国内国外医疗界的发展趋势。但是，相对于处理自然图像，医学图像处理是一种挑战，目前主流的医疗成像设备如磁共振成像(MRI)、计算机断层扫描(CT)、超声、正电子发射断层扫描(PET)等都或多或少的存在一些缺陷造成了医学图像处理的困难，因此研究进行医学图像处理的算法是时下的研究热点。

目前医学组织分割的技术主要分为传统分割方法、机器学习和深度学习这3类。传统方法和机器学习在分割组织时对数据集要求较高，要求图片具有强边界信息，需要组织和身体其他组织有很大的颜色区别或者较明显的形状相似，深度学习方法使目前最热门的分割方法，已经提出的U-Net、Mask-RCNN等方法在各数据库上单独分割肺部组织的准确率在目前具有较好结果，优于上两种方法，但是，既有的方法在人体组织的多分割任务上，难以克服人体各组织及成像噪音的各种影响，分割精度仍然较低，并且无法做到实时的语义分割。本专利提出的深度学习方法能够较好的克服人体多组织的相互影响，并且能够对医学图像进行实时的语义分割。

发明内容

本发明的目的在于克服现有技术的不足，提供一种实时多组织医学图像的分割方法，并同时能够处理医学MRI图像和CT图像，使得医生可以借助计算机实时的完成较精确的组织分割，提高诊断的效率。

为实现上述发明目的，本发明一种实时多组织医学图像的分割方法，其特征在于，包括以下步骤：

(1)、获取MRI、CT图像并整理统一；

(1.1)、从而数据库中下载多个病人不同部位的核磁共振成像MRI和计算机断层扫描图像CT；

(1.2)、为每一位病人建立一个图片集，将不同部位的核磁共振成像MRI和计算机断层扫描图像CT存在图片集中，设共计建立N个图片集；

(2)、基于空洞卷积的高分辨率特征并行提取方法搭建全卷积神经网络模型；

(2.1)、利用机器学习算法设计控制子网络个数以及特征并行数，初始设置3个子网络，每个子网络存在4个并行层；

(2.2)、三个串联并相互联通的子网络，每个子网络以上一个子网络的输出和人工的输入作为输入，使用多次下采样得到不同尺寸的特征图，分别对并行的各尺寸的特征图进行多次卷积和一次fc注意力机制卷积，进行单个子网络的编码；对各个子网络的输出进行卷积并从最后一个子网络的输出开始使用反卷积以及反池化操作结合各尺寸卷积的输出进行图片特征解码；

(3)、训练全卷积神经网络模型；

(3.1)、全卷积神经网络模型初始化

(3.2)、将N个病人的图片集按照(N-1):1的比例划分为训练集和测试集；将每一个图片集等分成大小相等的patch，每个patch包含k张图片，在最后一个patch中如果不足k张图片，则直接舍弃该个patch；

(3.3)、对每个patch进行人工分割，得到k×n的分割图，记为比对的参考图，其中，n表示每张图片分割的张数；

(3.4)、从训练集中随机选取一个patch输入至全卷积神经网络模型，输出k×n的分割图，记为待对比图，其中，n表示每张图片分割的张数；

(3.5)、计算loss函数值；

在选取的patch中，计算人工分割后的参考图与模型分割后的待对比图的loss函数值；

其中，p_i,j是分割图单个像素点的取值，t_i,j是参考图对应像素点的取值，i＝1,2,…k，j＝1,2,…,n；μ_j表示第j类别的分配权重；

μ_j的计算公式为：

其中，DICE_j是第j个组织的dice指标评分，IOU_j是第j个组织的iou指标评分，k_j是第j个组织的权重常值；

(3.6)、重复步骤(3.4)-(3.5)，继续处理下一个patch，然后比较前后两个patch的loss函数值的差值，如果差值小于预设的阈值，则训练结束，得到标准的全卷积神经网络模型；否则，如果loss变小了则使用adam优化器更新全卷积神经网络模型的权重，并再返回步骤(3.4)；

(3.7)、从测试集中随机选取一个patch输入至全卷积神经网络模型，得到分割图片，然后对比参考图计算各个组织的DICE和IOU评分；

其中，V_SEG表示分割图的组织预测区域像素值，V_GT表示参考图的组织真实区域像素值；

然后重复该过程，直到测试集中的所有patch处理完成，得到每个patch对应的DICE和IOU评分，然后计算所有DICE和IOU评分的均值；

根据DICE和IOU的评分均值重新计算分配权重

其中，

是第j个组织的dice指标评分均值，

是第j个组织的iou指标评分均值；

(3.8)、根据分配权重

去更新loss函数，从而更新全卷积神经网络模型，标准的全卷积神经网络模型；

(4)、全卷积神经网络模型实时分割多组织医学图像；

实时采集某位患者的k张多组织医学图像，然后输入至全卷积神经网络模型，从而输出分割后的多组织医学图像。

本发明的发明目的是这样实现的：

本发明一种实时多组织医学图像的分割方法，先获取MRI、CT图像并整理统一，然后基于空洞卷积的高分辨率特征并行提取方法搭建全卷积神经网络模型；利用获取的图像对全卷积神经网络模型进行训练，在具体训练过程中通过自适应的loss函数实现较快的网络收敛速度，并获得了较高的分割精度，从而得到最终的标准全卷积神经网络模型，最后通过该模型进行实时分割，这样大大较少计算量实现实时的图像分割任务。

同时，本发明一种实时多组织医学图像的分割方法还具有以下有益效果：

(1)、使用特殊神经网络完成了腹部MRI和CT图像的多组织分割任务，并得到了较高的分割精度，解决了传统方法仅在单组织分割任务上有较好的性能的局限；

(2)、实现了单模型对MRI和CT图片的同时适配，避免了训练多个网络的麻烦；

(3)、使用改进的DFAnet和UNet的深度学习方法大大减少了深度学习网参数量，实现了实时的组织分割；

(4)、通过增加高维并行特征提取层提高了网络的分割性能，通过增加解码器的数量提高了网络对像素级别分割问题的分割能力。在公开的多个数据集上获得了比Unet，MaskRCNN，HRNet方法更好的效果。

附图说明

图1是本发明一种实时多组织医学图像的分割方法流程图；

图2是基于高分辨率特征并行提取的神经网络的网络架构示意图；

图3是DEU医院提供的组合健康腹部器官分割挑战赛腹部MRI图像；

图4是单个病人的切片图像及其标签图像；

图5是实时分割后的可视化腹部分割图像。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

MRI(Magnetic Resonance Imaging)：磁共振成像；

CT(Computed Tomography)：电子计算机断层扫描

图1是本发明一种实时多组织医学图像的分割方法流程图。

在本实施例中，如图1所示，本发明一种实时多组织医学图像的分割方法，包括以下步骤：

S1、获取MRI、CT图像并整理统一；

S1.1、从而数据库中下载多个病人不同部位的核磁共振成像MRI，如图3所示，以及计算机断层扫描图像CT；

S1.2、为每一位病人建立一个图片集，将不同部位的核磁共振成像MRI和计算机断层扫描图像CT存在图片集中，设共计建立N个图片集，本例中N取27名；

我们需要进行亮度和尺寸的归一化。根据ground truth的灰度值图(如图4下两行)对原图(如图4上两行)进行one-hot编码，根据MRI和CT图片ground truth图片的灰度值，肝脏:63(55<<<70)，右肾:126(110<<<135)，左肾:189(175<<<200)，脾脏:252(240<<<255)，筛选拥有一定尺度大小组织的图片并按顺序保存以提高网络的训练效率，留下1921张图片及其标注的ground truth图片；

对图片进行比例为5：1的图像增强，采用的方法包括水平翻转，垂直翻转，透视变换，分段仿射，多个样本进行合成。

S2、如图2所示，基于空洞卷积的高分辨率特征并行提取方法搭建全卷积神经网络模型；

S2.1、利用机器学习算法设计控制子网络个数以及特征并行数，初始设置3个子网络，每个子网络存在4个并行层；

S2.2、构建3个串联并相互联通的子网络，每个子网络以上个子网络的输出和人工的输入作为输入，使用多次下采样得到不同尺寸的特征图，分别对各尺寸的特征图进行4卷积和1次fc注意力机制卷积，进行单个子网络的编码。并行网络的空洞卷积核分别使用了1，2，4的膨胀因子。其中，使用膨胀因子1和4的卷积层通过上下采样进行信息的共享，实现高分辨率信息保存。使用反卷积以及反池化操作时，对各尺寸卷积的输出进行图片拼接融合，再进行特征解码；

S3、训练全卷积神经网络模型；

S3.1、全卷积神经网络模型初始化

S3.2、将N个病人的数据按照(N-1):1的比例划分为训练集和测试集，将每一个图片集等分成大小相等的patch，每个patch包含k张图片，在最后一个patch中如果不足k张图片，则直接舍弃该个patch根据显存大小，初始值设置为4；

S3.3、对每个patch进行人工分割，得到4*512*512*5的分割图，记为比对的参考图，也就是4组512*512的图像，每一组分为五张，分别是肝脏，左肾，脾脏，右肾，其他的分割图；

S3.4、随机选取一个patch输入至全卷积神经网络模型，输出4*512*512*5的分割图，记为待对比图；

S3.5、计算loss函数值；

在选取的patch中，计算人工分割后的参考图与模型分割后的待对比图的loss函数值，loss函数使用自适应的batch加权平均设计，不同的组织分配不同的权重并对所有的组织进行加权加求和，大大的提高loss的取值从而加快了网络的收敛速度，同时针对不同组织应用不同的权重避免了网络只对较大组织拥有很好的分割性能；在选取的patch中，计算人工分割后的参考图与模型分割后的待对比图的loss函数值；

其中，p_i,j是分割图单个像素点的取值，t_i,j是参考图对应像素点的取值，i＝1,2,…k，j＝1,2,…,n；μ_j表示第j类别的分配权重；

μ_j的计算公式为：

其中，DICE_j是第j个组织的dice指标评分，IOU_j是第j个组织的iou指标评分，k_j是第j个组织的权重常值；

S3.6、重复步骤S3.4-S3.5，继续处理下一个patch，然后比较前后两个patch的loss函数值的差值，如果差值小于预设的阈值，则训练结束，得到标准的全卷积神经网络模型；否则，如果loss变小了则使用adam优化器更新全卷积神经网络模型的权重，并再返回步骤S3.4；

S3.7、从测试集中随机选取一个patch输入至全卷积神经网络模型，得到分割图片，然后对比参考图计算各个组织的DICE和IOU评分；

其中，V_SEG表示分割图的组织预测区域灰度值，V_GT表示参考图的组织真实区域灰度值；V_SEGandV_GT相交区域的灰度值；

然后重复该过程，直到测试集中的所有patch处理完成，得到每个patch对应的DICE和IOU评分，然后计算所有DICE和IOU评分的均值；

根据DICE和IOU的评分均值重新计算分配权重

是第j个组织的dice指标评分均值，

是第j个组织的iou指标评分均值；

S3.8、根据分配权重

去更新loss函数，从而更新全卷积神经网络模型，得到标准的全卷积神经网络模型；

在本实施例中，为了保证网络的文档性，可以重复步骤S3.2-S3.7多次，然后保存最佳的网络模型；

S4、全卷积神经网络模型实时分割多组织医学图像；

实时采集某位患者的1张多组织医学图像，复制4份然后输入至全卷积神经网络模型，从而输出分割后的多组织医学图像，如图5(b)所示，分割结果将进行着色，整合成易于医生使用的彩色分割图像，如图5(a)所示。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种实时多组织医学图像的分割方法，其特征在于，包括以下步骤：

(1)、获取MRI，CT图像并整理统一；

(1.1)、从而数据库中下载多个病人不同部位的核磁共振成像MRI和计算机断层扫描图像CT；

(1.2)、为每一位病人建立一个图片集，将不同部位的核磁共振成像MRI和计算机断层扫描图像CT存在图片集中，设共计建立N个图片集；

(2)、基于空洞卷积的高分辨率特征并行提取方法搭建全卷积神经网络模型；

(2.1)、利用机器学习算法设计控制子网络个数以及特征并行数，初始设置3个子网络，每个子网络存在4个并行层；

(2.2)、三个串联并相互联通的子网络，每个子网络以上一个子网络的输出和人工的输入作为输入，使用多次下采样得到不同尺寸的特征图，分别对并行的各尺寸的特征图进行多次卷积和一次fc注意力机制卷积，进行单个子网络的编码；对各个子网络的输出进行卷积并从最后一个子网络的输出开始使用反卷积以及反池化操作结合各尺寸卷积的输出进行图片特征解码；

(3)、训练全卷积神经网络模型；

(3.1)、全卷积神经网络模型初始化

(3.2)、将N个病人的图片集按照(N-1):1的比例划分为训练集和测试集；将每一个图片集等分成大小相等的patch，每个patch包含k张图片，在最后一个patch中如果不足k张图片，则直接舍弃该个patch；

(3.3)、对每个patch进行人工分割，得到k×n的分割图，记为比对的参考图，其中，n表示每张图片分割的张数；

(3.4)、从训练集中随机选取一个patch输入至全卷积神经网络模型，输出k×n的分割图，记为待对比图，其中，n表示每张图片分割的张数张数；

(3.5)、计算loss函数值；

在选取的patch中，计算人工分割后的参考图与模型分割后的待对比图的loss函数值；

其中，p_i,j是分割图单个像素点的取值，t_i,j是参考图对应像素点的取值，i＝1,2,…k，j＝1,2,…,n；μ_j表示第j类别的分配权重；

μ_j的计算公式为：

其中，DICE_j是第j个组织的dice指标评分，IOU_j是第j个组织的iou指标评分，k_j是第j个组织的权重常值；

(3.6)、重复步骤(3.4)-(3.5)，继续处理下一个patch，然后比较前后两个patch的loss函数值的差值，如果差值小于预设的阈值，则训练结束，得到标准的全卷积神经网络模型；否则，如果loss变小了则使用adam优化器更新全卷积神经网络模型的权重，并再返回步骤(3.4)；

(3.7)、从测试集中随机选取一个patch输入至全卷积神经网络模型，得到分割图片，然后对比参考图计算各个组织的DICE和IOU评分；

其中，V_SEG表示分割图的组织预测区域像素值，V_GT表示参考图的组织真实区域像素值；

然后重复该过程，直到测试集中中的所有patch处理完成，得到每个patch对应的DICE和IOU评分，然后计算所有DICE和IOU评分的均值；

根据DICE和IOU的评分均值重新计算分配权重

是第j个组织的dice指标评分均值，

是第j个组织的iou指标评分均值；

(3.8)、根据分配权重

去更新loss函数，从而更新全卷积神经网络模型，标准的全卷积神经网络模型；

(4)、全卷积神经网络模型实时分割多组织医学图像；

实时采集某位患者的k张多组织医学图像，然后输入至全卷积神经网络模型，从而输出分割后的多组织医学图像。

Images