CN109801272B

CN109801272B - 肝脏肿瘤自动分割定位方法、系统及存储介质

Info

Publication number: CN109801272B
Application number: CN201910012895.3A
Authority: CN
Inventors: 赵淦森; 莫济敏; 赵鹏; 席云; 罗浩宇; 张奇支
Original assignee: South China Normal University
Current assignee: South China Normal University
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2021-01-15
Anticipated expiration: 2039-01-07
Also published as: CN109801272A

Abstract

本发明公开了肝脏肿瘤自动分割定位方法、系统及存储介质，方法包括：对肝脏CT图像进行窗位窗宽处理，得到突出CT肝脏部位的第一输入数据；将第一输入数据输入到U‑Net肝脏语义分割模型中，得到肝脏语义分割结果；对肝脏语义分割结果进行过滤操作，得到第二输入数据；对第二输入数据进行重构操作，得到第三输入数据；将第三输入数据输入到肿瘤定位检测模型中，得到肿瘤定位信息；根据肿瘤定位信息，对第二输入数据进行过滤，得到第四输入数据；将第四输入数据输入到U‑Net肿瘤语义分割模型中，得到肿瘤语义分割结果。本发明能够快速得到肿瘤语义分割结果，降低了时间成本，提高了工作效率，且提高了肿瘤检测的精确度，可广泛应用于图像处理技术领域。

Description

肝脏肿瘤自动分割定位方法、系统及存储介质

技术领域

本发明涉及图像处理技术领域，尤其是肝脏肿瘤自动分割定位方法、系统及存储介质。

背景技术

术语解释：

深度学习：深度学习的概念源于人工神经网络的研究，深度学习是机器学习的一个发展分支，是一种基于对数据进行表征学习的方法。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，因此与传统机器学习的让研究人员人为进行数据特征构建不一样，深度学习不需要人为手动构建特征。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分，不同的学习框架下建立的学习模型也不同。卷积神经网络(Convolutional neural networks，简称CNNs)就是一种深度的监督学习下的机器学习模型。

图像目标定位：给定一张输入图像，图像分类任务旨在判断该图像所属类别，而图像目标定位是在图像分类的基础上，判断图像中的目标具体在图像的什么位置，通常是以包围盒的(bounding box)形式来表达图像的位置，bounding box主要包含定位对象的(xmxa,ymax,xmin,ymin)坐标。

图像目标语义分割：语义分割是图像目标定位中的一个进阶任务，目标定位只需要框出每个目标的包围盒，语义分割需要进一步判断图像中哪些像素属于哪个目标。

肝癌是最为常见并且致命的疾病之一，并且肝脏是人体内最重要的器官之一，因此肝癌的治疗一直是医学领域的重点。传统的治疗方式依赖于放射科医师在病患的CT成像上逐个切片去观察，然后手动描绘病灶轮廓，再由外科医生进行手术切除肝脏的病变组织。如果手术切除的肝脏组织的面积过大将影响病人术后的恢复，但是如果病变组织切除遗留将会导致病患有复发的风险，因此肝脏肿瘤检测及轮廓描绘工作是治疗能否顺利进行的关键工作之一。传统的人工阅片方式依赖于大量的时间成本以及放射科医生的阅片经验，且人工阅片容易产生误差，精确度不高，因此一种肝脏肿瘤的自动检测分割方法对临床实践十分重要。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种效率高且精确度高的肝脏肿瘤自动分割定位方法、系统及存储介质。

本发明一方面所采取的技术方案为：

肝脏肿瘤自动分割定位方法，包括以下步骤：

对肝脏CT图像进行窗位窗宽处理，得到突出CT肝脏部位的第一输入数据；

将第一输入数据输入到U-Net肝脏语义分割模型中，得到肝脏语义分割结果；

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

将第三输入数据输入到肿瘤定位检测模型中，得到肿瘤定位信息；

根据肿瘤定位信息，对第二输入数据进行过滤，得到第四输入数据；

将第四输入数据输入到U-Net肿瘤语义分割模型中，得到肿瘤语义分割结果。

进一步，所述对肝脏CT图像进行窗位窗宽处理，得到突出CT肝脏部位的第一输入数据这一步骤，包括以下步骤：

将肝脏CT图像与肝脏的临近图像进行组合处理；

对组合处理的结果进行第一重构操作，得到第一输入数据；所述第一输入数据的维度为(512，512，3)。

进一步，所述肝脏语义分割结果的维度为(512，512，1)。

进一步，所述第三输入数据的维度为(416，416，3)。

进一步，所述肿瘤语义分割结果的维度为(512，512，1)。

进一步，还包括对肿瘤定位检测模型进行递增训练的步骤。

进一步，所述对肿瘤定位检测模型进行递增训练这一步骤，包括以下步骤：

对肝脏语义分割结果和肝脏CT图像进行第一滤波处理，得到初始训练数据；

将初始训练数据输入原始目标定位模型进行训练；

将训练好的原始目标定位模型作为当前肿瘤定位检测模型，并计算当前肿瘤定位检测模型的第一精确率和第一召回率；

判断第一精确率和第一召回率是否满足第一阈值要求，若是，则将当前肿瘤定位检测模型作为肿瘤定位检测模型，以得到肿瘤定位信息；反之，则执行下一步骤；

对当前肿瘤定位检测模型的参数进行调整，并根据当前肿瘤定位检测模型预测得到第一病灶定位信息；

根据第一病灶定位信息，对初始训练数据进行第二滤波处理，得到第二训练数据；

将第二训练数据输入当前肿瘤定位检测模型进行训练；

计算当前肿瘤定位检测模型的第二精确率和第二召回率；

判断第二精确率和第二召回率是否满足第二阈值要求，若是，则将当前肿瘤定位检测模型作为肿瘤定位检测模型，以得到肿瘤定位信息；反之，则执行下一步骤；

通过当前肿瘤定位检测模型对第二训练数据进行预测，得到第二病灶定位信息；

对第一病灶定位信息和第二病灶定位信息进行非极大抑制处理，得到第三训练数据；

将第三训练数据作为第二训练数据，并返回执行将第二训练数据输入当前肿瘤定位检测模型进行训练的步骤，直至判断第二精确率和第二召回率满足第二阈值要求。

本发明另一方面所采取的技术方案是：

肝脏肿瘤自动分割定位系统，包括：

肝脏语义分割模块，用于：

肿瘤定位检测模块，用于：

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

肿瘤语义分割模块，用于：

本发明另一方面所采取的技术方案是：

肝脏肿瘤自动分割定位系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的肝脏肿瘤自动分割定位方法。

本发明另一方面所采取的技术方案是：

一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的肝脏肿瘤自动分割定位方法。

本发明的有益效果是：本发明首先通过U-Net肝脏语义分割模型得到肝脏语义分割结果，然后通过肿瘤定位检测模型得到肿瘤定位信息，最后通过U-Net肿瘤语义分割模型得到肿瘤语义分割结果；本发明能够快速得到肿瘤语义分割结果，降低了时间成本，提高了工作效率；另外，相较于人工阅片的高误差率，本发明提高了肿瘤检测的精确度。

附图说明

图1为本发明实施例的系统全局流程示意图；

图2为本发明实施例的肝脏CT图像与肝脏的临近图像的示意图；

图3为本发明实施例对肝脏语义分割标注后的示意图；

图4为本发明实施例对肝脏语义分割后的结果示意图；

图5为本发明实施例对肿瘤定位过滤后的结果示意图；

图6为本发明实施例对肿瘤分割后的结果示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种肝脏肿瘤自动分割定位方法，包括以下步骤：

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

进一步作为优选的实施方式，所述对肝脏CT图像进行窗位窗宽处理，得到突出CT肝脏部位的第一输入数据这一步骤，包括以下步骤：

将肝脏CT图像与肝脏的临近图像进行组合处理；

进一步作为优选的实施方式，所述肝脏语义分割结果的维度为(512，512，1)。

进一步作为优选的实施方式，所述第三输入数据的维度为(416，416，3)。

进一步作为优选的实施方式，所述肿瘤语义分割结果的维度为(512，512，1)。

进一步作为优选的实施方式，还包括对肿瘤定位检测模型进行递增训练的步骤。

进一步作为优选的实施方式，所述对肿瘤定位检测模型进行递增训练这一步骤，包括以下步骤：

将初始训练数据输入原始目标定位模型进行训练；

将第二训练数据输入当前肿瘤定位检测模型进行训练；

计算当前肿瘤定位检测模型的第二精确率和第二召回率；

其中，本发明通过对当前肿瘤定位检测模型的参数进行调整，来提高肿瘤定位模型的召回能力。

与图1的方法相对应，本发明实施例还提供了一种肝脏肿瘤自动分割定位系统，包括：

肝脏语义分割模块，用于：

肿瘤定位检测模块，用于：

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

肿瘤语义分割模块，用于：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

与图1的方法相对应，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的肝脏肿瘤自动分割定位方法。

下面结合说明书附图1，详细描述本发明肝脏肿瘤自动分割定位方法的具体实施步骤：

S1、本实施例首先将如图2所示的肝脏CT图像及其邻近的图像进行组合，并进行reshape操作(即第一重构操作)，然后如图3所示进行标注后得到维度为(512，512，3)的标准化输入数据(即第一输入数据)。

S2、如图4所示，将第一输入数据输入到U-Net肝脏语义分割模型中，并且输出维度为(512,512,1)的肝脏语义分割结果。

S3、如图5所示，根据肝脏语义分割结果，对输入数据进行过滤操作，得到仅含肝脏部分的输入数据(即第二输入数据)。

S4、对第二输入数据进行reshape重构操作，得到维度为(416，416，3)的第三输入数据。

S5、将第三输入数据输入到肿瘤定位检测模型中，获得肿瘤的定位信息。

S6、根据肿瘤的定位信息，对第二输入数据进行过滤，减少非肿瘤部分的图像信息，进而得到第四输入数据。

S7、如图6所示，将第四输入数据输入到U-Net肿瘤语义分割模型中，最后获得维度为(512，512，1)的肿瘤语义分割结果。

本发明运用同一种模型(即U-Net模型)来进行肝脏语义分割和肿瘤语义分割。本发明的U-Net模型的输出入图像分别为(512，512，3)的肝脏CT图像和维度为(512，512，3)的肿瘤CT图像，所述肝脏CT图像用于进行肝脏的语义分割任务，所述肿瘤CT图像经过了过滤操作，所述过滤操作由定位模型获得的肿瘤包围盒来进行。本发明的U-Net模型如果应用于肝脏分割任务，则输出肝脏分割结果；如果应用于肿瘤分割任务，则输出肿瘤语义分割结果。

本发明的肝脏肿瘤检测基于传统的one-stage图像目标检测模型(YOLO3)，在该模型的初始训练基础上进行递增训练，从而获得更加准确的肿瘤定位信息。

本发明的目标检测模型主要由基于YOLO3的darknet53特征提取模块、multi-scale特征生成模块、定位信息生成模块和我们用于递增训练的训练数据生成模块组成。

具体地，所述递增训练的过程如下：

1、使用原始的目标定位模型，对输入数据集进行测试，如果模型的precision和recall值达到阈值(即第一阈值要求)，则直接可以用该模型进行病灶定位预测，如果没有达到阈值则进行第2步。

2、调整模型的参数，保证模型的查全能力，并且预测输入数据集的病灶定位信息(即第一病灶定位信息)，然后使用所述病灶定位信息对输入数据集进行滤波处理，得到新的训练数据集(即第二训练数据)。

3、获得滤波后的训练数据集，使用该数据集重新训练目标定位模型，并且对输入数据集进行测试，如果模型的precision和recall值达到阈值或precision和recall不再增长(即第二阈值要求)，则直接可以用该模型进行病灶定位预测，如果没有满足第二阈值要求，则进行第四步。

4、此时不需要像第2步一样进行参数调整，而是直接预测输入数据集的病灶定位信息(即第二病灶定位信息)，结合第一病灶定位信息，进行非极大抑制(NMS)处理，获得新的训练数据集(即第三训练数据)，并重复第3步直至停止训练。

5、停止模型的训练后，通过输入数据先经过初始模型，预测出初始的病灶定位，并且使用这些定位信息对输入数据进行过滤，得到新的输入数据，并且将新的输入数据到最后的递增训练模型中，预测得到最终的病灶定位结果信息。

综上所述，相较于现有技术，本发明具有以下优点：

1、本发明结合了图像定位任务与图像语义分割任务，使得图像语义分割上有更好的效果。

2、本发明根据目前已有的目标定位深度学习模型，经过本发明的神经网络训练方式，使得其在目标定位任务上或其他图像任务上的精准度更高。本发明提出的递增训练方式，该训练方法提高了肿瘤预测的定位信息精度，并且将一些在初始训练时检测效果较差的肿瘤定位变得更加准确有用。

3、目前许多关于医学影像语义分割相关的论文，都是基于公开的数据集或比赛数据集，而这些数据集上都有个比较明显的特点，便是肿瘤的类别单一。以LITS2017的数据集为例，该数据集中大部分肿瘤都是灰度变化比较明显的肿瘤，而实际上的肝脏CT中，肿瘤的类别繁多，而且某些肿瘤的灰度与周围的正常组织十分接近，因此十分不明显。使用比赛数据训练出来的模型在实际应用上没有太多意义。并且该数据集中的每一例肝脏CT scans，都有几百张腹部扫描图(即CT scans的z轴间隔很小)，才可以运用上其3D结构，但实际情况的肝脏CT数据不可能像比赛数据集统一规范，只有单一类型的肿瘤，并且都在同一相期。并且如果无法使用3D结果，目前许多方法的肿瘤分割效果都将大打折扣。

而本发明在非公开数据集上，如医院上实际提供的第一手的肝脏CT数据上具有较好的效果。本发明即使在医院提供的更为普遍的数据集中，也可以达到很好的效果，并且使用LITS2017公开数据集进行测试验证，其肿瘤的语义分割效果不亚于使用了3D特性的模型的效果，而且即使在医院，也不能保证所有的肝脏CT扫描可提供3D结构，因此本发明的模型更加具有实际应用价值。

4、本发明不仅仅可用于肝脏肿瘤检测的语义分割，同样可以用于其他器官及肿瘤的语义分割，如肺部及肺结核的检测分割。

5、本发明使用图像定位任务来辅助进行肝脏肿瘤的划分，并且将肝脏语义分割的任务和肿瘤语义分割的任务相分离，实现肝脏肿瘤的自动定位分割。

6、本发明基于YOLO3目标检测模型和U-Net语义分割模型，就能达到很好的语义分割效果，不同于现有方法中提出的复杂模型结构。

7、本发明利用图像定位算法先对肝脏肿瘤进行定位，提取肿瘤的定位信息，使用预测的定位信息对原图像进行滤波，并且将滤波后的图像作为肝脏肿瘤分割模型的输入数据，这样做的意义是可以减少进行肝脏肿瘤分割时，肿瘤周围的噪声，加快分割模型的训练，预测的速度和并且提高了肿瘤分割的精度。

8、本发明对肝脏肿瘤定位模型，并不是简单使用目前已有的图像定位网络模型，而是先对运用目前比较好的图像定位网络模型先对肝脏肿瘤预测个大概的位置，并且此时先保证肿瘤的查全能力，之后运用粗略的肿瘤定位对原始输入数据进行滤波，并作为增强训练的输入数据，此时保证增强训练模型的查准率。增强训练方式的模型比初始模型的查准率和查全率都有所提升。循环上述的训练过程，直到预测的查准率和查全率不再提升或迭代训练次数超预设值的迭代次数。

在递增训练时，本发明会一直融合以前的增强训练模型预测的包围盒，因此随着增强训练继续，模型会一直学习如何分类到那些比较容易错误定位的包围盒，并且在进行最后的病灶定位预测时，输入数据仅仅需要经过初始模型和最后一次训练的增强训练模型。递增训练相对与初始训练相比，提高了肿瘤预测的定位信息精度，从而提高了系统的语义分割效果。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims

1.肝脏肿瘤自动分割定位方法，其特征在于：包括以下步骤：

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

将第四输入数据输入到U-Net肿瘤语义分割模型中，得到肿瘤语义分割结果；

还包括对肿瘤定位检测模型进行递增训练的步骤；

所述对肿瘤定位检测模型进行递增训练这一步骤，包括以下步骤：

将初始训练数据输入原始目标定位模型进行训练；

将第二训练数据输入当前肿瘤定位检测模型进行训练；

计算当前肿瘤定位检测模型的第二精确率和第二召回率；

2.根据权利要求1所述的肝脏肿瘤自动分割定位方法，其特征在于：所述对肝脏CT图像进行窗位窗宽处理，得到突出CT肝脏部位的第一输入数据这一步骤，包括以下步骤：

将肝脏CT图像与肝脏的临近图像进行组合处理；

3.根据权利要求1所述的肝脏肿瘤自动分割定位方法，其特征在于：所述肝脏语义分割结果的维度为(512，512，1)。

4.根据权利要求1所述的肝脏肿瘤自动分割定位方法，其特征在于：所述第三输入数据的维度为(416，416，3)。

5.根据权利要求1所述的肝脏肿瘤自动分割定位方法，其特征在于：所述肿瘤语义分割结果的维度为(512，512，1)。

6.肝脏肿瘤自动分割定位系统，其特征在于：包括：

肝脏语义分割模块，用于：

肿瘤定位检测模块，用于：

对肝脏语义分割结果进行过滤操作，得到第二输入数据；

对第二输入数据进行重构操作，得到第三输入数据；

肿瘤语义分割模块，用于：

还包括对肿瘤定位检测模型进行递增训练的模块，该模块具体用于：

将初始训练数据输入原始目标定位模型进行训练；

将第二训练数据输入当前肿瘤定位检测模型进行训练；

计算当前肿瘤定位检测模型的第二精确率和第二召回率；

7.肝脏肿瘤自动分割定位系统，其特征在于：包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-5中任一项所述的肝脏肿瘤自动分割定位方法。

8.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-5中任一项所述的肝脏肿瘤自动分割定位方法。