CN110717907A - 一种基于深度学习的手部肿瘤智能检测方法 - Google Patents

Abstract

本发明涉及一种肿瘤检测方法，特别涉及一种基于深度学习的手部肿瘤智能检测方法，属于医学影像智能识别技术领域。一种基于深度学习的手部肿瘤智能检测方法，该方法包括以下步骤：(1)对手部肿瘤磁共振影像进行标注；(2)对标注数据进行预处理，并对数据集进行增强；(3)构建全卷积神经网络模型，确定全卷积神经网络模型的参数，将数据集输入全卷积神经网络模型中，利用损失函数

进行训练；其中l(x)为像素点x的标注类别，W_l(x)对应类别l(x)的权重。利用深度学习方法从数据集上进行特征学习，得到训练好的全卷积神经网络；(4)将待预测影像输入到智能检测模型中，得到预测结果。

Description

一种基于深度学习的手部肿瘤智能检测方法

技术领域

本发明涉及一种肿瘤检测方法，特别涉及一种基于深度学习的手部肿瘤智能检测方法，属于医学影像智能识别技术领域。

背景技术

基于磁共振影像的肿瘤检测技术是智能医学影像中的重要方法。基于卷积神经网络的深度学习方法是十分有效的方法，如肺结节CT检测,脑肿瘤磁共振检测,甲状腺肿瘤超声检测等。手部肿瘤类型繁多，临床诊断较难，检查手段繁多(超声，CT，磁共振等)，影像诊断医师往往很难作出正确诊断，与最终病理诊断会有差别。手部虽然良性肿瘤居多，据统计95％的不累及皮肤的肿瘤为良性肿瘤，但是恶性肿瘤也不少见，这就容易造成误诊和延误治疗机会。目前手术治疗不规范(切除范围等)，首先来自术前诊断的不明确，所以提高诊断率非常关键。手部肿瘤具有容易复发的特点。

手不仅是劳动的工具,还是人的仪表的重要组成部分。手部肿瘤复发后残留手术畸形，影响神经肌腱，甚至最终导致截肢。这不仅给人的生活与工作造成不便,而且还影响到人的形象和社交活动。诊断后的治疗建议的推送：是否穿刺活检；若恶性则生存率，放化疗；对罕见肿瘤是否需要基因检测；整个治疗的费用选择等等，能为临床医生提供参考。对复发或怀疑复发的肿瘤病人的预警，可以在不影响肌腱神经等重要结构的情况下再次完整切除肿瘤或的临床资料，有利于患者的整体治疗，减少了国家医疗费用开支，减轻了病人的经济负担，最重要的是获得了良好的预后功能。

基于深度卷积神经网络的肿瘤检测方法的流程包括：图像标注、数据预处理和模型的训练。肿瘤检测方法主要用到了图像分割技术，而医学图像分割是决定医学影像在临床诊疗能否提供可靠辅助的关键。从医学图像自动分割出目标是个艰巨的任务，因为医学图像具有较高的复杂性且缺少简单的线性特征。相较于传统的图像处理方法，近年来，基于深度学习的方法在图像分割领域取得了显著的成就。深度学习的主要任务是构建深层神经网络模型，通过训练发掘输入数据的内在特征与联系，借助网络模型完成对未知数据的标记，分类和预测。现在的主流图像分割模型都是基于卷积神经网络。卷积神经网络最早由LeCun提出，该网络被用于手写体识别任务。卷积神经网络最核心的操作就是卷积操作。卷积操作是一种提取图像特征非常有效的技术手段。因此，卷积神经网络被大量应用于图像识别、分类和分割等领域。

当前，在图像分割领域，最常见的模型包括FCN、U-Net、Deeplab等等。FCN与传统的CNN模型最大的不同之处在于FCN将CNN中的全连接层转化为一个个的卷积层，可适应任意尺寸的输入，同时借助反卷积层增大数据尺寸，输出更加精细的结果，最后结合不同深度结果的跳跃结构，增强了模型的鲁棒性和准确性。U-Net的网络结构类似，但是U-Net在上采样与下采样阶段采用了相同数量层次的卷积操作，且使用跳跃连接将下采样与上采样层相连，使得下采样层提取到的特征可以直接传递到上采样层，这使得U-Net网络的像素定位更加准确，分割精度更高。DeepLab算法结合了深度卷积网络和概率图模型，并且创新性的将空洞卷积算法应用到了深度卷积神经网络上，在现代GPU上运行速度达到了8FPS。并且在DeepLab v1的基础之上，Google团队又先后推出了DeepLab v2,DeepLab v3版本。

上述的主流模型效果很好，但是FCN并没有充分考虑全局上下文信息，且效率也不够及时；U-Net直接融合了浅层特征与深层特征，可能会造成语义缺失问题；最后，DeepLab系列虽然在图像分割领域取得了显著的成就，但是其复杂的网络结构可能并不适用于数据量较小的医学图像分割问题。除此以外，神经网络模型的训练也是很耗费时间和计算力。

发明内容

本发明的目的在于提供一种基于深度学习的手部肿瘤智能检测方法，该方法将算法运用于磁共振诊断手部肿瘤，加快深度模型的训练，并可用于实际手部肿瘤诊断辅助。

本发明解决其技术问题所采用的技术方案是：

一种基于深度学习的手部肿瘤智能检测方法，该方法包括以下步骤：

(1)对手部肿瘤磁共振影像进行标注；

(2)对标注数据进行预处理，并对数据集进行增强；

(3)构建全卷积神经网络模型，确定全卷积神经网络模型的参数，将数据集输入全卷积神经网络模型中，利用损失函数

进行训练；其中l(x)为像素点x的标注类别，W_l(x)对应类别l(x)的权重。利用深度学习方法从数据集上进行特征学习，得到训练好的全卷积神经网络；

(4)将待预测影像输入到智能检测模型中，得到预测结果。

作为优选，步骤(1)是对不同类型的手部肿瘤标注不同颜色的分割掩膜。

作为优选，步骤(2)包括：①对标注数据进行预处理：由标注文件批量生成彩色标注图，随后对彩色标注图进行转码，得到灰度标注图；②对数据集进行增强：对数据集中影像与标注图进行翻转和裁剪。

作为优选，步骤(3)包括：①构建一个全卷积神经网络模型，整个全卷积神经网络模型为Encoder-Decoder架构；取标注的数据集进行划分，一部分为训练集，一部分为测试集，其中测试集中包括验证集；将训练集中的数据随机载入特征提取网络，经过卷积层提取图像特征，形成低层编码特征图；②将提取的底层编码特征图输入到ASPP模块中得到高层编码特征图；③对高层编码特征图进行上采样，与底层编码特征图连接，得到底层解码特征图；④使用3*3卷积层对底层解码特征图进行解码，得到高层解码特征图；⑤对高层解码特征图进行4倍双线性上采样，得到预测结果；⑥由预测结果与标注结果，利用损失函数优化网络参数；经过多次迭代后，得到智能检测模型。

作为优选，步骤(3)③的具体过程如下：Encoder模块使用特征提取网络提取特征。特征提取网络由Entry flow、Middle flow、Exit flow三个部分构成：(1)Entry flow部分首先对输入图像进行2次3*3的卷积操作，随后进行9次3*3的深度分离卷积操作与三次1*1卷积操作分支，每次深度分离卷积操作附加BN层与ReLU激活函数。(2)Middle flow部分包含3次3*3的深度分离卷积操作，整个部分在网络中重复16次。(3)Exit flow部分包含6次3*3的深度分离卷积操作，与一个1*1卷积操作分支。

作为优选，步骤(3)④的具体过程是：平行使用四个3*3的空洞卷积层对底层编码特征图提取特征，在保持计算量的同时扩大感受野，同时聚合多尺度的上下文信息，获取更好的分割结果。

作为优选，步骤(3)⑤的具体过程是：(1)根据步骤3所述提取底层解码特征图，对高层编码特征图进行4倍双线性上采样；(2)使用1*1卷积来降低底层编码特征图的通道数。

作为优选，步骤(3)中所述的卷积层的卷积运算在二维情况下可由如下述公式表示：

上式中，

表示l层的第n张特征图，O表示前一层输入的特征图的数量，(x，y)表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，c表示的是[1，O]的下标变量，p、q表示卷积核的高和宽，i表示[O，p]的下标变量、j表示[O，q]的下标变量，

表示l-1层的第n个通道的的偏置值，f是局部线性的rectify函数，其函数形式可表示如下：

作为优选，步骤(3)中所述的空洞卷积层的卷积运算在二维情况下可由如下述公式表示：

y[i]＝∑_kx[i+r*k]w[k]

上式中，i表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，y表示输出的特征图，x表示输入的特征图，其中空洞率r决定了我们对输入信号采样的步幅大小。

本发明是一类用于检测手部肿瘤的智能检测方法，通过手部肿瘤的磁共振图像进行基于深度学习技术的智能分析技术实现。为此，发明人设计了相应的预处理方法，并利用深度卷积神经网络建立了有效的肿瘤检测模型。

本发明是针对手部肿瘤磁共振影像的深度卷积神经网络方法，本发明适用于手部肿瘤磁共振图像检测，辅助医生进行诊断，辅助决策良恶性程度，手术切除范围等。

本发明采用迁移学习的方式，以VOC数据集训练得到的分割模型作为预训练模型，有效地缩短了模型的训练时间。

1.肿瘤图像的标注

由多位医疗专家使用labelme工具标注肿瘤磁共振图像，得到标注文件，并对来自不同医疗专家的标注结果进行统一，构成最后标注的数据集；

2.肿瘤图像预处理

医学影像的数据集则与标准数据集存在着较大差异，直接使用已有模型并不能获得满意的效果。发明人注意到模型“Deeplab v3+”在VOC2012，Cityscapes,ADE20K等公开数据集上达到了工艺水准，但是这些数据集中的分割目标多为行人，街道，房屋，在图像中占比较大，同时分割目标出现的频率相差不大。应用于手部肿瘤智能检测中存在一定的困难：一方面是数据集样本较少，另一方面分割的目标-肿瘤的形状通常各式各样，大小各异，样本图像中背景占比往往较大，导致了图像分割问题中目标数据不平衡问题。

本发明提出了一些有效的预处理方法，针对分割目标在图像中的整体分布对样本图像进行剪裁、翻转等数据增强操作，解决了数据集规模较小的问题。借助预处理脚本完成对标注文件的批量处理，生成对应的灰度标注图。最后将数据集划分为训练集和验证集，打包生成TFRecord文件。

肿瘤磁共振图像与灰度标注图如图3所示。

3.深度模型的搭建和训练

本发明的算法采用经典的Encoder-Decoder架构。该结构在其他深度学习应用领域，如姿态估计、目标检测和语义分割等均获得了满意的效果。通常Encoder-Decoder网络包含：Encoder模块逐步减少特征图的分辨率，捕获高级语义信息；Decoder模块利用反卷积或上采样等技术逐渐恢复空间信息。

首先将训练集中的图像读入特征提取网络提取特征，得到底层编码特征图；随后将提取的底层编码特征图输入到ASPP模块中，平行使用四个3*3的空洞卷积层对底层编码特征图提取特征，在保持计算量的同时扩大感受野，同时聚合多尺度的上下文信息，获取更好的分割结果；接着对高层编码特征图进行4倍双线性上采样，与底层编码特征图连接，其中底层编码特征图经过1*1卷积来降低通道数，得到底层解码特征图；使用3*3卷积层对底层解码特征图进行解码，得到高层解码特征图；对高层解码特征图进行4倍双线性上采样，得到预测结果，由预测结果与标注结果，利用损失函数：

进行训练，其中l(x)为像素点x的标注类别，W_l(x)对应类别l(x)的权重。

4.对测试图像实施推断和应用

模型训练完成后，借助预测脚本对肿瘤影像进行单张分割预测，抑或利用验证脚本对肿瘤影像进行批量分割预测。

整个项目的数据流程图如图1所示。

与现有技术相比，本发明的有益效果在于：

(1)本发明改进了已有模型的损失函数类型，解决了医学图像数据不平衡的问题，有效地避免了已有模型对于面积较小肿瘤出现的“漏检”的情况；

(2)本发明通过多块gpu的并行计算完成了深度网络的训练，提高了训练的效果；

(3)本发明可以适用于手部肿瘤磁共振图像检测，辅助医生进行诊断。

附图说明

图1为本发明的数据流程图；

图2是本发明所采用的深度卷积神经网络结构示意图；

图3为本发明所做的数据标记示意图，其中左图是磁共振图像，右图为手工标记；

图4为本发明一个实施手部肿瘤检测的效果图，其中，1、3列为测试用的磁共振图像，2、4列为与之相应的肿瘤区域算法预测结果。

具体实施方式

下面通过具体实施例，对本发明的技术方案作进一步的具体说明。应当理解，本发明的实施并不局限于下面的实施例，对本发明所做的任何形式上的变通和/或改变都将落入本发明保护范围。下述实施例中的方法，如无特别说明，均为本领域的常规方法。

实施例

一种基于深度学习的手部肿瘤智能检测方法，具体包括如下步骤：

1、数据采集与标注

使用labelme工具标注数据，得到同名的json文件。随后利用json_to_dataset.py脚本完成对标注文件的批量转换，每个json文件生成一个同名文件夹，其中包含分割图像。

2、原始数据以及标记数据的预处理，建立VOC2012格式的数据集。

文件目录体系的构造如下所述：VOC文件夹主要包含ImageSets、JPEGImages、SegmentationClass、SegmentationClassRaw、tfrecord五个子目录。其中ImageSets文件夹包含Segmentation子文件夹，含有三个txt文本，分别记录划分得到的训练集与验证集的样本名称，从数据集中随机抽取10％的样本构成验证集；JPEGImages文件夹包含了所有的样本数据；SegmentationClass文件夹包含了批量转换得到的彩色分割图像；接着利用Python的pillow库，将16位的彩色标注图像进行转码，得到8位的灰度标注图像，生成的灰度标注图像保存在SegmentationClassRaw子文件夹下；最后将样本图片与标注图片打包生成tfrecord文件，存放于tfrecord文件夹中。

3、建立深度学习模型

选用典型的encoder-decoder网络结构。Encoder模块使用特征提取网络提取特征。特征提取网络由Entry flow、Middle flow、Exit flow三个部分构成：

(1)Entry flow部分首先对输入图像进行2次3*3的卷积操作，随后进行9次3*3的深度分离卷积操作与三次1*1卷积操作分支，每次深度分离卷积操作附加BN层与ReLU激活函数。

(2)Middle flow部分包含3次3*3的深度分离卷积操作，整个部分在网络中重复16次。

(3)Exit flow部分包含6次3*3的深度分离卷积操作，与一个1*1卷积操作分支。

整个网络的架构如图2所示。

在提取特征之后，利用多个平行的扩张卷积(即ASPP，空洞空间金字塔池化)生成具有多尺度信息的特征图，将得到的多个特征图进行连接得到最终的高层编码特征图。在decoder模块中，对高层编码特征图进行4倍双线性上采样，并与encoder中相同分辨率的底层编码特征图连接，最后经过一个3*3卷积细化特征，通过4倍双线性上采样得到预测图像。网络输出的预测结果为像素级别的softmax值，即每个像素点的值为

表示预测图像中像素点x属于目标类别i的概率。接着对灰度标注图进行类别统计，即统计不同像素(0，0，0)，(1,1,1)，(K,K,K)在图像中的占比大小，占比越大的类别i在损失函数中的权重wi越小。

全卷积神经网络中的卷积运算在二维情况下可由如下述公式表示：

上式中，表示l层的第n张特征图，O表示前一层输入的特征图的数量，(x，y)表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，c表示的是[1，O]的下标变量，p、q表示卷积核的高和宽，i表示[O，p]的下标变量、j表示[O，q]的下标变量，表示l-1层的第n个通道的的偏置值，f是局部线性的rectify函数，其函数形式可表示如下：

全卷积神经网络中中所述的空洞卷积层的卷积运算在二维情况下可由如下述公式表示：

y[i]＝∑_kx[i+r*k]w[k]

上式中，i表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，y表示输出的特征图，x表示输入的特征图，其中空洞率r决定了我们对输入信号采样的步幅大小。

损失函数的表达式为

其中l(x)为像素点x的标注类别，wl(x)对应类别l(x)的权重。

4、实施训练模型的算法

为了加快训练速度，取得更好的训练效果，发明人选取在VOC2012数据集预训练得到的模型，在此基础上进行迁移学习。首先在segmentation_dataset.py脚本中注册自己的数据集，包含训练集与验证集所含样本数量，同时设置数据集的类别数量(分割目标数+背景+忽视标签)；接着，为了在训练过程中使用改进的损失函数，在train.utils.py脚本中修改exclude_list参数，使加载预训练模型时不加载logit层；训练模型时，设置迭代次数为30000次，初始学习率为0.001。

最终，可实施推断以及辅助决策过程。

获得新图像的肿瘤类型以及肿瘤区域，辅助医生判断获得的肿瘤类型。

图4是手部肿瘤检测的效果图，其中，1、3列为测试用的磁共振图像，2、4列为与之相应的肿瘤区域算法预测结果。

本发明所述的检测方法实现了医生诊断等方面的辅助决策过程，具体是：

1、辅助经验不足的医生诊断

医学图像分割往往是医学诊疗的重要一步，只有完整地将病灶标出，医生才能根据病灶特征，结合病人信息做出正确的医学诊断。在现实场景中，手工标注不仅花费大量的时间和精力，更是需要专业级别的医学知识作为基础，这对经验较为欠缺的医生构成了不小的挑战。可将本发明算法封装为电脑软件，通过与医院病例数据库连接，在诊疗时自动分割病灶，为医生提供参考，更好地降低误诊率。现阶段本算法已具备专业级医生的识别水平。

2、病人自助诊疗

现阶段各地方医疗资源分配不均，优质的医疗资源集中在北上广等一线城市，同时农村相较于城市医疗条件较为落后，遇到肿瘤等重大疾病时，人们往往无法就近求医。同时肿瘤疾病的治疗刻不容缓，稍微耽误宝贵的治疗时间就可能导致肿瘤的蔓延以及恶性病变。因此，倘若能让人们在出现不适症状时自行辅助诊断，及时判断自身身体情况，对肿瘤疾病的治疗起着至关重要的作用。本算法可封装成手机app，供人们下载安装。这样不管是在哪里，只要当使用者出现身体不适，便可借助手机应用扫描MRI影像片，对自身身体状况作出初步判断，实现早治疗早康复。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (9)

1.一种基于深度学习的手部肿瘤智能检测方法，其特征在于该方法包括以下步骤：

(1)对手部肿瘤磁共振影像进行标注；

(2)对标注数据进行预处理，并对数据集进行增强；

(3)构建全卷积神经网络模型，确定全卷积神经网络模型的参数，将数据集输入全卷积神经网络模型中，利用损失函数

进行训练；其中l(x)为像素点x的标注类别，W_l(x)对应类别l(x)的权重；

(4)将待预测影像输入到智能检测模型中，得到预测结果。

2.根据权利要求1所述的手部肿瘤智能检测方法，其特征在于：步骤(1)是对不同类型的手部肿瘤标注不同颜色的分割掩膜。

3.根据权利要求1所述的手部肿瘤智能检测方法，其特征在于：步骤(2)包括：

①对标注数据进行预处理：由标注文件批量生成彩色标注图，随后对彩色标注图进行转码，得到灰度标注图；

②对数据集进行增强：对数据集中影像与标注图进行翻转和裁剪。

4.根据权利要求1所述的手部肿瘤智能检测方法，其特征在于：步骤(3)包括：

①构建一个全卷积神经网络模型，整个全卷积神经网络模型为Encoder-Decoder架构；

取标注的数据集进行划分，一部分为训练集，一部分为测试集，其中测试集中包括验证集；

将训练集中的数据随机载入特征提取网络，经过卷积层提取图像特征，形成低层编码特征图；

②将提取的底层编码特征图输入到ASPP模块中得到高层编码特征图；

③对高层编码特征图进行上采样，与底层编码特征图连接，得到底层解码特征图；

④使用3*3卷积层对底层解码特征图进行解码，得到高层解码特征图；

⑤对高层解码特征图进行4倍双线性上采样，得到预测结果；

⑥由预测结果与标注结果，利用损失函数优化网络参数；

经过多次迭代后，得到智能检测模型。

5.根据权利要求4所述的手部肿瘤智能检测方法，其特征在于：步骤(3)①的具体过程如下：

Encoder模块使用特征提取网络提取特征，特征提取网络由Entry flow、Middle flow、Exit flow三个部分构成：

(1)Entry flow部分首先对输入图像进行2次3*3的卷积操作，随后进行9次3*3的深度分离卷积操作与三次1*1卷积操作分支，每次深度分离卷积操作附加BN层与ReLU激活函数；

(2)Middle flow部分包含3次3*3的深度分离卷积操作，整个部分在网络中重复16次；

(3)Exit flow部分包含6次3*3的深度分离卷积操作，与一个1*1卷积操作分支。

6.根据权利要求4所述的手部肿瘤智能检测方法，其特征在于：(3)④的具体过程是：平行使用四个3*3的空洞卷积层对底层编码特征图提取特征，在保持计算量的同时扩大感受野，同时聚合多尺度的上下文信息，获取更好的分割结果。

7.根据权利要求4所述的手部肿瘤智能检测方法，其特征在于：步骤(3)⑤的具体过程是：

(1)根据步骤3所述提取底层解码特征图，对高层编码特征图进行4倍双线性上采样；

(2)使用1*1卷积来降低底层编码特征图的通道数。

8.根据权利要求1所述的手部肿瘤智能检测方法，其特征在于：步骤(3)中所述的卷积层的卷积运算在二维情况下可由如下述公式表示：

上式中，

表示l层的第n张特征图，O表示前一层输入的特征图的数量，(x，y)表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，c表示的是[1，O]的下标变量，p、q表示卷积核的高和宽，i表示[O，p]的下标变量、j表示[O，q]的下标变量，

表示l-1层的第n个通道的的偏置值，f是局部线性的rectify函数，其函数形式表示如下：

9.根据权利要求1所述的手部肿瘤智能检测方法，其特征在于：步骤(3)中所述的空洞卷积层的卷积运算在二维情况下可由如下述公式表示：

y[i]＝∑_kx[i+r*k]w[k]，

上式中，i表示特征图上的指定位置，w表示卷积核，即卷积神经网络中的权重参数，y表示输出的特征图，x表示输入的特征图，其中空洞率r决定了我们对输入信号采样的步幅大小。

Images