CN112263217A - 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 - Google Patents

Abstract

本发明公开一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，作用于病理特征复杂的肿瘤性皮肤病(基底细胞癌和鲍温病)病理图像。针对现有的YOLOv3深度卷积神经网络模型的不足，改进了卷积特征图的数量过渡变化剧烈、训练结果不好的问题，建立适合肿瘤性皮肤病(基底细胞癌和鲍温病)病理图像识别的卷积神经网络框架。不仅实现了肿瘤性皮肤病病理图像病种分类，而且锁定了病变区域，可辅助医生进行快速、有效地疾病判断，提高肿瘤性皮肤病病理图像的筛查率和准确率。

Description

一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变 区域检测方法

技术领域

本发明涉及医学图像人工智能目标检测领域，具体涉及一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法。

背景技术

皮肤病的病种繁多，目前已知的病种达四千余种。皮肤病的诊断源于临床医生的丰富经验和完善的实验室检查证据，前者取决于长年累月的知识沉淀和实践积累，后者取决于先进的测试手段和方法。皮肤病理是通过显微镜看到皮肤表皮、真皮等不同层次组织的病理改变，延伸了皮肤科医生的视野，临床和病理相辅相成，两者的结合帮助医生得出正确的诊断。但是一类皮肤病可以有多种病理分型，一种模式病理表现在临床可能有多个相似鉴别诊断，数量巨大的临床图片和病理图片极大地挑战了医生的记忆、分析、判断的能力。而且现实情况中多数皮肤科临床医生缺乏系统的皮肤病理知识经验，而病理科医生缺乏临床医生的实践，能够将临床和病理深度结合的皮肤病理医生非常紧缺，而且水平参差不齐。为此，我们希望能够借助人工智能的方法辅助医生进行皮肤病理图片的诊断。

近年来，利用人工智能方法对乳腺癌、肺癌细胞、骨髓造血系统肿瘤、胃癌细胞等癌症细胞进行早期筛选、辅助诊断方面取得了显著进展，这些细胞图像处理系统将人工智能、模式识别理论以及医学专家的知识与经验集于一体。目前，已有针对皮肤病理图像分类任务的相关研究，但进一步明确细胞组织病变区域的研究较少，该研究可以快速、有效地辅助医生锁定病变区域，缩短疾病的诊断时间。

发明内容

本发明的目的在于提供一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，作用于病理特征复杂的肿瘤性皮肤病病理图像，克服目前肿瘤性皮肤病病理图像只能进行病种分类，无法锁定病变区域的问题，可辅助医生进行快速、有效地疾病判断，提高肿瘤性皮肤病病理图像的筛查率。

为实现以上目的，本发明所提供的技术方案为：

一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，该方法包括以下操作步骤：

1.1获取皮肤肿瘤皮肤基底细胞癌和鲍温病的病理图像，建立图像数据集，对病变区域进行标注；

1.2构建深度卷积神经网络模型，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；

1.3将在大型数据集上预训练的卷神经网络迁移到肿瘤性皮肤病病理图像识别；

1.4编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

优选地，在所述步骤1.1中，对获取的肿瘤性皮肤病病理图像进行病种分类，由专业皮肤科医生对肿瘤性皮肤病病理图像进行病变区域标记，通过用矩形覆盖病变的区域来完成病变标注，矩形的顶点坐标与原始图像数据形成了带标记的病变细胞组织图像数据库。

优选地，在所述步骤1.2中，针对现有的YOLOv3深度卷积神经网络模型的不足进行改进，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；优化改进的YIOLOv3深度卷积神经网络模型80层后增加了新的卷积层，其卷积核为1×1，个数分别为512和256；逐步降低特征图的数量，81层和82层将特征图的数量减半，采用1×1大小的卷积核的目的是连通特征图并改变特征图映射的方式，然后通过网络多层预测思想，生成18个特征图来进行第一次的预测；同理，在模型中94层后采用1×1大小的卷积核连通上一层特征图，特征图的数量是通过95层折半减少，最终的模型层数为109层；除此之外算法设计还改变了route层对应的特征图分辨率的层数，采用84层、87层和97层。

优选地，在所述步骤1.3中，将改进后的YOLOv3深度卷积神经网络模型在大型COCO(Microsoft Common Objects in Context)数据集上进行预训练，并将已学习好的模型进行迁移到肿瘤性皮肤病病理图像识别上来，加快卷积神经网络的训练速度。

优选地，在所述步骤1.4中，编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

优选地，在所述步骤1.1中，将临床获取的肿瘤性皮肤病病理图像进行分类，对非黑色素瘤皮肤癌中常见的基底细胞癌和鲍温病，这两种最常见的皮肤癌病理图像进行整理。鲍温病又称为皮肤原位鳞状细胞癌。

优选地，在所述步骤1.1中，对整理好的皮肤病理图像数据集进行标注。优选使用的标注工具为LabelImg，该工具是一个图形图像注释工具，采用Python编写而成，并使用Qt作为其图形界面，注释以PASCAL VOC格式保存为XML文件。

优选地，在所述步骤1.1中，由专业皮肤科医生对肿瘤性皮肤病病理图像进行病变区域标记，通过用矩形覆盖病变的区域来完成病变标注，矩形的顶点坐标与原始图像数据形成了带标记的病变细胞组织图像数据库。

优选地，所述步骤1.2具体包括：

针对现有的YOLOv3深度卷积神经网络模型的不足进行改进，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；

YOLOv3使用了Darknet-53的变体，在检测任务上，YOLOv3算法提供了106层完全卷积的底层架构，采用三种不同的尺度进行预测，分别在网络的第82层、94层和106层进行检测。网络中的第85层和97层进行了上采样，将该层的特征图进行2倍的上采样，然后对应地与低层的特征图进行组合。该算法思想核心是将高层的特征图和低层的特征图进行合并，可以很好地保留低层的特征，从而使最终的检测准确度得以提高。YOLOv3网络采用了1×1和3×3大小的卷积核提取图像特征，并且使用类似残差网络中的shortcut连接。如res层，YOLOv3算法在第81层采用18个13×13大小的特征图，在第93层采用了18个26×26大小的特征图，在第105层采用了18个52×52大小的特征图，分别用于之后层进行了预测，共有第82层、94层和106层这3个进行预测的网络层。通过分析YOLOv3模型的特征提取层，发现模型特征提取的卷积核的数量在35层之前有32、64，64、128和128、256的间隔，但从37层开始由于特征图的分辨率降低，所以卷积核的数量增加到了512个，有了256、512卷积核的间隔，并在38～60层有规律地使用256卷积核、512卷积核和残差为单元的重复。在62层同样由于特征图的分辨率降低开始使用1024和512的卷积层重复，在81层直接通过18个1×1的卷积核将80层的1024个13×13的特征图卷积为18个13×13的特征图，同样在93层通过18个1×1的卷积核将92层的512个26×26的特征图卷积为18个26×26的特征图。考虑到这样特征图的数量过渡上稍显剧烈，可能会引起模型在收敛时由于变化过于剧烈而导致了训练结果不好或是训练效果有限。尤其是在第80层直接将1024个特征图卷积为18个特征图。因此本发明对YOLOv3的网络结构进行了改善。

优选地，优化改进的YIOLOv3算法模型在前80层都与原YOLOv3模型结构相同，区别在于改进的算法模型在80层后增加了新的卷积层，其卷积核为1×1，个数分别为512和256。逐步降低了特征图的数量，81层和82层将特征图的数量减半，采用1×1大小的卷积核的目的是连通特征图并改变特征图映射的方式，然后通过网络多层预测思想，生成18个特征图来进行第一次的预测。同理，在模型中94层后采用1×1大小的卷积核连通上一层特征图，特征图的数量是通过95层折半减少，最终的模型层数为109层。除此之外算法设计还改变了route层对应的特征图分辨率的层数，采用84层、87层和97层。

优选地，所述步骤1.3具体包括：

改进后的YOLOv3深度卷积神经网络模型的框架为Darknet，模型初始的参数是在COCO(Microsoft Common Objects in Context)数据集上预先训练过的参数。在此基础上，将已学习好的模型进行迁移到肿瘤性皮肤病病理图像识别上来，加快卷积神经网络的训练速度，并提升泛化的能力。并将检测类别数目改成需要的基底细胞癌和鲍温病两类。

优选地，所述步骤1.4具体包括：

首先编写Python脚本，主要用于将检测出的组织病理图像病变区域用带有预测概率的标注框显示出来。脚本的具体内容包括以下几点：1)、加载类别标签文件；2)、为每个类别的边界框随机匹配相应颜色；3)、载入图片并获取其维度；4)、加载模型配置和权重文件；5)、获取YOLO输出层的名字；6)、将图片构建成一个blob，设置图片尺寸，然后执行一次YOLO前馈网络计算，最终获取边界框和相应概率；7)、绘制边界框以及在左上角添加类别标签和置信度；8)、输出结果图片。

然后基于上述编写的Python脚本，医生通过调用步骤1.3训练得到的YOLOv3权重文件，对待识别的肿瘤性皮肤病病理图像进行检测，最终将得到带有预测概率的显示框标注的组织细胞病理图像，从而快速锁定病变区域。

与现有技术相比，本发明具有如下显而易见的突出实质性特点和显著的技术进步：

1.本发明改进型的YOLOv3卷积神经网络结构，用于肿瘤性皮肤病病理图像识别；该卷积神经网络避免了卷积特征图的数量过渡变化剧烈、训练结果不好或是训练效果有限的问题；

2.本发明利用改进后的YOLOv3算法对基底细胞癌和鲍温病的病变区域进行检测，结果表明改进后的模型算法具有较好的检测性能在阈值为0.5的条件下，基底细胞癌和鲍温病的识别精度分别为87.2％和84.2％。

附图说明

图1是本发明的病变区域检测流程示意图。

图2是基底细胞癌组织病理图片。

图3是鲍温病组织病理图片。

图4是本发明对于基底细胞癌病变区域的检测结果。

图5是本发明对于鲍温病病变区域的检测结果。

图6是本发明使用改进的YOLOv3模型在基底细胞癌和鲍温病病变区域检测实验中的PR曲线图。

具体实施方式

下面通过附图和优选实施例对本发明做进一步说明。

实施例一：

参见图1，一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其包括以下操作步骤：

1.1获取皮肤肿瘤皮肤基底细胞癌和鲍温病的病理图像，建立图像数据集，对病变区域进行标注；

1.2构建深度卷积神经网络模型，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；

1.3将在大型数据集上预训练的卷神经网络迁移到肿瘤性皮肤病病理图像识别；

1.4编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

本实施例基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，作用于病理特征复杂的肿瘤性皮肤病病理图像，克服目前肿瘤性皮肤病病理图像只能进行病种分类，无法锁定病变区域的问题，可辅助医生进行快速、有效地疾病判断，提高肿瘤性皮肤病病理图像的筛查率。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

所述所述步骤1.1对临床获取的肿瘤性皮肤病病理图像进行病种分类，由专业皮肤科医生对肿瘤性皮肤病病理图像进行病变区域标记，通过用矩形覆盖病变的区域来完成病变标注，矩形的顶点坐标与原始图像数据形成了带标记的病变细胞组织图像数据库。

所述步骤1.2针对现有的YOLOv3深度卷积神经网络模型的不足进行改进，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；优化改进的YIOLOv3深度卷积神经网络模型的80层后增加了新的卷积层，其卷积核为1×1，个数分别为512和256；逐步降低了特征图的数量，81层和82层将特征图的数量减半，采用1×1大小的卷积核的目的是连通特征图并改变特征图映射的方式，然后通过网络多层预测思想，生成18个特征图来进行第一次的预测；同理，在模型中94层后采用1×1大小的卷积核连通上一层特征图，特征图的数量是通过95层折半减少，最终的模型层数为109层；除此之外算法设计还改变了route层对应的特征图分辨率的层数，采用84层、87层和97层。

所述步骤1.3将改进后的YOLOv3深度卷积神经网络模型在大型COCO(全称Microsoft Common Objects in Context)数据集上进行预训练，并将已学习好的模型进行迁移到肿瘤性皮肤病病理图像识别上来，加快卷积神经网络的训练速度。

所述步骤1.4编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

本实施例改进型的YOLOv3卷积神经网络结构，用于肿瘤性皮肤病病理图像识别；该卷积神经网络避免了卷积特征图的数量过渡变化剧烈、训练结果不好或是训练效果有限的问题。

实施例三：

本实施例与上述实施例基本相同，特别之处如下：

图1是本发明的病变区域检测流程示意图，包括以下步骤：

1.1获取皮肤肿瘤皮肤基底细胞癌和鲍温病的病理图像样本，建立图像数据集，对病变区域进行标注，形成图像数据库；

本实施例选取了基底细胞癌和鲍温病两类数据集各800张，其中600张用于训练，200张用于检测；

对于皮肤基底细胞癌和鲍温病的病变检测，利用精度和召回率两个指标来衡量，精度的计算公式为：

其中，TP表示检测出来的病变里面所有真正的病变数量；FP则表示检测出来的病变里面检测错误的病变数量；因此精度表示的含义是在检测出来的病变数量中检测正确的概率；

召回率的计算公式为：

其中，FN表示未被正确检测出来的病变数量；召回率所表示的含义是检测到的正确病变与实际上所有病变的比值，即真正的病变被正确检测出来的概率；除此之外，还通过Precision-Recall曲线及其曲线下面积来综合评估模型性能；其中Precision-Recall曲线以下简称PR曲线，曲线下面积即为平均精度，简称AP；

图2是基底细胞癌组织病理图片，并在图片上进行标注。图3是鲍温病组织病理图片，并在图片上进行标注；由专业皮肤科医生标记的病变组织用于神经网络的训练，通过用矩形覆盖病变的区域来完成病变标注，矩形的顶点坐标与原始图像数据形成了带标记的病变细胞组织图像数据库；

YOLOv3使用了Darknet-53的变体，在检测任务上，YOLOv3算法提供了106层完全卷积的底层架构，采用三种不同的尺度进行预测，分别在网络的第82层、94层和106层进行检测；网络中的第85层和97层进行了上采样，将该层的特征图进行2倍的上采样，然后对应地与低层的特征图进行组合；该算法思想核心是将高层的特征图和低层的特征图进行合并，可以很好地保留低层的特征，从而使最终的检测准确度得以提高；YOLOv3网络采用了1×1和3×3大小的卷积核提取图像特征，并且使用类似残差网络中的shortcut连接；其中res层，YOLOv3算法在第81层采用18个13×13大小的特征图，在第93层采用了18个26×26大小的特征图，在第105层采用了18个52×52大小的特征图，分别用于之后层进行了预测，共有第82层、94层和106层这3个进行预测的网络层；本实施例通过分析YOLOv3模型的特征提取层，发现模型特征提取的卷积核的数量在35层之前有32、64，64、128和128、256的间隔，但从37层开始由于特征图的分辨率降低，所以卷积核的数量增加到了512个，有了256、512卷积核的间隔，并在38～60层有规律地使用256卷积核、512卷积核和残差为单元的重复；在62层同样由于特征图的分辨率降低开始使用1024和512的卷积层重复，在81层直接通过18个1×1的卷积核将80层的1024个13×13的特征图卷积为18个13×13的特征图，同样在93层通过18个1×1的卷积核将92层的512个26×26的特征图卷积为18个26×26的特征图；考虑到这样特征图的数量过渡上稍显剧烈，可能会引起模型在收敛时由于变化过于剧烈而导致了训练结果不好或是训练效果有限；尤其是在第80层直接将1024个特征图卷积为18个特征图；因此本实施例对YOLOv3的网络结构进行了改善，改进的网络算法模型结构如表1所示，其它未显示层的结构保持不变；

1.2构建深度卷积神经网络模型，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；

优化改进的YIOLOv3算法模型在前80层都与原YOLOv3模型结构相同，区别在于改进的算法模型在80层后增加了新的卷积层，其卷积核为1×1，个数分别为512和256。逐步降低了特征图的数量，81层和82层将特征图的数量减半，采用1×1大小的卷积核的目的是连通特征图并改变特征图映射的方式，然后通过网络多层预测思想，生成18个特征图来进行第一次的预测；在模型中94层后采用1×1大小的卷积核连通上一层特征图，特征图的数量是通过95层折半减少，最终的模型层数为109层；除此之外算法设计还改变了route层对应的特征图分辨率的层数，采用84层、87层和97层，具体细节如表1所示；

表1.本发明改进的YOLOv3模型结构表征数据

对基底细胞癌和鲍温病病变区域检测的结果如图4和图5所示。从测试的结果可以看出，基于YOLOv3训练得到的模型在基底细胞癌和鲍温病的组织病理图像中具有良好的检测效果。除了少数漏检和误检的病变区域外，大多数的病变区域都被准确的检测出来。

使用改进后的YOLOv3模型对收集的图像数据集训练后进行测试，当模型的阈值取0.4、0.5、0.6和0.7时，模型检测的Precision和Recall值如表2所示。

表2.使用改进的YOLOv3模型在基底细胞癌和鲍温病病变区域检测上的表现

基底细胞癌和鲍温病对应阈值下模型的PR曲线如图6所示。

从表2和图6可以发现：改进的YOLOv3模型在基底细胞癌和鲍温病病变区域的检测试验中，在相同召回率下有着较高的精度。其中鲍温病的PR曲线在低召回率下识别精度较高；随着召回率的增加，模型的识别精度逐渐下降，但仍保持在较高水平。从图6可知，无论是在基底细胞癌还是在鲍温病上，改进后的模型在PR曲线上都具有更高的AP值，曲线与坐标轴围成的面积更大,。通过以上实验指标和图形可知，改进的YOLOv3算法在给定阈值下，对于基底细胞癌和鲍温病的检测任务有较高的识别性能。

综上所述，上述实施例基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，作用于病理特征复杂的肿瘤性皮肤病病理图像。针对现有的YOLOv3深度卷积神经网络模型的不足，改进了卷积特征图的数量过渡变化剧烈、训练结果不好的问题，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架。不仅实现了肿瘤性皮肤病病理图像病种分类，而且锁定了病变区域，可辅助医生进行快速、有效地疾病判断，提高肿瘤性皮肤病病理图像的筛查率和准确率。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效流程形式变换，或运用在其他相关的技术领域，均包括在本发明的专利保护范围内。

Claims (5)

1.一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其特征在于，包括以下操作步骤：

1.1获取皮肤肿瘤皮肤基底细胞癌和鲍温病的病理图像，建立图像数据集，对病变区域进行标注；

1.2构建深度卷积神经网络模型，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；

1.3将在大型数据集上预训练的卷神经网络迁移到肿瘤性皮肤病病理图像识别；

1.4编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

2.根据权利要求1所述基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其特征在于，在所述步骤1.1中，对获取的肿瘤性皮肤病病理图像进行病种分类，由专业皮肤科医生对肿瘤性皮肤病病理图像进行病变区域标记，通过用矩形覆盖病变的区域来完成病变标注，矩形的顶点坐标与原始图像数据形成了带标记的病变细胞组织图像数据库。

3.根据权利要求1所述基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其特征在于，在所述步骤1.2中，建立适合肿瘤性皮肤病病理图像识别的卷积神经网络框架；在YIOLOv3深度卷积神经网络模型的80层后增加了新的卷积层，其卷积核为1×1，个数分别为512和256；逐步降低特征图的数量，81层和82层将特征图的数量减半，采用1×1大小的卷积核的目的是连通特征图并改变特征图映射的方式，然后通过网络多层预测思想，生成18个特征图来进行第一次的预测；

在模型中94层后采用1×1大小的卷积核连通上一层特征图，特征图的数量是通过95层折半减少，最终的模型层数为109层；还改变了route层对应的特征图分辨率的层数，采用84层、87层和97层。

4.根据权利要求1所述基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其特征在于，在所述步骤1.3中，将YOLOv3深度卷积神经网络模型在大型COCO(Microsoft Common Objects in Context)数据集上进行预训练，并将已学习好的模型进行迁移到肿瘤性皮肤病病理图像识别上来，加快卷积神经网络的训练速度。

5.根据权利要求1所述基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法，其特征在于，在所述步骤1.4中，编写用于组织病理图像病变区域检测的脚本，实现肿瘤性皮肤病病理图像识别，并快速锁定病变区域。

Images