CN112102256A - 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 - Google Patents

Abstract

本发明属于医学图像处理技术领域，具体为一种面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统。本发明系统包括特征提取骨干网络和特征金字塔、区域候选网络、兴趣区域池化与癌灶分类网络，以及在窄带成像内镜图像上进行可视化的系统。骨干网络用于提取输入图像的特征图；特征金字塔用于将不同尺度的特征相融合；区域候选网络提出可能的病灶区域；对兴趣区域池化将特征池化到可疑病灶区域；癌灶分类网络对癌灶进行分类；最后在窄带成像内镜图像上进行可视化，使用不同的颜色对癌灶进行框选标记。将窄带成像内镜的图像输入到网络模型中，对图像中存在的早期食管鳞癌的癌灶进行检测与诊断，可有效提升诊断效率，辅助医生获取更高的诊断精度。

Description

面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统

技术领域

本发明属于医学图像处理技术领域，具体涉及一种早期食管鳞癌的癌灶检测及诊断系统。

背景技术

食管癌是一种常见的恶性肿瘤，其死亡率居恶性肿瘤的第六位。中国95%的食管癌为鳞状细胞癌^[10]。研究表明，进展期食管鳞癌的五年生存率仅为10%-13%，而早期食管鳞癌的五年生存率却可达90% 以上^[11]，因此食管鳞癌的早期诊治极为重要，会直接影响到患者的预后情况。近年来，随着内镜技术的发展，通过内镜治疗早期食管鳞癌已得到认可。内镜下治疗食管鳞癌的可行性主要取决于术前对病变深度的判断，即癌灶的浸润深度和周围淋巴结的转移情况。窄带成像内镜技术是目前内镜下判断早期食管鳞癌浸润深度的主要方法之一。通过对窄带成像内镜的观察，医生可以给出相应的初步诊断结果。但是一些人为因素，比如医生经验不足、疲劳、疏忽等，可能直接影响诊断的准确性。

根据Inoue 和Arima 提出的早期食管鳞癌浸润深度分型标准^[15]，一般可将血管分为A、B1、B2 和B3四种类型。其中A型指观察到非异常血管；B1 型指观察到襻状异常血管，血管扩张，形态呈蛇形，口径不同、形状不均一，直径为20-30微米，其浸润深度为M1-M2 层;B2 型指观察到非襻状血管，血管形态呈不规则树枝状或多重状，其浸润深度为M3-SM1 层;B3 型指观察到粗大的绿色血管，血管高度扩张，其浸润深度为SM2层。

深度卷积神经网络是一种机器学习技术，可以有效避免人为因素，自动从有标记的大量数据中学习如何提取丰富的具有代表性的视觉特征。该技术使用反向传播优化算法，让机器更新其内部参数，学习输入图像到标签的映射关系。近年来，深度卷积神经网络大大提高了计算机视觉中各项任务的性能。

2012年，Krizhevsky等人^[1]首次在ImageNet^[2]图像分类比赛中应用深度卷积神经网络，并以15.3%的Top-5错误率获得冠军，引起了深度学习的热潮。2015年，Simonyan等人^[3]提出了16和19层的神经网络VGG-16和VGG-19，增加了网络的参数量，进一步提升了ImageNet图像分类任务的结果。2016年，He等人^[4]使用152层的残差网络ResNet取得了超过了人眼的分类效果。

深度卷积神经网络不仅在图像分类任务中有卓越的表现，在一些结构化输出的任务中，如物体检测^[5-7]、语义分割^[8,9]中也同样取得了卓越的效果。如果将深度卷积神经网络应用在计算机辅助诊断中，则可以辅助医生做出更好的医疗诊断，早发现、早治疗，提高治疗效果。

本发明提供了一个新的基于目标检测神经网络的早期食管鳞癌的癌灶检测及诊断系统，它能够充分结合训练图像的特点，提取丰富的特征，同时实现早期食管鳞癌的癌灶检测和诊断。

发明内容

本发明的目的在于提供一种面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统，排除人为因素影响，实现对窄带成像内镜图像的自动诊断。

本发明提供的面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统，是基于目标检测神经网络的，具体包括：特征提取骨干网络与特征金字塔；区域候选网络；兴趣区域池化与癌灶分类网络；在窄带成像内镜图像上进行可视化的辅助诊断系统；其中：

（1）所述特征提取骨干网络，在ResNet-50^[4]基础上构建，包括50个卷积层，用于提取输入图像的特征图（即作为特征金字塔的特征提取器）。具体是分别在ResNet-50模型的layer1,2,3,4层的末尾抽取特征图，抽取出的特征图分别拥有256、512、1024、2048通道，特征图的大小分别为1/4、1/8、1/16、1/32的原图大小。特征图送入特征金字塔网络^[12]。特征金字塔用于将不同尺度的特征相融合，首先使用1×1的卷积将特征图全部统一到256通道，随后自顶向下逐层将上层的特征上采样至两倍大小，并与下层的特征相加，进行3×3的卷积。这样就得到了多尺度的特征图：其大小分别为1/4、1/8、1/16、1/32的原图大小，通道数均为256通道。

（2）所述区域候选网络，用于提取可能的病灶区域；其中，首先使用锚生成器^[5]生成密集的矩形候选框；矩形的候选框共有5×3种不同的尺寸，由五种不同的大小（如宽为32,64,128,256,512）与三种不同的形状（如1:1,1:2,2:1）组合而成；特征金字塔中各层的特征经过一个3×3的卷积和一个1×1卷积，通过Softmax来判断上述候选框属于正样本或负样本；最后通过12通道1×1的卷积，进行三种形状的边界框回归（每个box有4个坐标，故为3×4=12通道），修正不精确的候选框。

（3）所述兴趣区域池化与癌灶分类网络，其中，兴趣区域池化是通过对兴趣区域池化将特征池化到可疑病灶区域；癌灶分类网络用于对癌灶进行分类；具体地，将感兴趣区域用与坐标轴平行的矩形边界框框出，并给出该区域的癌灶分类结果，即正常（即A类）区域或病变区域（即B1、B2、B3类）；该网络首先从特征金字塔不同层级的特征图中提取感兴趣区域，将其对齐并最大池化至7×7，随后通过全连接层产生两条输出支路：第一条支路输出每个特征区域的位置偏移量，用于进一步修正检测框的位置；第二条支路通过Softmax函数计算特征的分类概率，得出区域的癌灶类别。其中全连接层将展平256×7×7形状的特征图，形成12544×1×1的特征，而全连接层的输出为1024通道，第一条支路的输出为20通道（5×4即每个类别对应边界框四个坐标），第二条支路的输出为5通道（即包含负样本在内的5个类别）。

（4）所述在窄带成像内镜图像上进行可视化的辅助诊断系统，即最后在窄带成像内镜图像上进行可视化显示，使用不同的颜色对癌灶进行框选标记。具体地，输入为窄带成像内镜图像；使用前述网络对癌灶进行检测和诊断，使用不同颜色的检测框代表不同的癌灶类型，即用绿色、红色、紫色、黑色分别代表A、B1、B2、B3四类，同时标记出检测框的分类置信度。随后对所有检测框的置信度进行筛选，剔除掉置信度小于阈值T ₁的所有检测框，再运用非极大值抑制剔除掉交并比大于阈值T ₂的多余重叠框。其中，T ₁、T ₂取遍[0,1]范围内步长为0.05的所有值，并通过比较F₁-分数来确定最优的阈值T ₁、T ₂。

本发明网络模型的训练方法如下：

训练前，用预训练的ResNet-50模型初始化网络参数，并将训练集中的图像进行缩放，使得其分辨率不超过800×1333，其对应的边界框也同时进行同比例缩放。

训练时，首先将图像按照均值=[0.485,0.456,0.406]和标准差=[0.229,0.224,0.225]对图像的三通道（R、G、B）进行归一化处理。使用带动量的随机梯度下降算法^[13-14]，设初始学习率为0.005，动量为0.9，权重衰减为0.0005，并使用小批量随机梯度下降策略，批大小设置为2来最小化损失函数。训练共进行50轮，每10轮将学习率衰减至原先的0.3倍。由于训练集中各类型血管的分布不均衡，B2、B3类型的血管得不到充分的训练，因此使用Focal loss作为癌灶分类网络的损失函数，其中Neg、A、B1、B2、B3的权重分别为0.25、1、0.2、5、10（Neg代表非血管样本），这是根据训练集中各血管的分布比例经过多次实验后确定的。

本发明中，输入窄带成像内镜的图像后，仅经过一次前向传播，即可得到癌灶的检测与诊断结果。

本发明的有益效果在于：

本发明设计了一个以窄带成像内镜图像为输入的目标检测神经网络，用于同时实现早期食管鳞癌的癌灶检测和诊断。待测试图像只需经过一次前向传播，即可获得检测和诊断结果，检测和分类任务共享部分网络参数，有效减少计算量，提高诊断效率。实验结果表明，本发明可以精确地检测出早期食管鳞癌的癌灶区域，并基于检测框提供准确的诊断结果，减少人为因素影响，提高临床诊断的效率和准确率。

附图说明

图1为本发明的网络框架图。

图2为窄带成像内镜图像输入到网络模型中后本发明检测与诊断的效果示意图。其中，(a)为窄带成像内镜图像，(b)为本发明对图像中的癌灶进行检测和分类的结果，(c)为医生凭借经验对图像中的癌灶进行检测和分类的结果。

图3为本发明与医生在窄带成像内镜图像中检测与诊断的可视化效果对比。

图4为本发明与医生在窄带成像内镜图像中检测与诊断的不同分类的召回率对比。

图5为本发明通过特征提取网络进行特征提取后的特征图展示。

具体实施方式

下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

本发明采用图1所示的网络框架，使用100张由多名资历丰富的医生协同标注的窄带成像内镜图像进行训练，从而得到一个能够对窄带成像内镜图像进行食道鳞癌癌灶自动检测及诊断的模型。具体流程为：

（1）训练前，用预训练的ResNet-50模型初始化网络参数，并将训练集中的图像进行缩放，使得其分辨率不超过800×1333，其对应的边界框也同时进行同比例缩放；

（2）训练时，首先将图像按照均值=[0.485,0.456,0.406]和标准差=[0.229,0.224,0.225]对图像的三通道（RGB）进行归一化处理。使用带动量的随机梯度下降算法，设初始学习率为0.005，动量为0.9，权重衰减为0.0005，并使用小批量随机梯度下降策略，批大小设置为2来最小化损失函数。训练共进行50轮，每10轮将学习率衰减至原先的0.3倍；由于训练集中各类型血管的分布不均衡，B2、B3类型的血管得不到充分的训练，因此本发明使用Focalloss作为癌灶分类网络的损失函数，其中neg、A、B1、B2、B3的权重分别为0.25、1、0.2、5、10，这是根据训练集中各血管的分布比例经过多次实验后确定的。最终得到一个训练好的模型，对窄带成像内镜图像进行食道鳞癌癌灶自动检测及诊断；

（3）测试时，将窄带成像内镜图像进行缩放，使得其分辨率不超过800×1333，输入到已 经训练好的模型中，模型将输出所有检测到的血管的外包围框、对应的癌灶类别（包括正常 类别A，以及异常类别B1、B2、B3共计四类）及其置信度

。特别地，由于窄带成像内镜图像中 包含的血管数量较多，每张图像的检测框数量上限设定为250个。设定阈值T ₁为0.3，当

时，则保留该外包围框，否则移除该外包围框。设定阈值T ₂为0.3，对剩余的外包围 框进行非极大值抑制，从而仅保留在邻域内（交并比大于阈值T ₂时）置信度

最高的包围框。

图2展示了窄带成像内镜图像输入到网络模型中后本发明检测与诊断的效果，其中，(a)为原窄带成像内镜图像；(b)为本发明对图像中的癌灶进行检测所得到的外包围框以及对应的分类和置信度，不同颜色分别代表了不同的癌灶类型，即用绿色、红色、紫色、黑色分别代表A、B1、B2、B3四类；(c)为多名具有多年临床实践、经验丰富的医生经过讨论后协同对图像中的癌灶进行检测和分类的结果。从图中可以看到本系统在癌灶的检测及分类上与多名经验丰富的医生联合判断的结果基本一致，表明本发明具有很强的应用价值。

图3展示了本发明与单个医生在窄带成像内镜图像中检测与诊断的可视化效果对比，其中检测与诊断的参考依据（即标准结果）是由多名资历丰富的医生协同标注的。由此可见，单个医生在进行检测与诊断时，难免会产生错漏，无法达到较高的敏感度，而本发明的系统相较单个医生不仅有着更快的判断速度（每张图像小于1秒），也有着更高的准确性。

图4为本发明与单个医生在窄带成像内镜图像中检测与诊断的不同分类的召回率对比，其中检测与诊断的参考依据（即标准结果）是由多名资历丰富的医生协同标注的。可以看到，本发明在召回率上远高于单个医生，召回率的含义为真实癌灶检出并正确分类的比率，也就意味着本发明比单个医生检测诊断错漏的情况要少得多。

图5为本发明通过特征提取网络进行特征提取后的特征图展示，可以看到在特征提取后，血管和非血管的特征值相差很大，这表明特征提取网络能很有效地从窄带成像内镜图像中提取用于检测和诊断的关键特征。

表1、表2为本发明与单个医生在窄带成像内镜图像中检测与诊断的敏感度、精确率、召回率分析情况。表1是本发明的网络进行10次独立训练后，以95%置信度的性能分析情况；表2为单个医生检测与诊断的结果。检测与诊断的评判标准是由多名资历丰富的医生协同标注的。因此本发明以95%置信度在召回率上超越了单个医生的检测与诊断水平，体现了本发明的临床使用价值。

表1

。

表2

。

参考文献

[1] Krizhevsky, A., Sutskever, I. & Hinton, G. E. ImageNet classificationwith deep convolutional neural networks. Advances in Neural InformationProcessing Systems, 1097-1105 (2012).

[2] Russakovsky, O., Deng, J., Su, H. et al. ImageNet Large Scale VisualRecognition Challenge. International Journal of Computer Vision 115, 211-252(2015).

[3] Simonyan, K. & Zisserman A. Very deep convolutional networks forlarge-scale image recognition. International Conference on RepresentationLearning, (2014).

[4] He, K., Zhang, X., Ren, S. & Sun, J. Deep residual learning for imagerecognition. IEEE Conference on Computer Vision and Pattern Recognition, 770-778 (2016).

[5] Girshick, R., Donahue, J., Darrell, T. & Malik, J. Rich featurehierarchies for accurate object detection and semantic segmentation. IEEEConference on Computer Vision and Pattern Recognition, 580-587 (2014).

[6] Girshick, R. Fast R-CNN. IEEE International Conference on ComputerVision, 1440-1448 (2015).

[7] Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Towards real-time object detection with region proposal networks. Neural InformationProcessing Systems, (2015).

[8] Long, J., Shelhamer, E. & Darrell, T. Fully convolutional networksfor semantic segmentation. IEEE International Conference on Computer Vision,3431-3440 (2015).

[9] Chen, L., Papandreou, G., Kokkinos, I., Murphy, K. & Yuille, A. L.DeepLab: Semantic image segmentation with deep convolutional nets, atrousconvolution, and fully connected CRFs. IEEE Transactions on Pattern Analysisand Machine Intelligence 40, 834-848 (2018).

[10]Lin Y,Totsuka Y,He Y,et al.Epidemiology ofesophageal cancer in Japanand China. Epidemiol,2013,23 (4) : 233-242．

[11] Chung CS,Lee YC,Wang CP,et al．Secondary preventionof esophagealsquamous cell carcinoma in areas wheresmoking,alcohol,and betel quid chewingare prevalent.J Formos Med Assoc.2010,109 (6) : 408-421．

[12] Tsung-Yi Lin, Piotr Dollár, Ross B. Girshick, Kaiming He, BharathHariharan, Serge J. Belongie:Feature Pyramid Networks for Object Detection.CVPR 2017: 936-944.

[13] H. Robbins and S. Monro, “A stochastic approximation method,” Ann.Math. Statist.,

vol. 22, pp. 400–407, 09 1951.

[14] L. Bottou, “Large-scale machine learning with stochastic gradientdescent,” in Proceedings

of COMPSTAT’2010 (Y. Lechevallier and G. Saporta, eds.), (Heidelberg),pp. 177–186,

Physica-Verlag HD, 2010.

[15] Inoue H，Kaga M，Ikeda H，et al． Magnification endoscopyin esophagealsquamous cell carcinoma: a review of theintrapapillary capillary loopclassification [J].AnnGastroenterol,2015,28 (1) : 41-48.。

Claims (3)

1.一种面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统，其特征在于，是基于目标检测神经网络的，包括：特征提取骨干网络和特征金字塔、区域候选网络、兴趣区域池化与癌灶分类网络，以及在窄带成像内镜图像上进行可视化的辅助诊断系统；其中：

（1）所述特征提取骨干网络，在ResNet-50模型基础上构建，包括50个卷积层，用于提取输入图像的特征图，即作为特征金字塔的特征提取器；具体地，分别在ResNet-50模型的layer1,2,3,4层的末尾抽取特征图，抽取出的特征图分别拥有256、512、1024、2048通道，特征图的大小分别为1/4、1/8、1/16、1/32的原图大小；特征图被送入特征金字塔网络；特征金字塔中，使用1×1的卷积将特征图全部统一到256通道，随后自顶向下逐层将上层的特征上采样至两倍大小，并与下层的特征相加进行3×3的卷积，得到多尺度的特征图：其大小分别为1/4、1/8、1/16、1/32的原图大小，通道数均为256通道；

（2）所述区域候选网络，用于提取可能的病灶区域；其中，使用锚生成器生成密集的矩形候选框；矩形的候选框共有5×3种不同的尺寸，即由五种不同的大小与三种不同的形状组合；特征金字塔中各层的特征经过一个3×3的卷积和一个1×1卷积，通过Softmax来判断上述候选框属于正样本或负样本；最后通过12通道1×1的卷积，进行三种形状的边界框回归，修正不精确的候选框；

（3）所述兴趣区域池化与癌灶分类网络，其中，兴趣区域池化是通过对兴趣区域池化将特征池化到可疑病灶区域；癌灶分类网络用于对癌灶进行分类；具体地，将感兴趣区域用与坐标轴平行的矩形边界框框出，并给出该区域的癌灶分类结果，即正常区域或病变区域；该网络首先从特征金字塔不同层级的特征图中提取感兴趣区域，将其对齐并最大池化至7×7，随后通过全连接层产生两条输出支路：第一条支路输出每个特征区域的位置偏移量，用于进一步修正检测框的位置；第二条支路通过Softmax函数计算特征的分类概率，得出区域的癌灶类别；其中全连接层将展平256×7×7形状的特征图，形成12544×1×1的特征，而全连接层的输出为1024通道，第一条支路的输出为20通道，即每个类别对应边界框四个坐标5×4，第二条支路的输出为5通道，即包含负样本在内的5个类别；

（4）所述在窄带成像内镜图像上进行可视化的辅助诊断系统，即最后在窄带成像内镜图像上进行可视化显示，使用不同的颜色对癌灶进行框选标记；具体地，输入为窄带成像内镜图像；使用前述网络对癌灶进行检测和诊断，使用不同颜色的检测框代表不同的癌灶类型，即用绿色、红色、紫色、黑色分别代表A、B1、B2、B3四类，同时标记出检测框的分类置信度；对所有检测框的置信度进行筛选，剔除掉置信度小于阈值T ₁的所有检测框，再运用非极大值抑制剔除掉交并比大于阈值T ₂的多余重叠框。

2.根据权利要求1所述的面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统，其特征在于，网络模型的训练流程如下：

训练前，用预训练的ResNet-50模型初始化网络参数，并将训练集中的图像进行缩放，使得其分辨率不超过800×1333，其对应的边界框也同时进行同比例缩放；

训练时，首先将图像按照均值=[0.485,0.456,0.406]和标准差=[0.229,0.224,0.225]对图像的R、G、B三通道进行归一化处理；使用带动量的随机梯度下降算法，设初始学习率为0.005，动量为0.9，权重衰减为0.0005，并使用小批量随机梯度下降策略，批大小设置为2来最小化损失函数；训练共进行50轮，每10轮将学习率衰减至原先的0.3倍；由于训练集中各类型血管的分布不均衡，B2、B3类型的血管得不到充分的训练，因此使用Focal loss作为癌灶分类网络的损失函数，其中neg、A、B1、B2、B3的权重分别为0.25、1、0.2、5、10，这是根据训练集中各血管的分布比例经过多次实验后确定的。

3.根据权利要求1所述的面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统，其特征在于，输入窄带成像内镜的图像后，经过一次前向传播，即得到癌灶的检测与诊断结果。

Images