CN108765392B - 一种基于滑动窗口的消化道内镜病变检测和识别方法 - Google Patents

Abstract

本发明属于医学图像智能处理技术领域，具体为一种基于滑动窗口的消化道内镜病变检测和识别方法。通过内镜的早期筛查是降低消化道癌症发病率和死亡率的有效手段。在传统诊断方法中，医生的诊断完全是主观判断过程，会受到诊断医生经验及知识水平的限制和影响。因此本发明将深度学习应用于消化道内镜的病变检测，基于医生标注的病变区域的边框制作样本，训练分类器；在待检测的消化道内镜图像中提出候选区域，将候选区域输入分类器，对分类结果做后处理，达到病变检测的目的。实验结果表明，本发明可以较准确地检测到消化道内镜图像的病变位置，为医生提供参考，说明了人工智能辅助的消化道早癌诊疗具有无可替代的优越性。

Description

一种基于滑动窗口的消化道内镜病变检测和识别方法

技术领域

本发明属于医学图像智能处理技术领域，具体涉及一种基于滑动窗口的消化道内镜病变检测和识别方法。

背景技术

规范的消化道癌症筛查、治疗、随访具有重大意义，早期癌症筛查是降低癌症发病率和死亡率的有效手段。消化道早癌的筛查、治疗、随访途径主要有内镜检查及术后CT检查，其中消化道内镜检查最为重要。在传统诊断方法中，医生诊断完全是主观判断的过程，因而会受到诊断医生经验及知识水平的限制和影响；其次，医生诊断时易于遗漏某些细微改变；再次，不同医师间及同一医师不同时间的诊断存在差异。

计算机辅助诊断(computer aided diagnosis，CAD)技术又被称为医生的“第三只眼”，能够排除主观因素影响，提高医生的诊断准确性，快速的提升医学诊治的质量。近年来，计算机领域的飞速发展进步推动了CAD技术更好地发展。人工智能中卷积神经网络(convolutional neural network，CNN)驱动了识别领域的不断进步，不仅在整张图像的分类中效果显著，在物体检测、关键点检测等任务中也有极大的推动作用。如果将基于CNN的识别与检测技术与医学诊疗相结合，相当于数十名甚至百名有经验的临床专家对该病例进行远程“会诊”，能快速的提升医学诊治的质量。Jama和Nature分别刊文介绍了谷歌利用深度学习方法^[1-2]，仅用十万量级的糖尿病视网膜病变图像和皮肤病变图像训练获得了比大多数人类医学专家更为准确的图像判断结果，揭开了深度学习在临床学图像识别领域应用的序幕，在医学辅助诊疗方面展现了广阔的应用前景。

在物体检测中，候选区域的选择对于物体检测非常重要，生成候选区域的方法包括基于超像素分组的方法，如Selective Search^[3]，和基于滑动窗口的方法，如EdgeBoxes^[4]。R-CNN^[5]训练一个端到端的CNN将候选区域分为物体或者背景，它的主要作用是分类器，而不负责预测物体的边框；OverFeat^[6]用全连接层预测边框的坐标，但只可以检测到一个物体；为了提高R-CNN的检测速度，Fast R-CNN^[7]训练了一个端到端的检测器，并将候选区域映射到卷积层的特征图中，减少了重复计算；Faster R-CNN^[8]使用CNN预测候选区域，而不是使用独立的候选区域选择方法，如Selective Search^[3]，进一步提升了速度和精确度。

发明内容

本发明的目的在于提供一种准确度高的基于滑动窗口的消化道内镜图像病变检测和识别方法，以排除主观判断的干扰，准确地检测到消化道内镜图像的病变位置，为医生提供参考。

本发明所提供的消化道内镜图像病变检测和识别方法，具体步骤如下：

(1)训练分类器

在检测之前，需要训练一个病变图像的分类器，具体训练方法如下：

首先，由医生标注病变区域的边框，基于标注的病变区域的边框生成训练样本，并进行数据增强；

其次，使用在ImageNet(目前世界上图像识别最大的数据库)上预训练的参数初始化VGG-16模型(K.Simonyan,A.Zisserman.Very Deep Convolutional Networks forLarge-Scale Image Recognition.2014)；

最后，根据医学图像的特殊性，选取合适的损失函数，训练病变分类器；

(2)消化道内镜病变检测

首先，对于一张消化道内镜图片，为了检测到病变的具体位置，需要提出候选区域；

其次，将所有的候选区域的图片输入到训练好的病变分类器中，获得候选区域被分类为病变的概率，过滤概率较低的候选框；

然后，根据候选框的概率，使用非极大值抑制(NMS)对候选框做后处理，设定重叠率阈值T_over，保留概率比较高的候选区域；

最后，输出病变检测结果。

进一步的，步骤(1)中，用矩形边框标出病变区域，边框刚好包围一个连续的病变区域，提供的标注的图像一般包括病变图像600-1200张、正常图像600-1200张。

进一步的，步骤(1)中，所述的训练样本的生成方法为：

正样本生成方法为：裁剪标注的边框，并以标注的边框为中心，随机移动裁剪框，同时保证裁剪框和标注的边框重叠率(IOU)大于0.7，裁剪8个样本，因此一个边框共可以生成9个正样本；

负样本生成方法为：负样本来源于病变和正常的消化道内镜图像，对于病变的图像，从图像中随机裁剪，同时保证裁剪框和标注的边框重叠率(IOU)小于0.3；对于正常的图像，随机裁剪即可，裁剪框大小由标注的经验值确定，统计标注的边框的长宽范围，进而确定随机裁剪时的长宽范围，对于长宽范围在400-600个像素的消化道内镜图像，建议随机裁剪时长宽范围在100-300个像素。

进一步的，步骤(1)中，所述训练样本中，负样本(正常样本)较多，而正样本(病变样本)较少，需要通过数据增强的方法增加正样本数量，正样本的数据增强的方法为：水平翻转。

进一步的，步骤(1)中，所述的损失函数为焦点损失(Focal loss，T.Lin,P.Goyal,et al.Focal Loss for Dense Object Detection.2017)，制作样本过程中，病变样本非常少，虽然通过数据增强的方法增加了一些病变样本，但是仍然存在很严重的样本不均衡的问题；Focal loss可以有效缓解样本不均衡的问题，具体计算方法为：

Loss＝-(1-p_t)²log(p_t)

其中，p是一个样本被分类为病变的可能性，y∈{0,1}，0表示正常，1表示病变，p_t表示一个样本被正确分类的可能性。

进一步的，步骤(2)中，所述的提出候选区域的方法为：

有大小为H×W的消化道内镜图像，候选框的长和宽由base＝min(H,W)确定。统计了标注的边框的长和宽与base的关系，建议设置候选框的长宽为base×0.375，base×0.55，base×0.725，因此构成3×3＝9种候选框。用候选框在图像中滑动，垂直方向滑动步长为H×S，水平方向滑动步长为W×S，其中S∈(0,1)。

考虑到检测准确率和检测时间之间的均衡，S取值范围为[0.04,0.06]。

进一步的，步骤(2)中，所述过滤病变概率较低的候选框的方法为：

对于第i个候选框box_i，若其被预测为病变的概率p大于阈值T，则该候选框被认为病变，否则该候选框被认为正常，被过滤。根据实验验证，建议阈值T选取范围为[0.90,0.95]。

进一步的，步骤(2)中，所述的重叠率的阈值T_over的取值范围为[0.1,0.3]。

本发明的有益效果在于：本发明基于医生的标注制作样本，训练分类器，用VGG-16模型提取病变样本和正常样本的深层次特征，实现样本的精准分类。使用滑动窗口选取候选框，将候选框输入分类器进行分类，保留病变可能性较高的候选框。本发明能够在无人工参与的情况下自动检测病变位置，排除医生的主观判断的干扰，为医生提供客观参考。

附图说明

图1为本发明的流程图。

图2为本发明检测病变位置的效果图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

用医生标注的图像制作样本，训练分类器至收敛后，具体实施方法是：

(1)输入H×W的待测试图像，计算base＝min(H,W)，候选框的长和宽有三种base×0.375，base×0.55，base×0.725，因此构成3×3＝9种组合，即9种候选框；在图像中滑动候选框，垂直方向滑动步长为H×S，水平方向滑动步长为W×S，滑动步长的参数S设为0.04；

(2)将所有的候选框输入分类器，分类器输出候选框病变的概率；

(3)用阈值T过滤病变概率较低的候选框；当候选框的病变概率小于阈值T，则认为该候选框正常，被过滤，否则保留该候选框；阈值T设为0.94；

(4)根据候选框的概率，使用非极大值抑制(NMS)做后处理，设定重叠率阈值T_over为0.1。

图2为本发明病变检测的实例。为了保护病人的隐私，图2给出的是裁剪掉病人个人信息的消化道内镜图像。图2(a)是内镜图像原图，图2(b)是医生标注的病变区域的边框，图2(c)是本发明病变检测结果。本发明能够有效检测到病变的位置。

参考文献

[1]A.Esteva,B.Kuprel,R.A.Novoa,et al,“Dermatologist-levelclassification of skin cancer with deep neural networks,”Nature,vol.542,no.7639,pp.115-118,2017.

[2]V.Gulshan,L.Peng,M.Coram M,et al,“Development and validation of adeep learning algorithmfor detection of diabetic retinopathy in retinalfundus photographs,”Jama,vol.316,no.22,pp.2402-2410,2016.

[3]J.R.Uijlings,K.E.van de Sande,T.Gevers,and A.W.Smeulders,“Selective search for object recognition,”International Journal of ComputerVision,vol.104,no.2,pp.154-171,2013.

[4]C.L.Zitnick and P.Dollar,“Edge boxes:Locating object proposalsfromedges,”in European Conference on Computer Vision,pp.391-405,2014.

[5]R.Girshick,J.Donahue,T.Darrell,and J.Malik,“Rich featurehierarchies for accurate object detection and semantic segmentation,”IEEEConference on Computer Vision and Pattern Recognition,pp.580-587,2014.

[6]P.Sermanet,D.Eigen,X.Zhang,M.Mathieu,R.Fergus,and Y.LeCun,“Overfeat:Integrated recognition,localization and detection usingconvolutional networks,”International Conference on Learning Representations,2014

[7]R.Girshick,“Fast R-CNN,”IEEE International Conference on ComputerVision,pp.1440-1448,2015.

[8]S.Ren,K.He,R.Girshick,J.Sun,“Faster R-CNN:Towards Real-Time ObjectDetection with Region Proposal Networks,”Neural Information ProcessingSystems,2015.

[9]T.Lin,P.Goyal,R.Girshick,K.He and P.Dollar,“Focal loss for denseobject detection,”IEEE International Conference on Computer Vision,Venice,Italy,pp.2999-3007,2017.。

Claims (1)

1.一种基于滑动窗口的消化道内镜病变检测和识别方法，其特征在于，具体步骤如下：

(1)训练分类器

在检测之前，需要训练一个病变图像的分类器，具体训练方法如下：

首先，标注病变区域的边框，基于标注的病变区域的边框生成训练样本，并进行数据增强；数据增强的方法为：水平翻转正样本；

其次，使用在ImageNet上预训练的参数初始化VGG-16模型；

最后，根据医学图像的特殊性，选取合适的损失函数，训练病变分类器；

(2)消化道内镜病变检测

首先，对于一张消化道内镜图片，为了检测到病变的具体位置，需要提出候选区域；

其次，将所有的候选区域的图片输入到训练好的分类器中，获得候选区域被分类为病变的概率，过滤概率较低的候选框；

然后，根据候选框的概率，使用非极大值抑制NMS对候选框做后处理，设定重叠率阈值T_over，保留概率比较高的候选框；

最后，输出病变检测结果；

步骤(1)中，用矩形边框标出病变区域，边框刚好包围一个连续的病变区域，提供的有标注的图像一般为病变图像600-1200张、正常图像600-1200张；

步骤(1)中，所述的训练样本的生成方法为：

正样本生成方法为：裁剪标注的边框，并以标注的边框为中心，随机移动裁剪框，同时保证裁剪框和标注的边框重叠率IOU大于0.7，裁剪8个样本，因此一个边框共可以生成9个正样本；

负样本生成方法为：负样本来源于病变和正常的消化道内镜图像，对于病变的图像，从图像中随机裁剪，同时保证裁剪框和标注的边框重叠率IOU小于0.3；对于正常的图像，随机裁剪即可，裁剪框大小由标注的经验值确定，统计标注的边框的长宽范围，进而确定随机裁剪时的长宽范围；

步骤(1)中，所述的损失函数为焦点损失Focal loss，计算方法为：

Loss＝-(1-p_t)²log(p_t)

其中，p是一个样本被分类为病变的可能性，y∈{0,1}，0表示正常，1表示病变，p_t表示一个样本被正确分类的可能性；

步骤(2)中，所述的提出候选区域的方法为：

有大小为H×W的消化道内镜图像，候选框的长和宽由base＝min(H,W)确定；统计了标注的边框的长和宽与base的关系，设置候选框的长宽可以为base×0.375，base×0.55，base×0.725，因此构成3×3＝9种候选框；用候选框在图像中滑动，垂直方向滑动步长为H×S，水平方向滑动步长为W×S，其中S∈(0,1)；

步骤(2)中，所述过滤病变概率较低的候选框的方法为：

对于第i个候选框box_i，若其被预测为病变的概率p大于阈值T，则该候选框被认为病变，否则该候选框被认为正常，被过滤；

所述的重叠率的阈值T_over的取值范围为[0.1,0.3]。

Images