CN110020610A

CN110020610A - 基于深度学习的肠镜质量检查控制系统

Info

Publication number: CN110020610A
Application number: CN201910200569.5A
Authority: CN
Inventors: 颜波; 钟芸诗; 牛雪静; 蔡世伦; 谭伟敏; 阿依木克地斯·亚力孔
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2019-03-16
Filing date: 2019-03-16
Publication date: 2019-07-16
Anticipated expiration: 2039-03-16
Also published as: CN110020610B

Abstract

本发明属于医学图像处理技术领域，具体为一种基于深度学习的肠镜质量检查控制系统。本发明系统包括：回盲瓣识别模型，用于把图像按照回盲瓣和非回盲瓣进行分类；肠道质量评分模型，用于把图像按照波士顿肠道准备质量的评分（0‑3）进行分类；两个模型由图像分类卷积神经网络将肠镜图像以及标签即回盲瓣标签或评分作为输入，经过端到端训练得到。通过识别回盲瓣以及按波士顿评分量表对肠道准备质量进行评分，对肠镜检查质量进行评估。实验结果表明，本发明系统用于肠镜检查质量的控制具有良好的特异度、敏感度，可在临床检查中辅助内镜医师，提高肠镜检查的质量。

Description

基于深度学习的肠镜质量检查控制系统

技术领域

本发明属于医学图像处理技术领域，具体涉及一种肠镜质量检查控制系统。

背景技术

结肠镜检查是结直肠癌筛查的金标准[1]，通过早期发现肿瘤、切除癌前病变可降低结直肠癌死亡的风险[2]。而腺瘤的漏诊可能导致肿瘤的进展，延误治疗时机。腺瘤检出率的高低很大程度上取决于肠道准备的质量，高质量肠道准备相较于低质量，其腺瘤检出率高出41%[3]。因此，肠道准备情况成为了评判结肠镜检查质量控制的关键指标[4]。同时有证据表明，低盲肠插管率与间隔性近端结肠癌的高发生率有关[5]。所以，作为肠镜检查质量控制的两项重要指标，增加肠道准备充分性、提高盲肠插镜率，能提高腺瘤检出率，对结直肠癌的早诊早治，降低死亡率具有重要意义。

目前临床上主要依靠医生的经验判断回盲部，故存在较强主观性。再者，虽然波士顿评分通过实例视频演示的方法进行推广学习[6]，但是，由于不同学习者的接受度及英语水平参差不齐，也存在一定的主观性。这些主观性给肠镜检查的质量控制带来一些阻碍，需要进行统一化和规范化来解决这一问题。

近年来，随着人工智能产业的迅速发展，其在消化内镜领域的应用也越来也受到重视[7-9]。Karkanis等人首次报道了利用计算机辅助检测(CADe)系统对结肠直肠息肉内镜静态图像进行检测，检测率＞90%[7]。随后，Misawa等开发了一种基于深度学习的实时息肉检测系统，能够检测94%的息肉[8]。近期，由四川省人民医院、哈佛医学院及BIDMC医院和科技公司Wision A.I.联合发表的计算机检测系统对肠镜图片中息肉检测的敏感度达到了94.38%[9]，此研究使用前瞻性的数据验证，更能够代表真实临床环境中的未来事件。但是，上述研究对进行训练和验证的图片质量要求均较高，依赖于高质量肠镜检查获取的数据。

基于深度学习的肠镜检查质量控制系统的使用，通过实时对肠镜检查质量进行评分，评估个人及单位总的肠镜检查质量情况，能以此提高肠镜检查的质量，提高结肠镜的有效性及准确性。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种基于深度学习的肠镜质量检查控制系统，排除人为因素影响，构建人工智能辅助的回盲部识别及肠道准备评分系统，为提高肠镜检查质量提供依据。

本发明提供基于深度学习的肠镜质量检查控制系统，具体包括两个模型：

（1）回盲瓣识别模型，为二分类模型，用于把图像按照回盲瓣和非回盲瓣进行分类；

（2）肠道质量评分模型，为四分类模型，用于把图像按照波士顿肠道准备质量的评分（0-3）进行分类。

上述两个模型由图像分类卷积神经网络，将肠镜图像和标签（回盲瓣标签或评分）作为输入，经过端到端训练得到，具体来说，回盲瓣识别模型（二分类模型）通过修改图像分类卷积神经网络的最后一层节点数量为2构建得到；肠道质量评分模型（四分类模型）通过修改最后一层节点为4构建得到。

进一步的，所述图像分类卷积神经网络可以为AlexNet[10], VGGNet[11],ResNet[12]等。

进一步的，所述图像分类卷积神经网络模型在ImageNet数据集上预训练进行参数初始化。

进一步的，模型训练所使用的损失函数为Focal Loss[14]，以应对训练过程中样本不均衡的问题；计算分类网络把标签为y的图像预测为第y类的概率为p _y，因此，损失函数的形式如下：

其中，当训练回盲瓣识别模型时，1表示回盲瓣，0表示非回盲瓣；当训练肠道质量评分模型时，表示波士顿肠道准备评分。

进一步的，回盲瓣识别模型和肠道质量评分模型参数不共享，分别单独训练。

进一步的，回盲瓣分类模型的训练样本至少包括回盲瓣图像300张，非回盲瓣图像300张；肠道质量评分模型的训练样本至少包括0分、1分、2分、3分图像各700张。

进一步的，测试时，将待测试图像I输入到回盲瓣识别模型，计算I被分类为回盲瓣的概率p。设定阈值T，当p>T时，则认为I为回盲瓣图像；否则认为I为非回盲瓣图像。根据实验结果，为了保持较高的分类准确率，建议阈值T的取值范围在0.4到0.6之间。

另外，根据回盲瓣识别结果，可在实时肠镜检查中计算回盲部到达率、退镜时间等。

进一步的，测试时，将待测试图像I输入到肠道准备评分模型，计算I被分类为0分、1分、2分、3分的概率，I被分类为概率最大的类，进而可获得肠道准备评分。

进一步的，样本均需进行边界裁剪处理，以避免肠镜图像中不相关信息引发的噪声影响深度神经网络的判别精度。

本发明的有益效果在于：本发明设计了一个基于深度学习的肠镜质量检查控制系统，能够对回盲瓣进行识别、为肠道准备质量评分，具有良好的准确度、特异度、敏感度，可以结合实时肠镜操作获得退镜时间、肠道准备充分率等质量控制指标，为单位及个人的结肠镜检查质量的评估提供依据，提高结肠镜检查的有效性、安全性和准确性。

附图说明

图1为本发明的系统框架图。

图2为实施例中图像分类卷积神经网络的详细结构图。

图3为实施例中回盲瓣识别的受试者工作特征曲线（ROC）。

图4为实施例中肠镜质量检查控制系统的软件界面。

具体实施方式

下面对本发明实施方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

采用图2中的网络结构。其中，包括5个卷积层，三个池化层，3个全连接层；依次为：卷积层1，卷积核：11×11×64，步长：4，激活函数：RELU；

池化层1，窗口大小：3×3，步长：2；

卷积层2，卷积核：5×5×256，步长：1，激活函数：RELU；

池化层2，窗口大小：3×3，步长：2；

卷积层3，卷积核：3×3×256，步长：1，激活函数：RELU；

卷积层4，卷积核：3×3×256，步长：1，激活函数：RELU；

卷积层5，卷积核：3×3×256，步长：1，激活函数：RELU；

池化层3，窗口大小：3×3，步长：2；

全连接层6，节点数量：4096，激活函数：RELU；

全连接层7，节点数量：4096，激活函数：RELU；

全连接层8，节点数量：2或4。

收集394张回盲瓣图像，594张非回盲瓣图像，以及按波士顿评分标准分类的图像，其中包括0分1025张，1分1716张，2分1435张，3分1976张。将70%的图片分为训练集，30%的图片分为测试集。

具体做法是：

（1）训练前，用在ImageNet中预训练的模型初始化网络参数，将训练集的图像调整到统一大小300×300；

（2）分别单独训练回盲瓣分类模型和肠道质量评分模型。训练时，随机裁剪图像到224×224。使用批量随机梯度下降的方法优化模型，批大小设为32。初始学习率为0.001，每240个周期衰减一次，衰减率为0.9。为了防止过拟合，每次迭代时在全连接层随机杀死50%的节点。迭代至损失函数收敛；

（3）测试时，将图像I调整大小到224×224，输入到回盲瓣识别模型，模型输出当前图像被分类为回盲瓣图像的概率p。设定分类阈值T为0.5，当时，则认为I为回盲瓣图像；否则认为I为非回盲瓣图像。再将图像I输入到肠道质量评分模型，输出当前图像被分类为0、1、2、3分的概率。I属于概率值最大的类别。

本发明在阈值为0.5时对回盲瓣识别的准确率为95.27%。图3为本发明回盲瓣识别模型的ROC曲线，可以看到ROC曲线下的面积（AUC，最大值为1）达到了0.9769，说明本发明对于回盲瓣识别的效果卓越。

本发明的肠道质量评价模型对肠镜图像的识别总精度为76.96%;对于评分为0分、1分、2分、3分的识别精度分别为74.67%、61.29%、79.38%、93.56%。

图4为在本发明的肠镜质量检查控制系统基础上设计的软件界面。在实时的肠镜检查中，可以根据回盲瓣分类结果获得回盲瓣到达、退镜时间等信息；根据肠道质量评价结果获得肠道准备分数信息。

参考文献

[1] Lieberman D A, Rex D K, Winawer S J, et al. Guidelines forColonoscopy Surveillance After Screening and Polypectomy: A Consensus Updateby the US Multi-Society Task Force on Colorectal Cancer. GASTROENTEROLOGY,2012,143(3):844-857.

[2] Brenner H, Chang-Claude J, Seiler C M, et al. Protection FromColorectal Cancer After Colonoscopy A Population-Based, Case-Control Study.ANNALS OF INTERNAL MEDICINE, 2011,154(1):22-156.

[3] Brian T C, Tarun R, Loren L. What level of bowel prep qualityrequires early repeat colonoscopy: systematic review and meta-analysis of theimpact of preparation quality on adenoma detection rate. The American journalof gastroenterology, 2014,109(11).

[4] Meester R G S, Doubeni C A, Lansdorp-Vogelaar I, et al. Variation inAdenoma Detection Rate and the Lifetime Benefits and Cost of ColorectalCancer Screening A Microsimulation Model. JAMA-JOURNAL OF THE AMERICANMEDICAL ASSOCIATION, 2015,313(23):2349-2358.

[5] Baxter N N, Sutradhar R, Forbes S S, et al. Analysis ofAdministrative Data Finds Endoscopist Quality Measures Associated WithPostcolonoscopy Colorectal Cancer[J]. Gastroenterology, 2011,140(1):65-72.

[6] Lai E J, Calderwood A H, Doros G, et al. The Boston bowel preparationscale: a valid and reliable instrument for colonoscopy-oriented research.Gastrointestinal Endoscopy, 2009,69(3):620-625.

[7] Karkanis S A, Iakovidis D K, Maroulis D E, et al. Computer-aidedtumor detection in endoscopic video using color wavelet features. IEEETRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE, 2003,7(3):141-152.

[8] Misawa M, Kudo S, Mori Y, et al. Artificial Intelligence-AssistedPolyp Detection for Colonoscopy: Initial Experience. Gastroenterology, 2018,154(8):2027-2029.

[9] Wang P, Xiao X, Glissen Brown J R, et al. Development and validationof a deep-learning algorithm for the detection of polyps during colonoscopy.Nature Biomedical Engineering, 2018,2(10):741-748.

[10] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification withdeep convolutional neural networks. Advances in Neural Information ProcessingSystems, 2012,1097-1105.

[11] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition. International Conference on Representation Learning,2014.

[12] He K, Zhang X, Ren S, Sun, J. Deep residual learning for imagerecognition. IEEE Conference on Computer Vision and Pattern Recognition,2016,770-778.

[13] Russakovsky O, Deng J, Su H et al. ImageNet Large Scale VisualRecognition Challenge. International Journal of Computer Vision, 2015,115:211-252.

[14] Lin T, Goyal P, Girshick R, He K, Dollar P. Focal loss for denseobject detection. IEEE International Conference on Computer Vision, 2017,2999-3007.。

Claims

1.一种基于深度学习的肠镜质量检查控制系统，其特征在于，包括两个模型：

（2）肠道质量评分模型，为四分类模型，用于把图像按照波士顿肠道准备质量的评分（0-3）进行分类；

上述两个模型由图像分类卷积神经网络将肠镜图像以及标签即回盲瓣标签或评分作为输入，经过端到端训练得到；其中：回盲瓣识别模型通过修改图像分类卷积神经网络的最后一层节点数量为2构建得到；肠道质量评分模型通过修改最后一层节点为4构建得到。

2.根据权利要求1所述的基于深度学习的肠镜质量检查控制系统，其特征在于，所述图像分类卷积神经网络为AlexNet、VGGNet或ResNet。

3.根据权利要求1或2所述的系统，其特征在于，图像分类卷积神经网络模型在ImageNet数据集上预训练进行参数初始化。

4.根据权利要求3所述的基于深度学习的肠镜质量检查控制系统，其特征在于，模型训练所使用的损失函数为Focal Loss，以应对训练过程中样本不均衡的问题；损失函数的形式如下：

其中，p _y为计算分类网络把标签为y的图像预测为第y类的概率；当训练回盲瓣识别模型时，1表示回盲瓣，0表示非回盲瓣；当训练肠道质量评分模型时，表示波士顿肠道准备评分。

5.根据权利要求4所述的基于深度学习的肠镜质量检查控制系统，其特征在于，回盲瓣识别模型和肠道质量评分模型参数不共享，分别单独训练。

6.根据权利要求4或5所述的基于深度学习的肠镜质量检查控制系统，其特征在于，回盲瓣分类模型的训练样本至少包括回盲瓣图像300张，非回盲瓣图像300张；肠道质量评分模型的训练样本至少包括0分、1分、2分、3分图像各700张。

7.根据权利要求6所述的基于深度学习的肠镜质量检查控制系统，其特征在于，测试时，将待测试图像I输入到回盲瓣识别模型，计算I被分类为回盲瓣的概率p；设定阈值T，当p >T时，则认为I为回盲瓣图像；否则认为I为非回盲瓣图像；阈值T的取值为0.4~0.6。

8.根据权利要求6所述的基于深度学习的肠镜质量检查控制系统，其特征在于，测试时，将待测试图像I输入到肠道准备评分模型，计算I被分类为0分、1分、2分、3分的概率，I被分类为概率最大的类，进而可获得肠道准备评分。

9.根据权利要求7或8所述的基于深度学习的肠镜质量检查控制系统，其特征在于，测试时，对样本进行边界裁剪处理，以避免肠镜图像中不相关信息引发的噪声影响深度神经网络的判别精度。