CN111127426B - 一种基于深度学习的胃黏膜清洁度评价方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的胃黏膜清洁度评价方法及系统，所述方法包括以下步骤：实时获取胃镜视频帧；基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价；其中，所述胃粘膜清洁度评价模型构建方法包括：获取胃镜训练图像集；根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型。本发明能够准确评估胃粘膜清洁度，为胃部疾病的诊断和内镜前的准备及质控有积极的作用。

Description

一种基于深度学习的胃黏膜清洁度评价方法及系统

技术领域

本发明属于人工智能技术领域，尤其涉及一种基于深度学习的胃黏膜清洁度评价方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

由于胃镜检查中经常出现胃粘膜清洁度差的情形，例如，胃镜显示胃内充斥大量气泡，附着有大量粘液，有大量反流的胆汁斑附着以及食物潴留等，导致胃镜准备质量低下，影响胃粘膜病变的检出和诊治，增加误诊、漏诊的可能，从而影响胃镜检查的有效性。

现有的胃镜图像评价主要侧重于图像的质量，如是否有伪影、是否清晰等，而对于胃粘膜是否有黏液、是否有气泡此类清洁问题未有涉及，也没有进行定量评价。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于深度学习的胃黏膜清洁度评价方法及系统，能够准确评估胃粘膜的清洁度，及时提示内镜医师在操作时不断注水冲洗准备质量较差的胃粘膜，为后续的检查质量提高了保障。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种基于深度学习的胃黏膜清洁度评价方法，包括以下步骤：

实时获取胃镜视频帧；

基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价；

其中，所述胃粘膜清洁度评价模型构建方法包括：

获取胃镜训练图像集；

根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型。

进一步地，所述胃镜清洁度评价体系包括各级评分标准和分数；其中，等级的数量确定方法为：

提取各幅训练图像的HOG和SIFT特征并进行融合；

将各幅训练图像的融合特征进行聚类，根据组内间距和组间间距寻找最优类别数量，该最优类别数量即等级的数量。

进一步地，所述根据预设的胃镜清洁度评价体系对各幅训练图像标注评分包括：

对各幅训练图像进行黏液、气泡的识别，并依次输出到人工标注界面进行显示，同时显示识别出的黏液、气泡及相应的面积；

人工标注过程中，对自动识别结果进行修正，并根据胃镜清洁度评分标准进行标注。

进一步地，对训练图像集标注评分后，还进行数据扩充：

对每幅训练图像随机选取图像增强方法进行增强，并将增强后的图像写入训练图像集；所述图像增强方法包括：随机裁剪，随机翻转，随机亮度，随机对比度增强。

进一步地，所述深度学习网络采用Xception深度卷积网络。

进一步地，所述基于深度学习网络训练胃粘膜清洁度评价模型包括：

提取每幅训练图像中的气泡数量、位置、气泡大小，以及该训练图像的HOG和SIFT特征，并进行特征融合；

基于融合特征，分别训练XGBoost，lightGBM及CatBoost深度卷积网络，训练过程中通过5折交叉验证和GridSearch对超参数进行调整，然后通过Stacking,对3个模型进行融合，得到胃粘膜清洁度评价模型。

一个或多个实施例提供了一种基于深度学习的胃黏膜清洁度评价系统，包括：

训练数据集获取模块，获取胃镜训练图像集；

评分标注模块，根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

评价模型构建模块，采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型；

实时数据获取模块，实时获取胃镜视频帧；

清洁度评价模块，基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于深度学习的胃黏膜清洁度评价方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于深度学习的胃黏膜清洁度评价方法。

以上一个或多个技术方案存在以下有益效果：

本发明提供了一种胃粘膜清洁度的定量评价方法，能够准确评估胃粘膜的清洁度(准确度98％)，并提供概率预测和评分，能够在评估患者胃镜术前准备质量的同时，实时提示内镜医师在操作时不断注水冲洗准备质量较差的胃粘膜，为胃部疾病的诊断和内镜前的准备及质控有积极的作用。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中基于深度学习的胃黏膜清洁度评价方法流程图；

图2为本发明实施例中图像采集过程示意图；

图3为本发明实施例中胃黏膜清洁度评价标准示意图；

图4为本发明实施例中训练图像预处理和增强流程示意图；

图5为本发明实施例中胃黏膜清洁度评价模型训练和测试效果示意图；

图6为本发明实施例中胃黏膜清洁度评价模型部署示意图；

图7为本发明实施例中胃粘膜清洁度评分的产品应用示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

如图1所示，本实施例公开了一种基于深度学习的胃黏膜清洁度评价方法，包括以下步骤：

步骤1：构建胃粘膜清洁度评价模型。所述步骤1具体包括：

步骤1.1：获取胃镜训练图像集。

如图2所示，采用视频影像采集卡将患者的胃镜投射到胃粘膜清洁度评价系统的UI界面，获取胃镜视频源的帧率和分辨率，并基于视频采集卡开发接口实时采集单帧图像或每分钟采集n帧(建议5-10帧)。

步骤1.2：建立胃粘膜清洁度评价体系。

作为一种实现方式，所述胃粘膜清洁度评价体系中的等级及评分均通过专家评分制定，具体地，作为一个示例，胃镜清洁度评价体系如下：

粘膜清洁无粘液或气泡等评为1分；粘膜有少量粘液或气泡，但不影响粘膜病变观察评为2分；粘膜有较多粘液或气泡，影响粘膜病变观察，需要用水冲洗，但冲水量低于50ml评为3分；粘膜有大量粘液或气泡附着，需要用多于50ml的灭菌注射用水冲洗，评为4分，分别对食管、胃底、胃体中上部、胃体下部、胃窦、十二指肠球部6个部位进行评分，如图3所示，评分等级分为0,1,2，...,k,(k值的确定可基于具体的胃镜清晰度评分规则，通常k＝1或k＝3,表示胃粘膜清晰度评分分为2个等级或4个等级)，人工标注后的胃镜清晰度图像进入图像标注复核平台，对人工标注质量进行把控，该流程保证了深度学习训练胃镜图像的数据质量。

作为另一种实现方式，所述胃粘膜清洁度评价体系的分级数量可通过计算机辅助确定，具体地，作为一个示例，此处通过聚类方法辅助等级的划分：

(1)特征提取：提取每张训练图像的HOG和SIFT特征；

(2)无监督学习特征类别：基于提取的图像特征，对所有训练集进行kmeans聚类，通过欧式距离的组内间距和组间间距寻找最优的量化类别k(即聚类的类中心的个数及类中心)，该类别即为评价体系的分级数量。

确定分级数量后，通过专家对各等级相应的图像进行解读，制定胃粘膜清洁度评价体系。

考虑到当胃粘膜上存在较多黏液或气泡时，相应的胃粘膜图像梯度特征更为明显，通过将图像的HOG和SIFT特征相结合进行聚类，分级更为客观。

步骤1.3：基于步骤1.1采集的图像，将其实时导入标记平台，基于胃镜清洁度评价体系对这些图像进行人工标注。

在人工标注的过程中，若仅通过人眼观察，由于视觉误差的存在，不同图像上黏液、气泡等的多少难以准确的衡量，例如两幅图像上气泡和黏液量实际上相同，但由于背景存在差异导致标注的结果不同，或者两幅图像上黏液所占面积相同，但形状有很大差异，这种情况往往也会导致标注不准确。为了减小视觉误差对人工标注的影响，同时也为了降低人工标注的工作强度，作为一种可选的实施方式，本实施例还提供了黏液和气泡自动识别的方法，用于辅助人工标注，具体地，图像导入标记平台后，首先进行黏液、气泡的识别；然后将识别出的黏液、气泡及相应的面积在人工标注界面中进行显示；人工标注过程中，对自动识别结果进行修正，并根据胃镜清洁度评分标准进行标注。

其中，上述气泡或黏液的自动识别方法在此不做限定，可以通过深度学习网络等方法实现。

步骤1.4：将构建的训练集按照不同胃镜视频来源和随机划分比例6:2:2将胃镜粘膜清晰度图像数据集划分为训练集，验证集和测试集。

步骤1.5：对胃镜图像进行预处理及数据增强策略。如图4所示，从标注平台获取的高质量胃粘膜清晰度标注图像，分别经过图像去黑边算法和图像数据增强策略对胃镜图像进行处理。所述步骤1.3具体包括：

步骤1.5.1：对胃镜图像进行去黑边处理。

去黑边的过程如下：对于给定的胃粘膜图像，将图像分别依次进行灰度化，腐蚀，均值滤波，膨胀，二值化，腐蚀，膨胀，边界提取，最小外接矩形提取的过程完成图像的去黑边算法，这样可以初步提取出胃镜图像的ROI(region of interest)区域。

步骤1.5.2：对于训练集和验证集中的每幅胃镜图像，随机选取数据增强方法进行图像增强。

对于去黑边后的ROI胃镜单帧图像，分别对ROI胃镜单帧图像进行图像增强；图像增强方法包括：随机裁剪，随机翻转，随机亮度，随机对比度增强。这种策略不仅扩充了胃粘膜清洁度图像数据模型训练的数据量，并且在训练过程中随机采取上述数据增强策略可以有效的防止训练深度学习模型的过拟合(OverFitting)和模型预测的稳健性(Robust)。

注意在训练集的构建中针对于单帧胃镜图像并没有实施全部的数据增强策略，而是随机的选取一种数据增强策略加入训练集，随着训练集数量的增加训练集中将覆盖所有的数据增强策略。采用一种数据增强算法就可以满足扩充样本特征的目的，这样就不需要更复杂的多种算法的增强处理。基于“奥卡姆剃刀原则”，在满足神经网络特征需求的情况下，不会主动增加数据的复杂性，而且同时运用多种增强算法，数据量翻倍。

步骤1.5.3：图像经过去黑边和数据增强后，对其进行缩放，将图像最终缩放至299x299像素大小，并对每个像素点进行归一化处理，归一化的策略为：y＝x/255.0,这里x表示胃镜图像的每个像素点的取值，y表示归一化后该像素点的取值。

步骤1.6：基于卷积神经网络，训练胃镜图像胃粘膜清洁度评价模型。

作为一种实施方式，胃粘膜清洁度评价模型构建方法包括：

基于同一份训练集，验证集，测试集，分别同时训练AlexNet,SqueezeNet,MobileNet V1-V3,ShuffleNetV1-V2,Xception深度卷积网络，网络中使用了分组卷积(AlexNet中的分组卷积，不仅优化了模型训练的速度,并且提高了卷积提取的特征的多样性)，深度可分卷积(MobileNet V1-V2，Xception中使用了深度可分卷积，在减小训练参数量的同时，提高了推断速度)，残差块(MobileNet V2,Xception中使用了残差块，很好的避免了梯度爆炸，增强了多级特征提取)，NAS(MobileNet V3使用NAS通过自主选择网络的办法选择最优的网络结构，保证预测精度的同时减小了模型的大小)，File Module(SqueezeNet中减小了参数量并提高了模型的精度),BN(批标准化，规范了每层输入的均值和方差，使得卷积神经网络在训练过程中，每一层神经网络的输入保持相同的分布，加快了收敛速度，同时起到了正则化的效果)，dropout(防止了训练过程的过拟合),和L2正则化(降维和防止了过拟合)的模型基本结构和训练trick。模型的初始化采用了迁移学习的办法，通过加载ImageNet数据集预训练模型的参数作为初始化的参数，这样可以加速模型收敛速度，并且提高训练模型的精度和稳健性及泛化能力。

深度学习的模型在训练过程中会存在随着训练周期的增加，验证集的准确率下降的情形，为了避免深度学习的degradation问题的存在，模型训练的过程中采用了早停法(early stopping)的办法终止模型的训练。经过多种方式的训练策略和不同模型的训练，最终在保证胃粘膜可视度评分精度的同时，保证了胃粘膜评分模型的推断实时性。

基于相同训练集，验证集，测试集分别训练了AlexNet,SqueezeNet,MobileNetV1-V3,ShuffleNetV1-V2,Xception，并在相同的测试集上验证模型的精度，最终选择模型精度最高的Xception深度卷积网络作最终的胃粘膜清晰度评分的推断模型。其训练和测试的模型精度如图5所示。

推断过程中，使用最优阈值的办法确定推断中类别的最优阈值，而不是使用softmax后的最大值，其最优阈值的计算方法采用约登指数：灵敏度+特异度-1，测试集其最大约登指数对应的阈值即为最优阈值。

所有的样本数量n，阳性样本x，阴性样本y。n＝x+y。网络推断n个样本，其中a个推断为阳性，b个推断为阴性。在推断的a个阳性样本中，其中有a1个是真正的阳性样本；在推断的b个阴性样本中，其中有b1个是正真的阴性样本。那么，灵敏度＝a1/x；特异度＝b1/y。

每次重新训练网络后，在测试集上测试新的模型，计算新的约登指数。

经过模型训练，模型选择和最优阈值选择的模型Xception被保存并可进行单帧图像或视频流的实时胃粘膜可视度评分识别，其一般过程如下：步骤2推断阶段获取的胃镜图像，经过预训练的Xception网络最终输出胃粘膜可视度的评分等级和对应的概率值，根据保存的最新的最优阈值，确定胃粘膜可视度评分的等级，模型最终返回胃粘膜可视度评分的最终等级和对应的概率值编码。

作为另一种实施方式，胃粘膜清洁度也可仅通过气泡多少进行衡量，具体地，相应胃粘膜清洁度评价模型构建方法包括：

(1)特征提取：通过气泡自动提取方法，提取每张训练图像中的气泡数量、位置、气泡大小以及该图像的HOG和SIFT特征；

(2)监督学习对新标注数据进行量化：基于特征提取提取到的特征，分别训练XGBoost，lightGBM及CatBoost机器学习模型，训练过程中通过5折交叉验证和GridSearch对超参数进行调整，然后通过Stacking,对3个模型进行融合，模型融合后的新模型作为胃粘膜可视度评分的量化模型。最终该模型会对一张图像输出0-k的分值和对应分值的概率取值。

步骤5：胃粘膜清洁度深度卷积网络模型的多方式部署和产品化。

如图6所示，基于胃粘膜可视度最终训练的深度卷及网络Xception，需要经过模型部署后方可产品化，部署过程中采用了REST API，单机共享内存，神经计算棒三种方式，其中REST API采用Tensorflow Serving部署平台通过Docker进行部署，共享内存的方式解决了C++调用本地Xception模型进程，神经计算棒解决了硬件成本并增加了单机算力。模型部署的多样性使得胃粘膜清洁度评分系统的产品化更加稳健。

如图7所示，胃粘膜清洁度评分的产品应用，包括显示冲洗提示：提示分为视觉提示和声音提示。视觉提示显示计算机显示器上，一个图形化的分值指示器。声音提示通过计算机的声卡输出音频信号给音箱，发出“请冲洗”提示音或者语音。每秒n张图像，包括清洁度高和低。清洁度低图像的评分为0-s分，其中s<k。为了避免得到一个相对稳定并尽量正确的冲洗提示，我们引入了一个阻尼器算法，将神经网络的错误进行抑制，达到满意的使用体验。

实施例二

本实施例的目的是提供一种基于深度学习的胃黏膜清洁度评价系统。

为了实现上述目的，本实施例提供了一种基于深度学习的胃黏膜清洁度评价系统，包括：

训练数据集获取模块，获取胃镜训练图像集；

评分标注模块，根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

评价模型构建模块，采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型；

实时数据获取模块，实时获取胃镜视频帧；

清洁度评价模块，基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价。

实施例三

本实施例的目的是提供一种电子设备。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤，包括：

实时获取胃镜视频帧；

基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价；

其中，所述胃粘膜清洁度评价模型构建方法包括：

获取胃镜训练图像集；

根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型。

实施例四

本实施例的目的是提供一种计算机可读存储介质。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

实时获取胃镜视频帧；

基于预先构建的胃粘膜清洁度评价模型，逐帧进行清洁度评价；

其中，所述胃粘膜清洁度评价模型构建方法包括：

获取胃镜训练图像集；

根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

采用训练图像集，基于深度学习网络训练胃粘膜清洁度评价模型。

以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

以上一个或多个实施例具有以下技术效果：

本发明提供了一种胃粘膜清洁度的定量评价方法，能够准确评估胃粘膜的清洁度(准确度98％)，并提供概率预测和评分，能够在评估患者胃镜术前准备质量的同时，实时提示内镜医师在操作时不断注水冲洗准备质量较差的胃粘膜，为胃部疾病的诊断和内镜前的准备及质控有积极的作用。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，包括以下步骤：

实时获取胃镜视频帧；

基于预先构建的胃黏膜清洁度评价模型，逐帧进行清洁度评价；

其中，所述胃黏膜清洁度评价模型构建方法包括：

获取胃镜训练图像集，提取每幅训练图像中的气泡数量、位置、气泡大小；

根据预设的胃镜清洁度评价体系对各幅训练图像标注评分，分别对食管、胃底、胃体中上部、胃体下部、胃窦、十二指肠球部6个部位进行评分，评分等级分为0,1,2，...,k；采用训练图像集，基于深度学习网络训练胃黏膜清洁度评价模型；

所述胃镜清洁度评价体系等级的数量通过聚类划分：基于提取的图像特征，将各幅训练图像的融合特征进行聚类，根据组内间距和组间间距寻找最优类别数量，该最优类别数量即等级的数量；确定等级数量后，通过对各等级相应的图像进行解读，制定胃黏膜清洁度评价体系。

2.如权利要求1所述的一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，所述胃镜清洁度评价体系包括各级评分标准和分数；其中，等级的数量确定方法还包括：

提取各幅训练图像的HOG和SIFT特征并进行融合。

3.如权利要求1所述的一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，所述根据预设的胃镜清洁度评价体系对各幅训练图像标注评分包括：

对各幅训练图像进行黏液、气泡的识别，并依次输出到人工标注界面进行显示，同时显示识别出的黏液、气泡及相应的面积；

人工标注过程中，对自动识别结果进行修正，并根据胃镜清洁度评分标准进行标注。

4.如权利要求1所述的一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，对训练图像集标注评分后，还进行数据扩充：

对每幅训练图像随机选取图像增强方法进行增强，并将增强后的图像写入训练图像集；所述图像增强方法包括：随机裁剪，随机翻转，随机亮度，随机对比度增强。

5.如权利要求1所述的一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，所述深度学习网络采用Xception深度卷积网络。

6.如权利要求1所述的一种基于深度学习的胃黏膜清洁度评价方法，其特征在于，所述基于深度学习网络训练胃黏膜清洁度评价模型包括：

提取每幅训练图像中的气泡数量、位置、气泡大小，以及该训练图像的HOG和SIFT特征，并进行特征融合；

基于融合特征，分别训练XGBoost，lightGBM及CatBoost深度卷积网络，训练过程中通过5折交叉验证和GridSearch对超参数进行调整，然后通过Stacking,对3个模型进行融合，得到胃黏膜清洁度评价模型。

7.一种基于深度学习的胃黏膜清洁度评价系统，其特征在于，包括：

训练数据集获取模块，获取胃镜训练图像集；

评分标注模块，根据预设的胃镜清洁度评价体系对各幅训练图像标注评分；

评价模型构建模块，采用训练图像集，基于深度学习网络训练胃黏膜清洁度评价模型；

实时数据获取模块，实时获取胃镜视频帧，提取每幅训练图像中的气泡数量、位置、气泡大小；

清洁度评价模块，基于预先构建的胃黏膜清洁度评价模型，逐帧进行清洁度评价，分别对食管、胃底、胃体中上部、胃体下部、胃窦、十二指肠球部6个部位进行评分，评分等级分为0,1,2，...,k；

所述胃镜清洁度评价体系等级的数量通过聚类划分：基于提取的图像特征，将各幅训练图像的融合特征进行聚类，根据组内间距和组间间距寻找最优类别数量，该最优类别数量即等级的数量；确定等级数量后，通过对各等级相应的图像进行解读，制定胃黏膜清洁度评价体系。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的基于深度学习的胃黏膜清洁度评价方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的基于深度学习的胃黏膜清洁度评价方法。

Images