CN111128396B - 一种基于深度学习的消化道疾病辅助诊断系统 - Google Patents

一种基于深度学习的消化道疾病辅助诊断系统 Download PDF

Info

Publication number
CN111128396B
CN111128396B CN201911327549.0A CN201911327549A CN111128396B CN 111128396 B CN111128396 B CN 111128396B CN 201911327549 A CN201911327549 A CN 201911327549A CN 111128396 B CN111128396 B CN 111128396B
Authority
CN
China
Prior art keywords
digestive tract
endoscope
module
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911327549.0A
Other languages
English (en)
Other versions
CN111128396A (zh
Inventor
李延青
杨笑笑
李�真
冯建
左秀丽
杨晓云
邵学军
赖永航
辛伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd, Qilu Hospital of Shandong University filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN201911327549.0A priority Critical patent/CN111128396B/zh
Publication of CN111128396A publication Critical patent/CN111128396A/zh
Application granted granted Critical
Publication of CN111128396B publication Critical patent/CN111128396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明提供了基于深度学习的消化道疾病辅助诊断系统，包括内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率。

Description

一种基于深度学习的消化道疾病辅助诊断系统
技术领域
本发明属于人工智能技术领域，尤其涉及一种基于深度学习的消化道疾病辅助诊断系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
2018年全球癌症统计数据显示，发病率排名前10的肿瘤中有4个来自消化道。包括消化道良性、癌前性和恶性疾病在内的消化道疾病正在、严重威胁着患者的生活质量和生命安全，造成了巨大的卫生负担，早诊断、早治疗，改善患者预后、节约医疗资源的问题亟待解决。随着医学成像设备的发展和普及，消化道疾病通常经内镜筛查即可发现，经过进一步的活组织病理实现确诊，从而实现早期治疗。
然而，发明人发现，目前对于医学成像设备所成的医学图像的处理仍存在以下问题：(1)面对呈指数增长的医学图片，人工检查速度慢、效率低，漏诊的情况时有发生。(2)虽然目前活组织病理检查是消化道疾病诊断的金标准，但是靶向活检，提高活检的效率、尽量减少活检的数目逐渐成为医学发展的趋势；而且人眼诊断病变准确性低，活检数目多且误诊时有发生。
发明内容
为了解决上述问题，本发明提供一种基于深度学习的消化道疾病辅助诊断系统，其利用深度学习算法自动识别内镜在消化道的部位，最终通过共聚焦激光显微内镜图像与其相关联的内镜图像的两者比较，以提高辅助相应图像对应的消化道疾病类别，同时标注出病灶区域。
为了实现上述目的，本发明采用如下技术方案：
一种基于深度学习的消化道疾病辅助诊断系统，包括：
内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；
病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；
消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型。
作为一种实施方式，所述内镜所在部位判断模块，包括：
训练集构建模块，其用于获取消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别；
消化道部位识别模型训练模块，其用于利用训练集训练消化道部位识别模型；消化道部位识别模型包括消化道部位识别模型A和消化道部位识别模型B；其中，消化道部位识别模型A用于识别一级类别和辅助类别，消化道部位识别模型B用于识别二级类别；
内镜所在部位实时输出模块，其用于基于消化道部位识别模型A和消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出内镜所在准确部位，其中，N为大于或等于3的正整数。
作为一种实施方式，在所述内镜所在部位实时输出模块中，判断图像为非相似图像的过程为：
通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。
作为一种实施方式，在所述训练集构建模块中，一级类别包括回盲瓣、结肠、乙状结肠和直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；辅助类别为预设干扰图像类别，用于排除干扰图像；
所述辅助类别包括阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊。
作为一种实施方式，消化道部位识别模型A采用深度学习框架Keras应用模块提供的图像分类模型；通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位识别模型B。
作为一种实施方式，所述病灶区域定位模块，还包括：
消化道病灶区域识别模型训练模块，其用于获取多幅包含已知消化道病灶的消化道部位图像，并对已知消化道病灶区域进行标注；指定已有的网络模型架构，或搭建自定义网络模块架构；接收模型训练参数，根据标注后的训练图像训练消化道病灶区域识别模型。
作为一种实施方式，所述已有的网络模型架构采用YOLO v3神经网络。
作为一种实施方式，所述自定义网络模块架构为：在YOLO v3神经网络基础上，将darknet中的残差块替换为Fire模块。
作为一种实施方式，在所述消化道疾病类型判断模块中，所述消化道疾病类型识别模型为Inception-ResNet-V2神经网络。
作为一种实施方式，在消化道疾病类型判断模块中，训练消化道疾病类型识别模型过程中，采用在ImageNet数据集上的预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力。
本发明的有益效果是：
(1)本发明的基于深度学习的消化道疾病辅助诊断系统利用消化道部位识别模型，实时检测出内镜在消化道的部位；利用消化道疾病类型识别模型得到的概率最大共聚焦疾病类型，再通过其所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，提高了辅助相应图像对应的消化道疾病类别；
(2)本发明还将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，能够识别出病灶区域并进行标注，以供医生直观查看病灶区域，对于消化道疾病检查医师的专业知识和经验要求较低，有助于提高基层内镜医师诊断水平，且易于实现，能有效缓解区域内优质医疗资源总量不足、结构不合理、分布不均衡的问题，以提升各医院胃早癌筛查水平。
(3)本发明的基于深度学习的消化道疾病辅助诊断系统有效地提升了辅助诊疗和科研效率，减轻了医生负担，节约了医疗资源。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例的一种基于深度学习的消化道疾病辅助诊断系统结构示意图；
图2是本发明实施例的内镜所在部位判断模块结构示意图；
图3(a)是内镜操作过程中实时获取的消化道部位图像样本1；
图3(b)是内镜操作过程中实时获取的消化道部位图像样本2；
图3(c)是内镜操作过程中实时获取的消化道部位图像样本3；
图3(d)是内镜操作过程中实时获取的消化道部位图像样本4；
图4是本发明实施例的对已知消化道病灶区域进行标注样本；
图5是本发明实施例的由消化道病灶区域识别模型识别并标注出的病灶区域结果；
图6为本发明实施例中损失函数变化趋势示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示，本实施例的基于深度学习的消化道疾病辅助诊断系统，包括：
(1)内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位。
如图2所示，所述内镜所在部位判断模块，包括：
(1.1)训练集构建模块，其用于获取消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别；
具体地，在所述训练集构建模块中，一级类别包括回盲瓣、结肠、乙状结肠和直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；辅助类别为预设干扰图像类别，用于排除干扰图像；
所述辅助类别包括阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊。
为了消化道检查过程中所有情况，例如具体分类如表1所示：
表1图像分类及选图原则
Figure BDA0002328770670000061
Figure BDA0002328770670000071
其中，肠腔因吸气或充气不良，以及肠腔充气良好，可根据肠腔内的气量多少来判断。
在本实施例中，待检测为消化道检查需要识别的类别，由于消化道图像背景单一且容易受特殊因素干扰，增加辅助类别有利于排除干扰，更准确的筛选有效图像。
一级类别为初步判断，二级类别是因升、横、降结肠相似度过高，需使用细粒度分类网络二次判断，以提高识别准确率。
(1.2)消化道部位识别模型训练模块，其用于利用训练集训练消化道部位识别模型；消化道部位识别模型包括消化道部位识别模型A和消化道部位识别模型B；其中，消化道部位识别模型A用于识别一级类别和辅助类别，消化道部位识别模型B用于识别二级类别；
具体地，消化道部位识别模型A采用深度学习框架Keras应用模块提供的图像分类模型；通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位识别模型B。
其中，Keras是一种高度模块化，由纯Python编写而成并以Tensorflow、Theano以及CNTK为后端。Keras为支持快速实验而生。Keras将模型可理解为一个层的序列或数据的运算图，完全可配置的模块可以用最少的代价自由组合在一起，而且还具有易扩展性。
对于细粒度分类网络DFL-CNN(Learning a Discriminative Filter Bankwithin a CNN)：对于细粒度分类，全局信息也是至关重要的。所以需要一条分支解码全局信息。即普通conv+fc层。然后选取适当的一个较高层卷积，分出另外一条分支进行mid-level能力加强，关注局部信息。其能够准确定位到具有分辨力的关键区域，以及从检测到的关键区域中提取有效特征进行分类。
(1.3)内镜所在部位实时输出模块，其用于基于消化道部位识别模型A和消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出内镜所在准确部位，其中，N为大于或等于3的正整数。
作为一种具体实施方式，在所述内镜所在部位实时输出模块中，判断图像为非相似图像的过程为：
通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。
相似度计算逻辑，通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设阈值时，则判断图像为非相似图像。相关算法如下：
(a)均值哈希算法
缩放：图片缩放为8*8，保留结构，出去细节。
灰度化：转换为256阶灰度图。
求平均值：计算灰度图所有像素的平均值。
比较：像素值大于平均值记作1，相反记作0，总共64位。
生成hash：将上述步骤生成的1和0按顺序组合。
(b)汉明距离计算
汉明距离/Hamming Distance用来计算两个向量的相似度；即通过比较向量每一位是否相同，若不同则汉明距离加1，这样得到汉明距离。向量相似度越高，对应的汉明距离越小。如10001001和10110001有3位不同。
(2)病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注。
作为另一种实施方式，所述病灶区域定位模块，还包括：
消化道病灶区域识别模型训练模块，其用于获取多幅包含已知消化道病灶的消化道部位图像，如图3(a)-图3(d)所示，并对已知消化道病灶区域进行标注，标注结果如图4所示；指定已有的网络模型架构，或搭建自定义网络模块架构；接收模型训练参数，根据标注后的训练图像训练消化道病灶区域识别模型。识别出消化道病灶区域以及最终的输出标注结果，如图5所示。
作为一种实施方式，所述已有的网络模型架构采用YOLO v3神经网络。
利用其具有较高的检测准确度且检测速度快的特点，可以满足电子胃镜实时检查的需求。
在这里设置学习率为0.9，权值衰减系数为0.0005，训练最大批次为50000步，避免训练出现过拟合现象。训练过程中的损失变化曲线如图6所示，在训练开始阶段损失值下降幅度很大，说明学习率合适且进行梯度下降过程，在学习到一定阶段后，损失曲线趋于平稳，损失变化没有一开始那么明显。
作为另一种实施方式，所述自定义网络模块架构为：在YOLO v3神经网络基础上，将darknet中的残差块替换为Fire模块。
训练模型提出一种自定义的darknet-squeeze神经网络模型，构建了one-stage的目标检测框架YOLO-Squeeze。该模型在YOLO v3神经网络模型的darknet-53的backbone基础上，引入SqueezeNet的想法，构建了权衡推断速度和推断精度的backbone，称为darknet-squeeze。
在YOLO v3中，大部分计算资源都花在了darknet-53上，darknet-53由残差块构成，其由1个1x1和1个3×3卷积层和跳连接(skip connection)组成同时使用类似于SSD的算法在不同的卷积层做推断。尽管darknet-53实现了很强的性能，但在参数数量和推理时间方面却很耗时,在大图上依然满足不了实时推断的要求。而YOLO-Squeeze探索了一种减少每像素处理量的替代方法。具体地，YOLO-Squeeze将残差块替换为SqueezeNet中的Firemodule，Fire module由两层构成，分别是squeeze层和expand层，squeeze层是一个1X1卷积核的卷积层，expand层是1X1和3X3卷积核的卷积层，expand层中，把1X1和3X3得到的feature map进行concat。
除此之外还借鉴了目标定位损失函数GIoU作为胃早癌病灶检测的检测框的损失函数，GIoU(generalized IoU)与传统的IoU不同，其定义如下：
Figure BDA0002328770670000101
其中C是包含A和B的最小凸形状。
目标检测中目前大部分的算法仍然采用L1或L2范数作为检测边界框的损失，但这种损失不能很好的度量真实边界框与预测边界框的重叠程度，而IoU作为损失函数在目标检测中也时常出现，但是IoU有个致命的缺点，当真实标注框与预测标注框不重叠时其损失函数为0，此时模型在训练过程中不能更新参数，而GIoU很好的解决了这些问题，本实施例在训练过程中采用了GIoU作为标注框预测的损失函数。
上述darknet-squeeze网络模型，通过引入SqueezeNet中的Fire模型，简化了网络结构，减小了运算量，提高了模型的实时性；通过在目标检测中引入GIoU，保证了目标的检测精度。
训练过程同YOLO v3的训练过程相同。
在具体实施中，当出现识别区域重叠的问题时，实际上识别出的是同一个病灶区域，这里加入逻辑判断，如果两个矩形框的面积重叠率超过预设比例(比如：40％)，去除重叠的那个矩形框。
(3)消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型。
在本实施例中，消化道疾病类型包括但不限于食管早癌、下咽癌、贲门癌、反流性食管炎、食管裂孔疝、Barrett食管、食管胃黏膜异位、门脉高压性胃病、慢性萎缩性胃炎、胃早癌、进展期胃癌、胃溃疡、胃镜黏膜下病变、结肠早癌、结肠进展期癌、肠结核、白塞氏病、肠镜黏膜下病变等疾病。
在具体实施中，共聚焦激光显微内镜图像进行缩放处理之后来训练消化道疾病类型识别模型。
在所述消化道疾病类型判断模块中，所述消化道疾病类型识别模型为Inception-ResNet-V2神经网络。
具体地，在消化道疾病类型判断模块中，训练消化道疾病类型识别模型过程中，采用在ImageNet数据集上的预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力。模型训练的初始学习率均为0.001，采用指数平滑方式逐步减小学习率，损失函数均采用交叉熵损失，优化器均采用RMSProp(root mean square prop，加速梯度下降)优化器算法。
在训练过程中，Inception-ResNet-V2神经网络batch size为16表示每次迭代反向传播梯度计算的样本数量，网络结构中大量使用了Inception结构和Residual Block(残差块)，可以很好的提取内镜部位的抽象特征以及共聚焦激光显微内镜疾病的抽象特征。例如：经过250的epoch迭代训练，训练过程中使用early stopping提前终止训练。
本实施例的基于深度学习的消化道疾病辅助诊断系统利用消化道部位识别模型，实时检测出内镜在消化道的部位；利用消化道疾病类型识别模型得到的概率最大共聚焦疾病类型，再通过其所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其对概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，提高了辅助相应图像对应的消化道疾病类别；
本实施例还将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，能够识别出病灶区域并进行标注，以供医生直观查看病灶区域，对于消化道疾病检查医师的专业知识和经验要求较低，有助于提高基层内镜医师诊断水平，且易于实现，能有效缓解区域内优质医疗资源总量不足、结构不合理、分布不均衡的问题，以提升各医院胃早癌筛查水平。
本实施例的基于深度学习的消化道疾病辅助诊断系统有效地提升了辅助诊疗和科研效率，减轻了医生负担，节约了医疗资源。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于深度学习的消化道疾病辅助诊断系统，其特征在于，包括：
内镜所在部位判断模块，其用于将内镜操作过程中实时获取的消化道部位图像传送至消化道部位识别模型，实时输出内镜在消化道的部位；
病灶区域定位模块，其用于将内镜操作过程中实时获取的消化道部位图像输入至消化道病灶区域识别模型，识别病灶区域并进行标注；
消化道疾病类型判断模块，其用于接收与内镜相关联的共聚焦激光显微内镜实时获取的共聚焦激光显微内镜图像输入至消化道疾病类型识别模型中，将得到的概率最大共聚焦疾病类型所对应的部位与内镜当前所在部位比较，当两者一致时，输出当前消化道疾病类型及其概率；否则，重新获取若干连续帧共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型；
所述内镜所在部位判断模块，包括：
训练集构建模块，其用于获取消化道部位图像并标注出待识别类别和识别干扰图像的辅助类别构建出训练集，其中，待识别类别包括一级类别及二级类别，二级类别属于一级类别的子类别；
消化道部位识别模型训练模块，其用于利用训练集训练消化道部位识别模型；消化道部位识别模型包括消化道部位识别模型A和消化道部位识别模型B；其中，消化道部位识别模型A用于识别一级类别和辅助类别，消化道部位识别模型B用于识别二级类别；
内镜所在部位实时输出模块，其用于基于消化道部位识别模型A和消化道部位识别模型B对消化道内镜图像进行实时检测，排除属于辅助类别的图像，若存在连续N张非相似图像均为同一类别的概率超过预设阈值，则输出图像所属的一级类别和二级类别，进而确定出内镜所在准确部位，其中，N为大于或等于3的正整数；
在所述训练集构建模块中，一级类别包括回盲瓣、结肠、乙状结肠和直肠；二级类别属于结肠的子分类，包括升结肠、横结肠和降结肠；辅助类别为预设干扰图像类别，用于排除干扰图像；
所述辅助类别包括阑尾开口、积液、镜头与肠壁距离小于预设值、镜头被遮挡、肠腔收缩、肠腔不完整和模糊；
消化道部位识别模型A采用深度学习框架Keras应用模块提供的图像分类模型；通过细粒度分类网络DFL-CNN，使用多分支结构同时利用训练集中的下消化道内窥镜图像的局部信息和全局信息，并对局部区域进行特征监督的方式进行训练，得到消化道部位识别模型B；
所述病灶区域定位模块，还包括：
消化道病灶区域识别模型训练模块，其用于获取多幅包含已知消化道病灶的消化道部位图像，并对已知消化道病灶区域进行标注；指定已有的网络模型架构，或搭建自定义网络模块架构；接收模型训练参数，根据标注后的训练图像训练消化道病灶区域识别模型；
所述已有的网络模型架构采用YOLO v3神经网络；
所述自定义网络模块架构为：在YOLO v3神经网络基础上，将darknet中的残差块替换为Fire模块；
在所述消化道疾病类型判断模块中，所述消化道疾病类型识别模型为Inception-ResNet-V2神经网络。
2.如权利要求1所述的基于深度学习的消化道疾病辅助诊断系统，其特征在于，在所述内镜所在部位实时输出模块中，判断图像为非相似图像的过程为：
通过均值哈希算法生成哈希序列并计算汉明距离，当汉明距离大于所设汉明距离阈值时，则判断图像为非相似图像。
3.如权利要求1所述的基于深度学习的消化道疾病辅助诊断系统，其特征在于，在消化道疾病类型判断模块中，训练消化道疾病类型识别模型过程中，采用在ImageNet数据集上的预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力。
CN201911327549.0A 2019-12-20 2019-12-20 一种基于深度学习的消化道疾病辅助诊断系统 Active CN111128396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911327549.0A CN111128396B (zh) 2019-12-20 2019-12-20 一种基于深度学习的消化道疾病辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911327549.0A CN111128396B (zh) 2019-12-20 2019-12-20 一种基于深度学习的消化道疾病辅助诊断系统

Publications (2)

Publication Number Publication Date
CN111128396A CN111128396A (zh) 2020-05-08
CN111128396B true CN111128396B (zh) 2020-11-03

Family

ID=70500743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911327549.0A Active CN111128396B (zh) 2019-12-20 2019-12-20 一种基于深度学习的消化道疾病辅助诊断系统

Country Status (1)

Country Link
CN (1) CN111128396B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753790B (zh) * 2020-07-01 2023-12-12 武汉楚精灵医疗科技有限公司 一种基于随机森林算法的视频分类方法
CN112614128B (zh) * 2020-12-31 2021-09-07 山东大学齐鲁医院 一种基于机器学习的内镜下辅助活检的系统及方法
CN112466466B (zh) * 2021-01-27 2021-05-18 萱闱(北京)生物科技有限公司 基于深度学习的消化道辅助检测方法、装置和计算设备
CN112884728A (zh) * 2021-02-04 2021-06-01 复旦大学附属中山医院 基于深度学习卷积神经网络的内镜图像病变识别筛查方法
CN112949168A (zh) * 2021-02-04 2021-06-11 复旦大学附属中山医院 一种内镜下上消化道实时位置定位模型建立方法
CN113139937B (zh) * 2021-04-13 2022-11-01 上海市第一人民医院 一种基于深度学习的消化道内窥镜视频图像识别方法
CN113658700B (zh) * 2021-08-16 2023-10-27 复旦大学附属中山医院 一种基于机器学习的门脉高压无创评估方法及系统
CN114283192A (zh) * 2021-12-10 2022-04-05 厦门影诺医疗科技有限公司 一种基于场景识别的胃镜检查盲区监测方法、系统和应用
CN114419050B (zh) * 2022-03-31 2022-06-21 武汉大学 胃黏膜可视化程度量化方法、装置、终端及可读存储介质
CN115132355B (zh) * 2022-07-13 2024-05-03 山东大学齐鲁医院 一种炎症性肠病的智能数据辅助诊断系统
CN116798613B (zh) * 2023-08-23 2023-11-28 山东大学齐鲁医院(青岛) 一种基于关节镜成像的膝骨性关节炎诊断方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447985A (zh) * 2018-11-16 2019-03-08 青岛美迪康数字工程有限公司 结肠镜图像分析方法、装置及可读存储介质
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109907720A (zh) * 2019-04-12 2019-06-21 重庆金山医疗器械有限公司 电子内镜辅助检查方法及电子内镜控制系统
CN110136106B (zh) * 2019-05-06 2022-12-27 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447985A (zh) * 2018-11-16 2019-03-08 青岛美迪康数字工程有限公司 结肠镜图像分析方法、装置及可读存储介质
CN109727243A (zh) * 2018-12-29 2019-05-07 无锡祥生医疗科技股份有限公司 乳腺超声图像识别分析方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Minimal influence of expertise on the evaluation of colorectal neoplastic lesion by confocal laser endomicroscopy";Xue Min Yua;《2013 Journal of Gastroenterology and Hepatology Foundation》;20130822;第91-95页 *
细针型共聚焦激光显微内镜及其深度学习模型在胃上皮下病变诊断中的应用研究";张明明;《中国博士学位论文全文数据库》;20190915(第09期);第4、72页 *

Also Published As

Publication number Publication date
CN111128396A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111128396B (zh) 一种基于深度学习的消化道疾病辅助诊断系统
Ribeiro et al. Colonic polyp classification with convolutional neural networks
CN110490856B (zh) 医疗内窥镜图像的处理方法、系统、机器设备和介质
CN110991561B (zh) 一种下消化道内窥镜图像识别方法及系统
CN111048170A (zh) 基于图像识别的消化内镜结构化诊断报告生成方法与系统
Kominami et al. Computer-aided diagnosis of colorectal polyp histology by using a real-time image recognition system and narrow-band imaging magnifying colonoscopy
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
Bernal et al. WM-DOVA maps for accurate polyp highlighting in colonoscopy: Validation vs. saliency maps from physicians
US9342881B1 (en) System and method for automatic detection of in vivo polyps in video sequences
EP2557539B1 (en) Image processing apparatus, image processing method, and image processing program
EP2474949B1 (en) Image processing device, image processing method, and image processing program
KR102176139B1 (ko) 연속적인 딥 인코더-디코더 네트워크를 이용한 이미지 세그먼테이션 장치 및 그 방법
US20150065850A1 (en) Accurate and efficient polyp detection in wireless capsule endoscopy images
Souaidi et al. A new automated polyp detection network MP-FSSD in WCE and colonoscopy images based fusion single shot multibox detector and transfer learning
CN111179252A (zh) 基于云平台的消化道病灶辅助识别与正反馈系统
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
Liu et al. Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning
van der Putten et al. Informative frame classification of endoscopic videos using convolutional neural networks and hidden Markov models
Wen et al. Pulmonary nodule detection based on convolutional block attention module
Gao et al. Application of deep learning for early screening of colorectal precancerous lesions under white light endoscopy
Nader et al. Automatic teeth segmentation on panoramic X-rays using deep neural networks
Hossain et al. Deeppoly: deep learning based polyps segmentation and classification for autonomous colonoscopy examination
CN109635866B (zh) 处理肠图像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Li Yanqing

Inventor after: Yang Xiaoxiao

Inventor after: Li Zhen

Inventor after: Feng Jian

Inventor after: Zuo Xiuli

Inventor after: Yang Xiaoyun

Inventor after: Shao Xuejun

Inventor after: Lai Yonghang

Inventor after: Xin Wei

Inventor before: Li Yanqing

Inventor before: Yang Xiaoxiao

Inventor before: Li Zhen

Inventor before: Feng Jian

Inventor before: Zuo Xiuli

Inventor before: Yang Xiaoyun

Inventor before: Shao Xuejun

Inventor before: Lai Yonghang

Inventor before: Xin Wei

CB03 Change of inventor or designer information