CN111126474A - 共聚焦激光显微内镜消化道图像识别方法及系统 - Google Patents

共聚焦激光显微内镜消化道图像识别方法及系统 Download PDF

Info

Publication number
CN111126474A
CN111126474A CN201911312401.XA CN201911312401A CN111126474A CN 111126474 A CN111126474 A CN 111126474A CN 201911312401 A CN201911312401 A CN 201911312401A CN 111126474 A CN111126474 A CN 111126474A
Authority
CN
China
Prior art keywords
endoscope
confocal
confocal laser
disease
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911312401.XA
Other languages
English (en)
Other versions
CN111126474B (zh
Inventor
左秀丽
马田
李延青
李�真
冯建
杨晓云
邵学军
辛伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd, Qilu Hospital of Shandong University filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN201911312401.XA priority Critical patent/CN111126474B/zh
Publication of CN111126474A publication Critical patent/CN111126474A/zh
Application granted granted Critical
Publication of CN111126474B publication Critical patent/CN111126474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供共聚焦激光显微内镜消化道图像识别方法及系统。其中，该方法包括获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，并分别标注标签，形成相应样本集；训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型；将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的相应模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及对应概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。

Description

共聚焦激光显微内镜消化道图像识别方法及系统
技术领域
本发明属于共聚焦激光显微内镜图像处理领域，尤其涉及一种共聚焦激光显微内镜消化道图像识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
消化道肿瘤严重的威胁着人民的生命健康。早期诊断消化道肿瘤和癌前病变是改善患者预后最重要的方法。共聚焦内镜可以将消化道黏膜放大1000倍，实现对病变的“光学活检”，能够准确诊断各种消化道黏膜病变。
发明人发现，熟练应用共聚焦内镜需要大量的经验和病理学的知识，缺乏经验的内镜医师容易出现漏诊、误诊。因此，目前共聚焦激光显微内镜图像所对应的共聚焦疾病类型的识别均依靠人的经验进行推测，这样降低了共聚焦疾病类型的识别准确率。
发明内容
为了解决上述问题，本发明提供一种共聚焦激光显微内镜消化道图像识别方法及系统，其通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一方面提供一种共聚焦激光显微内镜消化道图像识别方法，其包括：
获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络；
将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
本发明的第二方面提供一种共聚焦激光显微内镜消化道图像识别系统，其包括：
样本集构建模块，其用于获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
模型训练模块，其用于利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络；
类型识别模块，其用于将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
本发明的第四方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
本发明的有益效果是：
本发明利用内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型自动识别内镜部位和共聚焦疾病类型及其相应对应的概率；将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致，通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种共聚焦激光显微内镜消化道图像识别方法流程图；
图2是本发明实施例提供的一种共聚焦激光显微内镜消化道图像识别系统结构示意图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
图1给出了本实施例的一种共聚焦激光显微内镜消化道图像识别方法流程图。
下面结合图1来详细说明本实施例的共聚焦激光显微内镜消化道图像识别方法具体实施过程。
如图1所示，本实施例的共聚焦激光显微内镜消化道图像识别方法，包括：
步骤S101：获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
在具体实施中，内镜图像部位标签包括食管部、胃部和肠部；
共聚焦疾病类型标签包括但不限于食管癌、胃黏膜肠上皮化生、胃黏膜上皮内瘤变、结直肠腺瘤和结直肠癌。
在具体实施中，在内镜图像样本集之前，还包括：
利用去黑边算法对内镜图像处理，得到内镜部位识别的ROI区域，然后对图像进行缩放，缩放后的图像做数据增强操作，以保证识别图像的完整性。
其中，所述数据增强操作包括随机翻转、随机亮度和随机对比度操作。
在具体实施中，在形成共聚焦激光显微内镜图像样本集之前，还包括：
共聚焦激光显微内镜图像进行缩放处理。
步骤S102：利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络。
具体地，在训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型之前，均采用在ImageNet数据集上的对应预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力，模型训练的初始学习率均为0.001，均采用指数平滑方式逐步减小学习率，损失函数均采用交叉熵损失，优化器均采用RMSProp(root mean squareprop，加速梯度下降)优化器算法。
在训练过程中，Inception-ResNet-V2神经网络batch size为16表示每次迭代反向传播梯度计算的样本数量，网络结构中大量使用了Inception结构和Residual Block(残差块)，可以很好的提取内镜部位的抽象特征以及共聚焦激光显微内镜疾病的抽象特征。例如：经过250的epoch迭代训练，训练过程中使用early stopping提前终止训练。
步骤S103：将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
本实施例利用内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型自动识别内镜部位和共聚焦疾病类型及其相应对应的概率；将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致，通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
实施例二
图2给出了本实施例的一种共聚焦激光显微内镜消化道图像识别系统结构示意图。
下面结合图2来详细说明本实施例的共聚焦激光显微内镜消化道图像识别系统结构具体构成。
如图2所示，本实施例的一种共聚焦激光显微内镜消化道图像识别系统，包括：
(1)样本集构建模块，其用于获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
在具体实施中，内镜图像部位标签包括食管部、胃部和肠部；
共聚焦疾病类型标签包括但不限于食管癌、胃黏膜肠上皮化生、胃黏膜上皮内瘤变、结直肠腺瘤和结直肠癌。
在具体实施中，在内镜图像样本集之前，还包括：
利用去黑边算法对内镜图像处理，得到内镜部位识别的ROI区域，然后对图像进行缩放，缩放后的图像做数据增强操作，以保证识别图像的完整性。
其中，所述数据增强操作包括随机翻转、随机亮度和随机对比度操作。
在具体实施中，在形成共聚焦激光显微内镜图像样本集之前，还包括：
共聚焦激光显微内镜图像进行缩放处理。
(2)模型训练模块，其用于利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络；
具体地，在训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型之前，均采用在ImageNet数据集上的对应预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力，模型训练的初始学习率均为0.001，均采用指数平滑方式逐步减小学习率，损失函数均采用交叉熵损失，优化器均采用RMSProp(root mean squareprop，加速梯度下降)优化器算法。
在训练过程中，Inception-ResNet-V2神经网络batch size为16表示每次迭代反向传播梯度计算的样本数量，网络结构中大量使用了Inception结构和Residual Block(残差块)，可以很好的提取内镜部位的抽象特征以及共聚焦激光显微内镜疾病的抽象特征。例如：经过250的epoch迭代训练，训练过程中使用early stopping提前终止训练。
(3)类型识别模块，其用于将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
本实施例利用内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型自动识别内镜部位和共聚焦疾病类型及其相应对应的概率；将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致，通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
实施例三
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例一所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
本实施例利用内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型自动识别内镜部位和共聚焦疾病类型及其相应对应的概率；将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致，通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
实施例四
本实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如实施例一所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
本实施例利用内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型自动识别内镜部位和共聚焦疾病类型及其相应对应的概率；将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致，通过对内镜部位和共聚焦激光显微内镜病变识别共同决定共聚焦疾病类型，提高了共聚焦疾病类型的识别准确率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种共聚焦激光显微内镜消化道图像识别方法，其特征在于，包括：
获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络；
将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
2.如权利要求1所述的共聚焦激光显微内镜消化道图像识别方法，其特征在于，内镜图像部位标签包括食管部、胃部和肠部；
共聚焦疾病类型标签包括食管癌、肠化、胃黏膜上皮内瘤变、结直肠腺瘤和结直肠癌。
3.如权利要求1所述的共聚焦激光显微内镜消化道图像识别方法，其特征在于，在内镜图像样本集之前，还包括：
利用去黑边算法对内镜图像处理，得到内镜部位识别的ROI区域，然后对图像进行缩放，缩放后的图像做数据增强操作，以保证识别图像的完整性。
4.如权利要求3所述的共聚焦激光显微内镜消化道图像识别方法，其特征在于，所述数据增强操作包括随机翻转、随机亮度和随机对比度操作。
5.如权利要求1所述的共聚焦激光显微内镜消化道图像识别方法，其特征在于，在形成共聚焦激光显微内镜图像样本集之前，还包括：
共聚焦激光显微内镜图像进行缩放处理。
6.如权利要求1所述的共聚焦激光显微内镜消化道图像识别方法，其特征在于，在训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型之前，均采用在ImageNet数据集上的对应预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力，模型训练的初始学习率均为0.001，均采用指数平滑方式逐步减小学习率，损失函数均采用交叉熵损失，优化器均采用RMSProp优化器算法。
7.一种共聚焦激光显微内镜消化道图像识别系统，其特征在于，包括：
样本集构建模块，其用于获取若干不同部位的内镜图像和不同疾病类型的共聚焦激光显微内镜图像，标注内镜图像部位标签及共聚焦激光显微内镜图像的共聚焦疾病类型标签，分别形成内镜图像样本集和共聚焦激光显微内镜图像样本集；
模型训练模块，其用于利用内镜图像样本集和共聚焦激光显微内镜图像样本集分别训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型，分别得到内镜部位和共聚焦疾病类型及其相应对应的概率；其中，内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型均为Inception-ResNet-V2神经网络；
类型识别模块，其用于将实时接收到的内镜图像和共聚焦激光显微内镜图像分别输入至训练完成的内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型中，将得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位比较，若两者一致时，输出当前内镜部位、共聚焦疾病类型及各自对应的概率；若两者不一致时，重新获取共聚焦激光显微内镜图像并重新识别其共聚焦疾病类型，直至得到的概率最大共聚焦疾病类型所对应的部位与概率最大的内镜部位一致。
8.如权利要求7所述的共聚焦激光显微内镜消化道图像识别系统，其特征在于，在所述模型训练模块中，在训练内镜部位识别深度学习模型和共聚焦激光显微内镜疾病识别深度学习模型之前，均采用在ImageNet数据集上的对应预训练模型初始化参数，保证训练过程的收敛速度和模型的泛化能力，模型训练的初始学习率均为0.001，均采用指数平滑方式逐步减小学习率，损失函数均采用交叉熵损失，优化器均采用RMSProp优化器算法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的共聚焦激光显微内镜消化道图像识别方法中的步骤。
CN201911312401.XA 2019-12-18 2019-12-18 共聚焦激光显微内镜消化道图像识别方法及系统 Active CN111126474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911312401.XA CN111126474B (zh) 2019-12-18 2019-12-18 共聚焦激光显微内镜消化道图像识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911312401.XA CN111126474B (zh) 2019-12-18 2019-12-18 共聚焦激光显微内镜消化道图像识别方法及系统

Publications (2)

Publication Number Publication Date
CN111126474A true CN111126474A (zh) 2020-05-08
CN111126474B CN111126474B (zh) 2021-02-05

Family

ID=70499700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911312401.XA Active CN111126474B (zh) 2019-12-18 2019-12-18 共聚焦激光显微内镜消化道图像识别方法及系统

Country Status (1)

Country Link
CN (1) CN111126474B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204609A (zh) * 2016-07-20 2016-12-07 复旦大学附属中山医院 共聚焦激光显微内镜肺部影像的处理和分析系统及方法
WO2018152248A1 (en) * 2017-02-14 2018-08-23 Dignity Health Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
JP2019013461A (ja) * 2017-07-07 2019-01-31 浩一 古川 プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN109460717A (zh) * 2018-10-22 2019-03-12 青岛美迪康数字工程有限公司 消化道共聚焦激光显微内镜病变图像识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204609A (zh) * 2016-07-20 2016-12-07 复旦大学附属中山医院 共聚焦激光显微内镜肺部影像的处理和分析系统及方法
WO2018152248A1 (en) * 2017-02-14 2018-08-23 Dignity Health Systems, methods, and media for selectively presenting images captured by confocal laser endomicroscopy
JP2019013461A (ja) * 2017-07-07 2019-01-31 浩一 古川 プローブ型共焦点レーザー顕微内視鏡画像診断支援装置
CN109460717A (zh) * 2018-10-22 2019-03-12 青岛美迪康数字工程有限公司 消化道共聚焦激光显微内镜病变图像识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MOHAMMADHASSAN IZADYYAZDANABADI等: "improving utility of brain tumor confocal laser endomicroscopy: objective value assessment and diagnostic", 《SPIE MEDICAL IMAGING: COMPUTER-AIDED DIAGNOSIS 2017》 *
XUE MIN YUAN等: "Minimal influence of expertise on the evaluation of colorectal neoplastic lesion by confocal laser endomicroscopy", 《2013 JOURNAL OF GASTROENTEROLOGY AND HEPATOLOGY FOUNDATION》 *
张明明: "细针型共聚焦激光显微内镜及其深度学习模型在胃上皮下病变诊断中的应用研究", 《中国博士学位论文全文数据库》 *
李兆申等: "内镜技术在消化系统疾病诊断与治疗中的研究进展", 《中华消化外科杂志》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592756A (zh) * 2021-07-29 2021-11-02 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法
CN113592756B (zh) * 2021-07-29 2023-05-23 华中科技大学鄂州工业技术研究院 一种消化道共聚焦图像拼接方法

Also Published As

Publication number Publication date
CN111126474B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
Jha et al. A comprehensive study on colorectal polyp segmentation with ResUNet++, conditional random field and test-time augmentation
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
US11937973B2 (en) Systems and media for automatically diagnosing thyroid nodules
JP6231885B2 (ja) 頸部を検査する医療機器
JP5526044B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111127426B (zh) 一种基于深度学习的胃黏膜清洁度评价方法及系统
CN110310280B (zh) 肝胆管及结石的图像识别方法、系统、设备及存储介质
CN112614128A (zh) 一种基于机器学习的内镜下辅助活检的系统及方法
US20210407097A1 (en) Method and device of extracting label in medical image
US20230316756A1 (en) Systems and methods for surgical data censorship
CN111126474B (zh) 共聚焦激光显微内镜消化道图像识别方法及系统
CN111839428A (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
CN112950552B (zh) 一种基于卷积神经网络的肋骨分割标记方法及系统
JPWO2019088178A1 (ja) 生検支援装置、内視鏡装置、生検支援方法、及び生検支援プログラム
Luca et al. Artificial intelligence and deep learning, important tools in assisting gastroenterologists
Flores-Araiza et al. Interpretable deep learning classifier by detection of prototypical parts on kidney stones images
Vemuri Survey of computer vision and machine learning in gastrointestinal endoscopy
CN110974121B (zh) 一种判断消化内窥镜检查是否染色的方法及系统
Cao et al. Automatic classification of images with appendiceal orifice in colonoscopy videos
CN110458186B (zh) 基于局部参考相似性编码的乳腺超声图像分类方法及系统
Gatoula et al. Enhanced CNN-Based Gaze Estimation on Wireless Capsule Endoscopy Images
Thai et al. Uit-saviors at medvqa-gi 2023: Improving multimodal learning with image enhancement for gastrointestinal visual question answering
Dy et al. Domain Adaptation using Silver Standard Labels for Ki-67 Scoring in Digital Pathology A Step Closer to Widescale Deployment
CN114764855A (zh) 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zuo Xiuli

Inventor after: Ma Tian

Inventor after: Li Yanqing

Inventor after: Li Zhen

Inventor after: Feng Jian

Inventor after: Yang Xiaoyun

Inventor after: Shao Xuejun

Inventor after: Xin Wei

Inventor before: Zuo Xiuli

Inventor before: Ma Tian

Inventor before: Li Yanqing

Inventor before: Li Zhen

Inventor before: Feng Jian

Inventor before: Yang Xiaoyun

Inventor before: Shao Xuejun

Inventor before: Xin Wei

GR01 Patent grant
GR01 Patent grant