CN112070124A - 一种基于卷积神经网络的消化内镜视频场景分类方法 - Google Patents

一种基于卷积神经网络的消化内镜视频场景分类方法 Download PDF

Info

Publication number
CN112070124A
CN112070124A CN202010830720.6A CN202010830720A CN112070124A CN 112070124 A CN112070124 A CN 112070124A CN 202010830720 A CN202010830720 A CN 202010830720A CN 112070124 A CN112070124 A CN 112070124A
Authority
CN
China
Prior art keywords
scene
state
classification
endoscope
sliding window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010830720.6A
Other languages
English (en)
Inventor
曹鱼
陈齐磊
刘本渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Huiwei Intelligent Medical Technology Co ltd
Original Assignee
Suzhou Huiwei Intelligent Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Huiwei Intelligent Medical Technology Co ltd filed Critical Suzhou Huiwei Intelligent Medical Technology Co ltd
Priority to CN202010830720.6A priority Critical patent/CN112070124A/zh
Publication of CN112070124A publication Critical patent/CN112070124A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种基于卷积神经网络的消化内镜视频场景分类方法，包括如下步骤：（1）通过消化内镜设备获取实时的场景图像；（2）将获取的场景图像用CNN场景分类器进行初步场景分类；（3）将CNN场景分类器的初步分类结果纳入到K滑窗时序信号队列中，其中K为时序信号队列的长度；（4）统计K滑窗队列中各种状态的比例；（5）根据当前场景和K滑窗队列状态比例，确定场景状态；本发明中的CNN场景分类器能实时高效地为内镜设备获取的图像进行初级场景分类，为确保内镜设备获取的图像场景分类在时序信号上的稳定，利用滑窗统计场景状态转换算法对初级场景分类结果进行场景状态的确定，加强场景分类以及场景状态转换的可靠性。

Description

一种基于卷积神经网络的消化内镜视频场景分类方法
技术领域
本发明属于消化内镜视频的图像处理技术领域，尤其涉及一种基于卷积神经网络的消化内镜视频场景分类方法。
背景技术
近年来，随着深度学习算法的出现，人工智能(AI)领域在研究呈现出革命性的发展和进步，在海量数据的支撑下，基于深度学习算法AI系统在越来越多的应用领域开始具有和人类专家相近的识别判断能力，在某些特殊领域甚至超过人类；特别是在医疗领域，深度学习算法也显现出巨大的潜力，例如在应对皮肤病变和糖尿病视网膜病变图像的诊断方面，基于深度学习的AI系统在闭包测试过程中已经具备与医学专家相同甚至更佳的识别能力。
基于深度学习的计算机辅助诊断（CAD）在消化内镜领域也得到越来越多的关注，包括结肠镜、上消化道内镜等消化内镜影像领域中卷积神经网络（CNN）具备很高的应用价值；结肠镜和上消化道内镜CAD是AI在消化内镜领域最受关注和深入的研究方向，目前研究和应用主要集中在息肉的自动检出，盲区检测，早癌识别，质量控制的实时鉴别。
目前大量临床前沿探索研究表明，基于CNN的CAD系统在检测息肉病变方面具备良好的性能，但这些系统目前只是针对体内病变的检测和识别，在识别视频中的不同场景（体内，体外，上消化道内镜，结肠镜）还未实现自动化。消化镜手术视频一般包括体外准备过程，进入过程，体内过程，以及最终退回到体外过程，场景自动识别能帮助CAD系统根据当前场景自动启动相应功能模块，例如，上消化道内镜手术中需要启动胃癌早筛，结肠镜手术中需要启动肠道息肉的识别，镜头在体外时则不需要启动任何病变识别功能；反之，如果没有场景自动化识别，CAD系统只能由用户手动输入当前场景信息，从而限制了系统的功能和用途。
通常图像分类是通过手工特征标注或特征学习方法对整个单张图像进行全部描述，然后使用分类器学习特征并判别物体类别，随着深度学习的发展，基于CNN图像分类算法在准确度方面有了飞跃的发展，基于CNN的图像分类器通常在单张图像上具有优秀的分类能力，但在基于图像流的视频判断过程中，即使准确度再高的分类器也难免会遇到误判情况；而消化内镜视频是由多帧消化内镜镜头在时序方向采集的图像数据，基于CNN的场景图像分类器能够较为准确的识别各个单帧所表现的场景，但由于视频采集所产生的图像数据数量较大，在时序图像采样过程中难免会出现单帧错误分类，导致单帧图像所表现的场景被错误判断。
发明内容
本发明目的是为了克服现有技术的不足而提供一种能够自动识别消化内镜视频中的不同场景，且判断精准的基于卷积神经网络的消化内镜视频场景分类方法。
为达到上述目的，本发明采用的技术方案是：一种基于卷积神经网络的消化内镜视频场景分类方法，包括如下步骤：
（1）：通过消化内镜设备获取实时的场景图像；
（2）：将获取的场景图像用CNN场景分类器进行初步场景分类；
（3）：将CNN场景分类器的初步分类结果纳入到K滑窗时序信号队列中，其中K为时序信号队列的长度；
（4）：统计K滑窗队列中各种状态的比例；
（5）：根据当前场景和K滑窗队列状态比例，确定场景状态。
进一步的，所述CNN场景分类器的分类过程如下：
将消化内镜视频中的单帧内镜图像作为输入；
通过通用卷积神经网络后形成维度为4096的特征向量；
该特征向量经过四分类线性分类器之后，最终获得单帧内镜图像分类结果。
进一步的，所述通用卷积神经网络包括但不限于：
Alexnet、VGGnet、Shufflenet、Densenet、Squeezenet。
进一步的，所述通用卷积神经网络是由ImageNet进行预训练，再由内镜四分类场景训练图像数据集训练所得；
其中，内镜四分类场景包括体外场景、结肠镜标识场景、上消化道内镜标识场景和体内场景。
进一步的，所述四分类线性分类器包含但不限于：
线性支持向量机和Softmax分类器。
进一步的，在所述步骤（4）中的各种状态如下：
体外状态；
结肠镜状态；
上消化道内镜状态；
体内状态；
其中，结肠镜状态和上消化道内镜状态划分为同一状态。
进一步的，在步骤（5）中的确定场景状态转换的方法如下：
若当前场景状态为体外状态，且，滑窗中结肠镜或上消化道内镜状态信号比例超过阈值s1，场景状态由体外状态进入结肠镜或上消化道内镜状态;而如果滑窗中结肠镜或上消化道内镜状态信号比例不超过阈值s1, 场景状态保持为体外状态，不进行转换；
其中，s1代表结肠镜或上消化道内镜状态信号在时序队列中所占的最小比例阈值；
若当前场景状态为结肠镜或上消化道内镜状态，且，滑窗时序信号中体内状态所占的比例超过阈值s2，场景状态由口腔或肛门进入体内状态；而如果滑窗中体内状态信号比例不超过阈值s2, 场景状态保持为结肠镜或上消化道内镜状态，不进行转换；
其中，s2代表体内状态信号在时序队列中所占比例的最小阈值；
若当前状态为体内状态，且，滑窗时序信号中体外状态所占的比例超过阈值s3，镜头由体内状态移出到体外状态；而如果滑窗中体外状态信号比例不超过阈值s3, 场景状态保持为体内状态，不进行转换；
其中，s3代表体外状态信号在时序队列中所占比例的最小阈值。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明方案的基于卷积神经网络的消化内镜场景分类方法，能够准确地为消化内镜CAD系统提供场景信息，其中CNN场景分类器能够实时高效地为内镜设备获取的图像进行初级场景分类，为了确保内镜设备获取的图像场景分类在时序信号上的稳定，利用滑窗统计场景状态转换算法对初级分类结果进行场景状态的再次确认，进一步加强场景分类以及场景状态转换的可靠性。
附图说明
下面结合附图对本发明技术方案作进一步说明：
图1为本发明的流程图示意图；
图2为本发明中CNN场景分类器的分类流程示意图；
图3为体外场景状态的示意图 ；
图4为结肠镜标识场景状态的示意图；
图5为上消化道内镜标识场景状态的示意图；
图6为体内场景状态的示意图；
图7为本发明中基于时序信号滑窗统计的消化内镜视频场景转换算法的状态转换图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
请参阅附图1，本发明所述的一种基于卷积神经网络的消化内镜视频场景分类方法，是为了解决基于AI的消化内镜CAD系统中的消化内镜视频中的场景自动识别问题，其包含如下步骤：
（1）：通过消化内镜设备获取实时的场景图像。
（2）：将获取的场景图像用CNN场景分类器进行初步场景分类。
（3）：将CNN场景分类器的初步分类结果纳入到K滑窗时序信号队列中，其中K为时序信号队列的长度。
（4）：统计K滑窗队列中各种状态的比例。
（5）：根据当前场景和K滑窗队列状态比例，确定场景状态。
具体的，CNN场景分类器实现技术主要采用当前通用的卷积神经网络图像分类器模型M（例如squeezenet、shufflenet、vggnet、densenet等），该CNN场景分类器的分类流程请参阅附图2，首先将消化内镜视频中的单帧内镜图像作为输入，通过通用卷积神经网络后形成维度为4096的特征向量，该特征向量经过四分类线性分类器之后，最终获得单帧内镜图像分类结果。
其中所述四分类线性分类器包含,但不限于线性支持向量机(SVM)、Softmax分类器等，且通用卷积神经网络是由ImageNet进行预训练，再由内镜四分类场景训练图像数据集训练所得。
另外，请参阅附图3-6，上述的的内镜四分类场景，其包括：
①体外场景，体外场景图像主要包括内镜设备在接触人体以外（手术室环境）捕捉到的图像信息。
②结肠镜标识场景，结肠镜标识场景图像主要包括内镜设备从体外通过口腔进入肠道过程的场景图像。
③上消化道内镜标识场景，上消化道内镜标识场景图像主要包括内镜设备捕捉到的从体外通过口腔进入食道过程的场景图像。
④体内场景，体内场景图像主要包括内镜设备捕捉到的人体内部包括上消化道或肠道的图像。
本发明中的CNN场景分类器采样以上四种场景图像作为数据来源，经过专业医生进行质量审核之后，形成训练数据集，再对CNN模型M进行训练，经过闭包测试之后，最终获得准确率较高的单帧图像内镜场景分类器。
因为图像质量和模型泛化能力的局限性，CNN场景分类器的分类结果不可能完全正确，鉴于在消化道内镜手术过程中，其场景转换有特定的顺序规律（手术开始时镜头从体外通过口腔或肛门进入到胃部或肠道，手术结束时镜头从体内移到体外），本发明为了进一步提升内镜场景分类可靠性，采用到了滑窗统计场景状态转换算法，其实现技术主要是根据CNN模型M产生在视频流过程中产生的时序分类结果，结合手术过程顺序规律，进行进一步确定内镜场景以及场景转换的方法。
该算法将模型M产生的分类信号序列作为输入，在时序方面进行滑窗移动，再在滑窗内部实现分类比例统计，并根据当前场景状态进行下一步场景状态的确定。
请参阅图7，本发明中基于时序信号滑窗统计的消化内镜视频场景转换算法的状态转换图，其中的场景总共包含四个状态，体外状态（镜头在体外），结肠镜状态（镜头靠近肛门部位），上消化道内镜状态（镜头靠近口腔部位），体内状态（镜头进入体内，胃部或肠道）。
这里将结肠镜和上消化道内镜状态划分为同一个状态是由于它们的互相不容性质，也就是说出现结肠镜的状态下上消化道内镜状态一定不会出现，反之亦然。
其中，具体的场景之间的转换由以下条件决定：
条件1包含两方面的内容：①当前所处状态为体外状态；②滑窗中结肠镜或上消化道内镜状态信号比例超过s1，其中s1代表结肠镜或上消化道内镜信号在时序队列中所占的最小比例阈值。
如果当前场景为体外，当滑窗中结肠镜或上消化道内镜状态信号比例超过阈值s1时，我们确定镜头由体外进入结肠镜或上消化道内镜状态，而如果只有少量的单帧图像被错误判断，只要其信号比例不超过阈值s1, 场景保持为体外，不进行转换，这样场景分类的可靠性得到提升。
条件2包含两个方面的内容：①当前状态为结肠镜或上消化道内镜状态；②滑窗时序信号中体内状态所占的比例超过s2，其中s2代表体内信号在时序队列中所占比例的最小阈值。
如果当前场景为结肠镜或上消化道内镜状态，当滑窗中体内状态信号比例超过阈值s2时，我们确定镜头由口腔或肛门进入体内。而如果只有少量的单帧图像被错误判断成体内，只要其信号比例不超过阈值s1, 场景保持为结肠镜或上消化道内镜状态，不进行转换。
条件3包含两方面的内容：①当前状态为体内状态；②滑窗时序信号中体外状态所占的比例超过s3，其中s3代表体外信号在时序队列中所占比例的最小阈值。
如果当前场景为体内，当滑窗中体外状态信号比例超过阈值s3时，我们确定镜头由体内移出到体外，而如果只有少量的单帧图像被错误判断成体外，只要其信号比例不超过阈值s3, 场景保持为体内，不进行转换。
本发明中的滑窗统计算法在内镜采样帧率方面也因状态不同而不同，在体外状态、结肠镜和上消化道内镜状态的采帧率为f1，即每秒钟从镜头设备产生的图片中抽取f1张进行状态计算；在体内的采帧率为f2，即每秒钟从镜头设备产生的图片中抽取f1张进行状态计算；其中f1通常大于f2，旨在不降低准确率的情况下减少算法的计算资源消耗。
另外，本发明中所述的卷积神经网络模块是采用一个通用卷积神经网络（例如DenseNet、SqueezeNet等）模型，其中最优模型在单帧图片分类方面的准确率可达到99.1%，本发明中的场景分类方法，在真实视频分类的准确率达到95.5%，本发明中滑窗队列在不同状态下的采帧率区分方法，非体内状态的采帧率为f1，体内的采帧率为f2，也能够保证CAD系统在计算机运算时的算力合理分配。
本发明的基于卷积神经网络的消化内镜场景分类方法，能够准确地为消化内镜CAD系统提供场景信息，其中CNN场景分类器能够实时高效地为内镜设备获取的图像进行初级场景分类，为了确保内镜设备获取的图像场景分类在时序信号上的稳定，利用滑窗统计场景状态转换算法对初级分类结果进行场景状态的再次确认，进一步加强场景分类以及场景状态转换的可靠性。
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

Claims (7)

1.一种基于卷积神经网络的消化内镜视频场景分类方法，其特征在于,包括如下步骤：
（1）：通过消化内镜设备获取实时的场景图像；
（2）：将获取的场景图像用CNN场景分类器进行初步场景分类；
（3）：将CNN场景分类器的初步分类结果纳入到K滑窗时序信号队列中，其中，K为时序信号队列的长度；
（4）：统计K滑窗队列中各种状态的比例；
（5）：根据当前场景和K滑窗队列状态比例，确定场景状态。
2.根据权利要求1所述的基于卷积神经网络的消化内镜视频场景分类方法，其特征在于，所述CNN场景分类器的分类过程如下：
将消化内镜视频中的单帧内镜图像作为输入；
通过通用卷积神经网络后形成维度为4096的特征向量；
该特征向量经过四分类线性分类器之后，最终获得单帧内镜图像分类结果。
3.根据权利要求2所述的基于卷积神经网络的消化内镜视频场景分类方法，其特征在于，所述通用卷积神经网络包括但不限于：
Alexnet、VGGnet、Shufflenet、Densenet、Squeezenet。
4.根据权利要求2所述的基于卷积神经网络的消化内镜视频场景分类方法,其特征在于：所述通用卷积神经网络是由ImageNet进行预训练，再由内镜四分类场景训练图像数据集训练所得；
其中，内镜四分类场景包括体外场景、结肠镜标识场景、上消化道内镜标识场景和体内场景。
5.根据权利要求2所述的基于卷积神经网络的消化内镜视频场景分类方法,其特征在于，所述四分类线性分类器包含但不限于：
线性支持向量机和Softmax分类器。
6.根据权利要求1所述的基于卷积神经网络的消化内镜视频场景分类方法,其特征在于，在所述步骤（4）中的各种状态如下：
体外状态；
结肠镜状态；
上消化道内镜状态；
体内状态；
其中，结肠镜状态和上消化道内镜状态划分为同一状态。
7.根据权利要求6所述的基于卷积神经网络的消化内镜视频场景分类方法,其特征在于，在步骤（5）中的确定场景状态转换的方法如下：
若当前场景状态为体外状态，且，滑窗中结肠镜或上消化道内镜状态信号比例超过阈值s1，场景状态由体外状态进入结肠镜或上消化道内镜状态;而如果滑窗中结肠镜或上消化道内镜状态信号比例不超过阈值s1, 场景状态保持为体外状态，不进行转换；
其中，s1代表结肠镜或上消化道内镜状态信号在时序队列中所占的最小比例阈值；
若当前场景状态为结肠镜或上消化道内镜状态，且，滑窗时序信号中体内状态所占的比例超过阈值s2，场景状态由口腔或肛门进入体内状态；而如果滑窗中体内状态信号比例不超过阈值s2, 场景状态保持为结肠镜或上消化道内镜状态，不进行转换；
其中，s2代表体内状态信号在时序队列中所占比例的最小阈值；
若当前状态为体内状态，且，滑窗时序信号中体外状态所占的比例超过阈值s3，镜头由体内状态移出到体外状态；而如果滑窗中体外状态信号比例不超过阈值s3, 场景状态保持为体内状态，不进行转换；
其中，s3代表体外状态信号在时序队列中所占比例的最小阈值。
CN202010830720.6A 2020-08-18 2020-08-18 一种基于卷积神经网络的消化内镜视频场景分类方法 Pending CN112070124A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010830720.6A CN112070124A (zh) 2020-08-18 2020-08-18 一种基于卷积神经网络的消化内镜视频场景分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010830720.6A CN112070124A (zh) 2020-08-18 2020-08-18 一种基于卷积神经网络的消化内镜视频场景分类方法

Publications (1)

Publication Number Publication Date
CN112070124A true CN112070124A (zh) 2020-12-11

Family

ID=73661939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010830720.6A Pending CN112070124A (zh) 2020-08-18 2020-08-18 一种基于卷积神经网络的消化内镜视频场景分类方法

Country Status (1)

Country Link
CN (1) CN112070124A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597981A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的肠镜退镜质量智能监控系统及方法
CN114332025A (zh) * 2021-12-29 2022-04-12 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术（武汉）有限公司 胶囊内窥镜图像预处理系统及方法
CN108765392A (zh) * 2018-05-20 2018-11-06 复旦大学 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN110974122A (zh) * 2019-12-23 2020-04-10 山东大学齐鲁医院 一种判断内窥镜进入人体消化道的监测方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240091A (zh) * 2017-04-21 2017-10-10 安翰光电技术（武汉）有限公司 胶囊内窥镜图像预处理系统及方法
CN108765392A (zh) * 2018-05-20 2018-11-06 复旦大学 一种基于滑动窗口的消化道内镜病变检测和识别方法
CN110974122A (zh) * 2019-12-23 2020-04-10 山东大学齐鲁医院 一种判断内窥镜进入人体消化道的监测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUEXIAN ZOU 等: "Classifying Digestive Organs in Wireless Capsule Endoscopy Images Based on Deep Convolutional", 《2015 IEEE INTERNATIONAL CONFERENCE ON DIGITAL SIGNAL PROCESSING》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597981A (zh) * 2021-03-04 2021-04-02 四川大学 基于深度神经网络的肠镜退镜质量智能监控系统及方法
CN112597981B (zh) * 2021-03-04 2021-06-01 四川大学 基于深度神经网络的肠镜退镜质量智能监控系统及方法
CN114332025A (zh) * 2021-12-29 2022-04-12 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法
CN114332019A (zh) * 2021-12-29 2022-04-12 小荷医疗器械(海南)有限公司 内窥镜图像检测辅助系统、方法、介质和电子设备
CN114332025B (zh) * 2021-12-29 2022-07-26 长沙慧维智能医疗科技有限公司 消化内镜口咽通过时间自动检测系统及方法

Similar Documents

Publication Publication Date Title
CN112070124A (zh) 一种基于卷积神经网络的消化内镜视频场景分类方法
EP1769729B1 (en) System and method for in-vivo feature detection
US11308614B2 (en) Deep learning for real-time colon polyp detection
Cho et al. Comparison of convolutional neural network models for determination of vocal fold normality in laryngoscopic images
US8768024B1 (en) System and method for real time detection of villi texture in an image stream of the gastrointestinal tract
CN113496489A (zh) 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN110867233B (zh) 用于生成电子喉镜医学检测报告的系统和方法
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN113379693A (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
WO2021139672A1 (zh) 医疗辅助操作方法、装置、设备和计算机存储介质
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
CN111839428A (zh) 一种基于深度学习提高结肠镜腺瘤性息肉检出率的方法
Li et al. Intelligent detection endoscopic assistant: An artificial intelligence-based system for monitoring blind spots during esophagogastroduodenoscopy in real-time
van der Putten et al. Informative frame classification of endoscopic videos using convolutional neural networks and hidden Markov models
CN115115897A (zh) 多模态预训练的胃部肿瘤分类系统
CN114332025B (zh) 消化内镜口咽通过时间自动检测系统及方法
CN115132355B (zh) 一种炎症性肠病的智能数据辅助诊断系统
Hamad et al. Ensemble of deep cascades for detection of laryngeal adductor reflex events in endoscopy videos
Fan et al. A novel method for informative frame selection in wireless capsule endoscopy video
Kusters et al. A CAD system for real-time characterization of neoplasia in Barrett’s esophagus NBI videos
Mackiewicz et al. Wireless capsule endoscopy video segmentation using support vector classifiers and hidden markov models
Rabi et al. Automatic Classification of Gastrointestinal Diseases Based on Machine Learning Techniques
Marques et al. Compressed domain topographic classification for capsule endoscopy
Nguyen et al. Automatic classification of upper gastrointestinal tract diseases from endoscopic images
Zhang et al. Automatic keyframe detection for critical actions from the experience of expert surgeons

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201211