CN110490856A - 医疗内窥镜图像的处理方法、系统、机器设备和介质 - Google Patents

医疗内窥镜图像的处理方法、系统、机器设备和介质 Download PDF

Info

Publication number
CN110490856A
CN110490856A CN201910756501.5A CN201910756501A CN110490856A CN 110490856 A CN110490856 A CN 110490856A CN 201910756501 A CN201910756501 A CN 201910756501A CN 110490856 A CN110490856 A CN 110490856A
Authority
CN
China
Prior art keywords
endoscopic images
image
images
target
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910756501.5A
Other languages
English (en)
Other versions
CN110490856B (zh
Inventor
章子健
孙钟前
付星辉
尚鸿
王晓宁
杨巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Healthcare Shenzhen Co Ltd
Original Assignee
Tencent Healthcare Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Healthcare Shenzhen Co Ltd filed Critical Tencent Healthcare Shenzhen Co Ltd
Priority to CN201910756501.5A priority Critical patent/CN110490856B/zh
Publication of CN110490856A publication Critical patent/CN110490856A/zh
Application granted granted Critical
Publication of CN110490856B publication Critical patent/CN110490856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请揭示了一种医疗内窥镜图像的处理方法、系统、机器设备和介质，涉及人工智能的图像处理、机器学习等技术领域。所述方法包括：根据医疗内窥镜视频流获取原始内窥镜图像；将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。本申请实施例的技术方案可以消除内窥镜在消化道内的拍摄切换和晃动、遇到各种液体和异物情况下存在的大量低质量、噪声图像，鲁棒性得到增强，进而有利于实现系统而完整的影像识别。

Description

医疗内窥镜图像的处理方法、系统、机器设备和介质
本申请是2019年05月06日提交的、申请号为201910372711.4、发明名称为“医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统”的分案申请。
技术领域
本申请涉及计算机应用技术领域，特别涉及一种医疗内窥镜图像的处理方法、系统、机器设备和介质。
背景技术
基于深度学习所进行的各类别识别，一直以来都是各应用场景下解决大量数据分类的重要工具。例如，在图像、自然语言处理等应用场景中，对大量数据所实现的大规模分类和识别，以此来快速准确的获得相关的分类预测结果，加速所在应用场景的功能实现。
在对图像所进行的分类预测中，根据所部署的应用场景不同，例如，AI+医疗场景，具体用于实现分类预测的图像以及分类预测的实现也各不相同。
形成医疗影像的各种图像在不断产生，例如，随着内窥镜在消化道内的不断拍摄而不断产生，进而成为大量数据，亟待需要借助于分类预测的执行实现大规模分类和识别。
然而，如何将面向各种医疗内窥镜图像而借助于深度学习实现分类预测，进而对医疗内窥镜图像实现系统而完整的识别，是现有医疗影像的分类预测所不具备的。现有医疗影像的分类预测仅限于单一功能，而无法适用于产生医疗内窥镜视频流的内窥镜拍摄全过程。
并且，由于医疗内窥镜图像的拍摄难免受到内窥镜的切换和晃动影响，且拍摄时内窥镜的镜头也难免会遇到各种液体和异物，因此，所得到的内窥镜图像常常会存在大量的干扰和噪声，进而导致鲁棒性差。
发明内容
本申请提供一种医疗内窥镜图像的处理方法、系统、机器设备和介质，至少在一定程度上可以消除内窥镜在拍摄时发生的切换和晃动、遇到各种液体和异物情况下存在的大量干扰，增强了系统鲁棒性。
一种医疗内窥镜图像的识别方法，所述方法包括：
根据医疗内窥镜视频流获取原始内窥镜图像；
将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；
对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；
过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。
一种医疗内窥镜图像的识别系统，所述系统包括：
图像获取模块，用于根据医疗内窥镜视频流获取原始内窥镜图像；
图像处理模块，用于将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；
图像预测模块，用于对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；
图像过滤模块，用于过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。
一种机器设备，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行实现如前所述的方法。
一种内窥镜影像系统，其特征在于，包括：
医疗内窥镜视频的显示设备；以及
工作站，所述工作站以内窥镜输出的医疗内窥镜视频流为输入，执行实现如前所述的方法。
一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
对给定医疗内窥镜视频流，首先从中获取原始内窥镜图像，然后将获取的原始内窥镜图像处理为设定尺寸生成标准内窥镜图像，对标准内窥镜图像通过神经网络进行低质图像和非低质图像的预测，进而过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像，使得能够过滤获取的原始内窥镜图像生成目标内窥镜图像，以此来消除内窥镜在拍摄时发生的切换和晃动、遇到各种液体和异物情况下存在的大量干扰，使得鲁棒性得到增强，进而有利于实现系统而完整的影像识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1是根据本申请所涉及的实施环境的示意图；
图2是根据一示例性实施例示出的一种装置的框图；
图3是根据一示例性实施例示出的一种医疗内窥镜图像的识别方法的流程图；
图4是根据图3对应实施例示出的对步骤330进行描述的流程图；
图5是根据图3对应实施例示出的对步骤390进行描述的流程图；
图6是根据图5对应实施例示出的对步骤393进行描述的流程图；
图7是根据图3对应实施例示出的对步骤390进行描述的流程图；
图8是根据图7对应实施例示出的对步骤390进行描述的流程图；
图9是根据图3对应实施例示出的对步骤5003b进行描述的流程图；
图10是根据一示例性实施例示出的对以消化道内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络步骤进行描述的流程图；
图11是根据一示例性实施例示出的消化道内窥镜拍摄下影像识别的整体架构示意图；
图12是根据一示例性实施例示出的白光拍摄模式下的内窥镜图像示意图；
图13是图12所对应实施例示出的NBI模式下的内窥镜图像示意图；
图14是图12所对应实施例的碘染模式下的内窥镜图像示意图；
图15是根据一示例性实施例示出的一种医疗内窥镜图像的识别系统的框图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的图像处理、机器学习等技术，具体通过如下实施例进行说明：
图1是本申请所涉及实施环境的示意图。在一个示例性实施例中，该实施环境包括内窥镜110、显示设备130和工作站150组成的内窥镜影像系统。内窥镜110作为所进行影像识别的数据来源，随着内窥镜110在消化道内的移动和拍摄，显示设备130将不断进行视频影像显示，即通过内窥镜110拍摄的每一帧内窥镜图像来进行影像显示。
在此基础上，也将通过工作站150来执行本申请面向消化道内窥镜拍摄的影像识别，以此来对所进行的消化道内窥镜检查实现系统而全面的分类预测，获得内窥镜图像中的病灶区域分布以及所分布病灶区域归属的类别。
工作站150是为内窥镜部署的主机，即微型计算机，其体积可大可小，满足性能上的要求即可。
由此，本申请提供了一种实体医疗设备，即内窥镜影像系统，其至少包括：
医疗内窥镜视频的显示设备；以及
工作站，所述工作站以内窥镜输出的医疗内窥镜视频流为输入，执行如下所述的方法实施例。
示例性的，内窥镜影像系统中，向工作站所输入的医疗内窥镜视频流可以是内窥镜当前所实时拍摄的，也可以是任意时间所拍摄得到的，在此不进行限定。
而所实现的内窥镜影像系统，在一个示例性实施例中，也包括了内窥镜，所接入的内窥镜将向工作站提供数据源，进而由内窥镜向工作站实现医疗内窥镜视频的输入，进而实现视频影像的实时识别。
图2是根据一示例性实施例示出的一种装置的框图。例如，装置200可以是图1所示实施环境中的工作站150。该工作站150可以是任意形式的微型计算机，只要满足性能上的要求即可。例如，该工作站150可以是一连接内窥镜的主机。
参照图2，装置200至少包括以下组件：处理组件202，存储器204，电源组件206，多媒体组件208，音频组件210，传感器组件214以及通信组件216。
处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件202至少包括一个或多个处理器218来执行指令，以完成下述的方法的全部或部分步骤。此外，处理组件202至少包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令。存储器204至少由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。存储器204中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器218执行，以完成下述图3、图4、图5、图6、图7、图8、图9和图10任一所示方法中的全部或者部分步骤。
电源组件206为装置200的各种组件提供电力。电源组件206至少包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(Liquid Crystal Display，简称LCD)和触摸面板。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。屏幕还包括有机电致发光显示器(Organic Light Emitting Display，简称OLED)。
音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(Microphone，简称MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214检测到装置200的打开/关闭状态，组件的相对定位，传感器组件214还检测装置200或装置200一个组件的位置改变以及装置200的温度变化。在一些实施例中，该传感器组件214还包括磁传感器，压力传感器或温度传感器。
通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200接入基于通信标准的无线网络，如Wi-Fi(Wireless-Fidelity，无线保真)。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件216还包括近场通信(Near FieldCommunication，简称NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RadioFrequency Identification，简称RFID)技术，红外数据协会(Infrared DataAssociation，简称IrDA)技术，超宽带(Ultra Wideband，简称UWB)技术，蓝牙技术和其他技术来实现。
在示例性实施例中，装置200被一个或多个应用专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现，用于执行下述方法。
图3是根据一示例性实施例示出的一种医疗内窥镜图像的识别方法的流程图。在一个示例性实施例中，该医疗内窥镜图像的识别方法，如图3所示，至少包括以下步骤。
在步骤310中，根据医疗内窥镜视频流获取原始内窥镜图像。
其中，医疗内窥镜视频流，是在医疗环境，例如医院真实使用环境下，经由内窥镜所拍摄的视频流。在内窥镜的移动和拍摄下，医疗内窥镜视频流将呈现内窥镜的镜头捕获的视频内窥。因此，将由医疗内窥镜视频流来获得一帧帧原始内窥镜图像，所得到的每一帧原始内窥镜图像都描绘了内窥镜在一时间点所拍摄的视频内窥，因此，将得以基于每一帧原始内窥镜图像来实现医疗内窥镜图像的识别。
可以理解的，在所实现的医疗内窥镜图像识别中，内窥镜在生物体，例如人体内部拍摄医疗内窥镜视频流。示例性的，内窥镜在与外界相通的腔道或密闭体腔拍摄医疗内窥镜视频流。例如，所指的与外界相通的腔道可以是消化道、呼吸道、泌尿道等，密闭体腔可以是胸腔、腹腔、关节腔等需要通过切口来送入内窥镜的腔体。通过内窥镜所进行的医疗内窥镜视频流拍摄和识别，来获知相应腔道内的器官状况。
在使用内窥镜检查腔道的过程中，所获得的医疗内窥镜视频流被接入所进行的医疗内窥镜图像识别中。除此之外，还可就在此之前所获得的医疗内窥镜视频流，例如，历史医疗内窥镜视频流来执行所实现的医疗内窥镜图像识别，所实现的医疗内窥镜图像识别不限于实时识别，还可以面向于所存储的大量医疗内窥镜视频流执行。下面将以内窥镜在消化道中实时拍摄得到的医疗视频流为例进行详细说明。
在使用内窥镜检查消化道的过程中，所获得的医疗内窥镜视频流被接入至所进行的医疗内窥镜图像识别中，以此来对当前的消化道影像获取所对应的原始内窥镜图像，进而为此消化道影像执行实时识别。
可以理解的，内窥镜影像系统的显示设备130所显示的当前影像即为消化道影像。随着内窥镜在消化道内的移动和拍摄，显示设备130通过接入的医疗内窥镜视频流进行着消化道影像的视频显示，此时，对当前影像获取影像识别所需要的原始内窥镜图像。原始内窥镜图像是在内窥镜拍摄下直接获得的原始图像，将以此为基础进行医疗内窥镜图像的识别。
在一个示例性实施例中，步骤310包括：随着内窥镜在腔道或密闭体腔内的移动和拍摄，从接入的医疗内窥镜视频流获取原始内窥镜图像。
其中，与外界相通的腔道和密闭腔道内部都并非只有单一器官，以消化道为例，消化道包括着多个子器官，例如，胃部、食管、咽部和十二指肠。在内窥镜所进行的消化道检查中，内窥镜在消化道内移动且不断进行拍摄，以此来获得所在子器官相关的视频流。与之相对应的，构成此视频流的原始内窥镜图像便是内窥镜所在子器官相关的图像，描述了所在子器官的状态。
应当说明的是，随着内窥镜所不断进行的拍摄，在内窥镜所进行的腔道检查中，内窥镜对所处子器官所进行的拍摄并不限于单张原始内窥镜图像，也就是说，获取得到的多张原始内窥镜图像都对应于一子器官，从而使得后续以原始内窥镜图像为输入执行的医疗内窥镜图像识别是内窥镜所在的子器官相关的分类预测。
在另一个示例性实施例中，输入的医疗内窥镜视频流并非实时所拍摄得到，即面向于已存储的医疗内窥镜视频流进行本申请所实现的医疗内窥镜图像识别，在此场景下，该步骤310包括：
获取存储的医疗内窥镜视频流；
从医疗内窥镜视频流获取原始内窥镜图像，该原始内窥镜图像用于识别内窥镜所拍摄腔道或密闭体腔中存在的病灶区域和所属病灶类别。
其中，对存储的医疗内窥镜视频流，通过本申请所实现的医疗内窥镜图像识别，来逐一进行识别，以此来为历史医疗内窥镜视频流实现一帧帧原始内窥镜图像所相关器官部位的病灶区域和病灶类别识别，以实现大量历史医疗内窥镜视频流的处理。
在此示例性实施例中，不再由内窥镜的输出而获得医疗内窥镜视频流，而是获取存储的医疗内窥镜视频流，进而从中获得原始内窥镜图像。
通过此示例性实施例的实现，使得大量存储的医疗内窥镜视频流也能够得到识别，进而方便所进行的医学研究，为真实的医疗环境提供了自动化实现的视频影像识别。
在步骤330中，通过神经网络过滤获取的原始内窥镜图像，生成目标内窥镜图像。
其中，首先应当说明的是，对于从医疗内窥镜视频流获取得到的原始内窥镜图像，都进行过滤，以过滤掉所存在的干扰。可以理解的，从医疗内窥镜视频流获得的大量原始内窥镜图像，并非所有原始内窥镜图像都能够用于医疗内窥镜图像识别的实现，有的原始内窥镜图像由于拍摄时各种因素存在而无法用于识别，将作为干扰存在，因此需要过滤掉。
例如，内窥镜发生切换和/或晃动时拍摄所得到的原始内窥镜图像，以及拍摄时镜头遇到各种液体和异物的原始内窥镜图像等低质图像，这些对于所进行的识别而言，都是干扰的存在，需要通过神经网络识别并过滤掉。
具体而言，将通过神经网络对获取得到的原始内窥镜图像进行是否为低质图像的识别，将属于低质图像的内窥镜图像过滤掉。与之相对应的，所使用的神经网络，便是以低质图像作为样本而训练得到的。
在医院所进行的内窥镜实际使用过程中，内窥镜在消化道内难免经常切换和晃动，并且拍摄镜头也难免会遇到各种液体和异物，因此，所拍摄得到的原始内窥镜图像中存在着大量的低质、噪音图像，对步骤310获取的原始内窥镜图像经由神经网络进行低质图像的识别和过滤，将屏蔽了低质图像对所进行影像识别的影响，进而大幅提高了鲁棒性。此外，由于通过低质图像的识别和过滤，将无用、不必要的图像提前过滤掉了，减少了后续步骤执行中耗费的数据量，故能够有效提高速度和实时性。
对原始内窥镜图像进行的低质图像识别，是通过训练的神经网络实现的。而此神经网络则是通过属于低质图像的内窥镜图像样本以及属于非低质图像的内窥镜图像样本来执行网络训练过程，获得能够对所输入原始内窥镜图像输出其属于低质图像的概率以及属于非低质图像的概率，进而最终确认此原始内窥镜图像是低质图像还是非低质图像，将确认为低质图像的原始内窥镜图像过滤掉，不再进入后续所执行的步骤。
对获取的若干原始内窥镜图像都通过神经网络进行所存在低质图像的识别，以此来过滤掉所获取的若干原始内窥镜图像中包含的低质图像，完成低质图像的过滤生成目标镜图像之后方可进入所对应器官部位的识别。
在一个示例性实施例中，所输入神经网络进行低质图像识别的原始内窥镜图像必须是与神经网络相适应的，以此来保证实际预测的一致性和准确性，因此，在执行低质图像的预测之前，还需对原始内窥镜图像执行预处理，例如，尺寸调整和裁剪等，以此来获得尺寸适用于神经网络的内窥镜图像。
目标内窥镜图像是原始视频图像中剔除了对应于低质图像的原始内窥镜图像所余下的其它原始内窥镜图像。至此，通过原始内窥镜图像过滤的进行，所生成的目标内窥镜图像将屏蔽了干扰的存在，在减小了数据量的同时，也得以增强了识别的精准性。
应当理解，在所进行的原始内窥镜图像过滤中，用于训练所使用神经网络的低质图像和非低质图像，作为原始内窥镜图像对应的两大类存在，是相对而言的，对于所要求的不同过滤精度，同一原始内窥镜图像可能对应于低质图像，也可能对应于非低质图像。
在步骤350中，通过神经网络的分类预测识别目标内窥镜图像对应的器官信息。
其中，随着内窥镜在腔道内的移动和不断拍摄，内窥镜虽处于腔道，例如消化道的某一子器官上，但是，内窥镜并不会告之，即输出自身所处的器官部位，往往需要通过内窥镜图像的查看来人工识别，以便于在获知内窥镜所处器官部位的前提下针对于所处的器官部位实现内窥镜图像的精准分类预测。
而在本示例性实施例所实现的识别中，则是通过对过滤低质图像生成的目标内窥镜图像识别内窥镜当前所处消化道部位的进行，即识别得到目标内窥镜图像对应的器官信息，该器官信息指示了内窥镜拍摄目标内窥镜图像时在腔道所处的器官部位。
在一个示例性实施例中，对目标内窥镜图像所进行的器官信息识别，也是通过构建的神经网络实现的分类预测，以目标内窥镜图像为输入，输出内窥镜拍摄此目标内窥镜图像时所处的器官信息。
具体而言，以消化道为例，所构建的神经网络可以是四分类网络。适配于消化道上的子器官，即胃部、食管、咽部和十二指肠，预构建四分类网络，以此来通过内窥镜图像识别内窥镜所处的器官位置。
与之相对应的，四分类网络是通过标注了所对应消化道部位，即消化道上的子器官的原始内窥镜图像训练得到的。与消化道部位相适应的四分类网络执行内窥镜当前所处消化道部位的识别，用于网络训练的内窥镜图像，即四分类网络样本是覆盖了所有消化道部位的，因此不再限于单一子器官的识别，增强了消化道上内窥镜拍摄的影像识别性能。
在步骤370中，根据所对应器官信息，通过分类网络识别目标内窥镜图像适用的图像类型。
其中，在通过前述步骤的执行，对过滤原始内窥镜图像生成的目标内窥镜图像完成了所处器官部位的定位获得器官信息之后，即可根据器官信息来为目标内窥镜图像进行拍摄模式的切换。
目标内窥镜图像所适用的图像类型，是指最为能够增强目标内窥镜图像中图像内窥的图像类型。通过所实现的图像类型识别，得以为目标内窥镜图像确定其所最为适用的拍摄模式，即以图像类型为依据而对目标内窥镜图像切换所识别图像类型对应的拍摄模式。
示例性的，目标内窥镜图像所适用图像类型的识别，将通过分类网络实现。在一个示例性实施例中，与图像类型划分相对应的，该分类网络可以是三分类网络，即划分为三种图像类型，进而对这三种图像类型实现目标内窥镜图像识别的分类网络。
应当理解的，不同的拍摄模式对应着不同的图像类型，因此，在拍摄模式设定为三种，即白光、NBI和碘染三种模式时，便对应存在着三种图像类型，因此，将通过图像类型的识别来确定目标内窥镜图像中的图像内容所适用的拍摄模式，即所识别图像类型对应的拍摄模式。
举例说明的，根据器官信息所指示的消化道部位，以及目标内窥镜图像中存在可疑病灶或者病变区域的图像内容，则经由神经网络识别得到此目标内窥镜图像应当为NBI对应的图像类型，此图像类型对应于NBI的拍摄模式。
在步骤390中，在该图像类型对应的拍摄模式下，根据器官信息指示的部位定位目标内窥镜图像中的病灶区域和所属病灶类别。
其中，在通过前述步骤的执行，获知内窥镜拍摄目标内窥镜图像时所处的子器官，即所处的器官部位之后，就能够为该子器官对应的目标内窥镜图像获取所适应拍摄模式下的目标内窥镜图像，从而在此基础之上实现病灶区域的定位和所属病灶类别的识别。
应当说明的是，器官信息所指示的器官部位，是若干目标内窥镜图像所对应的，将就此器官部位对这些目标内窥镜图像，即对此器官部位上拍摄得到的若干目标内窥镜图像获取所适应拍摄模式的目标内窥镜图像，进而为此器官部位在目标内窥镜图像上定位病灶区域和所属病灶类别。
拍摄模式是针对于对器官部位成像的目标内窥镜图像而言的。示例性的，拍摄模式包括成像类型和染色类型等，例如，拍摄模式包括白光、NBI(Narrow Band Imaging，内镜窄带成像术)和碘染三种模式。对于器官部位的成像而言，目标内窥镜图像上不同的病灶状况将适用于不同的拍摄模式。
比如，在一般情况下采用白光模式，发现器官部位可疑病灶、病变区域的存在时，切换为NBI模式。不同拍摄模式下的目标内窥镜图像，所对应的图像色彩、纹路和细节差异巨大。
在对目标内窥镜图像识别得到其所适应的图像类型之后，根据识别得到的图像类型确定对应的拍摄模式，进而直接将目标内窥镜图像切换为确定的拍摄模式即可，由此便获得内窥镜当前所处器官部位所适应拍摄模式下的目标内窥镜图像，进而得以增强目标内窥镜图像表现图像内容的精准性。通过此示例性实施例，对目标内窥镜图像自适应实现了拍摄模式的动态调整，进而得以增强所进行影像识别的准确率。
因此，能够对内窥镜当前所处器官部位所适应拍摄模式下的目标内窥镜图像进行病灶区域的定位和所属病灶类别的识别，将极大提升了性能和准确率。
在通过前述步骤350的执行获得器官信息之后，此器官信息所对应的，并且已经过滤了低质图像的原始内窥镜图像，即目标内窥镜图像，都对其所适应模式下的目标内窥镜图像进行病灶区域的定位和所属病灶类别的识别。器官信息所对应的，并且已经过滤了低质图像的目标内窥镜图像，一方面，过滤了低质图像的目标内窥镜图像就已经与当前所处消化道部位所适应的拍摄模式相适配，例如，所适应的拍摄模式为白光模式，而过滤了低质图像的目标内窥镜图像是对应于白光模式的，与所需要使用的拍摄模式相一致；另一方面，过滤了低质图像的目标内窥镜图像，其拍摄模式与当前所处器官部位适应的拍摄模式不相适配，例如，内窥镜图像使用的拍摄模式为白光模式，而所需要使用的拍摄模式为NBI模式，因此，需要对目标内窥镜图像进行拍摄模式切换。
示例性的，所进行的的病灶区域定位和所属病灶类别识别，都将通过深度学习网络实现。其中，病灶区域定位经由定位检测网络，例如，端到端的实时目标定位网络YOLO(You Only Look Once，一种用于目标检测的深度学习网络)，也可采用其他检测网络(如FasterRCNN)；病灶类别识别则采用分类网络实现，此分类网络可以是深度卷积网络(Densely Connected Convolutional，简称DenseNet)。
应当进一步说明的是，为病灶区域定位部署的定位检测网络，可统一，也可按所对应的器官信息，即消化道部位分开部署，而为病灶类别识别所部署的分类网络也是如此，根据实验效果决定即可。如若按照消化道部位分开部署，仅需要分开进行深度学习网络的训练即可。
通过如上所述的示例性实施例，得以实现了一套完整可用、鲁棒性强的医疗内窥镜图像识别系统，进而全方位地辅助医生诊断，提高诊断效率。病灶区域的定位和所定位病灶区域所属病灶类别的识别，有效的避免了内窥镜的消化道检查的漏诊，有效辅助医生实时判别病灶性质，提升判别的准确率。
此外，随着神经网络对内窥镜图像所进行的低质图像过滤，也有效的提高了抗噪能力，系统可用性也得到提升。
如上所述示例性实施例医疗内窥镜图像识别，由于是借助于深度学习所实现的，不再需要人工介入以深刻理解医疗图像，也不需要人工制定特征抽取方案，避免了特征抽取不全面而导致的遗漏和错判。
图4是根据图3对应实施例示出的对步骤330进行描述的流程图。在一个示例性实施例中，步骤330，如图4所示，至少包括以下步骤。
在步骤331中，将获取的原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像。
其中，标准内窥镜图像是相对所即将输入的神经网络而言的，是适配于神经网络所要求尺寸的内窥镜图像。对于面向原始内窥镜图像进行的低质图像识别和过滤，首先需要进行数据预处理，即调整所获取原始内窥镜图像的尺寸，使得生成的标准内窥镜图像能够适应于神经网络的输入，并且保证一致性。
具体的，对原始内窥镜图像处理为设定尺寸的过程包括：先执行resize操作，再采用图像缩放方法，例如，center crop方法(圆角裁剪方法)来进行裁剪，得到设定尺寸的标准内窥镜图像。
resize操作为原始内窥镜图像的调整操作，示例性的，resize操作的执行过程可以是：保持长宽比，短边缩放到224像素，长边可大于或等于224像素；center crop方法的执行过程可以是：以原始内窥镜图像的长边为基准，裁剪出原始内窥镜图像的中心区域，使长边变为224，进而得到一张与设定尺寸相符的标准内窥镜图像，保证所进行网络预测的一致性。
在步骤333中，对标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，低质图像是存在干扰的标准内窥镜图像。
其中，在医院真实使用环境中，低质图像类型繁多，有模糊、色彩异常、过曝等不合格图像。基于这些不合格图像，将采用神经网络来实现分类任务，进而对标准内窥镜图像实现低质图像的过滤。示例性的，神经网络可以是深度卷积神经网络，例如Densenet。
以处理为设定尺寸的标准内窥镜图像为输入，通过所训练神经网络来进行低质图像和非低质图像的预测，从而由神经网络输出标准内窥镜图像为低质图像的概率和内窥镜图像为非低质图像的概率，最终以此来确定标准内窥镜图像是归属于低质图像还是非低质图像，获得目标内窥镜图像。在此示例性实施例中，与之相对应的，目标内窥镜图像是适应于神经网络而对原始内窥镜图像进行了尺寸处理的内窥镜图像。
所训练的神经网络，是将大量原始内窥镜图像划分为低质图像和非低质图像之后执行网络训练过程所构建的。在一个示例性实施例中，作为样本的大量原始内窥镜图像可通过对已有原始内窥镜图像扩充得到，进而为神经网络的训练提供更多的样本。
在步骤335中，过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。
其中，从医疗内窥镜视频流获取的原始内窥镜图像经过如上所述的步骤处理和预测之后，即可确定这些原始内窥镜图像中对应于低质图像的内窥镜图像，此时，将归属于低质图像的原始内窥镜图像过滤掉即可，有效的避免了无用不必要的图像进入后续的医疗内窥镜图像识别过程。
通过如上所述的示例性实施例，为医疗内窥镜图像识别实现了低质图像的识别和过滤，进而得以实际应用于真实的生产环境，即医院中，不再受到内窥镜在腔道内的切换和晃动影响，也不会被内窥镜在腔道内遇到的各种液体和异物影响。
图5是根据图3对应实施例示出的对步骤390进行描述的流程图。在一个示例性实施例，如图5所示，该步骤390包括：
在步骤391中，对图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于目标内窥镜图像的异物框，异物框用于指示目标内窥镜图像中存在异物的区域。
在步骤393中，根据检测得到的异物框过滤目标内窥镜图像，未过滤掉的目标内窥镜图像用于定位病灶区域和所属病灶类别。
其中，对所适应图像类型对应拍摄模式下的目标内窥镜图像，在进行病灶区域定位和所属病灶类别识别之前，还将进行目标内窥镜图像中的异物检测和定位，以便于将所存在异物影响了图像内容的目标内窥镜图像过滤掉。
应当理解的，以消化道为例，消化道中食管、胃部等往往存在着特有的术中仪器、唾沫等异物，而内窥镜在消化道中拍摄的目标内窥镜图像中其图像内容大都是含有术中仪器和唾沫这些异物的，因此不能直接过滤掉检测出异物的目标内窥镜图像。
此时，有必要根据所存在异物在目标内窥镜图像中的分布来评估是否所存在的异物是否会干扰目标内窥镜图像后续所进行的病灶区域定位，过滤掉异物干扰性强的目标内窥镜图像，进而也将以此来提升抗噪能力和所实现影像识别的可用性。
具体而言，所存在异物的检测是面向于所适应拍摄模式的目标内窥镜图像，对此目标内窥镜图像借助于神经网络检测图像内容中存在的异物，获得在此目标内窥镜图像上定位的异物框。
异物框用于指示目标内窥镜图像中异物所占据的区域，应当理解的，异物框标示了目标内窥镜图像中异物的分布，异物框实质为术中仪器所占据的区域或者唾沫所占据的区域。
通过所进行的异物检测，对于获得的分布于目标内窥镜图像上的异物框，将以坐标的数据形式表征，此过程将通过神经网络所进行的目标检测实现，并且在神经网络的作用下，除了输出表征异物框的坐标之外，还输出此异物框对应于异物的置信度，即概率。
示例性的，对于一异物，其是由一正方形的框确定，与此相对应的，其坐标便是由这一正方形的框确定的，包括xmin、ymin、xmax和ymax四个坐标信息。
在对目标内窥镜图像实现了异物检测获得分布于目标内窥镜图像中的异物框之后，就能够由目标内窥镜图像中分布的异物框来评估是否过滤掉目标内窥镜图像，以屏蔽过多异物所造成的干扰。
在一个示例性实施例中，步骤391包括：以图像类型对应拍摄模式下的目标内窥镜图像为输入，通过神经网络进行目标检测获得所存在异物框对应的坐标和置信度坐标用于指示目标内窥镜图像中异物框的分布。
其中，检测异物的神经网络可为YOLO定位网络，也可采用其它深度检测网络，在此不进行限定。通过部署的神经网络，利用整张目标内窥镜图像为输入，在输出层回归异物框的位置，即坐标以及所属的类别，此类别为即为异物。也就是说，神经网络输出的置信度表征了所定位异物框对应于异物的可能性。
进一步的，在一个示例性实施例中，图6是根据图5对应实施例示出的对步骤393进行描述的流程图。该步骤393如图6所示，包括：
在步骤401中，根据目标内窥镜图像中异物框对应的坐标和置信度，运算目标内窥镜图像所存在异物占据的面积比例因子。
其中，通过所进行的异物检测获得目标内窥镜图像中异物框对应的坐标和置信度之后，由坐标和置信度来对所有异物运算其在目标内窥镜图像上的面积比例因子。
示例性的，首先根据坐标来运算出异物框面积Si，此为一异物所占据的面积，然后以所对应的置信度Pi为系数修正面积，即PiSi，最后将所有异物框修正的面积加起来，即面向于PiSi求和，并与目标内窥镜图像的总面积进行比例计算，以最终获得目标内窥镜图像所存在异物占据的面积比例因子。
在一个示例性实施例中，目标内窥镜图像所对应面积比例因子的运算，可以通过下述公式实现，即：
其中，f为面积比例因子，H为目标内窥镜图像的高度，W为目标内窥镜图像的宽度，Pi是第i个异物框的置信度，即Pi＝confidence，Si是第i个异物框的面积，Si＝(xmaxi-xmini)*(ymaxi-ymini)。
在步骤403中，根据面积比例因子判定所存在异物对目标内窥镜图像的干扰，过滤发生异物干扰的目标内窥镜图像。
其中，在运算得到目标内窥镜图像中异物所占据的面积比例因子之后，即可根据面积比例因子的数值大小来判定所存在异物对目标内窥镜图像的干扰。可以理解的，面积比例因子的数值越大，则对目标内窥镜图像的干扰越大，面积比例因子的数值越小，对目标内窥镜图像的干扰则越为细微，越不会对目标内窥镜图像后续所进行的病灶区域定位和所属类别识别造成影响。
由此，将过滤掉面积比例因子较大的目标内窥镜图像，这些图像便视为是发生异物干扰的目标内窥镜图像。
在一个示例性实施例中，首先设定一阈值f0，默认的，f0的取值可为0.1。当f大于阈值f0时，判定该目标内窥镜图像是发生异物干扰的目标内窥镜图像，需要将此目标内窥镜图像过滤掉。
当f小于阈值f0时，继续对目标内窥镜图像执行病灶区域的定位和所定位病灶区域的病灶类别识别。
通过此示例性实施例，得以实现了异物定位和抗干扰，进而解决消化道中食管、胃部等特有的术中仪器、唾沫等异物问题，降低异物的存在对所进行影像识别的影响。
图7是根据图3对应实施例示出的对步骤390进行描述的流程图。在一个示例性实施例中，如图6所示，步骤390至少包括：
在步骤501a中，检测目标内窥镜图像的图像类型。
在步骤503a中，在检测的图像类型与识别的图像类型不符时，按照所识别图像类型对应的拍摄模式，对目标内窥镜图像切换拍摄模式来获取识别的所述图像类型对应拍摄模式下的目标内窥镜图像。
其中，在识别得到目标内窥镜图像适用的图像类型之后，即可根据目标内窥镜图像的图像类型评估是否进行拍摄模式的切换，以保证目标内窥镜图像的拍摄模式是合适的。
具体的，仅在目标内窥镜图像的图像类型与识别得到的图像类型并不相符时，对目标内窥镜图像进行拍摄模式的切换，以此来获取目标内窥镜图像所适应图像类型对应拍摄模式下的目标内窥镜图像。
图8是根据图3对应实施例示出的对步骤390进行描述的流程图。在一个示例性实施例中，如图8所示的，步骤390包括：
在步骤501b中，对图像类型对应拍摄模式下的目标内窥镜图像在定位检测网络各层不断进行特征提取，直至最终回归得目标内窥镜图像中的病灶区域。
在步骤503b中，通过分类网络进行目标内窥镜图像中病灶区域的病灶性质分类，获得病灶区域归属的病灶类别。
其中，定位检测网络用于对目标内窥镜图像执行目标检测，以实现目标内窥镜图像中的病灶定位，进而输出病灶区域的二维坐标。示例性的，定位检测网络为端到端的实时目标检测算法，即YOLO，以满足影像识别的实时性要求，除此之外，定位检测网络也可采用其他检测网络代替，例如，FasterRCNN。
通过定位检测网络各层所不断进行的特征提取，来回归得到目标内窥镜图像中的病灶区域，此过程，相对于现行人工自行设计特征的方式，所获得的特征更多，也将更为全面，以此来避免特征抽取不全面，以及由此所导致的遗漏和错判。
在一个示例性实施例中，所定位检测得到的病灶区域将以二维坐标的形式表征，即定位检测网络所将最终输出二维坐标，此二维坐标用于在目标内窥镜图像上定位病灶区域。
例如，YOLO所实现的病灶区域定位是提取图像bounding boxes和类别概率的回归问题。在此，网络中各层不断的提取出特征，最后回归出二维坐标和概率，由此将在保证检测实时性的同时，提高定位的准确率。
与此相对应的，用于实现病灶区域定位的定位检测网络，在一个示例性实施例中，将使用开源的图像数据集来执行网络训练过程，以此来获得每个网络层，即卷积层的参数和权重数值，进而构建更加具有泛化性能的定位检测网络。开源图像数据集的数据量在百万以上，经过开源数据集将得以避免过拟合的发生，让所进行的网络训练能够更好的收敛到最优点。
此外，进一步的，也将加入低质图像，即低质的内窥镜图像执行网络训练过程，以此来增强定位检测网络的鲁棒性和抗噪能力，降低假阳性比例。
定位了病灶区域之后，便需要执行此病灶区域归属的病灶类别识别。示例性的，所类别可以包括：正常、癌前病变、早癌、进展期癌、炎性病变以及其它病变等，在此不进行限定。
一示例性实施例中，实现病灶类别识别的分类网络可基于Densenet，分类网络的输入为目标内窥镜图像中的一块病灶区域，输出即为该病灶区域对应的病灶类别。
至此，通过所进行的病灶区域定位和病灶类别识别的实现，得以实现了一套完整可用的影像识别方案，不再仅限于单一功能，保证了所支持功能的全面性。
图9是根据图8对应实施例示出的对步骤503b进行描述的流程图。在一个示例性实施例中，如图10所示，该步骤503b包括：
在步骤601中，外扩目标内窥镜图像中的病灶区域获得病灶区域对应的外扩区域。
其中，可以理解的，目标内窥镜图像中定位的病灶区域，相互之间大小并不一致，对于每一病灶区域，都将首先进行病灶区域的外扩，以对每一进行病灶类别识别的病灶区域获得对应的外扩区域。
通过所进行的区域外扩，保证所用于识别的病灶区域能够获得一定的上下文语义信息。病灶区域周围一般都会有与病变相关的特征，也就是说，病灶并不是严格具备边界的，病变是一个渐变过程，因此，通过所进行的区域外扩，将得以提供给分类网络更多的信息进行学习，不会遗漏有用的边界信息。
在一示例性实施例中，病灶区域的外扩是对此病灶区域向上下左右外扩设定比例的过程。例如，对病灶区域向上下左右外扩10％。
在步骤603中，预处理外扩区域，使外扩区域归一化为符合输入尺寸的分类网络输入图像。
其中，对外扩区域所进行的预处理是使得外扩区域归一化为输入尺寸的图像的实现过程，以此来保证分类网络的输入能够得到满足。
在一个示例性实施例中，所进行的预处理过程包括center crop方法的执行过程。而与之所对应的分类网络训练过程，则需要通过数据增强方法来实现分类网络输入图像的预处理，以此来扩充样本。
在步骤605中，由分类网络对分类网络输入图像进行所属病灶类别的网络预测，获得内窥镜图像中对应病灶区域归属的病灶类别。
其中，在通过前述步骤获得外扩区域而包含上下文信息的分类网络输入图像之后，即可在分类网络中对相应的病灶区域进行所属病灶类别的网络预测，以此类推，将对内窥镜图像获取得到其所包含病灶区域分别归属的病灶类别。
示例性的，用于实现类别识别的分类网络基于Densenet模型，例如，所输出具体的病灶类别可为六类，即正常、癌前病变、早癌、进展期癌、炎性病变以及其它病变时，分类网络即为一六分类网络。
目标内窥镜图像中病灶区域所归属类别的识别，将得以内窥镜的消化道检查过程中通过影像识别的执行实时输出消化道病灶的具体性质，进而实时辅助医生进行消化道内镜影像的诊断。
在一个示例性实施例中，医疗内窥镜图像的识别方法，还包括：
以内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络，该神经网络用于生成目标内窥镜图像，与前述描述相对应的，此内窥镜图像可为原始内窥镜图像，也可为经过适配于神经网络尺寸处理的标准内窥镜图像，在此不进行限定。
其中，正如前述所描述的，从医疗内窥镜视频流对当前影像所获取得到的原始内窥镜图像将通过所训练的神经网络来识别其是否对应于低质图像，进而方能够将对应于低质图像的内窥镜图像过滤掉，避免无用且会影响处理效率的噪声出现。
图10是根据一示例性实施例示出的对以内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络步骤进行描述的流程图。在一个示例性实施例中，该步骤如图10所示，包括：
在步骤801中，对作为样本的内窥镜所拍摄低质图像和非低质图像进行固定尺寸调整。
在步骤803中，将调整为固定尺寸的低质图像和非低质图像进行数据增强处理，扩充得到符合神经网络输入尺寸的样本图像。
在步骤805中，以样本图像为输入，执行神经网络的网络训练过程。
其中，首先应当说明的是，用于识别低质图像的神经网络，其样本包括内窥镜所拍摄低质图像和非低质图像，但并不限于内窥镜所拍摄的低质图像和非低图像，还包括由所拍摄低质图像和非低质图像所扩充的图像，以此来形成对神经网络输入的样本图像。
内窥镜所拍摄低质图像和非低质图像，并非是一次内窥镜检查所拍摄的，而是通过各种方式所广泛获得的内窥镜图像。
对于所需要进行的网络训练而言，通过大规模样本的输入而得到每一网络层的参数、权重数值，并且样本的数据量大小，也将决定着所训练神经网络的泛化性能和分类的精准性，因此，对于作为样本的内窥镜所拍摄低质图像和非低质图像而言，在按照神经网络的输入要求进行尺寸调整的同时，也需要不断扩充样本的数据量，即通过对完成了尺寸调整的图像执行数据增强处理，来以获得的消化道内窥镜所拍摄低质图像和非低质图像为基准，获得更多的样本图像。
对于所进行的固定尺寸调整，即为将图像调整为固定大小的过程，例如，将图像调整到227*227像素的过程。而数据增强处理，则是采用随机裁剪等方法进行数据预处理，并结合随机旋转、亮度、颜色、对比度随机抖动等一系列操作，对图像，即低质图像和非低质图像分别获得各式各样的图像，例如，不同角度的图像等，以此来增强泛化性能，防止过拟合现象的发生。
对每一幅低质图像和非低质图像进行执行数据增强处理，以将一幅图像变为多幅图像，进而一并形成符合神经网络输入尺寸的样本图像。
通过此示例性实施例，得以为所进行的网络训练实现样本数据的扩充，在已有内窥镜所拍摄低质图像和非低质图像的基础之上，得以充分提供样本数据来实现能够收敛至最优点的网络训练过程。
通过如上所述的示例性实施例，将对内窥镜拍摄实时进行基于每一原始内窥镜图像的影像识别，具备实时性的同时，能够实现内窥镜检查中病灶的准确快速捕捉。
现以执行消化道内窥镜检查的角度，结合上述方法实现进行阐述。
医生使用内窥镜检查消化道的过程中，接入视频流，即消化道的医疗内窥镜视频流，在同步进行当前影像显示的同时，相应获取原始内窥镜图像。
此时，将对此原始内窥镜图像执行低质图像识别过滤、消化道部位定位、病灶区域定位和类别识别的一系列过程，以此不断在所进行的内窥镜检查中提供实时精准的辅助，快速的为内窥镜的消化道拍摄过程大量原始内窥镜图像的产生提供全面而准确的处理，使得大量医疗影像的产生不再成为消化道内窥镜检查的瓶颈。
具体的，图11是根据一示例性实施例示出的消化道内窥镜拍摄下影像识别的整体架构示意图。在一示例性实施例的应用中，如图11所示的，在所进行的消化道内窥镜拍摄下，随着内窥镜在消化道内的移动和拍摄，输出消化道的医疗内窥镜视频流。
对于消化道的医疗内窥镜视频流，首先执行步骤910来对每一幅原始内窥镜图像进行低质图像的识别过滤，以此来剔除属于低质图像的原始内窥镜图像，生成目标内窥镜图像。
在此，应当进一步指出的是，低质图像的识别过滤作为分类任务，可选择Densenet构建所使用的神经网络，并且在此神经网络的执行过程中，通过数据增强方法来进行样本的处理，但是对于所相应进行的网络预测过程，即低质图像的识别，则不再执行数据增强方法，而仅通过单一的裁剪方法，例如center crop方法来保证一致性即可，以避免数据增强处理所带来的耗时增加，进而保证实时性。
经由步骤910低质图像识别过滤的执行，有效剔除了所获取原始内窥镜图像中存在的低质图像，而仅对非低质图像进行着后续的影像识别过程。
对目标内窥镜图像，执行步骤920来进行器官部位识别。而器官部位识别作为分类任务，也可选择Densenet构建所使用的分类网络，例如，前述所指的四分类网络。
通过对内窥镜图像的器官部位识别，即可在消化道中定位所不断移动和拍摄的内窥镜当前所处器官部位，进而下可为此器官部位所拍摄的内窥镜图像提供适当可用的拍摄模式。
不同的拍摄模式决定着不同的图像类型，因此，步骤930图像类型识别，实质即为内窥镜图像所适用拍摄模式的识别，在识别得到内窥镜图像所应当设定的图像类型之后，即可按照此图像类型来对内窥镜图像进行拍摄模式的切换，以此来对过滤了低质图像的每一内窥镜图像获得所适用拍摄模式下的内窥镜图像。
例如，图12是根据一示例性实施例示出的白光拍摄模式下的内窥镜图像示意图；图13是图12所对应实施例示出的NBI模式下的内窥镜图像示意图；图14是图12所对应实施例的碘染模式下的内窥镜图像示意图。
从图12至图14可见，三种图像的图像色彩、纹路和细节差异巨大，因此在所进行的识别过程中图像类型识别下拍摄模式的自适应切换，将极大的增强了影像识别的准确性。
步骤930图像类型识别的进行，也将是分类任务的实现，因此，也可选用Densenet模型来构建所使用的分类网络，例如三分类网络，因此，其网络训练过程与低质图像识别过滤所执行的网络训练过程类似。
在完成图像类型识别，获得内窥镜当前所处消化道部位所适应拍摄模式下的目标内窥镜图像之后，便执行步骤940异物定位与抗干扰的实现过程，由此来消除异物干扰，进而完成病灶区域的定位和所属病灶类别的检测。通过如上所述的执行过程，将在平均150毫秒内处理一帧内窥镜图像，满足了实时性需求，且具备非常高的准确度，将此执行过程的实现部署至医院，可实时辅助医生进行消化道内镜影像的论断，提高医生的诊断效率。
基于如上所述的执行过程，实现了一套可辅助消化道内窥镜检查的完整可用、鲁棒性强的系统，全方位实现辅助，在对内窥镜图像所进行的处理中，能够我可以把视频帧率的流畅度，即平均每帧小于150毫秒。
通过如上所述的执行过程，得以直接应用于医院生产环境的消化道内镜诊断系统，在当下医疗资源紧缺且不均衡的现状下，可辅助医生定位和发现消化道病灶，防止漏诊。
下述为本申请装置实施例，用于执行本申请上述医疗内窥镜图像的识别方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请医疗内窥镜图像的识别方法实施例。
图15是根据一示例性实施例示出的一种医疗内窥镜图像的识别系统的框图。在一个示例性实施例中，如图15所示，该实医疗内窥镜图像的识别系统，包括但不限于：图像获取模块1010、图像过滤模块1030、器官部位识别模块1050、图像类型识别模块1070以及详情识别模块1090。
图像获取模块1010，用于根据医疗内窥镜视频流获取原始内窥镜图像；
图像过滤模块1030，用于通过神经网络过滤获取的所述原始内窥镜图像，生成目标内窥镜图像；
器官部位识别模块1050，用于通过神经网络的分类预测识别所述目标内窥镜图像对应的器官信息；
图像类型识别模块1070，用于根据所对应器官信息，通过分类网络识别所述目标内窥镜图像适用的图像类型；
详情识别模块1090，用于在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别。
可选的，本申请还提供一种机器设备，该机器设备可以用于图1所示实施环境中，执行图3、图5、图6、图8、图9和图10任一所示的方法的全部或者部分步骤。所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行实现前述所指的方法。
该实施例中的装置的处理器执行操作的具体方式已经在有关前述实施例中执行了详细描述，此处将不做详细阐述说明。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种医疗内窥镜图像的处理方法，其特征在于，所述方法包括：
根据医疗内窥镜视频流获取原始内窥镜图像；
将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；
对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；
过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
通过神经网络的分类预测识别所述目标内窥镜图像对应的器官信息；
根据所对应的器官信息，通过分类网络识别所述目标内窥镜图像适用的图像类型；
在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别。
3.根据权利要求2所述的方法，其特征在于，所述在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别，包括：
对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框，所述异物框用于指示所述目标内窥镜图像中存在异物的区域；
根据检测得到的所述异物框过滤所述目标内窥镜图像，未过滤掉的所述目标内窥镜图像用于定位病灶区域和所属病灶类别。
4.根据权利要求3所述的方法，其特征在于，在所述对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框之前，还包括：
检测所述目标内窥镜图像的图像类型；
在检测的所述图像类型与识别的所述图像类型不符时，按照所识别图像类型对应的拍摄模式，对所述目标内窥镜图像切换拍摄模式来获取识别的所述图像类型对应拍摄模式下的目标内窥镜图像。
5.根据权利要求3所述的方法，其特征在于，所述对所述图像类型对应拍摄模式下的目标内窥镜图像，检测所存在的异物获得分布于所述目标内窥镜图像的异物框，包括：
以所述图像类型对应拍摄模式下的目标内窥镜图像为输入，通过神经网络进行目标检测获得所存在异物框对应的坐标和置信度，所述坐标用于指示所述目标内窥镜图像中异物框的分布。
6.根据权利要求5所述的方法，其特征在于，所述根据检测得到的所述异物框过滤所述目标内窥镜图像，包括：
根据目标内窥镜图像中异物框对应的坐标和置信度，运算所述目标内窥镜图像所存在异物占据的面积比例因子；
根据所述面积比例因子判定所存在异物对所述目标内窥镜图像的干扰性，过滤发生异物干扰的所述目标内窥镜图像。
7.根据权利要求2所述的方法，其特征在于，所述在所述图像类型对应的拍摄模式下，根据所述器官信息指示的部位定位所述目标内窥镜图像中的病灶区域和所属病灶类别，包括：
对所述图像类型对应拍摄模式下的目标内窥镜图像在定位检测网络各层不断进行特征提取，直至最终回归得到所述目标内窥镜图像中的病灶区域；
通过分类网络进行所述目标内窥镜图像中病灶区域的病灶性质分类，获得所述病灶区域归属的病灶类别。
8.根据权利要求7所述的方法，其特征在于，所述通过分类网络进行所述目标内窥镜图像中病灶区域的病灶性质分类，获得所述病灶区域归属的病灶类别，包括：
外扩所述目标内窥镜图像中的病灶区域获得所述病灶区域对应的外扩区域；
预处理所述外扩区域，使所述外扩区域归一化为符合输入尺寸的分类网络输入图像；
由所述分类网络对所述分类网络输入图像进行所属病灶类别的网络预测，获得所述内窥镜图像中对应病灶区域归属的病灶类别。
9.根据权利要求2所述的方法，其特征在于，所述目标内窥镜图像对应器官信息的识别通过与所述器官部位相适应的分类网络执行，所述分类网络通过标注了所对应器官部位的内窥镜图像训练得到；
其中，所述内窥镜图像形成的分类网络样本覆盖所述医疗内窥镜视频流中的所有部位。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
以内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络，所述神经网络用于生成目标内窥镜图像。
11.根据权利要求10所述的方法，其特征在于，所述以内窥镜所拍摄低质图像和非低质图像为样本，训练神经网络得到对应低质和非低质两大图像类别输出概率的神经网络，包括：
对作为样本的内窥镜所拍摄低质图像和非低图像进行固定尺寸调整；
将调整为固定尺寸的低质图像和非低质图像进行数据增强处理，扩充得到符合所述神经网络输入尺寸的样本图像；
以所述样本图像为输入，执行所述神经网络的网络训练过程。
12.根据权利要求1至11中任一项所述的方法，其特征在于，所述根据医疗内窥镜视频流获取原始内窥镜图像，包括：
获取存储的所述医疗内窥镜视频流；
从所述医疗内窥镜视频流获取原始内窥镜图像，所述原始内窥镜图像用于识别所述内窥镜所拍摄腔道或密闭体腔中存在的病灶区域和所属病灶类别。
13.一种医疗内窥镜图像的处理系统，其特征在于，所述系统包括：
图像获取模块，用于根据医疗内窥镜视频流获取原始内窥镜图像；
图像处理模块，用于将获取的所述原始内窥镜图像处理为设定尺寸，生成标准内窥镜图像；
图像预测模块，用于对所述标准内窥镜图像，通过神经网络进行低质图像和非低质图像的预测，所述低质图像是存在干扰的标准内窥镜图像；
图像过滤模块，用于过滤归属于低质图像的标准内窥镜图像，获得目标内窥镜图像。
14.一种机器设备，其特征在于，包括：
处理器；以及
存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行实现权利要求1至12中任一项所述的方法。
15.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的方法。
CN201910756501.5A 2019-05-06 2019-05-06 医疗内窥镜图像的处理方法、系统、机器设备和介质 Active CN110490856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910756501.5A CN110490856B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的处理方法、系统、机器设备和介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910372711.4A CN110136106B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN201910756501.5A CN110490856B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的处理方法、系统、机器设备和介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910372711.4A Division CN110136106B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Publications (2)

Publication Number Publication Date
CN110490856A true CN110490856A (zh) 2019-11-22
CN110490856B CN110490856B (zh) 2021-01-15

Family

ID=67576294

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910372711.4A Active CN110136106B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN201910756501.5A Active CN110490856B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的处理方法、系统、机器设备和介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910372711.4A Active CN110136106B (zh) 2019-05-06 2019-05-06 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Country Status (4)

Country Link
US (1) US11969145B2 (zh)
EP (1) EP3968272A4 (zh)
CN (2) CN110136106B (zh)
WO (1) WO2020224470A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105410A (zh) * 2019-12-27 2020-05-05 中国人民解放军陆军军医大学第二附属医院 基于骨髓活检图像的造血组织比例确定设备及方法
CN111513660A (zh) * 2020-04-28 2020-08-11 深圳开立生物医疗科技股份有限公司 一种应用于内窥镜的图像处理方法、装置及相关设备
CN112884666A (zh) * 2021-02-02 2021-06-01 杭州海康慧影科技有限公司 图像处理方法、装置及计算机存储介质
CN113012131A (zh) * 2021-03-19 2021-06-22 重庆金山医疗器械有限公司 一种内镜图像处理方法、装置、设备和介质
CN113068015A (zh) * 2021-03-24 2021-07-02 南京锐普创科科技有限公司 一种基于光纤探头的内窥镜图像畸变校正系统
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020560A1 (ja) * 2016-07-25 2018-02-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN110136106B (zh) 2019-05-06 2022-12-27 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统
CN110495847B (zh) * 2019-08-23 2021-10-08 重庆天如生物科技有限公司 基于深度学习的消化道早癌辅助诊断系统和检查装置
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
CN110689025B (zh) * 2019-09-16 2023-10-27 腾讯医疗健康(深圳)有限公司 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN110613417A (zh) * 2019-09-24 2019-12-27 浙江同花顺智能科技有限公司 一种输出上消化内镜操作信息的方法、设备及存储介质
CN110866908B (zh) * 2019-11-12 2021-03-26 腾讯科技（深圳）有限公司 图像处理方法、装置、服务器及存储介质
CN110867233B (zh) * 2019-11-19 2023-05-05 西安邮电大学 用于生成电子喉镜医学检测报告的系统和方法
CN111128396B (zh) * 2019-12-20 2020-11-03 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN111899229A (zh) * 2020-07-14 2020-11-06 武汉楚精灵医疗科技有限公司 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
CN113160149B (zh) * 2021-03-31 2024-03-01 杭州海康威视数字技术股份有限公司 一种目标显示方法、装置、电子设备及内窥镜系统
WO2022221341A1 (en) 2021-04-12 2022-10-20 Chandra Jonelagadda Systems and methods for using image analysis in superior capsule reconstruction
CN113139937B (zh) * 2021-04-13 2022-11-01 上海市第一人民医院 一种基于深度学习的消化道内窥镜视频图像识别方法
CN113284110A (zh) * 2021-05-26 2021-08-20 复旦大学附属中山医院 基于双流法的胃镜视频部位识别网络结构
CN113409312B (zh) * 2021-08-03 2021-11-02 广东博创佳禾科技有限公司 一种用于生物医疗影像的图像处理方法和装置
CN113407980B (zh) * 2021-08-18 2022-02-15 深圳市信润富联数字科技有限公司 数据标注系统
CN113496489B (zh) * 2021-09-06 2021-12-24 北京字节跳动网络技术有限公司 内窥镜图像分类模型的训练方法、图像分类方法和装置
CN113935993B (zh) * 2021-12-15 2022-03-01 武汉楚精灵医疗科技有限公司 肠镜图像识别系统、终端设备及存储介质
WO2023168306A2 (en) * 2022-03-01 2023-09-07 Kaliber Labs Inc. Arthroscopic surgery assistance apparatus and method
CN114419521B (zh) * 2022-03-28 2022-07-01 武汉楚精灵医疗科技有限公司 肠道内镜检查的监控方法及装置
TWI825643B (zh) * 2022-03-30 2023-12-11 緯創資通股份有限公司 醫療輔助資訊產生方法與醫療輔助資訊產生系統
CN115331787A (zh) * 2022-10-11 2022-11-11 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置及其相关设备
CN115908349B (zh) * 2022-12-01 2024-01-30 北京锐影医疗技术有限公司 一种基于组织识别的内窥镜参数自动调整方法与设备
CN116596927B (zh) * 2023-07-17 2023-09-26 浙江核睿医疗科技有限公司 一种内镜视频处理方法、系统及装置
CN117137410B (zh) * 2023-10-31 2024-01-23 广东实联医疗器械有限公司 医用内窥镜图像处理方法和系统
CN118096772A (zh) * 2024-04-29 2024-05-28 西安交通大学医学院第一附属医院 一种解剖部位识别系统、控制方法、介质、设备及终端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806091A1 (en) * 2004-10-29 2007-07-11 Olympus Corporation Image processing method and capsule-type endoscope device
US20100245616A1 (en) * 2009-03-26 2010-09-30 Olympus Corporation Image processing device, imaging device, computer-readable recording medium, and image processing method
WO2011013608A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
CN102473279A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
US20140350395A1 (en) * 2011-12-21 2014-11-27 Catherine M. Shachaf System for Imaging Lesions Aligning Tissue Surfaces
US20150294463A1 (en) * 2013-01-28 2015-10-15 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and information storage device
CN105354852A (zh) * 2015-11-27 2016-02-24 浙江工业大学 基于视觉注意机制的内窥图像中病灶定位方法
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070015989A1 (en) * 2005-07-01 2007-01-18 Avantis Medical Systems, Inc. Endoscope Image Recognition System and Method
JP2007236598A (ja) * 2006-03-08 2007-09-20 Pentax Corp プロセッサおよび電子内視鏡システム
JP2012525190A (ja) * 2009-04-29 2012-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 単眼の内視鏡画像からのリアルタイム深度推定
JP5526044B2 (ja) * 2011-01-11 2014-06-18 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR20160086629A (ko) * 2015-01-12 2016-07-20 한국전자통신연구원 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
US10861151B2 (en) * 2015-08-07 2020-12-08 The Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source
CN107240091B (zh) * 2017-04-21 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像预处理系统及方法
CN107564580B (zh) 2017-09-11 2019-02-12 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN107610187B (zh) * 2017-09-19 2021-01-26 海信视像科技股份有限公司 一种用于医疗内窥装置采集图像的控制方法、装置及内窥系统
CN107625513B (zh) * 2017-09-30 2019-05-21 华中科技大学 增强显示窄带成像内窥镜系统及其成像方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院（湖北省人民医院） 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法
EP3851026A4 (en) * 2018-09-12 2021-11-10 FUJIFILM Corporation ENDOSCOPE DEVICE, ENDOSCOPE PROCESSOR, AND ENDOSCOPE DEVICE OPERATING PROCEDURE
CN109523522B (zh) * 2018-10-30 2023-05-09 腾讯医疗健康(深圳)有限公司 内窥镜图像的处理方法、装置、系统及存储介质
CN109447987A (zh) * 2018-11-28 2019-03-08 武汉大学人民医院（湖北省人民医院） 基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法
CN109300134A (zh) * 2018-11-30 2019-02-01 中国科学院电工研究所 一种胶囊内窥镜图像缩减控制系统
CN109480746A (zh) * 2019-01-14 2019-03-19 深圳市资福医疗技术有限公司 智能控制胶囊式内窥镜在消化道不同部位工作方法及装置
CN110136106B (zh) * 2019-05-06 2022-12-27 腾讯医疗健康(深圳)有限公司 医疗内窥镜图像的识别方法、系统、设备和内窥镜影像系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1806091A1 (en) * 2004-10-29 2007-07-11 Olympus Corporation Image processing method and capsule-type endoscope device
US20100245616A1 (en) * 2009-03-26 2010-09-30 Olympus Corporation Image processing device, imaging device, computer-readable recording medium, and image processing method
WO2011013608A1 (ja) * 2009-07-31 2011-02-03 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム及び記録媒体
CN102473279A (zh) * 2009-07-31 2012-05-23 富士胶片株式会社 图像处理装置和方法、数据处理装置和方法、程序和记录介质
US20140350395A1 (en) * 2011-12-21 2014-11-27 Catherine M. Shachaf System for Imaging Lesions Aligning Tissue Surfaces
US20150294463A1 (en) * 2013-01-28 2015-10-15 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and information storage device
CN105354852A (zh) * 2015-11-27 2016-02-24 浙江工业大学 基于视觉注意机制的内窥图像中病灶定位方法
CN109447973A (zh) * 2018-10-31 2019-03-08 腾讯科技（深圳）有限公司 一种结肠息肉图像的处理方法和装置及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
NATALIA OBUKHOVA等: ""Review of Noise Reduction Methods and Estimation of their Effectiveness for Medical Endoscopic Images Processing"", 《2018 22ND CONFERENCE OF OPEN INNOVATIONS ASSOCIATION (FRUCT)》 *
TOMOYUKI HIROYASU等: ""Preprocessing with image denoising and histogram equalization for endoscopy image analysis using texture analysis"", 《2015 37TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 *
YINGJIE ZHANG: ""A novel contrast enhancement and denoising method for borescope images"", 《2012 IEEE FIFTH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTATIONAL INTELLIGENCE (ICACI)》 *
何颖等: ""基于图像去噪的胃部病灶检测及分类算法研究"", 《数字技术与应用》 *
李杰等: ""基于彩色图像插值算法的胶囊机器人微视觉"", 《计算机测量与控制》 *
茹小光等: ""内窥镜图像病变特征快速定位算法的仿真分析"", 《计算机仿真》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105410A (zh) * 2019-12-27 2020-05-05 中国人民解放军陆军军医大学第二附属医院 基于骨髓活检图像的造血组织比例确定设备及方法
CN111513660A (zh) * 2020-04-28 2020-08-11 深圳开立生物医疗科技股份有限公司 一种应用于内窥镜的图像处理方法、装置及相关设备
CN111513660B (zh) * 2020-04-28 2024-05-17 深圳开立生物医疗科技股份有限公司 一种应用于内窥镜的图像处理方法、装置及相关设备
CN112884666A (zh) * 2021-02-02 2021-06-01 杭州海康慧影科技有限公司 图像处理方法、装置及计算机存储介质
CN112884666B (zh) * 2021-02-02 2024-03-19 杭州海康慧影科技有限公司 图像处理方法、装置及计算机存储介质
CN113012131A (zh) * 2021-03-19 2021-06-22 重庆金山医疗器械有限公司 一种内镜图像处理方法、装置、设备和介质
CN113068015A (zh) * 2021-03-24 2021-07-02 南京锐普创科科技有限公司 一种基于光纤探头的内窥镜图像畸变校正系统
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN114049934A (zh) * 2021-11-10 2022-02-15 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质
CN114049934B (zh) * 2021-11-10 2022-09-16 富士胶片（中国）投资有限公司 辅助诊断方法、装置、系统、设备和介质

Also Published As

Publication number Publication date
CN110136106B (zh) 2022-12-27
CN110490856B (zh) 2021-01-15
US20210390693A1 (en) 2021-12-16
US11969145B2 (en) 2024-04-30
WO2020224470A1 (zh) 2020-11-12
CN110136106A (zh) 2019-08-16
EP3968272A1 (en) 2022-03-16
EP3968272A4 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
CN110490856A (zh) 医疗内窥镜图像的处理方法、系统、机器设备和介质
Cai et al. DRL-FAS: A novel framework based on deep reinforcement learning for face anti-spoofing
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US11308614B2 (en) Deep learning for real-time colon polyp detection
WO2021254205A1 (zh) 一种目标检测方法及装置
CN104883946B (zh) 图像处理装置、电子设备、内窥镜装置和图像处理方法
CN1926851B (zh) 通过深度信息优化捕获装置设置的方法和设备
CN109815844A (zh) 目标检测方法及装置、电子设备和存储介质
CN110033456A (zh) 一种医疗影像的处理方法、装置、设备和系统
CN110473185A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108292366A (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN110197229A (zh) 图像处理模型的训练方法、装置及存储介质
CN108322646A (zh) 图像处理方法、装置、存储介质及电子设备
CN111582238B (zh) 一种应用于人脸遮挡场景的活体检测方法及装置
JP7286208B2 (ja) 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム
CN108959462A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111080639A (zh) 基于人工智能的多场景消化道内镜图像识别方法及系统
WO2020174862A1 (ja) 情報処理装置、情報処理方法および情報処理システム
CN108810406A (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN107231507A (zh) 摄像装置和摄像方法
CN110278415A (zh) 一种网络摄像机视频质量提升方法
CN110276831A (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
CN109241898A (zh) 腔镜视像的目标定位方法和系统、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant