CN108292366A - 在内窥镜手术中检测可疑组织区域的系统和方法 - Google Patents

Abstract

图像处理系统连接到内窥镜，并实时处理内窥镜图像以识别可疑组织，诸如息肉或癌症。该系统应用预处理工具来清洁接收到的图像，然后并行地应用多个检测器，两个传统检测器以及基于有监督机器学习的检测器模型。还应用后处理以便在检测到的区域中选择最有可能是可疑的区域。识别为显示可疑组织的帧可以在输出视频显示器上标记。可选地，可疑组织的大小、类型和边界也可以被识别和标记。

Description

在内窥镜手术中检测可疑组织区域的系统和方法

技术领域

本发明一般涉及图像处理，具体涉及用于检测内窥镜手术中的可疑区域的系统和方法。

背景技术

内窥镜手术是指为了医疗目的，通过医疗装置(内窥镜)在人体的中空器官或空腔内在人体内部搜索和筛选。与大多数其他医学成像装置不同，内窥镜直接插入器官中，并且通常使用可见光频率或近可见频率(诸如红外光束)的光学摄像头，以便从器官内部产生图像和视频帧。通常，内窥镜手术来检查被测器官中是否存在可疑的局部区域，诸如息肉、肿瘤或癌细胞的证据。

结肠镜检查手术是在通过肛门的光纤或柔性管上用光学摄像头(通常具有CCD或CMOS摄像头)对大肠(大肠)和小肠的远端部分进行内窥镜检查。它提供了视觉诊断(例如溃疡、息肉)并提供了活检或切除疑似结肠直肠癌病变的机会。

大众对结肠镜检查的主要兴趣是移除小于1毫米(mm)或更小的息肉。一旦息肉被移除，他们可以借助显微镜研究以确定它们是否是癌前期的。息肉需要15年或更少的时间才能变成癌症。

美国癌症协会“早期发现癌症指南”建议，从50岁开始，男性和女性每5年进行灵活乙状结肠镜检查(从直肠到结肠的最后部分进行大肠微创检查)和每10年进行结肠镜检查。

息肉通常被定义为可以发展成癌症的过量组织的增长。如果发现息肉，则可以通过几种技术之一将其移除。关于形状，息肉通常分为两种类型：有蒂(见图1A)和无蒂(见图1B)。有蒂的息肉看起来像蘑菇，无蒂息肉看起来像肿块，或者甚至可以在结肠组织上扁平。息肉的大小可以从几厘米到几毫米不等，甚至可以是小于2毫米或1毫米大小。小息肉(小于6mm)比大息肉更难以检测，因为它们在结肠组织中较不显着，所以无蒂比有蒂更难以检测。扁平息肉比凹凸息肉更难以检测，非常小的扁平息肉(小于2mm)通常是最难检测到的。检测即使是小息肉也很重要，因为一旦发现它们，即使不怀疑癌症，医生会要求患者在大约1或2或3年后重新检查(取决于息肉的类型和大小)以追踪那些息肉。

常见的两种息肉是增生性息肉和腺瘤性息肉。增生性息肉没有癌症风险。认为腺瘤性息肉是大多数结肠癌病例的主要原因，尽管大多数腺瘤不会成为癌症。医生通常不能直观地检测息肉的类型，因此通常将可疑的息肉移除(除非它们非常小)，并在显微镜下进行组织学检查。不可能确定哪些腺瘤性息肉会成为癌症，但是更大的息肉更可能成为癌症，而最大的一些(大于2.5厘米)可能已经含有小面积的癌症。

用于结肠镜检查手术的装置通常包括3部分：1)插入结肠(至少是其远端部分)的单元的内窥镜；2)在近端部分的控制，其帮助在结肠中引导内窥镜；以及连接到内窥镜的视频输出的计算机化的外部单元，从结肠接收图像和视频帧。该装置通常包含图形处理器，用于处理和显示所连接屏幕上的最佳图像。除了发往装置主屏幕的主视频输出之外，计算机化单元通常还具有处理后的视频帧被传递到的附加外部视频输出。

通常经由灌肠，通常在结肠排空后进行结肠镜检查。存在一些其中不排空的替代过程，诸如X射线虚拟结肠镜检查、体内超声结肠镜检查。

结肠镜检查手术主要是筛查检测(检测优选早期检测疾病或检测具有疾病的机会)。当医生将内窥镜插入结肠时，他/她将其导航至其最终目的地(在他/她计划与内窥镜的远侧部分达到的结肠中离直肠最远的位置)。在此导航期间，医生在结肠中发现可疑的息肉，并且如果发现，则医生随后考虑用可以用光学内窥镜插入结肠的特殊工具立即移除息肉。然而，主要搜索和检测可疑息肉是在从结肠拉出内窥镜期间完成的，因为然后医生可以将注意力集中在搜索上而不必关心导航处理(在拉出内窥镜期间遵循结肠的管状结构)。

除了检测小而扁平的息肉或纹理和颜色与常规结肠组织相似的息肉的挑战之外，常规结肠镜检查手术中的主要困难之一是检测隐藏在隐蔽在结肠皱褶部位后面的息肉(内窥镜摄像头没有直接视线的息肉)。为了克服这个困难，最近开发了几种工具，诸如带有向后看的附加摄像头的内窥镜，带有可以观察到侧面的摄像头的内窥镜或具有使它们向后看的光学装置的内窥镜，以及添加到内镜以展开摄像头区域中的结肠皱褶的特定球。

在一些通过常规结肠镜检查然后这些技术之一进行检查以查看隐藏的息肉进行的背靠背检查中，发现常规结肠镜检查错过了28％的所有息肉中以及高达24％的被认为对于癌症原因更危险的腺瘤性息肉。这些发现增强了开发工具的重要性，该工具将帮助医生在内窥镜筛查检查中以更高的精确率和准确率定位更多可疑组织和息肉。

发明内容

本发明涉及一种在内窥镜手术期间连接到内窥镜装置的视频输出端的图像处理系统，包括：至少一个处理器；以及通信地耦合到至少一个处理器的至少一个存储器，所述计算机可读指令在由至少一个处理器执行时使图像处理和机器学习系统实现实时检测由内窥镜装置产生的内窥镜视频图像中的可疑区域的方法，该方法包括对多个连续视频帧执行以下步骤：

(i)从每个帧移除内窥镜摄像头的视觉馈入外的外围区域；

(ii)通过发现帧中的低亮度凸起区域来识别和移除帧中的管腔区域；

(iii)识别并移除帧中的粪便区域；

(iv)在帧的外围部分处识别并移除尖端的内窥镜内侧的帧中的出现；

(v)在每个帧或帧的部分中识别具有液体的区域；

(vi)在每个帧或帧的部分中识别并移除手术工具；

(vii)在每个帧或帧的部分中识别并移除模糊区域；

(viii)在每个视频帧或帧的部分上应用不基于有监督学习算法的以下传统检测器中的两个，传统检测器适于检测视频帧或帧的部分是否包含可疑区域：颜色分析；纹理/边缘/基于内核的提取分析；阴影分析；三维(3D)图像分析；或其任何组合，其中将区域识别为可疑区域的确定考虑了在预定数量的连续帧中对该区域的识别；和

(ix)在每个视频帧或帧的部分上应用基于有监督机器学习检测器的以下模型中的一个以分类哪些特征和图像区域与可疑区域有关：应用基于支持向量机(SVM)的处理；应用基于决策树的处理；应用包括卷积神经网络(CNN)、区域CNN(RCNN)和长期短期记忆递归CNN(LSTM递归CNN)的一个或多个模型的基于深度机器学习的网络处理，其中每个模型接收从传统算法或三个连续帧的处理产生的原始帧或图像的彩色信道作为输入；或其任何组合，其中将区域识别为可疑区域的确定考虑了在预定数量的连续帧中对该区域的识别；

(x)根据一个或多个预定规则接收(viii)和(ix)的结果并且在帧中达到关于可疑区域存在的最终决策；和

(xi)将一个或多个视频帧识别为包含可疑区域。

在一些实施例中，该方法还包括初始步骤：在每个视频帧或帧的部分上应用以下预处理处理中的一个或多个：直方图改进算法；根据预定义的标准自适应增强对比度；亮度和图像帧的颜色标准化；图像帧的超分辨率改进；图像帧中亮度信道和色彩信道的不平衡伸缩，以获得色频占优势，其中每个色彩信道被单独均衡并被控制以消除噪声增强；应用信号噪声测量并减少噪声或相应地滤波帧；验证图像处于焦点并滤波未聚焦的帧；或其任何组合。

在一些实施例中，应用3个传统检测器和2个基于机器学习的检测器模型，并且在一个或多个视频帧中识别可疑区域的位置。

在一些实施例中，识别可疑区域的边界。

在一些实施例中，该方法还包括以下的步骤：使用专用显示区域上的重叠标记来标记可疑区域。

在一些实施例中，标记包括通过诸如虚线/非虚线轮廓的颜色标记或附加标记属性或所标记区域的颜色的透明度等级标记可疑区域的类型和大小。

在一些实施例中，可疑区域的存在由音频信号发出。

在一些实施例中，根据可疑区域的大小和类型产生不同的音频信号。

在一些实施例中，该方法还包括以下的步骤：计算可疑区域的大小。

在一些实施例中，该方法还包括以下的步骤：根据预定义的类型对可疑区域进行分类。

在一些实施例中，该方法还包括以下的步骤：根据来自在内窥镜尖端处的摄像头的视频流的连续帧的图像中的变化来跟踪内窥镜尖端移动。

在一些实施例中，该方法还包括以下步骤：当内窥镜尖端返回到地标位置时通过用户地标记录内窥镜尖端的特定位置和发信号通知。

在一些实施例中，该方法还包括以下步骤：根据沿着连续帧识别的时间以及是否在连续帧中识别出手术工具，识别是否对可疑区域进行了处理或检查。

在一些实施例中，该方法还包括以下步骤：当检测到可疑区域但未处理时，代替用户地标，记录内窥镜尖端的位置，当内窥镜尖端返回到位置时发信号通知。

在一些实施例中，在离线记录的视频中识别可疑区域、具有可疑区域的帧和不相关的帧。

在一些实施例中，该方法还包括以下步骤：计算关于内窥镜手术的统计数据。

在一些实施例中，统计数据包括手术的总时间、到盲肠和来自盲肠的时间、检测到多少可疑区域、以及在手术期间移除了多少可疑区域。

在一些实施例中，该方法还包括以下步骤：即使在内窥镜从可疑区域位置前进之后仍然帧冻结可疑区域。

在一些实施例中，基于深度机器学习的网络处理通过在深度网络层上使用微调算法来使用关于非内窥镜图像的训练，其中重点在于微调语义层以便检测帧是否包含可疑区域以及这些可疑区域的位置和边界。

在一些实施例中，基于深度机器学习的网络处理以层级方式应用深度网络的组合和集成，和/或当每个深度网络被训练用于特定内部目的(诸如滤波未聚焦或不相关的帧)时，检测和分割管腔区域，检测和分割粪便区域，检测和分割工具区域，检测和分割液体区域，仅检测帧是否包含可疑区域，仅检测帧中的可疑区域的边界的位置，检测帧中的可疑区域的中心位置或其任何组合，以检测帧是否包含可疑区域以及这些可疑区域的位置和边界。根据权利要求1的系统，其中

在一些实施例中，该方法还包括以下的步骤：将每个视频帧分成重叠片。

在一些实施例中，基于决策树的处理是随机森林。

在一些实施例中，传统和机器学习检测器为其结果产生置信度值。

在一些实施例中，一个或多个预定的最终决策规则包括天真的、冗余的或简单的决策制定，诸如采取最严格的决策或者检测器和分类器的最可靠的决策(权利要求1的viii和ix部分)或检查所检测区域的重叠程度，或通过使用检测器和分类器对于具有地面实况数据的给定和输入受控数据集的结果基于统计计算或有监督机器学习方法(诸如决策树)的决策制定，将由检测器和分类器使用它们的位置检测到的所有区域作为图像片馈入CNN或其任何组合。

在一些实施例中，该方法还包括以下的步骤：识别血管，以便将它们从包含在可疑区域中的选项中移除(许多类型的可疑区域不能包括血管)。

在一些实施例中，从每个帧移除内窥镜摄像头的视觉馈入外的外围区域是通过在帧的外围部分处发现均匀的颜色和低亮度区域并且使用区域生长算法和形态验证标准来完成。

在一些实施例中，仅当管腔区域大小至少为帧的总像素大小的0.2％时才识别管腔区域。

在一些实施例中，仅当管腔区域的饱和度值在0至1的标度下小于0.1时才识别管腔区域。

在一些实施例中，通过识别具有污染形态的淡黄色区域来识别粪便区域，淡黄色区域不从周围表面凸出，其中自适应地计算用于识别这种区域的亮度、颜色和饱和度的阈值和界限。

在一些实施例中，通过在帧的外围部分处发现均匀的颜色、低饱和度和高亮度区域来识别尖端的内窥镜内侧的帧中的出现，其中自适应地计算这种类型的检测和分割的亮度、颜色和饱和度的阈值和界限。

在一些实施例中，通过发现白灰色和低饱和度区域并使用形态标准来识别帧中的液体，其中自适应地计算用于这种类型的检测和分割的颜色和饱和度的阈值和界限。

当在帧中识别液体时，液体区域从处理中移除或整个帧从处理中移除。

在一些实施例中，该方法还包括以下的步骤：识别每个帧或帧的部分中的反射，并创建附加伴随图像，其中每个反射被周围亮度、颜色和纹理替换。反射会增加在图像中发现息肉的机会。

在一些实施例中，该方法还包括以下的步骤：识别每个帧或帧的部分中的血管并创建附加伴随图像，其中每个血管出现被周围亮度、颜色和纹理替换。识别血管减少了在图像中发现附近息肉的机会。

在一些实施例中，通过使用颜色、饱和度以及基于2D和3D的形态的标准来实现识别每个帧或帧的部分中的手术工具。

在一些实施例中，通过对于图像的梯度计算的标准来实现识别每个帧或帧的部分中的模糊区域，并且在这些区域的面积总和大于预定值的情况下，将整个帧从进一步处理中移除。

在一些实施例中，该方法还包括附加传统检测器，其包括：形状检测和分割；运动分析；以及与一个或多个图像模板进行比较。

在一些实施例中，将区域识别为可疑区域的确定考虑了形态标准。

在一些实施例中，将区域识别为可疑区域的确定考虑了形态标准。

在一些实施例中，基于SVM的处理和基于决策树的处理接收由传统算法计算的特征向量和参数作为输入。

在一些实施例中，基于SVM的处理和基于决策树的处理处理帧以便检测息肉典型的特征并相应地对帧进行分类。

在一些实施例中，数据增强被用于基于深度机器学习的网络处理，以便使用息肉和背景特征以便从每个帧或补丁创建要由深度学习网络处理的若干附加帧。

在一些实施例中，该方法还包括以下的步骤：将由传统算法提供的预提取特征添加到基于深度机器学习的网络的完全连接特征层中作为层的附加特征。

在一些实施例中，基于深度机器学习的网络处理将区域识别为可疑区域的确定考虑了形态标准。

在一些实施例中，可疑区域是息肉或癌性区域。

在另一方面，本发明涉及一种在结肠镜检查处理期间连接到内窥镜装置的视频输出的图像处理系统，包括：至少一个处理器；以及通信地耦合到至少一个处理器的至少一个存储器，所述至少一个处理器包括计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使图像处理和机器学习系统实现检测由内窥镜装置产生的内窥镜视频图像中的实时息肉的方法，方法包括对多个连续的视频帧执行以下步骤：

(i)从每个帧移除内窥镜摄像头的视觉馈入外的外围区域；

(ii)通过发现帧中的低亮度凸起区域来识别和移除帧中的管腔区域；

(iii)通过识别具有污染形态的淡黄色区域来识别和移除帧中的粪便区域，淡黄色区域不从周围表面凸出，其中自适应地计算用于识别这种区域的亮度、颜色和饱和度的阈值和界限；

(iv)通过在帧的外围部分处寻找均匀的颜色、低饱和度和高亮度区域来识别和移除帧中的尖端的内窥镜内侧的帧中的出现，其中自适应地计算这种类型的检测和分割的亮度、颜色和饱和度的阈值和界限；

(v)通过寻找白灰色和低饱和度区域并使用形态标准来识别和移除每个帧中具有液体的区域，其中自适应地计算用于这种类型的检测和分割的颜色和饱和度的阈值和界限；

(vi)识别每个帧或帧的部分中的反射，并创建附加伴随图像，其中每个反射被周围亮度、颜色和纹理替换；

(vii)通过使用颜色、饱和度以及基于2D和3D的形态的标准来识别和移除每个帧或帧的部分中的手术工具；

(viii)通过对于图像的梯度计算的标准来识别和移除每个帧或帧的部分中的模糊区域，并且在这些区域的面积总和大于预定值的情况下，将整个帧从进一步处理中移除；

(ix)在每个视频帧或帧的部分上应用不基于有监督学习算法的以下传统检测器中的两个，传统检测器适于检测视频帧或帧的部分是否包含息肉：颜色分析；纹理/边缘/基于内核的提取分析；阴影分析；三维(3D)图像分析；形状检测和分割；运动分析；以及与一个或多个图像模板进行比较；或其任何组合，其中将区域识别为息肉的确定考虑了形态标准和在预定数量的连续帧中对息肉的识别；和

(x)在每个视频帧或帧的部分上应用基于有监督机器学习检测器的以下模型中的一个以分类哪些特征和图像区域与息肉有关：应用基于支持向量机(SVM)的处理；应用基于决策树的处理；应用包括卷积神经网络(CNN)、区域CNN(RCNN)和长期短期记忆递归CNN(LSTM递归CNN)的一个或多个模型的基于深度机器学习的网络处理，将由传统算法提供的预提取特征添加到基于深度机器学习的网络的完全连接特征层中作为层的附加特征，其中每个模型接收从传统算法或三个连续帧的处理产生的原始帧或图像的彩色信道作为输入；或其任何组合，其中将区域识别为息肉的确定考虑了形态标准和在预定数量的连续帧中对息肉的识别；

(xi)根据一个或多个预定规则接收(viii)和(ix)的结果并且在帧中达到关于息肉存在的最终决策；和

(xii)将一个或多个视频帧识别为包含息肉。

附图说明

图1A-图1B示出了结肠息肉的两个示例，图1A中的柄上的息肉(也称为有蒂息肉)以及图1B中的相对扁平的息肉。

图2示出了处理/算法系统的实施例。

图3是信噪比计算滤波算法的实施例的流程图。

图4示出了基于自适应聚类和自适应阈值处理的颜色分割算法的流程以便检测和分割可疑为息肉的区域的实施例。

图5A-图5I示出了息肉区域和非息肉区域之间的纹理均匀性计算的差异的示例——这是用于检测息肉区域的纹理计算之一。图5A是输入图像，图5B是输入图像的灰度级显示，图5C是来自息肉区域的斑块，而图5D是非息肉区域的斑块，图5E是上面斑块中的位置，其中计算共生矩阵(从其中导出均匀性计算)，图5F是在息肉斑块的这些位置处的均匀性值，图5G是沿着非息肉斑块的这些位置上进行的直线的均匀性值，图5H是在非息肉斑块的这些位置处的均匀性值，图5I是沿着在非息肉斑块的这些位置上进行的直线的均匀性值。图5F和图5H之间以及图5G和图5I之间的比较示出了息肉和非息肉斑块的均匀性之间的差异，其在实践中用于区分它们。

图6是示出SURF的特征、光流和立体匹配的使用以便产生系统所需的3D线索的流程图的实施例。

图7A-图7F是根据它们的3D阴影检测闭合隆起的息肉的边界分析算法的结果的示例。图7A是原始图像，图7B是没有阴影的原始图像(被Retinex算法省略)，图7C是原始图像和没有阴影的图像之间的色差，而图7D是原始图像和没有阴影的图像之间的灰度级差，图7E是(图像中的阴影元素的)该差的二值化，并且图7F是该区域的符号，其是根据进一步评估在原始图像上可以对应于闭合形状凸起息肉的图案的二值图像。

图8示出了系统使用的CNN架构的示例。

具体实施方式

在以下对各种实施例的详细描述中，参考形成其一部分的附图，并且其中通过图示的方式示出了可以实施本发明的特定实施例。应该理解，可以利用其他实施例并且可以进行结构改变而不偏离本发明的范围。

本发明的系统适用于自动检测内窥镜图像中可疑组织区域的存在和位置。为了清楚起见，尽管本领域技术人员将立即理解如何定制所描述的系统和方法以识别身体其它腔体中的其他内窥镜手术(诸如乙状结肠镜检查或任何其他内窥镜手术)的图像中的可疑组织区域，本公开细节自动检测结肠镜检查手术中的息肉。

本发明的系统和方法检查在结肠中捕获的内窥镜图像，并且识别不同类型的可疑组织的位置，在这种情况下为息肉。息肉可以是：大/中息肉、小息肉，最重要的是检测是扁平息肉。除了息肉之外，系统还可以识别结肠褶皱任何部位或侧面的其他可疑组织。在实际进行结肠镜检查手术、乙状结肠镜检查等时，在线执行息肉或其他可疑组织的检测。或者，系统可以离线查看(在内窥镜手术期间记录的视频上的)内窥镜图像。

本发明的系统是通常在结肠镜检查手术期间连接到内窥镜装置的视频输出的图像处理系统，尽管系统也可以处理先前记录的内窥镜手术的视频输出。

由内窥镜摄像头直接产生的视频帧包含许多可能模糊、不对焦的帧或帧中的区域或包含用于检测可疑组织的不必要信息。因此，为了提高整体检测率并加快处理速度，面向内窥镜的滤波算法被应用于外围、图像内部(暗区)低信息的区域，以及模糊(非对焦)帧或区域，以便增强和加速本发明的图像处理系统的处理。通过在帧的外围部分发现相对均匀(具有低标准偏差)的颜色和低亮度区域，然后使用区域增长算法和形态验证标准来查找并发现该区域的界限来识别外围低信息区域。通过使用自适应阈值(根据图像中的亮度的平均值和标准偏差)来识别低亮度区域并且其具有足够高的紧密度(在面积和凸包的面积之间的低比率)来实现移除图像内部的低信息区域(管腔区域)。这种计算是按照拼接方式完成的，即将每个斑块的亮度的平均值和标准偏差与整个图像的亮度的整体平均值和标准偏差进行比较。模糊区域通过对图像梯度计算的标准来识别，并且在这些区域的面积总和足够大的情况下，将整个帧从进一步处理中移除。这样，当可疑区域的周围是模糊的但是感兴趣区域足够尖锐(在许多情况下出现在内窥镜图像中)时，则该感兴趣区域被保留以供进一步处理。这个计算也是通过自适应阈值(根据图像梯度的平均值和标准偏差)来完成的，并且是以斑块方式计算的，即每个斑块的梯度的平均值和标准偏差与整个图像的整体平均值和标准偏差进行比较。

系统包括至少一个处理器和通信地耦合到至少一个处理器的至少一个存储器，所述至少一个处理器包括计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使图像处理和机器学习系统实现实时检测由内窥镜装置产生的内窥镜视频图像中的可疑区域。该方法包括对多个连续的视频帧执行以下步骤。没有必要处理每个视频帧，并且系统可以配置为跳过一些帧，例如，处理三个帧中的一个帧，两个帧中的一个帧，处理两个帧并跳过四个帧，或者任何其他顺序。因此，这里定义的术语“连续帧”是指按照时间顺序处理的帧，但不一定是在视频流中紧跟在彼此之后的帧。

参考图2，其示出了本发明的处理/算法系统的实施例。在步骤201中，接收新的输入视频帧(来自内窥镜摄像头)。在步骤202中，如果帧未被聚焦或具有低信噪比(SNR)，则帧被滤波。步骤203通过扩大其动态范围来增强输入图像(帧)的颜色和对比度。步骤204从图像中滤出管腔部分(暗区)和外围部分(在内窥镜摄像头视野外的部分)。步骤205计算特殊图像变换，诸如颜色变换、边缘检测、1阶导数变换，以便之后使用算法。步骤207应用有监督机器学习算法，该算法分类是否帧或斑块(斑块是帧的一部分；帧可以被划分为多个斑块，本身处理每个斑块并且考虑到帧中的其他斑块)包含或被包括在息肉中。步骤208分析图像中的阴影和3D结构以发现可疑为息肉的区域。步骤209使用纹理特征(诸如基于共现矩阵计算的纹理特征)和由特殊目的图像变换提取的附加特征来检测可疑为息肉的区域。步骤210聚类并分析图像中的颜色以检测可疑为息肉的区域。当步骤207至211中的算法也产生用于它们的检测或分类结果的置信水平(通常在0和1之间)时，步骤211做出在处理的帧或斑块中是否存在可疑区域的最终决策。步骤212是系统存储器(随着时间的推移)，其检查并验证连续帧中的息肉检测的连续性。步骤213包括诸如跟踪、导航、息肉大小计算和息肉类型分类的卫星算法，并且步骤214表示将所有这些算法一起运行的软件应用。

首先，执行一些预处理步骤以从帧中消除不必要的区域，从而减小处理帧的大小并加快处理时间(因为要处理的图像大小较小)并且还提高了准确性(因为不必要的图像部分被清理或消除，所以失误的可能性较小)。

(i)从每个帧中移除没有信息的外围区域。由于图像本质上是矩形的，并且结肠的内部更接近圆形，所以外围区域没有实际值。移除这些区域是通过以下方式实现的：在帧的外围区域处发现相对均匀的(当每个颜色信道范围在0到1之间时，具有0.1范围的低标准偏差)颜色和低亮度区域(当颜色范围在0和1之间时，低于0.1)然后使用区域生长算法和形态学验证标准来查找并发现该区域的界限并且使得区域过于狭小(低于整个图像的面积的0.05％)或者具有过小的致密度(它们的面积与它们的凸包的面积之比小于0.7)。

(ii)通过在帧中发现低亮度区域(当亮度范围在0和1之间时，低于0.1)识别和移除帧中的管腔区域；

(iii)通过识别不从周围表面凸出的具有污迹形态的淡黄色区域来识别和移除帧中的粪便区域，其中自适应地计算用于识别这些区域的亮度、颜色和饱和度的阈值和界限。

(iv)通过以下方式识别和移除在帧的外围部分处的尖端的内窥镜内侧的帧中的出现：在帧的外围区域处发现相对均匀的(具有低标准偏差，即，当每个颜色信道范围在0到1之间时在0.1的范围中的标准偏差)颜色、低饱和度(当饱和范围在0到1之间时，低于0.15)和高亮度(当亮度范围在0到1之间时，高于0.85)区域，其中自适应地计算这种类型的检测和分割的亮度、颜色和饱和度的阈值和界限。

(v)通过发现白灰色和低饱和度区域并使用形态标准来识别和移除每个帧或帧的部分中具有液体的区域，其中自适应地计算用于这种类型的检测和分割的颜色和饱和度的阈值和界限。

(vi)识别每个帧或帧的部分中的反射，并创建附加伴随图像，其中每个反射被周围亮度、颜色和纹理替换。

(vii)通过使用颜色、饱和度以及基于2D和3D的形态标准来识别和移除每个帧或帧的部分中的工具。

接下来的两个步骤涉及在处理后的视频帧上应用不同类型的检测器。根据机器配置和亮度，以下所有应用的检测器可以同时应用于处理后的视频帧以获得时间。

(viii)通过根据图像的梯度计算的标准来识别和移除每个帧或帧的部分中的模糊(非焦点)区域，并且在这些区域的面积总和足够大(整个图像区域的至少70％)的情况下，然后将整个帧从进一步处理中移除。这样，当可疑区域的周围是模糊的但是感兴趣区域足够尖锐(在许多情况下出现在内窥镜图像中)时，则该感兴趣区域仍将被保留以供进一步处理。

(ix)在每个处理后的视频帧或这些帧的部分上应用以下两种传统检测器。如本文定义的“传统检测器”是不基于有监督学习算法的检测器。传统的检测器适用于检测(结合有监督的机器学习检测器和分类器)视频帧或其部分是否包含可疑区域以及这些可疑区域的位置和边界：颜色分析；纹理/边缘/基于内核的提取分析；阴影分析；三维(3D)图像分析；形状检测和分割；运动分析；与一个或多个图像模板进行比较；或其任何组合，其中将区域识别为可疑区域的确定考虑了形态标准，诸如区域的区域大小，在投影到图像时其是否接近或到达视野的边界(物体可以被内窥镜摄像头看到的总区域)，其紧凑性(其面积与其凸包面积之间的比率)，其偏心率(与具有与该区域相同次矩的椭圆焦点之间的距离以及其主轴长度的比率)以及在预定数量的连续帧中对该区域的识别；

(x)在每个视频帧或帧的部分上应用基于有监督机器学习检测器的以下模型中的一个以分类哪些特征和图像区域与可疑区域有关：应用支持向量机(SVM)基于处理；应用基于支持向量机(SVM)的处理；应用基于决策树的处理；应用包括卷积神经网络(CNN)、区域CNN(RCNN)和长期短期记忆递归CNN(LSTM递归CNN)的一个或多个模型的基于深度机器学习的网络处理，将预提取特征组合到所述基于深度机器学习的网络的完全连接特征层中作为附加图像信道；或其任何组合，其中将区域识别为可疑区域的确定考虑了形态标准和在预定数量的连续帧中对该区域的识别。

(xi)根据一个或多个预定规则接收(viii)和(ix)的结果并在帧中达到关于可疑区域存在及其位置的最终决策。

(xii)将一个或多个视频帧识别为包含可疑区域。

预处理算法：

预处理算法是在由内窥镜产生的在线(或离线)捕获的结肠镜检查视频帧上并行运行的第一算法。在对视频帧进行预处理清理之后，将得到的视频帧馈送到各种检测算法。以下是一些使用的预处理算法：

1.信号噪声检测、滤波和改进

现在参考图3，其示出了信噪比计算滤波算法的流程图。在步骤30中，输入图像(视频帧或斑块被接收)。在步骤31中，将低通滤波器应用于输入图像。低通滤波器可以是特定的非递归滤波器，诸如二维有限脉冲响应(FIR)或递归滤波器，诸如二维无限脉冲响应(IIR)，或者通过与适当的运算符(诸如高斯核)进行卷积运算。在步骤32中，全局地计算原始图像和滤波图像之间的平均差(全部一起在所有图像像素上)。在步骤33中，局部计算原始和滤波图像的第一和第二矩(以斑块或小片，例如图像的64×64像素计算)。在步骤34中，将全局平均值转换为分贝单位，并且在步骤35中，如果基于局部的计算或者基于全局的计算的最大值低于预定义的阈值(左信道和右信道的不同阈值，例如，当图像亮度信道值在0到255之间变化时，相应地为12和0.2)，则省略该帧(前进到步骤37)，否则图像被传递以便在步骤36中进一步处理。可以通过参数预先设置特定阈值或者其可以根据输入帧的序列自适应计算以消除输入电平的局部劣化，并且可能是预先设置的阈值(诸如这里提到的值以上)的组合，其可以根据在输入序列上计算的实际值自适应地改变(例如，如果计算值始终高于预定义的阈值，则阈值可能会增加)。

2.掩蔽(超出视野范围的)外围区域

该算法通过使用圆形霍夫变换和随机样本一致性分析(RANSAC)分析的组合来移除超出视野范围的图像部分(掩蔽外围)，以识别内窥镜尖端的图案并丢弃通常黑暗的其外围。它应用圆形霍夫变换和RANSAC算法，其查找与圆弧图案(圆的部分)的对应关系。霍夫和RANSAC算法分别应用于右侧和左侧，因为两侧的弧形图案不一定是对称的，有时甚至与经典弧形图案有偏差。另外，作为替代方案，并且对于更复杂的示波器图案，应用非几何算法，其识别在一个或多个色彩信道中是唯一的外部区域，以便识别内窥镜尖端的图案以及抛弃通常黑暗的其外围。

3.掩蔽管腔区域-在内窥镜图像中心看到的结肠的远和黑暗的中心

该算法还使用圆形霍夫变换和RANSAC分析的组合，以便识别预期对于通常看到管腔的方式是典型的图案，并且支持特定的颜色和亮度分割算法，其匹配预期看到管腔的颜色和亮度-这种支持性算法是自适应的(例如，通过颜色信道的亮度的平均值和标准偏差的线性组合，诸如下限可以是平均值减去标准偏差的一半并且上限可以是平均值加标准偏差，算法在管腔区域中查找以发现的颜色和亮度界限是根据每个图像或几幅连续图像的统计数据自适应地定义的)。它应用圆形霍夫算法和RANSAC算法，其查找与圆形图案的对应关系，但它允许与精确的几何圆形图案存在相当大的偏差。另外，对于更复杂的图案，应用非几何算法，并识别其中亮度和饱和度值低或包含在高度窄动态范围中的区域，以便识别预期对于通常看到管腔的方式是典型的图案。4.未聚焦检测

该算法首先基于从图像中提取诸如边缘、脊、角的几种类型的特征以及利用海塞核的组合卷积图像的结果，然后对该结果取阈，然后对在针对每种类型的特征的某一阈值水平之下的所提取的特征的数目计数，并且分析在图像中这些特征的分布和密度，以便确定是否存在足够的特征，它们是否足够致密，它们是否沿着图像的充分部分足够均匀地分布，以便宣称该图像为焦点对准图像。在该系统中，焦点没有对准的图像通常在进一步的分析中被丢弃。根据一大组来自不同视点的聚焦的结肠图像和一小组未聚焦的结肠图像静态地确定针对待判定为焦点对准的图像的阈值。针对不同的内窥镜摄像头，该阈值可能会不同，并且可以针对不同的摄像头或不同的摄像头类型，分别离线训练该阈值。这种复杂过程的一种备选方案是使用有监督的分类器，以便判定图像是否焦点对准。在这种情况下，在监督阶段，分类器(例如SVM方法或带有后传播学习的前馈神经网络)将被馈送聚焦和非聚焦图像，然后当在线时，其将每个输入图像分类为焦点对准图像或未聚焦图像。未聚焦图像将被呈现给用户，但是不被馈送到系统的后续处理级，因此，不基于这些图像做出任何判定。如果一系列相继的未聚焦图像被馈送到系统(例如，超过10帧)，那么将会停止(基于之前的判定的)覆盖呈现，如果持续馈送这种未聚焦帧(例如，超过20个图像)，那么将重置当前系统判定(但是其历史会被保留)。

5.其中颜色优势被改变的通道(模拟窄带成像(NBI))

该系统还使用如下通道，其中视频帧中的颜色优势被改变以便对于后续处理和供结肠镜手术的操作者或医生观察的结肠镜上的可选视频显示，息肉区都更加突出。这通过改变每个颜色通道的直方图来实现，例如，通过向各个颜色通道施加不同的直方图均衡化(均衡到不同的直方图模式)，或者通过向彩色图像的色度饱和度值格式的色度通道施加偏移，以便改变该图像的颜色优势，由此，模仿通过特定窄波成像(NBI)，即，仅仅利用白光频率的一部分，照亮场景的效果。上述技术与数字滤波来自图像的特定颜色(颜色频率)相比是优选的，因为这种滤波会衰减图像的整体亮度。

传统检测器

在预处理阶段之后，通过传统或非传统检测器，系统分析所得到的视频帧(所有或所有帧的分组)。传统检测器为不是基于有监督学习算法的系统。

6.分析管腔的几何结构以便检测可能升高或突出的息肉的干扰

对于每个选定的帧，特殊算法查看是否能够发现结肠管状模式的孔中心(该孔被称为“管腔”，当内窥镜摄像头被定向为向前或向后而不是面向侧面时能够检测到它)。管腔区域通常为低亮度，因为发射光的大部分没有被反射回内窥镜摄像头。一旦发现孔中心(参见预处理部分中的管腔掩蔽算法)，通过模板匹配以及通过参数化分析，利用当健康正常的结肠的管腔被内窥镜摄像头投影为图像时在图像中能够被正常检测到可能的圆形、椭圆形或分段结合的椭圆形的模式，对应其边界轮廓。如果发现与这些期望的模式有显著偏差，那么图像中的偏差区域被标记，并且，与其它检测算法的结果(颜色、纹理、3D等)被转移到基于规则的判定单元以检查被检测为潜在息肉的可能性。

7. 2D边缘分析

对于在预处理的图像中检测到的2D边缘还进行进一步分析：息肉的3D模式中相对于其直接环境的差异还创建在2D视频帧中的2D间断(2D边缘)。这些边缘主要由于深度间断(在结肠表面-息肉表面的背景上的息肉的颜色和纹理不同)引起，并且亮度间断(关于其余结肠表面息肉具有不同的表面法线角，因此其以不同的角度反射光)。复杂的2D边缘检测算法被用于发现那些边缘，使用后处理算法通过利用与由结肠襞等创建的环不同方向的小半径闭合，区分那些2D边缘和图像中的其余边缘。

8.颜色分析

被怀疑为息肉的组织通常具有与其最近的环境不同的颜色、色度和饱和度，并且与结肠总体的常规颜色、色度和饱和度不同(参见"Shinya,H.I.R.O.M.I.,&Wolff,W.I.(1979).Morphology,anatomic distribution and cancer potential of colonicpolyps.Annals of surgery,190(6),679")。该组织通常更发红、更发粉红或更发黄。

通过内窥镜的特殊人工照明，这些差异更加显著，可疑区域还比其环境更亮。

能够使用的颜色算法的一个示例是分色算法，其利用特定值或范围取阈、过滤、形态学运算和连通域分析(see k.Vincent,L.(1993).Morphological grayscalereconstruction in image analysis:applications and efficient algorithms.ImageProcessing,IEEE Transactions on,2(2),176-201)来查找那些差异，并检测比其环境更发红或更发粉红或更发黄的区域(斑点)，以便区分息肉区域。该技术被应用在视频帧的色度和饱和度通道或视频帧的RGB通道的组合上(see l.Bresson,X.,&Chan,T.F.(2008).Fast dual minimization of the vectorial total variation norm andapplications to color image processing.Inverse Problems and Imaging,2(4),455-484)。

另一个用于检测息肉区域的算法是这样的算法，其通过比较颜色和定位统计全局数据和颜色全局数据区分感兴趣的彩色区域。该算法被建立在当分析颜色参数和统计时发现与图像的其余区域相比看起来是异常值的区域的基础上。

图4示出了分色算法的一个示例，当在诸如Cr和Cb(来自YCrCb格式)、A和B(来自L*A*B*格式)以及H和S(来自HSV格式)的几个不同的颜色通道中研究颜色范围时，每个通道由迭代聚类算法(k-平均聚类和在线直方图分析)支持并伴有迭代聚类算法，其使得该研究自适应(针对每个新帧)，并且随后进行来自所有通道的结果和判定规则的整合以检测可疑区域。图4是基于自适应聚类和自适应取阈以便检测和分段被怀疑为息肉的区域的分色算法的流程的实施例。在步骤40，接收输入图像。在步骤41，该图像被转换为几个3通道格式，例如HSV，YCbCr以及La*b*。在步骤42，这些格式的通道被用于几种组合，以便聚类图像像素。在步骤43，计算并分析不同通道的直方图，以便限定可能包括可疑区域的区域(用通道的范围值)。在步骤44，根据步骤42和43中的分析导出斑点。在步骤45，这些斑点被组合在一起，检查它们的几何和图形形态，以便选择仅仅被怀疑为息肉的斑点区域。

9.纹理分析

被怀疑为息肉的组织通常具有与其最接近的环境不同的纹理图案，并且与结肠总体的常规纹理图案不同。这类该组织通常更粗糙，具有更不平，更不光滑和更不规则的图案。下面是纹理分析算法的示例的详细概述。

查找那些差异并用几种方式检测它们的纹理分析算法使用树-结构和几种类型的小波变换(参见m.Nan,L.S.T.W.Y.(2001).MULTISENSOR IMAGE FUSION BASED ON TREE-STRUCTURE WAVELET DECOMPOSITION[J].Journal of Infrared and Millimeter Waves,3,013；and n.Abhyankar,A.,&Schuckers,S.(2009).Iris quality assessment and bi-orthogonal wavelet based encoding for recognition.Pattern Recognition,42(9),1878-1894)。其使用纹理分段小波和互相关的核，该核在视频帧上被卷积以生成突出显著区域，并且然后执行取阈、滤波、图形学运算和连通域分析以便区分息肉区域。被使用的互相关模式基于现有技术已知预期的纹理图案，并且进行适当的缩放(利用缩放系数校正)，它们中的一些基于6参数双向函数(BTF)用于纹理合成(参见refs.o.Tong,X.,Zhang,J.,Liu,L.,Wang,X.,Guo,B.,&Shum,H.Y.(2002,July).Synthesis of bidirectionaltexture functions on arbitrary surfaces.In ACM Transactions on Graphics(TOG)(Vol.21,No.3,pp.665-672).ACM)。

在该系统中使用的另一个纹理算法检索在息肉组织区域中典型的特定描述符。该描述符包括(在不同颜色通道中)亮度方差、熵、能量、同质性、三级矩、逆方差。图像区域中这些描述符的典型值的检测能够提高了息肉检测的可能性。

并且，生成卡通图像以便提取纹理图案(原始图像和卡通图像之间的差异)，并且分析它们。使用利用运行长度矩阵的分析。

另一个能够使用的更具体的纹理算法是专用于息肉检测的。该算法基于在每一帧上的灰度共生矩阵(GLCM)的计算，计算一些特定统计数据和能够从共生矩阵(诸如相关性、熵、能量和同质性)推导出来的矩，然后发现对于特定息肉类型或一些特定息肉类型是典型的而非息肉区域不具备的这些矩和统计中每个的特定特征。这使得算法区分息肉区域和非息肉区域。特定息肉类型特性和非息肉区域之间差异的一些示例出现在图5A-5I的图中。在预处理的图像中，计算GLCM矩阵，然后通过范围过滤检测到被定义为“更多纹理”的区域，范围过滤计算在中心像素周围的MxN相邻像素中亮度最大-最小差，然后，将结果取阈为二进制图像，根据连通域(斑点)分析限定主接受区域。然后，在“更多纹理”的区域计算特定矩和统计以测试它们是否具有对于息肉是典型的特性，在来自于非“更多纹理”的区域的采样区域计算一些矩和统计，以便验证它们不具有对于息肉是典型的特性。

在图5A-I中示出了息肉区域和非息肉区域之间在同质性计算中的差异的示例。图5A示出了被测试的帧；图5B示出的以灰度级被测试的帧；图5C示出了帧中的息肉区域；图5D示出了非息肉区域；图5E示出了针对每个像素计算共生矩阵和统计(在该情况下为同质性)的(像素)距离；图5F示出了作为在像素距离上的2D函数的在息肉区域上同质性计算的平均；图5G示出了作为在特定方向上的像素距离上的1D函数的息肉区域上的同质性计算的平均；图5H示出了作为在像素距离上的2D函数的在非息肉区域上同质性计算的平均；图5I示出了作为在如图5G中的特定方向上的像素距离上的1D函数的非息肉区域上的同质性计算的平均。可以看出在息肉区域中的同质性值低于非息肉区域，并且(比之更典型的)随着距离中心像素的距离递增，其值递减得更快。

10. 3D分析

被怀疑为息肉的组织的3D结构与它们最接近的环境的3D结构不同，并且与结肠总体的常规纹理图案不同(图1A)。对于平的息肉来说，通常也是这样，尽管不那么显著(参见图1B)。

当内窥镜摄像头移动时从视频帧中取出一序列图像使得能够通过诸如运动恢复结构(SFM,参见p.Koenderink,J.J.,&Van Doorn,A.J.(1991).Affine structure frommotion.JOSA A,8(2),377-385)，Stereo analysis by correspondence and disparityvalues(参见q.Scharstein,D.,&Szeliski,R.(2002).A taxonomy and evaluation ofdense two-frame stereo correspondence algorithms.International journal ofcomputer vision,47(1-3),7-42),以及Epipolar geometry(see r.Laveau,S.,&Faugeras,O.(1994,October).3-D scene representation as a collection ofimages.In Pattern Recognition,1994.Vol.1-Conference A:Computer Vision&amp；Image Processing.,Proceedings of the 12th IAPR International Conference on(Vol.1,pp.689-691).IEEE)估计被怀疑区域及其环境的3D结构。

本发明的3D分析算法并行或分几步使用上述技术用于3D分析，直到使得不需要摄像头的内部和外部参数，大部分结肠表面的深度上局部不规则被标识以便发现可能被怀疑为息肉的凸起区域。通过能够投射或呈现事先已知的结肠表面上的预定模式的内窥镜，该模式能够在图像中看到，然后设定缩放并且即时算实际3D值(以及能够估算摄像头的内部和外部参数)。算法使用由追踪结肠中的特征的支持算法提供的摄像头帧间运动计算，以便估计帧之间的外部变化，其用于3D(或半3D)重构。

例如，3D分析算法之一在所生成的3D图(或诸如视差图的半3D图)中查找偏差和奇异点，其创建显著敏锐的3D边缘(3D数据中断)，并且其对于结肠的内褶是不典型的。另一种算法在3D或(半3D图)中查找密度变化(高频)。由于在息肉区域中视差图中的密度变化，息肉区域与其余区域相区分，由于其复杂且重复的纹理，这些变化对于这类息肉来说是典型的，其在对应计算中引起局部小误差，并且因此在所得到的视差图中存在5到15像素的小的局部随机性改变。利用几种方式计算帧之间的对应，诸如，通过基于特征的(通过特征提取方法从图像中提取的特征之间的)对应，以及通过诸如立体对应和光流算法的方法的基于图像的对应。

当视野的移动主要为在图像平面中的平移时，立体视差图更为有效，而对于在获取3D算法所使用的帧之间视野的一般移动来说，光流运动场计算和基于特征的对应的兼容性更好。在该系统中，首先根据基于特征的对应的结果和光流算法计算描述摄像头移动的普通2D同质刚体(带缩放)变换矩阵，当其中的平移元素被设置为零时，该矩阵被用于校正被以使得在摄像头图像平面中的主要2D平移为两个输入图像之间的差异的方式馈送到立体算法的图像。

该系统使用SURF的特征、光流和立体匹配以便产生该系统需要的3D线索。主要的步骤是并行计算光流算法，以及快速鲁棒特征(SURF)或尺度不变特征转换(SIFT)特征对应以便估算两帧之间的摄像头运动矩阵，然后将矩阵中的平移设置为零，根据运动矩阵(无平移)将一个图像弯曲成另一个，并且使用留下以计算图像之间的视差图的平移差，其为图像中3D差异的基础。

在系统的3D线索分析中，考虑到结肠组织的内窥镜图像取自常近的距离。当从这么近的距离获取图像时，需要考虑几个问题，诸如仅仅当非常近的距离时变得突出的几何变形，以及即使小的摄像头运动也能引起的相对高的干扰。并且，通过使用事先校准还应当考虑广角镜头的干扰，以便纠正分歧图像。典型的变形通常在图像的周围较高，并且将图像中的直线变形成从原始直线最大偏离图像宽带或高度的10％-15％的凸或凹的曲线。

现在参考图6，图6是流程图的实施例，示出了使用SURF的特征、光流和立体匹配以便产生系统需要的3D线索。在步骤60,在相继图像之间比较SURF特征。在步骤61，在相继图像之间计算光流。在步骤62，根据步骤60估算摄像头运动。在步骤63，根据步骤61估算摄像头运动。在步骤64，组合上述两个估算以产生一个估算。在步骤65，所述摄像头运动矩阵被传递到需要该矩阵的算法，例如，追踪和导航算法。在步骤66，摄像头运动中的平移分量被设置为零。在步骤67，一个图像被弯曲成另一个(除了被设置为零的平移)。在步骤68，在两个“平移的”图像上应用立体匹配算法以得到来自它们的3D值。在步骤69，提取并组合来自(上述)被处理的算法的3D线索以便由系统使用。

还利用对于不同类型息肉是典型的阴影(阴影重建结构,SFS)和照明模式，从一个图像中提取3D线索。图7A-7F中示出了分析阴影边界的算法的结果的示例。一旦检测到包块区域，其被判定为可疑息肉区域的可能性增加，也就是说，需要更少的来自其它检测子方法的可信度就可以最终判定其为可疑区域。在该系统的一些工作点(参见上述限定)，以高可信度将区域判定为包块足以最终判定其为可疑区域。图7A-7F是根据它们的3D阴影检测封闭形状的包块息肉的边界分析算法的结果的示例。图7A是原始图像，图7B是没有阴影(通过Retinex算法删除)的原始图像，图7C是原始图像和没有阴影的图像之间的彩色差异，图7D是原始图像和没有阴影的图像之间的灰度级差异，图7E是(该图形中的阴影元素的)该差异的二进制化，图7F是在原始图像上该区域的标记，根据进一步的二进制图像的评估，针对对应于封闭形状包块息肉的模式，检测到该区域。

11.运动分析

摄像头运动计算算法主要基于根据特征对应计算的光流和运动矩阵(参见图6中的步骤60)。所计算的摄像头运动然后被系统的3D算法以及其它相关算法使用：

系统保持追踪内窥镜在结肠中的移动以创建导航图。这有助于，当将内窥镜从结肠拉出时，当内窥镜尖端位于被估算为可疑的组织区域时(或被手动或自动标记的地方)发出警告，当内窥镜被推入结肠时，创建结肠的可视图形图，在检测到特殊事物的地方，进行标记或出现。

根据内窥镜的移动，系统能够识别当检测到可疑组织或息肉时操作人员是否停止移动，由此估算该息肉或可疑组织是否被错过。

根据摄像头的移动，系统能够计算关于所进行的结肠镜检测的几种统计，诸如在进入结肠和退出结肠过程中在每个结肠部分中的移动速度。

并且，通过摄像头运动分析，能够产生用于3D算法的关于相继或接近相继图像的校准数据。

基于有监督的机器学习的检测器

12.基于卷积神经网络(CNN)的检测器

系统中的主要检测器之一是基于CNN的。其具有几个卷积层(每层跟随着激活和池化层)，几个全连接层，以及最后的soft-max层以在息肉和非息肉区域之间分类。该网络在块或整个视频帧上进行训练(以及预测)，并且能够仅仅检测图像中是否存在息肉，或者检测其在图像中的定位，并对其分段(发现其边界轮廓)。使用该网络的主要新颖性在于其CNN的特定架构(参见图8)，该特定结构尤其将现有技术发现的特征添加到语义层(全连通层)并且因此扩展这些层，使用这种CNN的ensamble(基于图像的RGB，图像的第一和第二导数，以及图像或其块的相继呈现)以检测或分段息肉，不止于此，数据增强的大量使用(缩放、旋转、翻转或在HSV格式的H通道中的偏色，息肉和背景的人工拼贴)以便补偿内窥镜手术的大量数据的潜在缺失，这些数据通常不被记录并且与自然图像或其它图像数据相比，它们更不普遍。另外，利用常规算法，选择将被馈送到CNN的候选块或区域，并且过滤出其余的，馈送几个来自其环境的采样块而不是仅仅馈送候选块是新颖的，并且对于检测其边界在许多情况下是模糊并且在其周围被吸收的息肉的需求是唯一的。

CNN的使用还伴随着后处理(例如，从图像中掩蔽非相关区域，以及舍弃未聚焦图像)，以及关于被网络检测到的区域实际上是否被判定为息肉的形态学和时间一致性判定的后处理。

网络的基础结构还伴随着时间上周期性复发的元素(用于视频图像的特殊处理的RNN以及LSTM-RNN)以及在空间上周期性复发的元素(用于分段的RCNN和2DLSTM)。

有监督的学习分类器和检测器是基于决策树、随机森林、支持向量机(SVM)，所有都可以通过提高技术、卷积神经网络(CNN)和基于CNN处理的用于分块的区域CNN(RCNN)、长-短期记忆周期性复发CNN(LSTM周期性复发CNN)，作为附加特征被馈送到所述基于深度机器学习的网络的全连接层或作为附加图像通道被馈送到输入常规层的预提取的特征的组合；CNN通常在块上工作，尽管其也能在整个帧上工作，如果检测帧是否包括息肉为充足任务或者如果施加RCNN以模仿块的分割。图8中示出了系统使用的CNN架构的示例。

图8中示出了系统使用的CNN架构的示例。框81为输入图像(在该情况下为62×62的块)的三个通道。框82为第一卷积层，其包括32个大小为3×3的卷积核，之后是Relu激活层，Relu激活层之后是2×2的最大池化层，其中，25％的输出像素被放弃。框83为第二卷积层，其包括64个大小为3×3的卷积核，之后是Relu激活层，Relu激活层之后是2×2的最大池化层，其中，25％的输出像素被放弃。框84为第三卷积层，其包括128个大小为3×3的卷积核，之后是Relu激活层，Relu激活层之后是2×2的最大池化层，其中，25％的输出像素被放弃。框85为第四卷积层，其包括128个大小为3×3的卷积核，之后是Relu激活层，Relu激活层之后是2×2的最大池化层，其中，25％的输出像素被放弃。框86为第一全连接层，其包括512个神经元(块的特征)，之后是Relu激活层，其中，25％的输出像素被放弃。框87为第二全连接层，其包括512个神经元(块的特征)，之后是Relu激活层，其中，25％的输出像素被放弃。框88为具有一个逻辑斯谛(Sigmoid)激活神经元的激活层，其被归一化，输出为该快包括或被包括在息肉中的可能性。

能够选择在图8中作为输入(输入图像在图8的左侧示出)被馈送到网络的图像的三通道(大小为3的输入图像的第三维度-三个通道)。在一些实施例中，系统使用由图像的块而不是整帧馈送的CNN的ensemble以便增强计算的局部性能。

在一些实施例中，系统使用第一CNN、第二CNN和第三CNN，第一CNN在图像的RGB通道上工作，第二CNN在图像的强度通道的第一和第二导数(例如Sobel导数、高斯-拉普拉斯算子以及Canny边缘检测器)上工作，第三CNN在块或图像的三个相继时间出现上工作以使网络考虑息肉或可疑区域外观的连续性。基于最大算子或其权重参数能够与所述三个CNN的学习过程一起并行学习的任何类型的加权平均，将三个网络的结果统一为一个判定。如果使用LSTM周期性复发CNN，那么能够舍弃时间相继的块或帧的第三CNN。

提供到至每个CNN的图8中的第一全连接层(其为表示由网络提取的特征的语义层)的，由常规(无监督的)检测器提取的附加特征能够被添加以扩展该层和其后的全连接层。并且，能够使用无监督的检测器以便滤波来自CNN输入的块，CNN在块上工作。在这种情况下，对于每个候选块(没有被过滤掉的块)，在其附近环境中的几个块将被采样以将其表示为至CNN的输入。并且，能够事先通过诸如管腔检测(应该被过滤掉的区域)和未聚焦区域检测(如果大部分未聚焦，也应该丢弃整个帧)的预处理算法丢弃特定区域。这些预处理过滤算法还能够通过决策树、随机森林或SVM实现(当到每个方法的输入为首先被提取(诸如SIFT特征或基于海塞核的特征)的并且能够提示存在管腔或未聚焦区域的相关特征时，特定CNN(例如图8的架构)能够被提示用于检测分段图像中的管腔或未聚焦区域。决策树、随机森林和SVM能够并行于主要的三个CNN在诸如SIFT、SURF、海塞核、Sobel算子的首先提取的特征上运行以便判定块或图像包含息肉或可疑区域。

通过从它们工作的方式传承，所有的有监督的算法(针对帧帧或针对块)提供表示该帧或块包括或被包括在息肉或可疑区域的可能性的可信级。调谐的阈值水平实际上判定那些帧或块(以何种可信级)将会作为息肉或可疑区域(当可信度值在0-1之间变化时典型值可以为0.85)的候选被传送到后处理的后续过程。

常规(无监督的)检测器和有监督的学习检测器和分类器的组合实际上决定系统是否能应付恰当地通知帧包含息肉或者在定位并分段息肉。至少两个传统检测器和一个有监督的机器学习方法需要被整合在一起以便通知在帧中是否存在息肉或可疑区域，至少三个传统检测器和两个有监督的机器学习方法需要被整合在一起以便在帧中定位并分段息肉或可疑区域。

13.后处理：

在后处理中，在检测器和分类器提示在图像中是否或何处能够为息肉或可疑区域的判定之后，进一步检查提示。通过对检测器和分类器在帧或块(传统检测器能够在整个图像上工作，决策树、随机森林和SVM最好在块上工作，CNN必须在块上工作除非使用RCNN)上的结果进行包块分析，然后根据诸如提示区域的大小以及它们与图像边界的紧密度的形态学标准，其密实度(其面积与其凸包面积之间的比率)，其离心率(椭圆的焦点之间的距离与其主轴长度的比率，所述椭圆与所述区域具有相同的第二矩)，根据平均、最小、最大以及从在上述级中检测器和分类器的统一判定推导出的在包块中每个像素的可信级的改变，根据结构的时间一致性，其来检查它们。包块分析通过诸如中值空间滤波的工具清理图像中的散发区域。时间一致性分析通过诸如中值时间滤波的工具清理时域中的散发区域。

后处理能够还限制在单个帧中预期可被发现的息肉和可疑区域的数量。后处理能够还通过有监督的机器学习方法实施，以得知检测器和分类器工作点之间的相关性(根据所选择的上述提到的阈值)以及关于息肉在帧中的存在和定位的有依据的真实数据。后处理能够在所有检测器和分类器的统一的判定上工作，然后其将实际上用作系统的做出判定的单元，或者其能够在检测器和分类器的独立分组上工作，可能还需要额外的做出判定的单元以便每帧或每相继帧做出最终判定，该做出判定单元能够实际上以与在此描述的后处理方法相似的方式操作，并且可以获得预定义规则(基于规则的做出判定辅助)的辅助，使得需要来自上述级的3组中的至少2组将判定存在息肉或可疑区域，以便最终判定其存在。

如果系统被设置为仅仅通知在帧中存在息肉或可疑区域，那么一旦检测到可接受的息肉或可疑区域，系统将就其给出通知。如果系统被设置和调谐为还给出息肉或可疑区域的定位和边界，那么需要更精确的处理，因此需要更多的常规(无监督侧)和有监督的检测器和分类器被集成在一起(如上所述)，系统将还给出息肉或可疑区域定位和边界的指示。

14.息肉大小计算和息肉类型分类

存在几种测量息肉大小的方式。一般来说，息肉大小的算法基于系统的加入深度信息的3D估算。在大多数算法中，在系统中，仅仅使用半-3D重构，而不是计算完整的深度值。计算完全3D重构用于息肉大小计算。为此，使用几种独特的未校准3D重构算法。未校准3D重构算法的一个示例在Torresani,Lorenzo,Aaron Hertzmann,and ChristophBregler."Learning non-rigid 3d shape from 2d motion."Advances in NeuralInformation Processing Systems.2003中示出。当可能或者至少一些摄像头内部参数已知时，这些参数支持未校准重构算法以获得精确结果。也有可能通过内窥镜通道进入一个校准工具或者从内窥镜装置向结肠组织透射已知图案以便根据未校准重构算法获得更精确的结果。

还使用息肉大小计算算法进行结肠中的希望的解剖或特定组织的应要求的特定测量-这通过测量在图像上标记的两点之间的3D实际距离，或者测量在图像上标出的圆、椭圆或矩形的实际半径或周长或面积来完成。

通过诸如SVM、决策树、随机森林的有监督的机器学习方法以及诸如CNN和其衍生的深度机器学习方法能够将息肉类型分类为预定义类型。这些方法将被作为检测到的区域输入(或来自区域的特征)馈送，或者自动或者手动作为息肉，并且在它们有监督的学习阶段，它们将关于这些区域的实际类型的反馈(有依据的真实数据)。

15.装置/系统

一些实施例包括能够在任何笔记本电脑、台式电脑、平板电脑或者移动计算装置上运行的软件。该通过肠镜装置的视频输出通道被连接到肠镜装置的在线添加的装置，能够通过具有高计算能力的服务器备份，并且能够经过以太连接与其连接。

肠镜装置能够具有几个呈现模式(例如，增强模式或非增强模式)，其还影响其视频输出。因此，本发明的装置将在其预处理级具有通过对从肠镜装置的视频输出通道获得的图像执行一些统计分析猜测安装到其的肠镜装置的模式的模块。

该软件还能够在分析肠镜装置所记录的离线视频的独立的计算装置上运行。

其还能够作为嵌入到带有合适的图形用户接口(GUI)的肠镜装置的算法软件运行。

计算装置的输出为，在线或离线，在视频中被怀疑为可疑组织(肠镜手术中的息肉)的潜在定位的指示。这些指示用作对于运行医疗过程以在由系统标记的区域中查找可疑区域或息肉的检查人/技术人员/医生的建议。

计算装置经由主通道或经由辅助通道从内窥镜/肠镜主装置接收视频输出，对其进行处理，并且将其呈现在主屏幕或辅助屏幕上。计算装置具有控制其功能的控制单元，优选地为遥控单元。装置的功能的一个示例为是否处理视频或仅仅将其传递到屏幕，是否呈现结果，用于呈现的最小可信级，控制检测的敏感性和特异性，诸如息肉大小计算的运算特定功能，完整息肉去除验证，是否记录带有检测结果的视频，创建带有索引的所记录的视频，或者缩短整个实时视频的所记录的场景，其仅仅包括带有可疑结肠组织区域的帧，等等。所检测到的可疑区域的警告能够叠加出现在原始视频之上，或者/并且以其它方式，例如警告音，闪灯等。该装置还具有自包含工作模式(独立模式或离线模式)，其中，它能够被馈送以肠镜手术所记录的视频，并且以与其操作实时视频类似的方式运行。以此方式，对于运行算法的时间限制能够在一定程度上解除，因为所记录的视频能够被更慢地馈送并且能够使用不同算法的更复杂的版本，以便达到更好的检测结果。并且，能够降低用于将区域呈现为可疑的最小阈值或者最小可信度(以获得更低的最小阈值)因为那些可疑区域能够在以后由专家查看，以便判定其时否是息肉，这与对于可疑区域实时报警形成对比，在手术中，医生将立即对报警做出反应。

装置的敏感性为真阳性率(假阴性率的补)并且在装置的算术系统中，其为正确息肉检测的比率。装置的特异性为真阴性率(假阳性率的补)，并且在装置的算术系统中，其为正确检测非息肉区域的比率。用于计算可信度离线算法

尽管已经对本发明进行了详细描述，但是不背离本发明教导的改变和修改对于本领域技术人员来说也是明显的。这种改变和修改被认为落入本发明的权限之内。

很明显，在此描述的各种方法和算法能够通过，例如适当编程的通用计算机和计算装置实现。典型地，处理器(例如，一个或多个为处理器)将从存储器或类似装置接收指令，执行这些指令，由此执行由这些指令定义的一个或过个处理。并且，实现这些方法和算法的程序可以利用各种介质以多种方式存储或传送。在一些实施例中，可以使用硬件实现的电路或定制硬件以替代用于实现各个实施例的处理的软件指令或与之结合。因此，实施例不限于软件和硬件的特定组合。

“处理器”指的是任何一个或多个微处理器、中央处理器单元(CPU)、计算装置、微控制器、数字信号处理器或类似装置。

术语“计算机可读介质”指的是参与提供可以由计算机、处理器或类似装置读取的数据(例如指令)的任何介质。这种介质可以采用许多形式，包括但不限于，非易失性介质、易失性介质以及传输介质。非易失性介质包括，例如，光或磁盘以及其它永久存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。传输介质包括同轴电缆、铜线以及光纤，包括含有耦合到处理器的系统总线的布线。传输介质可以包括或传递声波、光波以及电磁辐射，诸如在射频(RF)和红外(IR)数据通信过程中产生的电磁辐射。计算机可读介质的常见形式包括，例如，软磁盘、软盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD、任何其它光介质、穿孔卡片、纸带、任何其它带有孔图案的物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其它存储片或盒、如下所述的载波、或任何其它计算机能够读取的介质。

在将指令序列传送到处理器时可以涉及计算机可读介质的各种形式。例如，指令序列(i)可以从RAM递送到处理器，(ii)可以通过无线传输介质传送，和/或(iii)可以根据多种格式、标准或协议被格式化，诸如，蓝牙、TDMA、CDMA、3G。

在描述数据库的情况下，其将被本领域技术人员理解为(i)可以使用那些已经描述的备用数据结构，和(ii)可以使用除了数据库之外的其它存储器结构。在此提出的任何采样数据库的示例或描述是存储信息表示的示例性方案。除了所提示的，例如在附图或其它地方示出的图表，可以使用任何数量的其它方案。类似地，任何示出的数据库的条目仅仅表示示例性的信息；本领域技术人员将理解条目的数量和内容可以与在此描述的不同。并且，尽管数据库被描述为表，能够使用其它格式(包括关系数据库、基于对象的模型和/或分布式数据库)存储并操作在此描述的数据类型。类似地，能够使用数据库的对象方法或性能来实现各种处理，诸如在此描述的。另外，数据库可以以已知方式被存储在本地或离开访问该数据库中的数据的装置远程存储。

本发明能够被配置为在包括经由通信网络与一个或多个装置通信的计算机的网络环境工作。经由有线或无线介质，诸如因特网、LAN、WAN或以太网、令牌环网、或者经由任何合适的通信手段或通信手段的组合，计算机可以与所述装置直接或间接通信。每个装置可以包括计算机，诸如基于适用于与所述计算机通信的Intel.RTM.Pentium.RTM.或Centrino.TM.处理器的计算机。机器的任何数量和类型可以与所述计算机通信。

Claims (46)

1.一种在内窥镜手术期间连接到内窥镜装置的视频输出的图像处理系统，包括：

至少一个处理器；和

至少一个存储器，其通信地耦合到所述至少一个处理器，包括计算机可读指令，所述计算机可读指令在由所述至少一个处理器执行时使所述图像处理和机器学习系统实现实时检测由所述内窥镜装置产生的内窥镜视频图像中的可疑区域的方法，所述方法包括对多个连续的视频帧执行以下步骤：

(i)从每个帧移除所述内窥镜相机的视觉馈送外的外围区域；

(ii)通过寻找所述帧中的低亮度凸起区域来识别和移除帧中的腔管区域，其中所述亮度在0和1之间的亮度等级上低于0.1；

(iii)识别并移除帧中的粪便区域；

(iv)在所述帧的外围部分处识别并移除尖端的内窥镜内侧的帧中的出现；

(v)在每个帧或帧的部分中识别具有液体的区域；

(vi)在每个帧或帧的部分中识别并移除手术工具；

(vii)在每个帧或帧的部分中识别并移除模糊区域；

(viii)在每个所述视频帧或所述帧的部分上应用不基于有监督学习算法的以下传统检测器中的两个，所述传统检测器适于检测所述视频帧或所述帧的部分是否包含可疑区域：颜色分析；纹理/边缘/基于内核的提取分析；阴影分析；三维(3D)图像分析；或其任何组合，其中将区域识别为可疑区域的确定考虑了在预定数量的连续帧中对所述区域的识别；和

(ix)对每个所述视频帧或所述帧的部分，应用基于有监督机器学习检测器的以下模型之一以归类哪些特征和图像区域与可疑区域有关：应用基于支持向量机(SVM)的处理；应用基于决策树的处理；应用包括卷积神经网络(CNN)、区域CNN(RCNN)和长期短期记忆递归CNN(LSTM递归CNN)的一个或多个模型的基于深度机器学习的网络处理，其中每个模型接收从所述传统算法或三个连续帧的处理产生的原始帧或图像的颜色通道作为输入；或其任何组合，其中将区域识别为可疑区域的确定考虑了在预定数量的连续帧中对所述区域的识别；

(x)根据一个或多个预定规则接收(viii)和(ix)的结果并且在所述帧中达成关于所述可疑区域存在的最终决策；和

(xi)将一个或多个视频帧识别为包含可疑区域。

2.根据权利要求1所述的系统，还包括初始步骤，其在每个所述视频帧或所述帧的部分上应用以下预处理过程中的一个或多个：直方图改进算法；根据预定义的标准自适应对比度增强；亮度和图像帧的颜色标准化；图像帧的超分辨率改进；亮度通道和颜色通道的不平衡伸缩，以使图像帧中色频占优势，其中每个颜色通道被单独均衡并被控制以消除噪声增强；施用信号噪声测量并减少噪声或相应地滤波所述帧；验证所述图像处于焦点并滤波未聚焦的帧；或其任何组合。

3.根据权利要求1所述的系统，其中应用3个传统检测器和2个基于机器学习的检测器模型，并且在所述一个或多个视频帧中识别所述可疑区域的位置。

4.根据权利要求1所述的系统，其中所述可疑区域的边界被识别。

5.根据权利要求3所述的系统，还包括以下的步骤：使用专用显示区域上的重叠标记来标记所述可疑区域。

6.根据权利要求5所述的系统，其中所述标记包括通过诸如虚线/非虚线轮廓的颜色标记或附加标记属性或所标记区域的颜色的透明度等级来标记所述可疑区域的类型和大小。

7.根据权利要求1所述的系统，其中所述可疑区域的存在由音频信号发出。

8.根据权利要求7所述的系统，其中不同的音频信号是根据所述可疑区域的大小和类型来产生。

9.根据权利要求1所述的系统，还包括以下的步骤：计算所述可疑区域的大小。

10.根据权利要求1所述的系统，还包括以下的步骤：根据预定义类型对所述可疑区域进行分类。

11.根据权利要求1所述的系统，还包括以下的步骤：根据来自在所述内窥镜尖端处的所述相机的所述视频流的连续帧的图像中的变化来跟踪所述内窥镜尖端移动。

12.根据权利要求11所述的系统，还包括以下的步骤：当所述内窥镜尖端返回到地标位置时通过用户地标记录所述内窥镜尖端的特定位置和发信号通知。

13.根据权利要求1所述的系统，还包括以下的步骤：根据沿着连续帧识别的时间以及是否在所述连续帧中识别出手术工具，识别是否对可疑区域进行了处理或检查。

14.根据权利要求12和13所述的系统，还包括以下的步骤：当检测到可疑区域但未处理时，代替用户地标，记录所述内窥镜尖端的位置，当所述内窥镜尖端返回到所述位置时发信号通知。

15.根据权利要求1所述的系统，其中在离线记录的视频中识别可疑区域、具有可疑区域的帧和不相关帧。

16.根据权利要求1所述的系统，还包括以下的步骤：计算关于所述内窥镜手术的统计数据。

17.根据权利要求14所述的系统，其中所述统计数据包括所述手术的总时间、到盲肠和来自盲肠的时间、检测到多少可疑区域、以及在所述手术期间移除了多少可疑区域。

18.根据权利要求1所述的系统，还包括以下的步骤：即使在所述内窥镜从所述可疑区域位置前进之后，仍然帧冻结可疑区域。

19.根据权利要求1所述的系统，其中所述基于深度机器学习的网络处理通过在深度网络层上应用微调算法来使用关于非内窥镜图像的训练，其中重点在于微调语义层以便检测所述帧是否包含可疑区域以及这些可疑区域的位置和边界。

20.根据权利要求1所述的系统，其中所述基于深度机器学习的网络处理以层级方式应用所述深度网络的组合和集成，和/或当每个深度网络被训练用于特定内部目的(诸如滤波未聚焦或不相关的帧)时，检测和分割管腔区域，检测和分割粪便区域，检测和分割工具区域，检测和分割液体区域，仅检测所述帧是否包含可疑区域，仅检测所述帧中的可疑区域的边界的位置，检测所述帧中的可疑区域的中心位置或其任何组合，以检测所述帧是否包含可疑区域以及这些可疑区域的位置和边界。根据权利要求1所述的系统，其中

21.根据权利要求1所述的系统，还包括以下的步骤：将每个视频帧分成重叠片。

22.根据权利要求1所述的系统，其中所述基于决策树的处理是随机森林。

23.根据权利要求1所述的系统，其中所述传统和机器学习检测器为其结果产生置信度值。

24.根据权利要求1所述的系统，其中所述一个或多个预定的最终决策规则包括天真的、冗余的或简单的决策制定，诸如采取最严格的决策或者检测器和分类器的最可靠的决策(权利要求1的viii和ix部分)或检查所检测区域的重叠程度，或通过使用检测器和分类器对于具有地面实况数据的给定和输入受控数据集的结果基于统计计算或有监督机器学习方法(诸如决策树)的决策制定，将由检测器和分类器使用它们的位置检测到的所有区域作为图像片馈入CNN或其任何组合。

25.根据权利要求1所述的系统，还包括以下的步骤：识别血管，以便将它们从包含在可疑区域中的选项中移除(许多类型的可疑区域不能包括血管)。

26.根据权利要求1所述的系统，其中从每个帧移除所述内窥镜相机的视觉馈入外的外围区域是通过在所述帧的外围部分处寻找均匀的颜色和低亮度区域并且使用区域生长算法和形态验证标准来完成。

27.根据权利要求1所述的系统，其中仅当腔区域大小至少为所述帧的总像素大小的0.2％时才识别所述腔区域。

28.根据权利要求1所述的系统，其中仅当腔区域的饱和度值在0至1的标度下小于0.1时才识别所述腔区域。

29.根据权利要求1所述的系统，其中通过识别具有污染形态的淡黄色区域来识别粪便区域，所述淡黄色区域不从周围表面凸出，其中自适应地计算用于识别这种区域的亮度、颜色和饱和度的阈值和界限。

30.根据权利要求1所述的系统，其中通过在所述帧的外围部分处寻找均匀的颜色、低饱和度和高亮度区域来识别所述尖端的内窥镜内侧的帧中的出现，其中自适应地计算所述这种类型的检测和分割的亮度、颜色和饱和度的阈值和界限。

31.根据权利要求1所述的系统，其中通过寻找白灰色和低饱和度区域并使用形态标准来识别帧中的液体，其中自适应地计算用于这种类型的检测和分割的颜色和饱和度的阈值和界限。

32.根据权利要求31所述的系统，其中当在帧中识别液体时，所述液体区域从处理中移除或所述整个帧从处理中移除。

33.根据权利要求1所述的系统，还包括以下的步骤：识别每个帧或帧的部分中的反射，并创建附加伴随图像，其中每个反射被周围亮度、颜色和纹理替换。

34.根据权利要求1所述的系统，还包括以下的步骤：识别每个帧或帧的部分中的血管并创建附加伴随图像，其中每个血管出现被周围亮度、颜色和纹理替换。

35.根据权利要求1所述的系统，其中通过使用颜色、饱和度以及基于2D和3D的形态的标准来实现识别每个帧或帧的部分中的手术工具。

36.根据权利要求1所述的系统，其中通过对于所述图像的梯度计算的标准来实现识别每个帧或帧的部分中的模糊区域，并且在这些区域的面积总和大于预定值的情况下，将整个帧从进一步处理中移除。

37.根据权利要求3所述的系统，还包括附加传统检测器，其包括：形状检测和分割；运动分析；以及与一个或多个图像模板进行比较。

38.根据权利要求1所述的系统，其中将区域识别为可疑区域的确定考虑了形态标准。

39.根据权利要求3所述的系统，其中将区域识别为可疑区域的确定考虑了形态标准。

40.根据权利要求1所述的系统，其中所述基于SVM的处理和所述基于决策树的处理接收由所述传统算法计算的特征向量和参数作为输入。

41.根据权利要求1所述的系统，其中所述基于SVM的处理和所述基于决策树的处理处理帧以便检测息肉典型的特征并相应地对帧进行分类。

42.根据权利要求1所述的系统，其中数据增强被用于基于深度机器学习的网络处理，以便使用息肉和背景特征以便从每个帧或补丁创建要由深度学习网络处理的若干附加帧。

43.根据权利要求1所述的系统，还包括以下的步骤：将由所述传统算法提供的预提取特征添加到所述基于深度机器学习的网络的完全连接特征层中作为所述层的附加特征。

44.根据权利要求1所述的系统，其中所述基于深度机器学习的网络处理将区域识别为可疑区域的确定考虑了形态标准。

45.根据权利要求1所述的系统，其中所述可疑区域是息肉或癌性区域。

46.一种在结肠镜手术期间连接到内窥镜装置的视频输出的图像处理系统，包括：

至少一个处理器；和

至少一个存储器，其通信地耦合到所述至少一个处理器，包括计算机可读指令，所述计算机可读指令在由所述至少一个处理器执行时使所述图像处理和机器学习系统实现检测由所述内窥镜装置产生的内窥镜视频图像中的实时息肉的方法，所述方法包括对多个连续的视频帧执行以下步骤：

(i)从每个帧移除所述内窥镜相机的视觉馈送外的外围区域；

(ii)通过寻找所述帧中的低亮度凸起区域来识别和移除帧中的腔管区域，其中所述亮度在0和1之间的亮度等级上低于0.1；

(iii)通过识别具有污染形态的淡黄色区域来识别和移除帧中的粪便区域，所述淡黄色区域不从周围表面凸出，其中自适应地计算用于识别这种区域的亮度、颜色和饱和度的阈值和界限；

(iv)通过在所述帧的外围部分处寻找均匀的颜色、低饱和度和高亮度区域来识别和移除帧中的所述尖端的内窥镜内侧的帧中的出现，其中自适应地计算所述这种类型的检测和分割的亮度、颜色和饱和度的阈值和界限；

(v)通过寻找白灰色和低饱和度区域并使用形态标准来识别和移除每个帧中具有液体的区域，其中自适应地计算用于这种类型的检测和分割的颜色和饱和度的阈值和界限；

(vi)识别每个帧或帧的部分中的反射，并创建附加伴随图像，其中每个反射被周围亮度、颜色和纹理替换；

(vii)通过使用颜色、饱和度以及基于2D和3D的形态的标准来识别和移除每个帧或帧的部分中的手术工具；

(viii)通过对于所述图像的梯度计算的标准来识别和移除每个帧或帧的部分中的模糊区域，并且在这些区域的面积总和大于预定值的情况下，将整个帧从进一步处理中移除；

(ix)在每个所述视频帧或所述帧的部分上应用不基于有监督学习算法的以下传统检测器中的两个，所述传统检测器适于检测所述视频帧或所述帧的部分是否包含息肉：颜色分析；纹理/边缘/基于内核的提取分析；阴影分析；三维(3D)图像分析；形状检测和分割；运动分析；以及与一个或多个图像模板进行比较；或其任何组合，其中将区域识别为息肉的确定考虑了形态标准和在预定数量的连续帧中对所述息肉的识别；和

(x)在每个所述视频帧或所述帧的部分上应用基于有监督机器学习检测器的以下模型中的一个以分类哪些特征和图像区域与息肉有关：应用基于支持向量机(SVM)的处理；应用基于决策树的处理；应用包括卷积神经网络(CNN)、区域CNN(RCNN)和长期短期记忆递归CNN(LSTM递归CNN)的一个或多个模型的基于深度机器学习的网络处理，将由所述传统算法提供的预提取特征添加到所述基于深度机器学习的网络的完全连接特征层中作为所述层的附加特征，其中每个模型接收从所述传统算法或三个连续帧的处理产生的原始帧或图像的颜色通道作为输入；或其任何组合，其中将区域识别为息肉的确定考虑了形态标准和在预定数量的连续帧中对所述息肉的识别；

(xi)根据一个或多个预定规则接收(viii)和(ix)的结果并且在所述帧中达到关于所述息肉存在的最终决策；和

(xii)将一个或多个视频帧识别为包含息肉。