CN111383214A - 实时内窥镜肠镜息肉检测系统 - Google Patents

Abstract

本申请公开了一种实时内窥镜肠镜息肉检测系统，包括：视频信息获取单元，用于将接收的视频分解为以若干帧为一组的视频片段；视频信息提取单元，用于对所述的视频片段进行预处理，并提取光流信息；以及，视频信息分析单元，用于获取经所述视频信息提取单元处理过的视频信息，并输入深度卷积神经网络进行检测，从而获取息肉检测结果。利用本申请的实时内窥镜肠镜息肉检测系统，可以从手术过程中实时产生的视频流内提取时空信息，以低延迟、高精度辅助医生发现肠道息肉，提高医生判断精度，减轻手术负担，以及加快手术进程。

Description

实时内窥镜肠镜息肉检测系统

技术领域

本申请涉及一种肠道息肉检测系统，具体涉及一种结合单帧彩色图像与多帧光流图像时空信息的实时内窥镜肠镜息肉检测系统，属于医疗技术领域。

背景技术

结直肠息肉是从结肠或直肠内壁开始的异常增生，虽然大多数息肉是安全的，但是某些息肉还是存在癌变导致结直肠癌的风险。结直肠癌目前是世界范围内发病率第四，死亡率第二高的癌症。目前，超过一半的六十岁以上人群都存在一个以上的结直肠息肉，因此息肉的提前发现和清除，对于预防结直肠癌症至关重要。内窥镜肠镜检查是一种最常见也最有效的发现并切除息肉的预防方法，但是人工诊断受限于医生经验以及复杂的肠道环境，仍然存在漏检的风险，因此有必要引入结直肠息肉计算机辅助诊断系统来帮助医生降低漏检率。

内窥镜检查手术过程中影像采集设备以每秒30-60帧的速度按时间顺序产生视频流，每一帧产生的图像代表当前时间内窥镜所获取的肠道内环境影像，医生会根据手术设备实时反馈回来的图像控制内窥镜进行检查和手术。当前的计算机辅助结直肠息肉检测系统分为实时处理和后处理两种系统，分别用于在手术中及时反馈结果与术后分析。

目前工业界以及学术界的息肉检测方法主要分为两大类：1)基于传统图像处理，利用人为定义的有用特征进行检测；2)基于深度学习的方法，使用卷积神经网络自动完成目标物体(息肉)的检测。基于深度学习的方法又可以分为：单纯考虑当前单帧图像的检测方法；以及引入历史帧，结合多帧信息对息肉进行判断的视频检测方法。

传统的方式大多数采用人工定义特征的方法的关键在于提取息肉的外观特征，比如利用方向梯度直方图做边缘检测，然后搜索输入图片中具有椭圆外观的物体。不过，与大多数目标检测任务相同，随着基于深度卷积网络的目标检测算法的发展，基于深度学习的方法普遍获得了比基于人工定义特征更好的检测结果。

针对单帧静态图像，将双阶段物体检测网络应用与结直肠息肉检测，比方说有代表意义的Faster R-CNN，是目前最热门的深度学习方法之一。该方法将输入图像送入骨干网络进行特征提取后，先找出该图像中需要被注意的区域(Region of Interest)，然后在后续网络中判断该区域是否是结直肠息肉。然而，此类模型在息肉检查中面对着两个问题：

其一、非实时，其复杂度导致该方法在现有设备上运行速度无法超过30帧每秒，所以无法用于实时用途，只可以用于术后分析。

其二、低准确度与敏感度，大部分深度学习模型需要大量准确标注的数据进行训练，但是息肉标注任务受限于医学专业知识，大多数公开的数据集都存在数量小种类少的问题，因此训练结果差强人意。与此同时，由于基于单帧信息的检测方法往往受困于肠道环境复杂，镜头视野内存在大量异物、液体与模糊等噪音，仅根据单一影像很难做出准确的结果评估，这也是现有方法的准确度与敏感度差强人意的原因。

为降低噪音干扰，一些研究者引入时间信息，针对视频中连续多帧进行分析，目前学术领域已经发布的方法有三种，分别为卷积长短时记忆神经网络(ConvLSTM)，条件随机场(CRF)和结合基于深度学习的目标追踪方法融合多帧检测结果，但是这些方法受限于模型复杂度，也都无法做到实时检测。

发明内容

本申请的主要目的在于提供一种结合单帧彩色图像与多帧光流图像时空信息的实时内窥镜肠镜息肉检测系统，从而克服现有技术的不足。

为了达到前述发明目的，本申请采用了以下方案：

本申请实施例提供了一种实时内窥镜肠镜息肉检测系统，其包括：

视频信息获取单元，用于将接收的视频分解为以若干帧为一组的视频片段；

视频信息提取单元，用于对所述的视频片段进行预处理，并提取光流信息；以及

视频信息分析单元，用于获取经所述视频信息提取单元处理过的视频信息，并输入深度卷积神经网络进行检测，从而获取息肉检测结果。

在一些实施方案中，所述视频信息获取单元先缓存输入的实时内窥镜视频流，且产生连续的彩色帧，所述连续的彩色帧为Frame₀,Frame₁,…,Frame_t-1,Frame_t，并分别代表时刻0到时刻t的视频输入，t>0，之后所述视频信息获取单元至少调整每一帧读入图像的长、宽尺寸至设定像素值；以及所述视频信息提取单元对所述连续彩色帧中的Frame_t-N-1,…,Frame_t-1,Frame_t共N帧提取光流信息，用于表示从时刻t-N-1到时刻t内，由于镜头移动产生视角变化造成的息肉与肠壁的相对位移，其中N≧2。

在一些实施方案中，所述视频信息提取单元对所述视频片段进行预处理并提取光流信息的过程包括如下步骤：

(1)假设短时间内视频光照环境变化有限，(x,y)代表像素点坐标，t代表时间，I代表像素灰度，t帧时位于空间坐标(x,y)处的像素灰度I(x,y,t)与经过位移(u,v)后新坐标(x+u,y+v,t+n)的像素灰度I(x+u,y+v,t+n)相同，即I(x,y,t)＝I(x+u,y+v,t+n)，使用光流生成算法可以获得每个像素在(t+n)帧处的(u,v)值；

(2)计算每个像素点的位移向量(u,v)的模(magnitude)与方向(angle)：

再将计算获得的模与方向映射至色相(Hue)、饱和度(Saturation)、明度(Value)，即HSV颜色空间：

Value＝Normalize(magnitude(u,v))*Saturation

其中Normalize代表归一化操作，将(u,v)向量的模转化为0到1之间。

在一些实施方案中，所述视频信息分析单元接收来自视频信息提取单元的彩色图像与光流图像后，分别将所述彩色图像、光流图像输入各自的深度卷积神经网络进行检测，之后将获得的检测结果进行合并。

在一些实施方案中，所述视频信息分析单元包括单阶段检测模型，所述单阶段检测模型包括骨干网络、额外卷积层以及两个并行的检测分支，所述两个并行的检测分支分别为分类分支、回归分支；并且，在所述视频信息分析单元中，内窥镜所采集到的前述的彩色图像和通过计算获取的光流图像被输入骨干网络与额外卷积层共同组成的特征提取网络，并在不同深度的网络层逐渐被提取为不同尺寸的特征图像，再抽取其中指定层数的特征图输入所述的两个检测分支，并为特征图中每一个特征点匹配不同大小和长宽比的预设框，且通过所述的两个检测分支对每一个预设框分别进行分类和回归，来判断该预设框是否存在目标物体，以及通过回归算法对预设框的位置和长宽进行调整，最后再将冗余的检测结果进行合并，输出最终检测结果。

在一些实施方案中，所述视频信息分析单元还包括基于通道叠加的细节增强网络，所述细节增强网络具有类似金字塔网络的结构，使得在所述视频信息分析单元中，当内窥镜视频中息肉体积较小，被分配给较浅特征层进行检测时，能够将具有更大感受野的深层特征与浅层特征融合，共同用于息肉检测，并且在融合不同尺寸的两层特征时，先采用反卷积作为小尺寸卷积层上采样的方法，恢复为相同大小后，在通道维上采用叠加操作进行融合。

在一些实施方案中，在所述视频信息分析单元中，将分别代表空间、时间的所述彩色图像、光流图像并行输入对应的深度卷积神经网络后，每一深度卷积神经网络根据输入的信息产生数量相同的基于预设框的预测，在将分别对应于空间、时间的检测结果进行融合时，针对每个预设框的分类分数做加权平均，最终得到分类分数S_fuse：

S_fuse＝α×S_spatial+(1-α)×S_temporal

其中S_spatial、S_temporal分别为对应于空间、时间的深度卷积神经网络对各自的每个预设框的分类分数，α用于调节分类分数比重且取值介于0，1之间，同时，每个预设框的回归结果以对应于空间的深度卷积神经网络的输出为准。

在一些实施方案中，所述视频信息分析单元还包括假阳性抑制模块，用于抑制假阳性检测结果；所述假阳性抑制模块能够为每一个新发现的息肉构建一个时间维度上的M帧长的缓冲区，M为正整数，对已经记录的一个或多个帧，采用置信度最高的检测结果H作为此缓冲区的代表，并以用物体追踪的方式获取H在当前帧的位置，且与当前帧的检测结果进行对比。

在一些实施方案中，所述实时内窥镜肠镜息肉检测系统还包括手术信息管理单元，用于将手术信息与病人资料整合并与所述息肉检测结果输入检测结果呈现单元。

在一些实施方案中，所述实时内窥镜肠镜息肉检测系统还包括检测结果呈现单元，至少用于显示所述手术信息与所述息肉检测结果。

较之现有技术，本申请提供的结合单帧彩色图像与多帧光流图像时空信息的实时内窥镜肠镜息肉检测系统对于手术过程中实时产生的视频流，可以从视频中提取时空信息，以低延迟、高精度辅助医生发现肠道息肉，尤其是能够在医生看到实时图像时同步反馈检测结果，从而尽可能快速且准确地根据现有影像为医生提供当前时间下所看到的手术影像中是否存在息肉以及息肉所在的位置，进而辅助医生在内窥镜肠镜手术过程中对息肉进行诊断、定位以及切除，提高医生判断精度，减轻手术负担，以及加快手术进程。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一典型实施例中一种实时内窥镜肠镜息肉检测系统的结构框图；

图2是本申请一典型实施例中一种视频信息分析单元的工作示意图；

图3是本申请一典型实施例中一种假阳性抑制模块的工作示意图；

图4是本申请一典型实施例中对训练图像进行数据增强的示意图；

图5是本申请一典型实施例中一种检测结果呈现单元的显示界面。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下通过实施例，并结合附图，对本申请的技术方案进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例提供了一种用于对视频中特征图形进行实时检测的方法，其包括：

以视频信息获取单元将可移动镜头接收的视频分解为以若干帧为一组的视频片段；

以视频信息提取单元对所述的视频片段进行预处理，并提取光流信息；以及

以视频信息分析单元获取经所述视频信息提取单元处理过的视频信息，并输入深度卷积神经网络进行检测，从而获取特征图形的检测结果。

其中，所述的可移动镜头可以是已知可移动摄像设备的组件，而所述的特征图形可以是出现于视频中的物体上的一些特征图形，例如物体上的特定突起、凹陷、特殊的色块，等等。

例如，所述的可移动镜头可以是肠镜、输尿管镜或其它内窥镜等，相应的，所述的特征图形可以是出现于视频中的息肉、肿瘤或者其它异常生物组织等，使得所述方法适应非以学诊断目的的检测。

具体的，所述方法包括：

以视频信息获取单元先缓存可移动镜头输入的实时视频流，且产生连续的彩色帧，所述连续的彩色帧为Frame₀,Frame₁,…,Frame_t-1,Frame_t，并分别代表时刻0到时刻t的视频输入，t>0，之后所述视频信息获取单元至少调整每一帧读入图像的长、宽尺寸至设定像素值；以及

以视频信息提取单元对所述连续彩色帧中的Frame_t-N-1,…,Frame_t-1,Frame_t共N帧提取光流信息，用于表示从时刻t-N-1到时刻t内，由于可移动镜头移动产生视角变化造成的特征图形相对于视频中物体上其它部分的相对位移，其中N≧2。

进一步，以所述视频信息提取单元对所述视频片段进行预处理并提取光流信息的过程包括如下步骤：

(1)假设短时间内视频光照环境变化有限，(x,y)代表像素点坐标，t代表时间，I代表像素灰度，t帧时位于空间坐标(x,y)处的像素灰度I(x,y,t)与经过位移(u,v)后新坐标(x+u,y+v,t+n)的像素灰度I(x+u,y+v,t+n)相同，即I(x,y,t)＝I(x+u,y+v,t+n)，使用光流生成算法可以获得每个像素在(t+n)帧处的(u,v)值；

(2)计算每个像素点的位移向量(u,v)的模(magnitude)与方向(angle)：

再将计算获得的模与方向映射至色相(Hue)、饱和度(Saturation)、明度(Value)，即HSV颜色空间：

Value＝Normalize(magnitude(u,v))*Saturation

其中Normalize代表归一化操作，将(u,v)向量的模转化为0到1之间。

进一步的，所述的方法包括：以视频信息分析单元接收来自视频信息提取单元的彩色图像与光流图像后，分别将所述彩色图像、光流图像输入各自的深度卷积神经网络进行检测，之后将获得的检测结果进行合并。

进一步的，所述视频信息分析单元包括单阶段检测模型，所述单阶段检测模型包括骨干网络、额外卷积层以及两个并行的检测分支，所述两个并行的检测分支分别为分类分支、回归分支；并且，在所述视频信息分析单元中，内窥镜所采集到的前述的彩色图像和通过计算获取的光流图像被输入骨干网络与额外卷积层共同组成的特征提取网络，并在不同深度的网络层逐渐被提取为不同尺寸的特征图像，再抽取其中指定层数的特征图输入所述的两个检测分支，并为特征图中每一个特征点匹配不同大小和长宽比的预设框，且通过所述的两个检测分支对每一个预设框分别进行分类和回归，来判断该预设框是否存在目标物体，以及通过回归算法对预设框的位置和长宽进行调整，最后再将冗余的检测结果进行合并，输出最终检测结果。

进一步的，所述视频信息分析单元还包括基于通道叠加的细节增强网络，所述细节增强网络具有类似金字塔网络的结构，使得在所述视频信息分析单元中，当视频中特征图形较小，被分配给较浅特征层进行检测时，能够将具有更大感受野的深层特征与浅层特征融合，共同用于息肉检测，并且在融合不同尺寸的两层特征时，先采用反卷积作为小尺寸卷积层上采样的方法，恢复为相同大小后，在通道维上采用叠加操作进行融合。

进一步的，所述的方法包括：在所述视频信息分析单元中，将分别代表空间、时间的所述彩色图像、光流图像并行输入对应的深度卷积神经网络后，每一深度卷积神经网络根据输入的信息产生数量相同的基于预设框的预测，在将分别对应于空间、时间的检测结果进行融合时，针对每个预设框的分类分数做加权平均，最终得到分类分数S_fuse：

S_fuse＝α×S_spatial+(1-α)×S_temporal

其中S_spatial、S_temporal分别为对应于空间、时间的深度卷积神经网络对各自的每个预设框的分类分数，α为用于调节分类分数比重的参数，同时，每个预设框的回归结果以对应于空间的深度卷积神经网络的输出为准。

进一步的，所述的方法还包括：于所述视频信息分析单元内设置假阳性抑制模块，并以假阳性抑制模块能够为每一个新发现的特征图形构建一个时间维度上的M帧长的缓冲区，M为正整数，对已经记录的一个或多个帧，采用置信度最高的检测结果H作为此缓冲区的代表，并以用物体追踪的方式获取H在当前帧的位置，且与当前帧的检测结果进行对比，从而抑制假阳性检测结果。

例如，为了满足现实中内窥镜手术辅助诊断系统的需求，本申请的一典型实施例中提出了一种结合单帧彩色图像与多帧光流图像时空信息的实时内窥镜肠镜息肉检测系统，其可以根据多帧视频图像信息进行息肉检测并且可以实时运行。

请参阅图1，该典型实施例的实时内窥镜肠镜息肉检测系统可以包括视频信息获取单元、视频信息提取单元、视频信息分析单元等。进一步，所述实时内窥镜肠镜息肉检测系统还可以包括手术信息管理单元、检测结果呈现单元等。

在实际工作中，内窥镜系统将手术中实时产生的视频图像输入该实时内窥镜肠镜息肉检测系统后，经过视频信息获取单元，视频信息提取单元，视频信息分析单元，手术信息管理单元，最后将检测结果与手术信息呈现给医生。

其中，视频信息获取单元用于将肠镜传输来的视频分解为以若干帧为一组的视频片段。

视频信息提取单元用于对这些视频片段进行预处理，并提取光流信息。

视频信息分析单元在获取了处理过的视频输入后，输入深度卷积神经网络进行检测，以获取息肉检测结果。手术信息管理单元用于整合手术信息与病人资料，用于最终在检测结果呈现单元中显示辅助诊断需要的信息并给与必要的提示。

在工作时，所述视频信息获取单元先缓存输入的实时内窥镜视频流，并产生连续的彩色帧，Frame₀,Frame₁,…,Frame_t-1,Frame_t，分别代表时刻0到时刻t的视频输入，t>0，然后该模块调整每一帧读入图像的尺寸长、宽分别为指定大小，例如512像素*512像素。

所述视频信息获取单元将处理后的信息送入视频信息提取单元后，该视频信息提取单元针对Frame_t-N-1,…,Frame_t-1,Frame_t共N帧提取光流信息，其中N≧2，用于表示从时刻t-N-1到时刻t这N帧内，由于镜头移动产生视角变化造成的息肉与肠壁的相对位移。具体步骤如下：

第一步，假设短时间内视频光照环境变化有限，(x,y)代表像素点坐标，t代表时间，I代表像素灰度，t帧时位于空间坐标(x,y)处的像素灰度I(x,y,t)与经过位移(u,v)后新坐标(x+u,y+v,t+n)的像素灰度I(x+u,y+v,t+n)相同，即I(x,y,t)＝I(x+u,y+v,t+n)，使用光流生成算法可以获得每个像素在(t+n)帧处的(u,v)值，前述光流生成算法可以采用但不限于Brox算法、基于卷积神经网络的光流生成算法等。

第二步，计算每个像素点的位移向量(u,v)的模(magnitude)与方向(angle)：

最后将该模与方向映射至色相(Hue)、饱和度(Saturation)、明度(Value)，即HSV颜色空间：

Saturation＝255

Value＝Normalize(magnitude(u，v))*255

Normalize代表归一化操作，将(u,v)向量的模转化为0到1之间。

其中，所述视频信息分析单元的构成可以参阅2所示，其特征包括：

(1)双流结构：时空混合模型

为了提高检测精度，本典型实施例的视频信息分析单元采用RGB彩色图像输入与光流图像并行检测的双流模型。视频信息分析单元接收到来自视频信息提取单元的彩色与光流图像后，输入各自的深度卷积神经网络进行检测，最后将结果进行合并。

(2)检测模型：单阶段检测模型(Single Shot MultiBox Detector)

为了缩短检测时间，本典型实施例的视频信息分析单元采用单阶段检测方法SSD作为检测模型。该模型的基本原理也请参阅图2所示，分为图片输入、骨干网络、额外卷积层以及两个并行的检测分支，分别为分类分支与回归分支。处理流程为，内窥镜所采集到的图片输入骨干网络与额外卷积层共同组成的特征提取网络，其中采用50层或稍少数量或更多数量的残差网络来提高精度。输入的图片会在不同深度的网络层会逐渐被提取为不同尺寸的特征图像，SSD会抽取其中一定层，例如6层特征图输入检测分支。SSD模型为特征图中每一个特征点匹配不同大小和长宽比的预设框，并通过两个检测分支对每一个预设框分别进行分类和回归，来判断该预设框是否存在目标物体，以及通过回归算法对预设框的位置和长宽进行调整，使其更加精确。最后再将冗余的检测结果进行合并，输出最终结果。

(3)细节增强：基于通道叠加的细节增强网络

为了增强对体积较小的息肉的检测效果，本典型实施例采用了类似金字塔网络的结构。原始SSD结构的矛盾在于，顶层网络层具有学习到的高度抽象的特征，但是缺乏原始图像细节信息，不适于识别体积小的息肉。针对内窥镜视频中息肉大小差距在不同视角差别很大的情况，本典型实施例可以将深层特征层逐层放大，最后与浅层特征融合起来，共同用于该层的息肉检测。具体而言，不同深度的特征层会被分配用来检测不同大小的息肉，息肉小时，就会用具有较多局部信息的较浅特征层来检测，但是只用单一特征层的话局部信息和全局信息无法兼顾，因此可以把深层特征层采用上采样的方法进行放大(一般越深对的特征层的面积越小)，再和浅层叠加在一起来进行检测。不同于原始的金字塔网络，在融合不同尺寸的两层特征时，本典型实施例先采用反卷积作为小尺寸卷积层上采样的方法，恢复为相同大小后，在通道维上采用叠加操作进行融合，尽可能保留更丰富的顶层信息。

(4)时空信息融合：双流融合

本典型实施例的视频信息分析单元中，将分别代表空间与时间的彩色图像和光流图像并行输入各自的网络后，如图2所示，每个网络各自会根据输入产生大量且数量相同的基于预设框的预测。双流融合时，针对每个预设框的分类分数做加权平均，最终得到分类分数S_fuse：

S_fuse＝α×S_spatial+(1-α)×S_temporal

其中S_spatial、S_temporal分别为对应于空间、时间的深度卷积神经网络对各自的每个预设框的分类分数，α为用于调节分类分数比重的参数。于此同时，每个预设框的回归结果以空间检测网络输出为准，因为输入为彩色图像的空间检测网络有更加准确的外观信息。

优选的，该典型实施例的视频信息分析单元还包括假阳性抑制模块，其工作流程可以参阅图3所示。具体的，为了抑制过多的假阳性，可以为每一个新发现的息肉构建一个时间维度上的M帧长的缓冲区，代表该息肉在连续帧里的位置变化。其中，M的取值范围可以调整，例如对于30帧的视频，M的取值可以为2-10帧。对于当前帧图像的检测结果，对照每一个息肉缓冲区里前一帧的息肉检测结果，将当前帧的检测结果按照图3所示过程所示，根据息肉缓冲区保存的检测框与当前帧的检测框的交叠率(IoU,Intersection over union)，分配给每一个息肉缓冲区。若当前帧有多个检测结果与息肉缓冲区满足IoU大于等于阈值Thredshold_overlap，则保留信心分数最高的一个，并删除其他；若该息肉缓冲区无任何检测结果与之对应，则添加一个信心分数为0的检测结果，表示此帧无对应结果；如果新的检测结果的信息分数大于等于该缓冲区均值，则用此更好的检测结果H更新属于当前缓冲区的追踪器。对该息肉缓冲区更新完毕后，判断缓冲区是否已满，已满后则根据该缓冲区均值判断是否应该保留该缓冲区，如均值大于等于阈值Thredshold_conf，则保留该缓冲区，否则该缓冲区被视为检测错误，将被删除。最后将缓冲区内最新的结果与追踪器的追踪结果进行对照，如果交叠率大于等于阈值Thredshold_tracking则显示检测结果，否则显示追踪结果。图3中Thredshold_overlap代表判断检测结果是否属于息肉缓冲区的阈值，Thredshold_conf为当前缓冲区的检测结果是否应被判断为阳性的阈值，如果此M帧的平均分数低于此阈值，代表视频中对应息肉已经消失。Thredshold_tracking为判断是显示缓冲区检测结果还是追踪结果的阈值。上述阈值的取值范围均为0到1。Confi代表第i帧用于分析的检测结果的信心分数。遍历完所有缓冲区之后，再遍历当前帧剩下的检测结果，这些检测结果没有任何息肉缓冲区与之对应，则以其为第一帧，开启一个新的息肉缓冲区。

此外，在模型训练阶段，为进一步提高模型泛化能力，防止因训练数据不足造成的过拟合现象，该典型实施例中还优选采用图像扭曲变形对训练图像进行了数据增强，其可以参阅图4所示。

其中，根据结直肠息肉以及肠道环境特点，通过将图像扭曲变形加入数据增强过程，还可有效提升了检测效果。

进一步的，在本实施例中，从视频信息分析单元获取检测结果之后，手术信息管理单元则会将手术过程中得到的信息，如手术开始时间、检测到息肉的时间、息肉位置根据病人分别进行记录，用于检测结果的综合呈现以及术后医生分析总结。

以及，在本实施例中，检测结果呈现单元在视频信息分析单元提供检测结果之后，如发现输入视频中存在息肉，则在画面中将息肉检测结果用方框圈起来，同时可以选择是否提供声音提示。在提供声音提示时，若连续视频帧中出现同一个息肉，则只进行一次提示。另外，该检测结果呈现单元也可以选择是否显示历史检测结果，用于手术医师实时进行手术过程回顾。其中一种典型的显示界面可以参阅图5所示。

利用本申请的实时内窥镜肠镜息肉检测系统，可以从手术过程中实时产生的视频流内提取时空信息，以低延迟、高精度辅助医生发现肠道息肉，提高医生判断精度，减轻手术负担，以及加快手术进程。

本申请典型实施例提供的实时内窥镜肠镜息肉检测系统除应用于结直肠息肉内窥镜辅助诊断之外，亦可以应用在多数内窥镜或者视频检查领域，例如胃、呼吸道、泌尿道以及各种体腔检查。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (10)

1.一种实时内窥镜肠镜息肉检测系统，其特征在于包括：

视频信息获取单元，用于将接收的视频分解为以若干帧为一组的视频片段；

视频信息提取单元，用于对所述的视频片段进行预处理，并提取光流信息；以及

视频信息分析单元，用于获取经所述视频信息提取单元处理过的视频信息，并输入深度卷积神经网络进行检测，从而获取息肉检测结果。

2.根据权利要求1所述的实时内窥镜肠镜息肉检测系统，其特征在于：

所述视频信息获取单元先缓存输入的实时内窥镜视频流，且产生连续的彩色帧，所述连续的彩色帧为Frame₀,Frame₁,…,Frame_t-1,Frame_t，并分别代表时刻0到时刻t的视频输入，t>0，之后所述视频信息获取单元至少调整每一帧读入图像的长、宽尺寸至设定像素值；以及所述视频信息提取单元对所述连续彩色帧中的Frame_t-N-1,…,Frame_t-1,Frame_t共N帧提取光流信息，用于表示从时刻t-N-1到时刻t内，由于镜头移动产生视角变化造成的息肉与肠壁的相对位移，其中N≧2。

3.根据权利要求2所述的实时内窥镜肠镜息肉检测系统，其特征在于，所述视频信息提取单元对所述视频片段进行预处理并提取光流信息的过程包括如下步骤：

(1)假设短时间内视频光照环境变化有限，(x,y)代表像素点坐标，t代表时间，I代表像素灰度，t帧时位于空间坐标(x,y)处的像素灰度I(x,y,t)与经过位移(u,v)后新坐标(x+u,y+v,t+n)的像素灰度I(x+u,y+v,t+n)相同，即I(x,y,t)＝I(x+u,y+v,t+n)，使用光流生成算法可以获得每个像素在(t+n)帧处的(u,v)值；

(2)计算每个像素点位移向量(u,v)的模(magnitude)与方向(angle)：

再将计算获得的模与方向映射至色相(Hue)、饱和度(Saturation)、明度(Value)，即HSV颜色空间：

Value＝Normalize(magnitude(u,v))*Saturation

其中Normalize代表归一化操作，将(u,v)向量的模转化为0到1之间。

4.根据权利要求1-3中任一项所述的实时内窥镜肠镜息肉检测系统，其特征在于：所述视频信息分析单元接收来自视频信息提取单元的彩色图像与光流图像后，分别将所述彩色图像、光流图像输入各自的深度卷积神经网络进行检测，之后将获得的检测结果进行合并。

5.根据权利要求4所述的实时内窥镜肠镜息肉检测系统，其特征在于：所述视频信息分析单元包括单阶段检测模型，所述单阶段检测模型包括骨干网络、额外卷积层以及两个并行的检测分支，所述两个并行的检测分支分别为分类分支、回归分支；并且，在所述视频信息分析单元中，内窥镜所采集到的前述的彩色图像和通过计算获取的光流图像被输入骨干网络与额外卷积层共同组成的特征提取网络，并在不同深度的网络层逐渐被提取为不同尺寸的特征图像，再抽取其中指定层数的特征图输入所述的两个检测分支，并为特征图中每一个特征点匹配不同大小和长宽比的预设框，且通过所述的两个检测分支对每一个预设框分别进行分类和回归，来判断该预设框是否存在目标物体，以及通过回归算法对预设框的位置和长宽进行调整，最后再将冗余的检测结果进行合并，输出最终检测结果。

6.根据权利要求5所述的实时内窥镜肠镜息肉检测系统，其特征在于：所述视频信息分析单元还包括基于通道叠加的细节增强网络，所述细节增强网络具有类似金字塔网络的结构，使得在所述视频信息分析单元中，当内窥镜视频中息肉体积较小，被分配给较浅特征层进行检测时，能够将具有更大感受野的深层特征与浅层特征融合，共同用于息肉检测，并且在融合不同尺寸的两层特征时，先采用反卷积作为小尺寸卷积层上采样的方法，恢复为相同大小后，在通道维上采用叠加操作进行融合。

7.根据权利要求5所述的实时内窥镜肠镜息肉检测系统，其特征在于：在所述视频信息分析单元中，将分别代表空间、时间的所述彩色图像、光流图像并行输入对应的深度卷积神经网络后，每一深度卷积神经网络根据输入的信息产生数量相同的基于预设框的预测，在将分别对应于空间、时间的检测结果进行融合时，针对每个预设框的分类分数做加权平均，最终得到分类分数S_fuse：

S_fuse＝α×S_spatial+(1-α)×S_temporal

其中S_spatial、S_temporal分别为对应于空间、时间的深度卷积神经网络对各自的每个预设框的分类分数，α用于调节分类分数比重且取值范围介于0～1之间，同时，每个预设框的回归结果以对应于空间的深度卷积神经网络的输出为准。

8.根据权利要求5所述的实时内窥镜肠镜息肉检测系统，其特征在于：所述视频信息分析单元还包括假阳性抑制模块，用于抑制假阳性检测结果；所述假阳性抑制模块能够为每一个新发现的息肉构建一个时间维度上的M帧长的缓冲区，M为正整数，对已经记录的一个或多个帧，采用置信度最高的检测结果H作为此缓冲区的代表，并以用物体追踪的方式获取H在当前帧的位置，且与当前帧的检测结果进行对比。

9.根据权利要求1所述的实时内窥镜肠镜息肉检测系统，其特征在于还包括：

手术信息管理单元，用于将手术信息与病人资料整合并与所述息肉检测结果输入检测结果呈现单元。

10.根据权利要求1或9所述的实时内窥镜肠镜息肉检测系统，其特征在于还包括：

检测结果呈现单元，至少用于显示所述手术信息与所述息肉检测结果。

Images