CN111325709A - 无线胶囊内窥镜图像检测系统及检测方法 - Google Patents

Abstract

本申请适用于图像处理技术领域，尤其涉及无线胶囊内窥镜图像检测系统及方法。所述系统包括：内窥镜图像获取模块，用于获取待检测的内窥镜图像，并将内窥镜图像分别输入至卷积特征提取模块和人工特征提取模块；卷积特征提取模块，用于对内窥镜图像进行特征提取，得到内窥镜图像的卷积特征，并将卷积特征输入至特征融合模块；人工特征提取模块，用于对内窥镜图像进行特征提取，得到内窥镜图像的颜色特征、纹理特征和形态特征并输入至特征融合模块；特征融合模块，用于对卷积特征、颜色特征、纹理特征和形态特征进行融合处理，得到融合特征，并将融合特征输入至检测模块；检测模块，用于根据融合特征获取内窥镜图像的检测结果。

Description

无线胶囊内窥镜图像检测系统及检测方法

技术领域

本申请属于图像处理技术领域，尤其涉及一种无线胶囊内窥镜图像检测系统及检测方法。

背景技术

无线胶囊内窥镜因检查过程无创、无不适感、病人全程可自由活动而广泛应用于胃肠道检查。无线胶囊内窥镜一般由光学盖板、镜头夹具、镜头、发光二极管、成像器、电池、发送器、天线等电子及光学器件组成，能够在病人体内拍摄图像并将拍摄的图像传送至体外的无线接收器，医生则可以根据接收的图像进行检查。无线胶囊内窥镜每次检测过程中会拍摄超过50000张图片，这些图片均由医生人为读片的话，会极大地增加医生的读片工作量，并且由于疲劳及其他主观因素容易影响检测结果的准确性。现有的辅助检测系统仍不能准确的提取描述出内窥镜图像的特征，从而造成内窥镜图像检测的准确性较低。

发明内容

本申请实施例提供了一种无线胶囊内窥镜图像检测系统及检测方法，可以解决现有的检测系统中内窥镜图像检测的准确性较低的问题。

第一方面，本申请实施例提供了一种无线胶囊内窥镜图像检测系统，可以包括内窥镜图像获取模块、卷积特征提取模块、人工特征提取模块、特征融合模块和检测模块；

所述内窥镜图像获取模块，用于获取待检测的内窥镜图像，并将所述内窥镜图像分别输入至所述卷积特征提取模块和所述人工特征提取模块；

所述卷积特征提取模块，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的卷积特征，并将所述卷积特征输入至所述特征融合模块；

所述人工特征提取模块，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的颜色特征、纹理特征和形态特征，并将所述颜色特征、所述纹理特征和所述形态特征输入至所述特征融合模块；

所述特征融合模块，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征，并将所述融合特征输入至所述检测模块；

所述检测模块，用于根据所述融合特征获取所述内窥镜图像对应的检测结果。

在第一方面的一种可能的实现方式中，所述特征融合模块可以包括归一化处理单元和拼接单元；

所述归一化处理单元，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行归一化处理；

所述拼接单元，用于对所述归一化处理单元归一化处理后的所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行特征拼接，得到所述融合特征。

可选地，所述检测模块可以包括概率值获取单元、概率值确定单元和检测单元；

所述概率值获取单元，用于确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值；

所述概率值确定单元，用于根据所述融合特征确定各所述预设检测结果对应的第一预测概率值；

所述概率值确定单元，还用于根据各所述预设检测结果对应的先验概率值和第一预测概率值确定各所述预设检测结果对应的第二预测概率值；

所述检测单元，用于根据所述第二预测概率值获取所述内窥镜图像对应的检测结果。

在第一方面的一种可能的实现方式中，所述卷积特征提取模块内设置有预设卷积神经网络，所述预设卷积神经网络可以包括依次连接的卷积层、池化层和全连接层；

所述卷积层，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像对应的第一特征图；

所述池化层，用于对所述第一特征图进行特征降采样，得到所述第一特征图对应的第二特征图；

所述全连接层，用于根据所述第二特征图得到所述内窥镜图像的卷积特征。

示例的，所述检测模块内设置有预设分类器，所述无线胶囊内窥镜图像检测系统还可以包括训练模块；

所述训练模块，用于获取训练样本集，并根据所述训练样本集训练所述预设卷积神经网络，以及根据所述训练样本集和预设的损失函数训练所述预设分类器。

具体地，所述损失函数为：

其中，x⁽ⁱ⁾为第i个训练样本对应的融合特征，y⁽ⁱ⁾为第i个训练样本对应的标准检测结果，m为训练样本的数量，K为预设检测结果的数量，1{·}为指示函数，logP(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)为第i个训练样本在第k个预设检测结果中的第一预测概率值。

可选地，所述图像特征提取模块可以包括颜色区间划分单元和颜色特征获取单元；

所述颜色区间划分单元，用于将所述内窥镜图像转换至预设颜色空间，并将所述预设颜色空间划分为多个颜色区间；

所述颜色特征获取单元，用于获取所述内窥镜图像在各所述颜色区间的像素点数量，根据所述像素点数量确定所述内窥镜图像对应的颜色直方图，并根据所述颜色直方图获取所述内窥镜图像的颜色特征。

可选地，所述无线胶囊内窥镜图像检测系统还可以包括图像增强模块；

所述图像增强模块，用于对所述内窥镜图像进行图像归一化处理，并对归一化处理后的所述内窥镜图像进行锐化处理。

第二方面，本申请实施例提供了一种无线胶囊内窥镜图像检测方法，可以包括：

获取待检测的内窥镜图像；

提取所述内窥镜图像对应的卷积特征、颜色特征、纹理特征和形态特征；

对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征；

根据所述融合特征获取所述内窥镜图像对应的检测结果。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述的无线胶囊内窥镜图像检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面所述的无线胶囊内窥镜图像检测方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第二方面所述的无线胶囊内窥镜图像检测方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例提供的无线胶囊内窥镜图像检测系统包括内窥镜图像获取模块、卷积特征提取模块、人工特征提取模块、特征融合模块和检测模块。内窥镜图像获取模块获取到内窥镜图像后，可以将内窥镜图像分别输入至卷积特征提取模块和人工特征提取模块；卷积特征提取模块和人工特征提取模块则可以分别对内窥镜图像进行卷积特征和人工设计特征的提取，以得到内窥镜图像的卷积特征、颜色特征、纹理特征和形态特征并输入至特征融合模块；特征融合模块则可以对卷积特征、颜色特征、纹理特征和形态特征进行融合处理，并将融合得到的融合特征输入至检测模块，以使得检测模块可以根据融合特征获取内窥镜图像对应的检测结果。即本申请实施例通过卷积特征提取模块和人工特征提取模块进行多特征提取，然后通过特征融合模块进行特征融合来获取能准确表征内窥镜图像的特征，从而提高内窥镜图像检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的无线胶囊内窥镜图像检测系统的系统示意图；

图2是本申请实施例中卷积特征提取模块所包括的预设卷积神经网络的网络示意图；

图3是本申请一实施例提供的无线胶囊内窥镜图像检测方法的流程示意图；

图4是本申请实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

如图1所示，本申请实施例提供了一种无线胶囊内窥镜图像检测系统，所述无线胶囊内窥镜图像检测系统可以包括内窥镜图像获取模块101、卷积特征提取模块102、人工特征提取模块103、特征融合模块104和检测模块105；

所述内窥镜图像获取模块101，用于获取待检测的内窥镜图像，并将所述内窥镜图像分别输入至所述卷积特征提取模块和所述人工特征提取模块；

所述卷积特征提取模块102，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的卷积特征，并将所述卷积特征输入至所述特征融合模块；

所述人工特征提取模块103，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的颜色特征、纹理特征和形态特征，并将所述颜色特征、所述纹理特征和所述形态特征输入至所述特征融合模块；

所述特征融合模块104，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征，并将所述融合特征输入至所述检测模块；

所述检测模块105，用于根据所述融合特征获取所述内窥镜图像对应的检测结果。

应理解，所述内窥镜图像获取模块101的输出端可以分别与所述卷积特征提取模块102以及所述人工特征提取模块103的输入端通信连接，所述卷积特征提取模块102和所述人工特征提取模块103的输出端则分别可以与所述特征融合模块104的输入端通信连接，所述特征融合模块104的输出端则可以与所述检测模块105的输入端通信连接，所述检测模块105的输出端则可以与所述无线胶囊内窥镜图像检测系统的显示装置和/或外部的终端设备通信连接，以将所述内窥镜图像对应的检测结果通过所述显示装置进行显示，和/或发送至相关用户对应的终端设备。

需要说明的，无线胶囊内窥镜可与所述无线胶囊内窥镜图像检测系统通信连接。具体地，无线胶囊内窥镜可以与所述无线胶囊内窥镜图像检测系统中的所述内窥镜图像获取模块101通信连接。

示例的，所述内窥镜图像可以为无线胶囊内窥镜拍摄的图像。在此，无线胶囊内窥镜拍摄胃肠道内的图像后，可以将拍摄的图像发送给所述内窥镜图像获取模块101，所述内窥镜图像获取模块101则可以从获取的图像中选取出待检测的内窥镜图像。

示例的，所述内窥镜图像可以为从无线胶囊内窥镜拍摄的视频中提取的各帧图像。在此，无线胶囊内窥镜可以拍摄胃肠道内的视频，并可以将拍摄的视频发送给所述内窥镜图像获取模块101，所述内窥镜图像获取模块101则可以从所述视频中提取出各图像帧，并可以从提取的各图像帧中选取出待检测的内窥镜图像。

由于目前使用的无线胶囊内窥镜在人体内的运动主要依赖于肠道的自然蠕动，而肠道的自然蠕动会导致无线胶囊内窥镜的运动时快时慢。当无线胶囊内窥镜运动缓慢甚至滞留时，无线胶囊内窥镜会拍摄大量的冗余图像；而当无线胶囊胶囊运动太快时，则会由于无线胶囊内窥镜的拍摄速度不及其自身的运动速度而拍摄出伪影图像.这两种图像均不具有检测意义。

本申请实施例中，所述无线胶囊内窥镜图像检测系统还可以包括图像增强模块。在此，在所述内窥镜图像获取模块101获取到无线胶囊内窥镜拍摄的图像后，可以首先通过所述图像增强模块来对图像进行增强处理，以消除无检测意义的图像，减少检测数量，提高检测效率。具体地，所述图像增强模块可以根据相邻图像之间的相似度删除相似度过高(如相似度大于设定阈值)的冗余图像，并可以根据伪影检测技术删除伪影图像。

另外，由于无线胶囊内窥镜的内部电量以及曝光度等原因，无线胶囊内窥镜拍摄的图像往往会出现亮度不均的问题，为了提高内窥镜图像的检测效率和检测准确性，所述图像增强模块还可以对无线胶囊内窥镜拍摄的图像进行图像归一化处理，并可以对归一化处理后的图像进行锐化处理，以突出图像中的有效信息，有利于更加高效和准确的检测。

应理解，所述内窥镜图像获取模块101获取到待检测的内窥镜图像后，可以将所述内窥镜图像分别发送至所述卷积特征提取模块102和所述人工特征提取模块103，以使得所述卷积特征提取模块102可以利用深度学习技术对所述内窥镜图像进行卷积特征的提取，并使得所述人工特征提取模块103可以对所述内窥镜图像进行人工设计特征(即颜色特征、纹理特征和形态特征)的提取。

如图2所示，所述卷积特征提取模块102中设置有预设卷积神经网络，所述预设卷积神经网络可以包括依次连接的卷积层、池化层和全连接层。其中，所述卷积层用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像对应的第一特征图；所述池化层用于对所述第一特征图进行特征降采样，得到所述第一特征图对应的第二特征图；所述全连接层用于根据所述第二特征图得到所述内窥镜图像的卷积特征。

示例的，所述预设卷积神经网络可以包括交替出现的卷积层(卷积层C1、卷积层C2、卷积层C3)与池化层(池化层MP1、池化层MP2、池化层MP3)以及全连接层FC1和全连接层FC2。其中，所述卷积层可以包括多个特征映射，每个特征映射可以通过一个大小为5×5的卷积核提取一种特征，所产生的每张特征映射图则可以包含多个神经元，以通过卷积运算增强原信号特征，并降低噪音。

例如，如图2所示，卷积层C1可以包括32个特征映射，输入至所述预设卷积神经网络的内窥镜图像(如大小为240×240的RGB图像)与这32个特征映射进行卷积后，可以在卷积层C1产生32个特征映射图，每张特征映射图可以由240×240个神经元组成。类似地，卷积层C2可以包括64个特征映射，输入至卷积层C2的特征映射图与这64个特征映射进行卷积后，可以在卷积层C2产生64个特征映射图，每张特征映射图可以由120×120个神经元组成；卷积层C3可以包括128个特征映射，输入至卷积层C3的特征映射图与这128个特征映射进行卷积后，可以在卷积层C3产生128个特征映射图，每张特征映射图可以由60×60个神经元组成。

应理解，所述池化层可以利用图像局部相关的特征对所述卷积层产生的特征映射图进行降采样，以通过池化操作在保留有用信息的基础上减少计算量。其中，所说池化层的采样步长可以为2。具体地，池化层MP1可以将其所连接的上一卷积层C1中大小为3×3的领域中的最大像素值作为池化层MP1中对应像素点的像素值，池化层MP2可以将其所连接的上一卷积层C2中大小为2×2的领域中的最大像素值作为池化层MP2中对应像素电的像素值，池化层MP3可以将其所连接的上一卷积层C3中大小为2×2的领域中的最大像素值作为池化层MP3中对应像素点的像素值。

在此，全连接层FC1具有128个输出节点，全连接层FC2具有5个输出节点。其中，在将所述内窥镜图像输入至所述卷积特征提取模块102后，所述卷积特征提取模块102可以通过所述预设卷积神经网络提取所述内窥镜图像的卷积特征，其中，全连接层FC1的输出向量为所述内窥镜图像的卷积特征。

卷积神经网络的强大拟合能力一般需要庞大的训练数据支撑，内窥镜图像的数据集一般比较小，而训练数据量较小时则会使卷积神经网络无法充分发挥其拟合能力。另外根据先验知识可知，出血图像和其他图像的主要区别在于颜色，溃疡区域和正常区域拥有不同的纹理特征，息肉和肿瘤则有着特殊的椭圆形形态。因此，在小数据集无法充分发挥卷积神经网络的特征提取能力时，可通过所述人工特征提取模块103提取的颜色特征、纹理特征、形态特征来与卷积特征进行互补，从而有利于内窥镜图像的检测。

示例的，所述人工特征提取模块103可以包括颜色区间划分单元和颜色特征获取单元；

所述颜色区间划分单元，用于将所述内窥镜图像转换至预设颜色空间，并将所述预设颜色空间划分为多个颜色区间；

所述颜色特征获取单元，用于获取所述内窥镜图像在各所述颜色区间的像素点数量，根据所述像素点数量确定所述内窥镜图像对应的颜色直方图，并根据所述颜色直方图获取所述内窥镜图像的颜色特征。

在此，所述预设颜色空间可以为HSV颜色空间，即可以利用HSV颜色直方图来获取所述内窥镜图像的颜色特征。具体地，可以首先将所述内窥镜图像由RGB颜色空间转换至HSV颜色空间，并将HSV颜色空间划分成若干个小的颜色区间(例如将H划分为8个颜色区间，将S、V均划分为3个颜色区间)，其中，每一个颜色区间均为HSV颜色直方图的一个颜色级；然后可以通过计算所述内窥镜图像中落在每个颜色区间的像素点数量，以根据各颜色区间的像素点数量得到所述内窥镜图像对应的HSV颜色直方图，从而可以根据HSV颜色直方图获取所述内窥镜图像的颜色特征。

示例的，所述人工特征提取模块103可以通过采用局部二进制特征来提取所述内窥镜图像的纹理特征。

示例的，所述人工特征提取模块103可以通过采用方向梯度直方图(HOG)特征来提取所述内窥镜图像的形态特征。具体地，可以首先将所述内窥镜图像划分为多个细胞单元，其中，每个细胞单元的梯度方向可分成9个方向块，即可以采用9个方向块区间来统计各细胞单元的梯度信息；然后可以统计各细胞单元中各像素点的梯度，并将各细胞单元中各像素点的梯度作为投影的权值进行加权，得到各细胞单元的梯度直方图，以根据各细胞单元的梯度直方图得到各细胞单元对应的HOG特征；随后可以将各细胞单元组成区块(如每一个区块可以由2×2个细胞单元构成)，串联一个区块内所有细胞单元的特征，得到该区块对应的HOG特征；最后可以串联所有区块的HOG特征，得到所述内窥镜图像的形态特征。

应理解，所述卷积特征提取模块102提取出所述内窥镜图像的卷积特征之后，可以将所述卷积特征输入至所述特征融合模块104，同时，所述人工特征提取模块103提取出所述内窥镜图像的颜色特征、纹理特征和形态特征后，也可以将所述颜色特征、所述纹理特征和所述形态特征输入至所述特征融合模块104，所述特征融合模块104则可以对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，以得到融合特征。

示例的，所述特征融合模块104可以包括归一化处理单元和拼接单元；

所述归一化处理单元，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行归一化处理；

所述拼接单元，用于对所述归一化处理单元归一化处理后的所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行特征拼接，得到所述融合特征。

在此，为消除不同特征的不同量级带来的不良影响，可以首先将所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征的所有元素都归一化到[0,1]之间，然后可以将归一化后的这四种特征进行拼接，得到融合特征。例如，当所述卷积特征、所述颜色特征、所述纹理特征、所述形态特征分别为1×L₁、1×L₂、1×L₃、1×L₄的特征向量时，则所得到的融合特征可以为1×(L₁+L₂+L₃+L₄)的特征向量。

由于不同的检测结果在不同部位出现的概率不同，例如，溃疡多发生在胃部，息肉在大肠比较常见，即可以根据历史检测数据确定各检测部位对应的各预设检测结果的先验概率值，在确定所述内窥镜图像的检测结果时，可以根据先验知识得到更加可靠的检测结果。

需要说明的是，由于胃肠道中不同部位的内窥镜图像往往会呈现不同的形态特征，比如，胃部的内窥镜图像一般有较多褶皱，小肠的内窥镜图像有很多绒毛，而大肠的内窥镜图像中肠壁一般比较平滑，但是含有较多内容物。示例的，所述无线胶囊内窥镜图像检测系统也可以包括部位识别模块，所述部位识别模块可以通过这些特征识别所述内窥镜图像对应的检测部位，并可以将所述内窥镜图像对应的检测部位发送至所述检测模块105，从而方便所述检测模块105根据所述检测部位准确获取所述内窥镜图像对应的检测结果。

在一种可能的实现方式中，所述检测模块105可以包括概率值获取单元、概率值确定单元和检测单元；

所述概率值获取单元，用于确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值；

所述概率值确定单元，用于根据所述融合特征确定各所述预设检测结果对应的第一预测概率值；

所述概率值确定单元，还用于根据各所述预设检测结果对应的先验概率值和第一预测概率值确定各所述预设检测结果对应的第二预测概率值；

所述检测单元，用于根据所述第二预测概率值获取所述内窥镜图像对应的检测结果。

在此，由于不同的检测结果在不同部位出现的概率不同，因此，所述概率值获取单元可以根据所述部位识别模块发送的信息确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值，以通过引入先验知识得到更加可靠的检测结果。其中，所述预设检测结果可以包括正常、出血、息肉、溃疡和肿瘤，所述先验概率值可以根据历史数据统计确定。

例如，当确定所述内窥镜图像对应的检测部位为胃部，并且假定胃部为正常、出血、息肉、溃疡、肿瘤的先验概率值分别为q₁、q₂、q₃、q₄、q₅，由于胃部多发生溃疡，即q₄会相对较大。因此，当所述概率值确定单元确定所述内窥镜图像为正常、出血、息肉、溃疡、肿瘤的第一预测概率值分别为P₁、P₂、P₃、P₄、P₅时，则确定所述内窥镜图像为正常、出血、息肉、溃疡、肿瘤的第二预测概率值则分别为q₁P₁、q₂P₂、q₃P₃、q₄P₄、q₅P₅，此时，所述内窥镜图像对应的检测结果则为q₁P₁、q₂P₂、q₃P₃、q₄P₄、q₅P₅中最大概率值所对应的预设检测结果。在此，由于q₄较大，所以q₄P₄的相对值会变大，所述内窥镜图像对应的检测结果为溃疡的概率会增大。由此可见，引入先验知识能够调整算法预测结果，从而得到更加可靠的检测结果。

在一种可能的实现方式中，所述检测模块内设置有预设分类器，所述无线胶囊内窥镜图像检测系统还包括可以训练模块；

所述训练模块，用于获取训练样本集，并根据所述训练样本集训练所述预设卷积神经网络，以及根据所述训练样本集和预设的损失函数训练所述预设分类器。

具体地，所述损失函数可以为：

其中，x⁽ⁱ⁾为第i个训练样本对应的融合特征，y⁽ⁱ⁾为第i个训练样本对应的标准检测结果，m为训练样本的数量，K为预设检测结果的数量，1{·}为指示函数，logP(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)为第i个训练样本在第k个预设检测结果中的第一预测概率值。

在此，所述训练模块可事先采集大量的内窥镜图像，其中，所采集的内窥镜图像包含正常内窥镜图像、出血内窥镜图像、息肉内窥镜图像、溃疡内窥镜图像和肿瘤内窥镜图像；然后可以由医生标记各内窥镜图像对应的标准检测结果，所述标准检测结果为正常、出血、息肉、溃疡、肿瘤中的任意一种，并可以利用标记后的内窥镜图像训练所述预设卷积神经网络。其中，所述预设卷积神经网络可以为前述的包括卷积层(卷积层C1、卷积层C2、卷积层C3)与池化层(池化层MP1、池化层MP2、池化层MP3)以及全连接层FC1和全连接层FC2的卷积神经网络，在此，全连接层FC2为具有5个输出节点的softmax分类器。需要说明的是，在利用所述训练样本集训练所述预设卷积神经网络的过程中，各卷积层(卷积层C1、卷积层C2、卷积层C3)和全连接层FC1使用ReLU函数作为激活函数，全连接层FC2使用softmax函数作为激活函数，并可以利用随机梯度下降法(stochastic gradient descent)和反向传播算法(back propagation)对所述预设卷积神经网络中的各个参数进行更新和优化。

应理解，所述训练模块还可以利用所述训练样本集和上述损失函数训练所述预设分类器，所述预设分类器也可以为具有5个输出节点的softmax分类器。即首先利用上述训练完成的预设卷积神经网络提取各训练样本的卷积特征，并利用所述人工特征提取模块103提取各训练样本的颜色特征、纹理特征和形态特征；然后可分别将各训练样本的卷积特征、颜色特征、纹理特征和形态特征输入至所述预设分类器进行训练，以优化所述预设分类器。

应理解，本申请实施例中，所述训练模块还可以采集大量的内窥镜图像来作为测试样本集，以通过测试样本集对训练完成的所述预设卷积神经网络和所述预设分类器进行测试，以进一步进行参数的更新与优化，提高内窥镜图像的检测准确度。在此，为保证卷积神经网络的泛化能力和测试的公平性，所述测试样本集对应的测试样本与所述训练样本集对应的训练样本可以为不同无线胶囊内窥镜所拍摄的图像或视频。

本申请实施例提供的无线胶囊内窥镜图像检测系统包括内窥镜图像获取模块、卷积特征提取模块、人工特征提取模块、特征融合模块和检测模块。内窥镜图像获取模块获取到内窥镜图像后，可以将内窥镜图像分别输入至卷积特征提取模块和人工特征提取模块；卷积特征提取模块和人工特征提取模块则可以分别对内窥镜图像进行特征提取，以得到内窥镜图像的卷积特征、颜色特征、纹理特征和形态特征并输入至特征融合模块；特征融合模块则可以对卷积特征、颜色特征、纹理特征和形态特征进行融合处理，并将融合得到的融合特征输入至检测模块，以使得检测模块可根据融合特征获取内窥镜图像对应的检测结果，以通过卷积特征提取模块和人工特征提取模块进行多特征提取，然后通过特征融合模块进行特征融合来获取能准确表征内窥镜图像的特征，从而提高内窥镜图像检测的准确性。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。

如图3所示，本申请实施例提供了一种无线胶囊内窥镜图像检测方法，所述无线胶囊内窥镜图像检测方法可以在上述所述的无线胶囊内窥镜图像检测系统中实现。其中，所述无线胶囊内窥镜图像检测方法，可以包括：

S301、获取待检测的内窥镜图像；

S302、提取所述内窥镜图像对应的卷积特征、颜色特征、纹理特征和形态特征；

S303、对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征；

S304、根据所述融合特征获取所述内窥镜图像对应的检测结果。

可选地，所述对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征，可以包括：

对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行归一化处理；

对归一化处理后的所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行特征拼接，得到所述融合特征。

在一种可能的实现方式中，所述根据所述融合特征获取所述内窥镜图像对应的检测结果，可以包括：

确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值；

根据所述融合特征确定各所述预设检测结果对应的第一预测概率值；

根据各所述预设检测结果对应的先验概率值和第一预测概率值确定各所述预设检测结果对应的第二预测概率值；

根据所述第二预测概率值获取所述内窥镜图像对应的检测结果。

可选地，所述提取所述内窥镜图像对应的卷积特征、颜色特征、纹理特征和形态特征，可以包括：

通过预设卷积神经网络的卷积层对所述内窥镜图像进行特征提取，得到所述内窥镜图像对应的第一特征图；

通过所述预设卷积神经网络的池化层对所述第一特征图进行特征降采样，得到所述第一特征图对应的第二特征图；

利用所述预设卷积神经网络的全连接层根据所述第二特征图得到所述内窥镜图像的卷积特征。

示例的，所述提取所述内窥镜图像对应的卷积特征、颜色特征、纹理特征和形态特征，可以包括：

将所述内窥镜图像转换至预设颜色空间，并将所述预设颜色空间划分为多个颜色区间；

获取所述内窥镜图像在各所述颜色区间的像素点数量，根据所述像素点数量确定所述内窥镜图像对应的颜色直方图，并根据所述颜色直方图获取所述内窥镜图像的颜色特征。

在一种可能的实现方式中，

所述根据所述融合特征获取所述内窥镜图像对应的检测结果，可以包括：

利用预设分类器根据所述融合特征获取所述内窥镜图像对应的检测结果；

相应地，所述内窥镜图像检测方法，还可以包括：获取训练样本集，并根据所述训练样本集训练所述预设卷积神经网络，以及根据所述训练样本集和预设的损失函数训练所述预设分类器。

具体地，所述损失函数为：

其中，x⁽ⁱ⁾为第i个训练样本对应的融合特征，y⁽ⁱ⁾为第i个训练样本对应的标准检测结果，m为训练样本的数量，K为预设检测结果的数量，1{·}为指示函数，logP(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)为第i个训练样本在第k个预设检测结果中的第一预测概率值。

上述方法中各步骤的具体实现过程，可以参考前述系统实施例中的对应过程，在此不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4为本申请一实施例提供的终端设备的结构示意图。如图4所示，该实施例的终端设备4包括：至少一个处理器40(图4中仅示出一个)处理器、存储器41以及存储在所述存储器41中并可在所述至少一个处理器40上运行的计算机程序42，所述处理器40执行所述计算机程序42时实现上述任意各个无线胶囊内窥镜图像检测方法实施例中的步骤。

所述终端设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的举例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，该处理器40还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器41在一些实施例中可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41在另一些实施例中也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种无线胶囊内窥镜图像检测系统，其特征在于，包括内窥镜图像获取模块、卷积特征提取模块、人工特征提取模块、特征融合模块和检测模块；

所述内窥镜图像获取模块，用于获取待检测的内窥镜图像，并将所述内窥镜图像分别输入至所述卷积特征提取模块和所述人工特征提取模块；

所述卷积特征提取模块，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的卷积特征，并将所述卷积特征输入至所述特征融合模块；

所述人工特征提取模块，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像的颜色特征、纹理特征和形态特征，并将所述颜色特征、所述纹理特征和所述形态特征输入至所述特征融合模块；

所述特征融合模块，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征，并将所述融合特征输入至所述检测模块；

所述检测模块，用于根据所述融合特征获取所述内窥镜图像对应的检测结果。

2.如权利要求1所述的无线胶囊内窥镜图像检测系统，其特征在于，所述特征融合模块包括归一化处理单元和拼接单元；

所述归一化处理单元，用于对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行归一化处理；

所述拼接单元，用于对所述归一化处理单元归一化处理后的所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行特征拼接，得到所述融合特征。

3.如权利要求1所述的无线胶囊内窥镜图像检测系统，其特征在于，所述检测模块包括概率值获取单元、概率值确定单元和检测单元；

所述概率值获取单元，用于确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值；

所述概率值确定单元，用于根据所述融合特征确定各所述预设检测结果对应的第一预测概率值；

所述概率值确定单元，还用于根据各所述预设检测结果对应的先验概率值和第一预测概率值确定各所述预设检测结果对应的第二预测概率值；

所述检测单元，用于根据所述第二预测概率值获取所述内窥镜图像对应的检测结果。

4.如权利要求1所述的无线胶囊内窥镜图像检测系统，其特征在于，所述卷积特征提取模块内设置有预设卷积神经网络，所述预设卷积神经网络包括依次连接的卷积层、池化层和全连接层；

所述卷积层，用于对所述内窥镜图像进行特征提取，得到所述内窥镜图像对应的第一特征图；

所述池化层，用于对所述第一特征图进行特征降采样，得到所述第一特征图对应的第二特征图；

所述全连接层，用于根据所述第二特征图得到所述内窥镜图像的卷积特征。

5.如权利要求4所述的无线胶囊内窥镜图像检测系统，其特征在于，所述检测模块内设置有预设分类器，所述内窥镜图像检测系统还包括训练模块；

所述训练模块，用于获取训练样本集，并根据所述训练样本集训练所述预设卷积神经网络，以及根据所述训练样本集和预设的损失函数训练所述预设分类器。

6.如权利要求5所述的无线胶囊内窥镜图像检测系统，其特征在于，所述损失函数为：

其中，x⁽ⁱ⁾为第i个训练样本对应的融合特征，y⁽ⁱ⁾为第i个训练样本对应的标准检测结果，m为训练样本的数量，K为预设检测结果的数量，1{·}为指示函数，logP(y⁽ⁱ⁾＝k|x⁽ⁱ⁾；θ)为第i个训练样本在第k个预设检测结果中的第一预测概率值。

7.如权利要求1所述的无线胶囊内窥镜图像检测系统，其特征在于，所述人工特征提取模块包括颜色区间划分单元和颜色特征获取单元；

所述颜色区间划分单元，用于将所述内窥镜图像转换至预设颜色空间，并将所述预设颜色空间划分为多个颜色区间；

所述颜色特征获取单元，用于获取所述内窥镜图像在各所述颜色区间的像素点数量，根据所述像素点数量确定所述内窥镜图像对应的颜色直方图，并根据所述颜色直方图获取所述内窥镜图像的颜色特征。

8.如权利要求1至7中任一项所述的无线胶囊内窥镜图像检测系统，其特征在于，所述内窥镜图像检测系统还包括图像增强模块；

所述图像增强模块，用于对所述内窥镜图像进行图像归一化处理，并对归一化处理后的所述内窥镜图像进行锐化处理。

9.一种无线胶囊内窥镜图像检测方法，其特征在于，包括：

获取待检测的内窥镜图像；

提取所述内窥镜图像的卷积特征、颜色特征、纹理特征和形态特征；

对所述卷积特征、所述颜色特征、所述纹理特征和所述形态特征进行融合处理，得到融合特征；

根据所述融合特征获取所述内窥镜图像对应的检测结果。

10.如权利要求9所述的无线胶囊内窥镜图像检测方法，其特征在于，所述根据所述融合特征获取所述内窥镜图像对应的检测结果，包括：

确定所述内窥镜图像对应的检测部位，并获取所述检测部位对应的各预设检测结果的先验概率值；

根据所述融合特征计算各所述预设检测结果对应的第一预测概率值；

根据各所述预设检测结果对应的先验概率值和第一预测概率值确定各所述预设检测结果对应的第二预测概率值；

根据所述第二预测概率值获取所述内窥镜图像对应的检测结果。

Images