CN114926448A - 一种胶囊内窥镜图像特征点提取方法 - Google Patents

Abstract

本发明公开了一种胶囊内窥镜图像特征点提取方法，属于计算机视觉与医学相结合的交叉学科技术领域。本发明通过研究胶囊内窥镜图像灰度变化小导致的特征点难以提取问题，将图像进行块状划分，利用变异系数计算区域块中像素点的灰度差异从而得到局部自适应阈值，实现了FAST角点的自适应提取，通过四叉树将关键点进行筛选，进一步得到了分布均匀的关键点，基于BEBLID特征点描述符对关键点进行描述，完成了对胶囊内窥镜图像特征点的提取，解决了灰度差异不大导致的胶囊内窥镜图像特征点难以提取问题。

Description

一种胶囊内窥镜图像特征点提取方法

技术领域

本发明涉及一种胶囊内窥镜图像特征点提取方法，属于计算机视觉与医学相结合的交叉学科技术领域。

背景技术

磁控式无线胶囊内窥镜(WCE)作为人类消化系统的无创无痛、无交叉感染的临床成像和诊断工具已被普遍使用。然而，目前WCE还不能实现自控式自适应，包括对通过分析WCE视频发现的异常进行有效诊断是需要实现胶囊在消化道内定位和三维恢复等，目前能实现相机良好定位的SLAM方法和三维结构恢复的SFM方法针对内腔视频几乎是失效的，主要是胃肠腔内表面的高光性和视频帧的低帧率所引起的特征无法提取所致。这极大限制了胶囊内窥镜的适用性和普适性。

特征点是图像灰度值发生剧烈变化或者在图像边缘上曲率较大的点。提取特征点的目的是对图中一些重要区域进行提炼表达，是后续的特征匹配、位姿估计、三维结构恢复等视觉任务的基础。特征点无法提取会导致后续的胶囊内窥镜定位、胃肠道三维结构恢复以及病灶识别都无法顺利进行。

目前，用在胶囊内窥镜图像特征点提取的方法，主要有SIFT、SURF、ORB等方法。Spyrou等人对各特征提取方法在胶囊内窥镜图像上进行了比较评估[E.Spyrou,D.K.Iakovidis,S.Niafas,et al.Comparative assessment of feature extractionmethods for visual odometry in wireless capsule endoscopy[J].Computers inBiology&Medicine,2015,65:297-307.]，发现胶囊内窥镜图像的灰度变化很小，导致这些基于灰度值的方法在对纹理较弱的胶囊内窥镜图像区域并不能提取到足够多的特征点。

发明内容

为了解决目前存在的胶囊内窥镜图像灰度变化小导致的特征点难以提取问题，本发明提供了一种胶囊内窥镜图像特征点提取方法，包括如下步骤：

步骤1：获取胶囊内窥镜图像，构造图像金字塔，将所述图像金字塔每一层的图像划分成大小相同的图像块，实现局部划分；

步骤2：计算所述步骤1每个图像块中像素点的灰度值的变异系数作为在当前图像块中提取FAST角点的阈值；

步骤3：根据步骤2计算得到的阈值，在所述图像块中提取FAST角点作为特征点，利用四叉树对提取到的特征点进行均匀化筛选；

步骤4：采用BEBLID特征描述符对步骤3处理完的特征点进行描述。

可选的，所述的步骤2具体为：

利用变异系数计算自适应阈值时，首先将所述图像块按设定的网格大小划分为l×h个网格，每个网格作为一个独立的图像区域，所述图像块的阈值为：

其中，D_i表示网格i中像素点的灰度值的标准差，M_i表示网格i中像素点的灰度值的平均值，α为所述图像块中像素点的灰度值变异系数。

可选的，所述图像块中像素点的灰度值变异系数α为：

其中，M′_i为网格i中像素点的灰度值的截平均差，n_i表示网格i中像素点的个数，f_i(x，y)表示网格i中(x，y)处的灰度值，f_i(x，y)_max表示网格i中灰度值的最大值，f_i(x，y)_min表示网格i中灰度值的最小值。

可选的，所述的步骤3具体为：

步骤31：根据图像金字塔层总数和需要提取的特征点总数，计算出图像金字塔每一层中需要提取的特征点数，然后根据面积将特征点均匀分布到图像金字塔的每一层；

步骤32：在所述步骤1划分的图像块中提取FAST角点，并利用图像块的阈值T进行筛选；

步骤33：使用四叉树对图像金字塔每一层中的特征点进行平均和分发。将整个图像作为四叉树的初始节点，得到初始的四叉树结构，如果节点里面的特征点数大于1，把该节点分成四个节点，如果节点里面的特征点为空，则删掉；如果新分的节点里面的特征点数大于1，就再分裂成4个节点；当节点的总数量大于该图层应分配的特征点数量N_α时停止分裂，或者无法再进行分裂时停止分裂，最后从每个节点里面选择一个响应值最高的FAST角点。

可选的，所述的步骤31包括：

假设第0层图像的长、宽分别为L、W，面积为C＝L×W，比例因子为s，0＜s＜1，则整个金字塔的总面积如式(4)所示：

那么，单位面积的特征点数量如式(5)所示：

那么，第0层应分配的特征点数量如式(6)所示：

第α层应分配的特征点数量为：

其中，N为需要提取的特征点总数。

可选的，所述的步骤4具体为：

BEBLID计算的是一个区域内的平均灰度值差异，在特征点周围选择固定数量的不同大小的方形区域对，每对方形区域大小相同，计算每对方形块中像素点的平均灰度值的差异来描述特征点；

BEBLID特征描述符的提取函数f(x)为：

其中I(q)、I(r)是像素点q和r的灰度值，R(p₁，s)，R(p₂，s)是中心位于p₁、p₂的方形边框，大小是s。

可选的，所述的步骤1中图像金字塔一共8层，每层的缩放比例为1.2。

可选的，所述的步骤1将金字塔的每一层图像划分成30*30像素大小的图像块。

本发明的第二个目的在于提供一种胶囊内窥镜图像分类方法，所述图像分类方法利用上述的一种胶囊内窥镜图像特征点提取方法提取图像特征，然后根据提取的图像特征进行图像分类。

本发明的第三个目的在于提供一种内窥镜图像分类系统，包括：

图像获取模块，用于获取胶囊内窥镜图像；

数据处理模块，采用上述的一种胶囊内窥镜图像特征点提取方法提取图像特征和/或上述的一种胶囊内窥镜图像分类方法对图像获取模块获取的图像进行处理；

输出显示模块，用于输出所述数据处理模块的处理结果。

本发明有益效果是：

本发明将图像进行块状划分，利用变异系数计算区域块中像素点的灰度差异从而得到局部自适应阈值，实现了自适应提取胶囊内窥镜图像的FAST角点，通过四叉树将关键点进行筛选，进一步得到了分布均匀的关键点，基于BEBLID特征点描述符对关键点进行描述，完成了对胶囊内窥镜图像特征点的提取，解决了灰度差异不大导致的胶囊内窥镜图像特征点难以提取问题。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例二中左图提取的特征点示意图。

图2为本发明实施例二中右图提取的特征点示意图。

图3为本发明实施例二中左图和右图提取的特征点的匹配结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种胶囊内窥镜图像特征点提取方法，包括如下步骤：

步骤1：获取胶囊内窥镜图像，构造图像金字塔，将所述图像金字塔每一层的图像划分成大小相同的图像块，实现局部划分；

步骤2：计算所述步骤1每个图像块中像素点的灰度值的变异系数作为在当前图像块中提取FAST角点的阈值；

步骤3：根据步骤2计算得到的阈值，在所述图像块中提取FAST角点作为特征点，利用四叉树对提取到的特征点进行均匀化筛选；

步骤4：采用BEBLID特征描述符对步骤3处理完的特征点进行描述。

实施例二:

本实施例提供一种胶囊内窥镜图像特征点提取方法，包括如下步骤：

步骤1：构造图像金字塔，金字塔一共8层，每层的缩放比例为1.2，将金字塔的每一层图像划分成30*30像素大小的图像块。

步骤2：利用变异系数计算自适应阈值时，首先将图像按设定的网格大小划分为l×h个网格，每个网格作为一个独立的图像区域。在每个网格中阈值T的计算如式(1)所示：

其中，D_i表示网格i中像素点的灰度值的标准差，M_i表示网格i中像素点的灰度值的平均值。

其中，M′_i为网格i中像素点的灰度值的截平均差，n_i表示网格i中像素点的个数，f_i(x，y)表示网格i中(x，y)处的灰度值，f_i(x，y)_max表示网格i中灰度值的最大值，f_i(x，y)_min表示网格i中灰度值的最小值。

步骤3：提取FAST角点的具体步骤如下：

步骤31：根据图像金字塔层总数和需要提取的特征点总数，计算出图像金字塔每一层中需要提取的特征点数，然后根据面积将特征点均匀分布到图像金字塔的每一层。假设第0层图像的长、宽分别为L、W，面积为C＝L×W，比例因子为s(0＜s＜1)，则整个金字塔的总面积如式(4)所示：

那么，单位面积的特征点数量如式(5)所示：

那么，第0层应分配的特征点数量如式(6)所示：

然后推出第α层应分配的特征点数量如式(7)所示：

步骤32：在步骤1划分的块中提取FAST角点，并利用当前块的自适应阈值T进行筛选。

步骤33：使用四叉树对图像金子塔每一层中的特征点进行平均和分发。将整个图像作为四叉树的初始节点，得到初始的四叉树结构，如果节点里面的特征点数大于1，把该节点分成四个节点，如果节点里面的特征点为空，则删掉。如果新分的节点里面的特征点数大于1，就再分裂成4个节点。如此，一直分裂。当节点的总数量大于该图层应分配的特征点数量N_α时停止分裂，或者无法再进行分裂。最后从每个节点里面选择一个响应值最高的FAST角点。

步骤4：BEBLID计算的是一个区域内的平均灰度值差异。在特征点周围选择固定数量的不同大小的方形区域对，每对方形区域大小相同，计算每对方形块中像素点的平均灰度值的差异来描述特征点。

BEBLID特征描述符的提取函数f(x)定义如式(8)所示：

其中I(q)、I(r)是像素点q和r的灰度值，R(p₁，s)，R(p₂，s)是中心位于p₁、p₂的方形边框，大小是s。

本实施例在Linux操作系统下利用VS2019、OpenCV来完成，硬件环境是一台3.20GHz的i7处理器，8GB运行内存的笔记本电脑，实验过程相对稳定。

实验效果如附图所示，图1、图2是在胶囊内窥镜所拍摄的视频中相邻的两帧图像上提取特征点的图像，小圆圈代表提取到的特征点。图3是将图1、图2中提取到的特征点进行匹配的图像，其中的线代表两张图像中的特征点的匹配关系，图中可以看出，本发明的图像特征点提取方法，可以准确提取出胶囊内窥镜图片中的特征点。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种胶囊内窥镜图像特征点提取方法，其特征在于，包括如下步骤：

步骤1：获取胶囊内窥镜图像，构造图像金字塔，将所述图像金字塔每一层的图像划分成大小相同的图像块，实现局部划分；

步骤2：计算所述步骤1每个图像块中像素点的灰度值的变异系数作为在当前图像块中提取FAST角点的阈值；

步骤3：根据步骤2计算得到的阈值，在所述图像块中提取FAST角点作为特征点，利用四叉树对提取到的特征点进行均匀化筛选；

步骤4：采用BEBLID特征描述符对步骤3处理完的特征点进行描述。

2.根据权利要求1所述的方法，其特征在于，所述的步骤2具体为：

利用变异系数计算图像块的阈值时，首先将所述图像块按设定的网格大小划分为l×h个网格，每个网格作为一个独立的图像区域，所述图像块的阈值为：

其中，D_i表示网格i中像素点的灰度值的标准差，M_i表示网格i中像素点的灰度值的平均值，α为所述图像块中像素点的灰度值变异系数。

3.根据权利要求2所述的方法，其特征在于，所述图像块中像素点的灰度值变异系数α为：

其中，M′_i为网格i中像素点的灰度值的截断平均值，n_i表示网格i中像素点的个数，f_i(x,y)表示网格i中(x,y)处的灰度值，f_i(x,y)_max表示网格i中灰度值的最大值，f_i(x,y)_min表示网格i中灰度值的最小值。

4.根据权利要求3所述的方法，其特征在于，所述的步骤3具体为：

步骤31：根据图像金字塔层总数和需要提取的特征点总数，计算出图像金字塔每一层中需要提取的特征点数，然后根据面积将特征点均匀分布到图像金字塔的每一层；

步骤32：在所述步骤1划分的图像块中提取FAST角点，并利用图像块的阈值T进行筛选；

步骤33：使用四叉树对步骤31中图像金字塔每一层中的特征点进行平均和分发；将整个图像作为四叉树的初始节点，得到初始的四叉树结构，如果节点里面的特征点数大于1，把该节点分成四个节点，如果节点里面的特征点为空，则删掉；如果新分的节点里面的特征点数大于1，就再分裂成4个节点；当节点的总数量大于该图层应分配的特征点数量N_α时停止分裂，或者无法再进行分裂时停止分裂，最后从每个节点里面选择一个响应值最大的FAST角点。

5.根据权利要求4所述的方法，其特征在于，所述的步骤31包括：

假设第0层图像的长、宽分别为L、W，面积为C＝L×W，比例因子为s，0<s<1，则整个金字塔的总面积如式(4)所示：

那么，单位面积的特征点数量如式(5)所示：

那么，第0层应分配的特征点数量如式(6)所示：

第α层应分配的特征点数量为：

其中，N为需要提取的特征点总数。

6.根据权利要求5所述的方法，其特征在于，所述的步骤4具体为：

BEBLID计算的是一个区域内的平均灰度值差异，在特征点周围选择固定数量的不同大小的方形区域对，每对方形区域大小相同，计算每对方形块中像素点的平均灰度值的差异来描述特征点；

BEBLID特征描述符的提取函数f(x)为：

其中I(q)、I(r)是像素点q和r的灰度值，R(p₁,s)，R(p₂,s)是中心位于p₁、p₂的方形边框，大小是s。

7.根据权利要求1所述的方法，其特征在于，所述的步骤1中图像金字塔，金字塔一共8层，每层的缩放比例为1.2。

8.根据权利要求1所述的方法，其特征在于，所述的步骤1将金字塔的每一层图像划分成30*30像素大小的图像块。

9.一种胶囊内窥镜图像分类方法，其特征在于，所述图像分类方法利用权利要求1-8任一项所述的一种胶囊内窥镜图像特征点提取方法提取图像特征，然后根据提取的图像特征进行图像分类。

10.一种内窥镜图像分类系统，其特征在于，所述系统包括：

图像获取模块，用于获取胶囊内窥镜图像；

数据处理模块，采用权利要求1-8任一项所述的一种胶囊内窥镜图像特征点提取方法提取图像特征和/或权利要求9所述的一种胶囊内窥镜图像分类方法对图像获取模块获取的图像进行处理；

输出显示模块，用于输出所述数据处理模块的处理结果。

Images