CN105069131A - 基于视觉词汇和局部描述符的胶囊内镜图像检索方法 - Google Patents

Abstract

本发明提出一种基于视觉词汇和局部描述符的胶囊内镜图像检索方法，具体包括以下步骤：建立图像库，所述图像库中包括标准病例图像和待检索图像；将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间，量化处理并提取其颜色直方图；提取胶囊内镜图像的LBP纹理直方图；加权融合颜色特征和纹理特征，得到图像的视觉词汇；提取胶囊内镜图像的Sift特征描述符；进行相似度测定，得到检索结果。本发明用于胶囊内镜图像处理，有效地减轻阅片医生的劳动强度，提高诊断效率。

Description

基于视觉词汇和局部描述符的胶囊内镜图像检索方法

技术领域

本发明属于医学图像检索领域，具体来说涉及一种基于视觉词汇和局部描述符的胶囊内镜图像检索方法。

背景技术

消化道疾病，如肿瘤、溃疡和出血等极大地威胁着人体的健康。传统的消化道检查方式对人体有着不同程度的损伤，且无法对小肠部位进行检查。胶囊内镜，是一种新型的消化道疾病检测技术。患者吞服胶囊，胶囊利用胃肠蠕动提供的动力向前运动，并对人体消化道进行连续拍摄，拍摄到的图片由阅片医生进行检查与诊断。检测过程无痛苦，且能对整个消化道进行诊断。

胶囊内镜扩展了消化道检查的视野，克服了传统消化道疾病检查的缺陷，成为消化道疾病尤其是小肠疾病诊断的首选方法。但是，由于胶囊内镜在整个检测过程中会产生约55000张的胶囊内镜图像，医生一般需要2小时才能完成一个完整病例的诊断，诊断效率低下，难于应对较大的检查量。因此，利用图像处理技术进行胶囊内镜病变图像快速检测成为研究的热点。

胶囊内镜检测病症主要包括出血、肿瘤、溃疡和息肉等。病变组织周围常伴有出血和红肿症状，因此颜色信息在辨识异常图像和正常图像时有着重要的应用价值。纹理是胶囊内镜图像重要的全局信息，是医生诊断内镜图像重要的视觉特性之一。对于肿瘤、溃疡等组织形变症状，通常会形成其病症独特的局部细节特征。基于此，本发明综合利用内镜图像的视觉感官特性和局部细节信息实现图像检索工作。

发明内容

本发明针对胶囊内镜图像，提出一种基于视觉词汇和局部描述符的图像检索方法。

首先，提取胶囊内镜图像两个重要的视觉特征，分别为颜色直方图和LBP(LocalBinaryPatterns)纹理直方图，通过融合得到胶囊内镜图像的视觉词汇；然后，提取胶囊内镜图像的Sift(Scaleinvariantfeaturetransform)特征描述符作为图像的局部细节特征；最后，进行图像相似度测定，得到检索结果。具体的操作流程如下：

1.视觉词汇的获取

视觉词汇描述的是胶囊内镜图像视觉特征。对于胶囊内镜图像，颜色特征和纹理特征是其最重要的视觉特征。因此，本发明提取并融合胶囊内镜图像的颜色直方图和LBP纹理直方图，作为图像的视觉词汇。

(1)提取胶囊内镜图像颜色直方图

颜色信息是医生诊断胶囊内镜病例图像的重要参考依据之一，如出血症状所呈现的红色信息、胆汁异常胃部出现黄色物体等。为了让胶囊内镜病例图像更加符合医生的视觉特性，本发明将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间。具体转换公式如下：

$H=\left\{\begin{array}{cc}{\cos }^{-1}\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-{\cos }^{-1}\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& G<B\end{array}\right.$

$S=1-\frac{3min(R,G,B)}{R+G+B}$

$I=\frac{R+G+B}{3}$

上式中，R,G,B分别表示RGB颜色空间的三分量红色(Red)、绿色(Green)和蓝色(Blue)。H,S,I分别表示HSI颜色空间的三分量色调(Hue)、饱和度(Saturation)和亮度(Intensity)。

为了简化运算，同时根据HSI颜色空间色彩的特征，本发明将H,S,I三个分量分别进行量化。具体的量化方式为：将色调H的[0,360]区间量化成非等间隔的8个子区间，[316,360]和[0,20]量化成0，[21,40]量化成1，[41,75]量化成2，[76,155]量化成3，[156,190]量化成4，[191,270]量化成5，[271,295]量化成6，[296,315]量化成7；饱和度S和亮度I的[0,1]都非等间隔量化成3个子区间，S,I∈[0,0.2)量化成0，S,I∈[0.2,0.7)量化成1，S,I∈[0.7,1]量化成2。

胶囊内镜图像色彩信息丰富，而且很多病变伴随着出血变红现象，这决定了胶囊内镜图像的色调H对医生的判读起到重要作用，所以在胶囊内镜图像颜色特征获取时，对色调分量设置较大的权重，对其他两个设置较小的权重，具体的权值数由S,I的量化级数确定。

假设获取的胶囊内镜图像颜色特征为F_c，饱和度S和亮度I的量化级数分别为Q_S和Q_I，由量化过程可知，Q_S＝Q_I＝3。所以，颜色特征F_c的数学表达式如下：

F_c＝Q_SQ_IH+Q_IS+I

＝9H+3S+I

上式中，H,S,I分别表示HSI颜色空间的三分量。

(2)提取胶囊内镜图像LBP纹理直方图

纹理是物体表面的固有特征之一，对于胶囊内镜图像，表面的纹理信息对于医生诊断有着重要的参考价值，如病变形成的裂纹、点刺等。本发明提取内镜图像的LBP纹理直方图来描述图像纹理信息。

LBP纹理直方图的提取步骤为：首先将检测窗口划分为16*16的小区域(cell)。对于每个cell中的每个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；然后计算每个cell的直方图，即每个数字(十进制数LBP值)出现的频率，并对该直方图进行归一化处理；最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理直方图F_t；

(3)视觉词汇的获取

融合(1)和(2)得到的颜色特征F_c和纹理特征F_t，形成胶囊内镜图像的视觉词汇F_v，具体公式如下：

F_v＝w_c*F_c+w_t*F_t

式中，w_c和w_t分别表示内镜图像颜色特征F_c和纹理特征F_t的权重。

采用实验的方式来确定w_c和w_t；具体如下：实验中w_c和w_t任意选择多种组合，得到每种组合平均检索精度；得到最大的平均检索精度，对应的w_c和w_t即为最优的权值组合。

为了让权值w_c和w_t更好地反映胶囊内镜的图像特征，本发明采用实验的方式来确定权值。具体的方法如下：

现有O幅待检索图像，以视觉词汇为索引，利用视觉词汇的欧式距离来进行图像相似度测定。假设w_c+w_t＝1，那么，实验中w_c和w_t可选择如下表格中的9种组合，得到平均检索精度。

(wc,wt)	(0.9,0.1)	(0.8,0.2)	(0.7,0.3)	(0.6,0.4)	(0.5,0.5)
						Z	Z1	Z2	Z3	Z4	Z5
(wc,wt)	(0.4,0.6)	(0.3,0.7)	(0.2,0.8)	(0.1,0.9)
						Z	Z6	Z7	Z8	Z9

上表中，Z表示O次检索精度的平均值，Z₁～Z₉分别表示9种组合平均检索精度。根据实验得到Z₁～Z₉值，对比得到最大的平均检索精度，对应的(w_c,w_t)即为最优的权值组合。

针对不同的实验样本，本发明利用实验的方式获取最优的权值组合(w_c,w_t)，这样有效地增加了视觉词汇的针对性和有效性。

2.提取胶囊内镜图像的Sift描述符

尺度不变特征转换(Scaleinvariantfeaturetransform)简称Sift，是一种基于尺度空间，对图像平移、旋转、缩放等保持不变的图像局部描述子。对于胶囊内镜图像，不同患者、不同位置的不同组织形态图像，由于形态本身的差异性导致其Sift特征描述符匹配对较少。而具有相同病理特征的内镜图像，由于其局部特征的相似性导致其局部Sift特征具有一定的相似性，如肿瘤形成的局部肉球和溃疡形成的凹陷坑等，且这些特征对缩放、平移和旋转都非常敏感，而Sift特征恰好对于图像局部特征的缩放、平移和旋转有着很好的鲁棒性。因此，本发明提取胶囊内镜图像的Sift特征描述符用于描述图像的局部特征。

Sift特征描述符的提取过程如下：

(1)尺度空间构造；

(2)局部极值点检测；

(3)精确确定极值点位置；

(4)特征点方向分配；

(5)生成特征描述符。

3.相似度测定

为了更好地描述胶囊内镜图像特征，本发明提取了图像的颜色特征、纹理特征和Sift特征，并根据胶囊内镜图像特征，将颜色特征和纹理特征融合形成图像的视觉词汇。最后，结合内镜图像的视觉词汇和Sift特征来实现图像相似度测定。

针对得到的视觉词汇F_v，本发明采用欧氏距离的方式来测定图像之间的相似度。假设现有两幅胶囊内镜图像，分别为M、P，那么它们之间视觉词汇的欧氏距离为：

${\mathrm{Dis}}_{MP}=\sqrt{\underset{i=0}{\overset{N-1}{\&Sigma;}}{(F_v^M-F_v^P)}^2}$

上式中，Dis_MP表示两幅图像视觉词汇的欧氏距离，N为视觉词汇的维度，和分别表示图像M、P的视觉词汇特征。Dis_MP值越小，表示两幅图像之间的相似度越大；反之，Dis_MP值越大，表示两幅图像之间的相似度越小。

根据2可得到胶囊内镜图像M、P的sift特征描述符。得到特征描述符后，进行胶囊内镜图像M、P特征描述符匹配。计算匹配的特征描述符之间欧氏距离，并找出最小值D_min用于匹配对的筛选。若匹配的特征描述符之间的欧氏距离小于2D_min，认为此匹配是符合要求的。最终得到图像M、P的匹配对数，假设值为L_MP。两幅图像匹配对数越多，即L_MP值越大，图像相似度越高；反之，L_MP值越小，图像相似度越低。

得到胶囊内镜图像M、P的视觉词汇欧式距离Dis_MP和Sift特征匹配对数L_MP后，本发明采用比值法来描述胶囊内镜图像之间相似度差异。假设两幅图像M、P之间的差异值为R，那么

$R=\frac{{\mathrm{Dis}}_{MP}}{L_{MP}}$

由于，Dis_MP值越小，图像之间的相似度越大，L_MP值越大，图像之间的相似度越大，且Dis_MP和L_MP的值与相似度呈现单调关系。因此，R值反映的是图像差异性大小，R值越小，图像之间的差异性越小；反之，R值越大，图像的差异性越大。根据R值从小到大，得到的检索结果。

有益效果

1.本发明综合利用了胶囊内镜图像的颜色信息、纹理信息和局部细节信息，实现了胶囊内镜图像检索，为内镜医生提高诊断质量和降低劳动强度提供了技术支持。

2.本发明将胶囊内镜图像的颜色信息和纹理信息融合，形成图像的视觉词汇，并结合图像局部细节信息，更加全面地描述了胶囊内镜图像特征。

附图说明

图1是本发明的总体结构流程图；

图2是一张病例胶囊内镜彩色图像；

图3采用实验方法一得到的图像检索结果图；

图4采用实验方法二得到的图像检索结果图；

图5采用实验方法三得到的图像检索结果图。

具体实施方式

图1为本发明的总体结构流程图，下面为本发明具体的实施步骤：

1.建立图像库

选取30张胶囊内镜彩色图像作为标准病例图像，然后制作一个包含300张内镜图像的待检索图像库，其中有30张是与标准病例图像相似的疑似病例图像。

2.图像视觉词汇获取

(1)提取胶囊内镜图像颜色特征

将胶囊内镜图像的颜色空间由RGB转换到HSI：所述的RGB颜色空间包括红色(Red)分量、绿色(Green)分量和蓝色(Blue)分量,所述的HSI颜色空间包括色调(Hue)分量、饱和度(Saturation)分量和亮度(Intensity)分量。得到像素的HSI颜色值后，对颜色进行非等间隔量化，量化具体细节参见发明方法。

然后，根据量化结果并结合下式得到胶囊内镜图像颜色特征F_c。

F_c＝9H+3S+I

(2)提取胶囊内镜图像纹理特征

首先将检测窗口划分为16*16的小区域(cell)。对于每个cell中的每个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；然后计算每个cell的直方图，即每个数字(十进制数LBP值)出现的频率，并对该直方图进行归一化处理；最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理直方图F_t；

(3)视觉词汇的获取

融合(1)和(2)得到的颜色特征F_c和纹理特征F_t，形成胶囊内镜图像的视觉词汇F_v，具体公式如下：

F_v＝w_c*F_c+w_t*F_t

式中，w_c和w_t分别表示内镜图像颜色特征F_c和纹理特征F_t的权重。

(4)w_c和w_t的确定

视觉词汇F_v中包含两个权值，分别为w_c和w_t。本发明通过实验确定w_c和w_t的值，具体方式如下：

利用现有的检索库进行实验，以视觉词汇为索引，相似度测定利用视觉词汇的欧式距离Dis_MP来衡量。假设w_c+w_t＝1，那么，实验中w_c和w_t选择如下表格中的9种组合，得到平均检索精度。

(wc,wt)	(0.9,0.1)	(0.8,0.2)	(0.7,0.3)	(0.6,0.4)	(0.5,0.5)
						Z	Z1	Z2	Z3	Z4	Z5
(wc,wt)	(0.4,0.6)	(0.3,0.7)	(0.2,0.8)	(0.1,0.9)
						Z	Z6	Z7	Z8	Z9

上表中，Z表示30次检索精度的平均值，Z₁～Z₉分别表示9种组合平均检索精度。根据实验得到Z₁～Z₉值，对比得到最大的平均检索精度，对应的(w_c,w_t)即为最优的权值组合。

3.提取胶囊内镜图像Sift特征描述符

4.相似度测定

假设有两幅胶囊内镜图像M、P。根据步骤2得到的视觉词汇F_v，利用如下公式计算出视觉词汇欧氏距离Dis_MP：

${\mathrm{Dis}}_{MP}=\sqrt{\underset{i=0}{\overset{N-1}{\&Sigma;}}{(F_v^M-F_v^P)}^2}$

式中，Dis_MP表示两幅图像视觉词汇的欧氏距离，N为视觉词汇的维度，和分别表示图像M、P的视觉词汇特征。

根据步骤3得到胶囊内镜图像Sift特征描述符进行描述符匹配工作，得到匹配对数为L_MP。

最后利用相似度测定公式，确定图像之间相似度大小，得到检索结果。相似度测定公式如下：

$R=\frac{{\mathrm{Dis}}_{MP}}{L_{MP}}$

式中，R表示图像差异性大小，R值越小，图像相似度越大；反之，R值越大，图像相似度越小。Dis_MP表示胶囊内镜图像M、P之间视觉词汇的欧式距离值。L_MP表示胶囊内镜图像M、P之间Sift特征描述符匹配对数。

为了说明本发明的先进性，采用三种实验方法进行比较，分别为：

方法一：以视觉词汇为索引，进行胶囊内镜图像检索；

方法二：以Sift特征匹配对为索引，进行胶囊内镜图像检索；

方法三：本发明所述方法，综合利用图像的视觉词汇和局部描述子进行胶囊内镜图像检索。

为了研究方法的公平性，实验所用的检索库和待检索图像均相同，都为步骤1所述的图像库。为了观察实验检索结果，本发明选取了一组检索结果图，待检索图如图2所示，三种方法的检索结果分别为图3、图4和图5。检索结果由专业的医生进行判断，如果是疑似病例就在相应的图像下标注“Y”，否则就标注“N”，序列号是相似程度的排名。

最后得到的检索结果如下图所示，A₁表示方法一，A₂表示方法二，A₃表示方法三，即本发明所用方法：

经上述结果可知，本发明所用方法的平均检索精度为92.7％，相比较于方法一和方法二的平均检索精度，分别提高了21.4％、35.6％。实验证明了本发明所用方法对胶囊内镜图像检索有着很好的效果。

Claims (6)

1.一种基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征包括以下步骤：

(1)建立胶囊内镜图像库：所述图像库中包括标准病例图像和待检索图像；

(2)将胶囊内镜图像由RGB颜色空间转换到HSI颜色空间，进行量化处理并提取其颜色直方图；

(3)提取胶囊内镜图像的LBP纹理直方图；

(4)加权融合颜色特征和纹理特征，得到胶囊内镜图像视觉词汇特征；

(5)提取胶囊内镜图像Sift特征描述符；

(6)进行相似度测定，根据图像相似度大小，得到检索结果。

2.根据权利要求1所述的基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征在于：所述步骤(2)中将图像RGB颜色空间转换到HSI颜色空间的公式：

$H=\left\{\begin{array}{cc}{\cos }^{-1}\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& G\&GreaterEqual;B\\ 2\mathrm{\&pi;}-{\cos }^{-1}\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& G<B\end{array}\right.$

$S=1-\frac{3min(R,G,B)}{R+G+B}$

$I=\frac{R+G+B}{3}$

式中，R,G,B分别表示RGB颜色空间的三分量红色、绿色和蓝色；H,S,I分别表示HSI颜色空间的三分量色调、饱和度和亮度。

3.根据权利要求1所述的基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征在于：所述步骤(2)中量化处理过程为：将色调H的[0,360]区间量化成非等间隔的8个子区间，[316,360]和[0,20]量化成0，[21,40]量化成1，[41,75]量化成2，[76,155]量化成3，[156,190]量化成4，[191,270]量化成5，[271,295]量化成6，[296,315]量化成7；饱和度S和亮度I的[0,1]都非等间隔量化成3个子区间，S,I∈[0,0.2)量化成0，S,I∈[0.2,0.7)量化成1，S,I∈[0.7,1]量化成2。

4.根据权利要求1所述的基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征在于：所述步骤(2)中颜色直方图提取公式为：

假设获取的胶囊内镜图像颜色特征为F_c，饱和度S和亮度I的量化级数分别为Q_S和Q_I，Q_S＝Q_I＝3，颜色特征F_c的数学表达式如下：

F_c＝Q_SQ_IH+Q_IS+I

＝9H+3S+I

上式中，H,S,I分别表示HSI颜色空间的三分量。

5.根据权利要求1所述的基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征在于：所述步骤(4)中的视觉词汇的获取公式：

F_v＝w_c*F_c+w_t*F_t

式中，F_v表示胶囊内镜图像的视觉词汇，F_c和F_t分别表示胶囊内镜图像的颜色特征和纹理特征，w_c和w_t分别表示内镜图像颜色特征F_c和纹理特征F_t的权重；w_c+w_t＝1，采用实验的方式来确定w_c和w_t；具体如下：实验中w_c和w_t任意选择多种组合，得到每种组合平均检索精度；得到最大的平均检索精度，对应的w_c和w_t即为最优的权值组合。

6.根据权利要求1所述的基于视觉词汇和局部描述符的胶囊内镜图像检索方法，其特征在于：所述步骤(6)中相似度测定公式：得到胶囊内镜图像M、P的视觉词汇欧式距离Dis_MP和Sift特征匹配对数L_MP，则：

$R=\frac{{\mathrm{Dis}}_{MP}}{L_{MP}}$

R值反映的是图像差异性大小，R值越小，图像之间的差异性越小；反之，R值越大，图像的差异性越大；根据R值从小到大，得到的检索结果。