CN102117329B - 基于小波变换的胶囊内窥镜图像检索方法 - Google Patents

Abstract

本发明公开了一种基于小波变换的胶囊内窥镜图像检索方法，包括以下步骤：建立图像库：所述图像库中包括标准病例图像和待检图像；将图像库中的标准病例图像和待检图像库图像的颜色空间转换成HSI型；处理后的图像的HSI各个分量进行低频波段信息提取：采用欧式距离计算处理后的标准病例图像和每幅待检图像之间的特征相似度；则疑似病例图像为特征相似度较低的待检图像。本方法用于胶囊内镜图像的处理过程中，采用胶囊内镜图像与病变图片比较筛选的方法，从待检测病例中检索出异常图片，从而减轻阅片医生的劳动强度、提高诊断效率。

Description

基于小波变换的胶囊内窥镜图像检索方法

技术领域

本发明涉及一种医学图像处理方法，具体来说涉及一种基于小波变换的胶囊内窥镜图像检索方法。

背景技术

2001年世界首套胶囊内镜系统获美国FDA批准应用于临床，至2010年底世界已有超过100万人接受了胶囊内镜检查，由于胶囊内镜检查无痛苦，且可观察到自口至肛门的消化道全程，因此，目前已成为消化道疾病诊断的一个重要检查手段，但胶囊内镜的图像量巨大，按每秒拍摄两张照片计，6-8小时的检查过程产生的图片量达43200-57600张，所有这些图片全凭医生逐张仔细判读以作出正确的诊断，其阅片工作量巨大，需花费大量时间，极易疲劳而漏掉有价值的诊断信息，诊断效率极其低下，难于应付较大的检查量，因此，胶囊内镜图像的人工判读已成为制约其发展的瓶颈，为提高阅片速度，减轻阅片医生的劳动强度和提高诊断效率，研制胶囊内镜图像的识别与自动分析系统有重要的实用价值。

由于胶囊内镜面世时间仅短短9年，有关胶囊内镜的研究目前主要着重于临床应用及仪器性能等方面，对图像的自动分析和特征识别等方面国内外尚未见研究报导。胶囊内镜的图像数量每例患者均达数万张，但其中只有极少数照片能反映病变具有诊断价值。按我院118例胶囊内镜检查的初步分析，平均只有约0.1％的图片有诊断价值。根据我们的初步研究，消化道的病变尽管千变万化，但反映在内镜图片上的特征是有限的，如隆起、凹陷、膨大、缩小，颜色异常等。

图像一般都具有丰富、稳定的纹理特征，纹理表达的内容可以看成是一种颜色的空间分布信息，将纹理信息和颜色信息相结合得到的结果更加符合人类的视觉，常用的纹理表达方法有灰度共生矩阵法。近年来小波变换在图像处理领域应用范围越来越广泛，有相关研究将小波变换应用于基于内容的图像检索(CBIR)。

发明内容

本发明的目的在于提供一种基于小波变换的胶囊内窥镜图像检索方法，该方法用于胶囊内镜图像的处理过程中，采用胶囊内镜图像与病变图片比较筛选的方法，从待检测病例中检索出异常图片，从而减轻阅片医生的劳动强度、提高诊断效率。

本发明的目的可通过以下的技术措施来实现：一种基于小波变换的胶囊内窥镜图像检索方法，包括以下步骤：

(1)建立胶囊内窥镜彩色图像库：所述图像库中包括标准病例图像和待检图像；

(2)将图像库中的标准病例图像和待检图像库图像的颜色空间转换成HSI型；所述HSI型的图像包括色相(Hue)分量、饱和度(Saturation)分量和亮度(Intensity)分量；

(3)对步骤(2)处理后的图像的HIS各分量进行低频波段信息提取：

(4)采用欧式距离计算步骤(3)处理后的标准病例图像和每幅待检图像之间的特征相似度；所述特征相似度的计算过程为：分别计算标准病例图像和待检图像之间在H、I、S这三个分量的低频波段信息上的欧氏距离，对三个分量的欧氏距离各分配一个权值，所述特征相似度值等于三个分量的欧氏距离分别乘以各自的权值后的和值；

(5)按照特征相似度的值的由小到大地顺序将待检图像依次排序输出。所述步骤(2)中将图像的RGB颜色空间转换成HSI型的公式为：

$I=\frac{R+G+B}{3}$

$H=\left\{\begin{array}{cc}\arccos \frac{2R-G-B}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& B\≤G\\ 2\mathrm{\π}-\arccos \frac{2R-G-B}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& B>G\end{array}\right.$

$S=1-\frac{\min (R,G,B)}{I}$

其中，R、G、B表示RGB空间的红色值、绿色值、蓝色值；H、S、I分别代表HIS型图像的色相值、饱和度、亮度值。

所述步骤(3)的低频波段信息提取过程为：采用塔式小波变换方式，对步骤(2)处理后的图像的HSI各分量进行三层塔式小波变换，得到图像的HSI各个分量的低频波段信息。

所述步骤(3)中塔式小波变换的基函数为道比奇(Daubechies)小波函数。

所述步骤(4)中特征相似度的计算公式为：

D(q，t)＝w_H*D(q_H，t_H)+w_S*D(q_S，t_S)+w_I*D(q_I，t_I)

其中，D(q，t)表示标准病例图像与待检图像这两幅图像的特征相似度，D(q_H，t_H)表示HSI型的标准病例图像与待检图像在H分量上低频波段信息上的欧式距离，D(q_S，t_S)表示HSI型的标准病例图像与待检图像在S分量上低频波段信息上的欧式距离，D(q_I，t_I)表示HSI型的标准病例图像与待检图像在I分量上低频波段信息上的欧式距离，w_H，w_S，w_I分别代表H、S、I分量的欧氏距离的权值。

所述欧氏距离公式为： $D(q,t)=\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(q_i-t_i)}^2}$

其中，q为HIS型的标准病例图像的图像纹理信息特征向量，t为HIS型的待检图像的图像纹理信息特征向量，M为向量的维数，所述图像纹理信息特征向量由相应的HIS型图像的各个分量上的低频波段信息的矩阵所构成。

所述H、S、I分量的欧氏距离的权值中H分量的权重大于S或者I分量的权值。

本发明的基于小波变换的胶囊内窥镜图像检索方法相比现有技术来说具有以下的有益效果：

1、本发明利用基于图像内容检索(CBIR)的方法将胶囊内镜图像与病变图片进行比较筛选，从待检测病例中检索出异常图片，为内镜医生提高诊断质量和降低劳动强度供了技术支持；

2、本发明结合了内镜彩色图像的颜色和纹理信息，后期可以根据医生的经验改变HSI各个分量的权重，更加符合医生对图片的视觉特性。

附图说明

图1是本发明的基于小波变换的胶囊内窥镜图像检索方法的流程图；

图2是一张原始的胶囊内镜彩色图像；

图3(a)是图2原始图像经过颜色空间转换后H分量的三层小波分解特征提取结果示意图；

图3(b)是图2原始图像经过颜色空间转换后S分量的三层小波分解特征提取结果示意图；

图3(c)是图2原始图像经过颜色空间转换后I分量的三层小波分解特征提取结果示意图；

图4采用试验方法一得到的图像检索结果示意图；

图5采用试验方法二得到的图像检索结果示意图；

图6采用试验方法三得到的图像检索结果示意图。

具体实施方式

图1示出了本发明基于小波变换的胶囊内窥镜图像检索方法的流程图，下面根据一个具体实施例来说明本方法的具体步骤：

(1)建立图像库；

选取一张胶囊内镜彩色图片作为标准病例图像，即图2所显示的图像，然后制作一个包含有100张内镜图片的待检图像库，其中有10张是与标准病例图片相似的疑似病例图片。

(2)图像颜色空间转换；

由于HSI颜色空间能较好地反映人对颜色的感知和鉴别能力，非常适合基于颜色的图像相似性比较，并在图像的检索中得到了广泛的使用。为了使检索的内镜病例图像更好地符合医生的视觉特性，在此分别将标准病例图像和待检图像库图像的RGB颜色空间转换成HSI型。从RGB空间转化到HSI空间的数学公式为：

$I=\frac{R+G+B}{3}$

$H=\left\{\begin{array}{cc}\arccos \frac{2R-G-B}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& B\≤G\\ 2\mathrm{\π}-\arccos \frac{2R-G-B}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}},& B>G\end{array}\right.$

$S=1-\frac{\min (R,G,B)}{I}$

其中上式中的R，G，B表示RGB空间的红色(Red)，绿色(Green)，蓝色(Blue)，H，S，I分别代表HSI空间的色相(Hue)，饱和度(Saturation)，亮度(Intensity)。

(3)低频波段信息提取；

在小波纹理分析中，有两种类型的小波变换：塔式小波变换和树式小波变换。塔式小波变换只递归分解低频波段LL，而树式小波变换不仅分解低频波段，还递归分解其它高频波段。本发明从步骤(2)中得到HSI空间的转换数据后，选用塔式小波变换方式，具体的基函数选用Daubechies(道比奇)小波函数，对内镜彩色图像各个HSI通道进行三层塔式小波变换；从而得到内镜彩色图像的HSI各个通道的低频波段信息，即得到内镜彩色图像的颜色和纹理相结合的底层特征。

不同分量的三层塔式小波分解，即特征提取结果如图3(a)、(b)和(c)所示。

(4)特征相似度计算；

图像视觉特征可以表示成向量的形式，由于HIS各分量图像的纹理特征信息——各个分量图像的低频信息其本质上一个矩阵，从而各分量图像低频波段信息(分量图像纹理特征)可以形成一个图像纹理特征向量，即图像纹理信息特征向量由相应的HIS型图像的各个分量上的低频波段信息的矩阵所构成。

所以常用的相似性度量方法都是向量空间模型。采用几何距离来度量，即将视觉特征看作是向量空间中的点，通过计算两个点之间的接近程度来衡量图像特征间的相似度。距离小，说明相似程度高，距离大，则说明两幅图像差异较大，相似程度低。本发明选用欧式距离，具体公式如下：

$D(q,t)=\sqrt{\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}{(q_i-t_i)}^2}$

其中设从步骤(3)中得到的标准病例图像特征向量为q，待检索图像特征向量为t，向量的维数是M，D(q，t)表示两者的距离。其中，经过小波变换提取内镜图像的底层特征向量后，因为人类的眼睛对色相(H)分量较为敏感些，所以在对内镜彩色图像检索时，对H分量的相似性设置较大的权重，对其他两个分量设置较小的权重，具体公式如下：

D(q，t)＝w_H*D(q_H，t_H)+w_S*D(q_S，t_S)+w_I*D(q_I，t_I)

其中D(q，t)表示标准病例图像与待检查图像这两幅内镜彩色图像的的距离，D(q_H，t_H)表示这两幅内镜彩色图像H分量上的距离，D(q_S，t_S)表示这两幅内镜彩色图像S分量上的距离，D(q_I，t_I)表示这两幅内镜彩色图像S分量上的距离，w_H，w_S，w_I分别代表着H，S，I分量的权值。

(5)图像排序输出；

按上述几个过程检索结束后，把待检图像安装与标准病例图片相似程度(特征相似度由小到大)越近越排名靠前的顺序进行输出，试验表明，在待检图像中的疑似病例图像都排在靠前输出的图像中。

为了说明本方法的先进性，采用三种实验方法进行比较，分别为：

第一种方法是对原始内镜彩色图像不进行步骤(2)的颜色空间转化，直接进行实验；

第二种方法是在经过步骤(2)转化得到的HSI空间下进行实验，认为各个通道对人的眼睛影响一样，故对HSI各个通道分配相同的权值；

第三种方法是在经过步骤(2)转化得到的HSI空间下进行实验，并对各个通道分配不同的权值。此方法也是本说明最终运用的方法进行内镜彩色图像检索。

为了研究方法效果的公平性，采用上述三种方法进行实验时，用同一张标准病例图像，以及同一个待检内镜图像库，标准病例内镜图片如图2所示。对实验结果，请有经验的内镜医生来判断每幅图片的有效性。如果返回的图片是内镜医生指定的十张中的一张即疑似病例图像，就在相应的待检图像下方标注“Y”，否则就标注“N”，序列号是相似程度的排名。

最后，不同方法的实验检索结果具体见图4、图5和图6所示。

由以上各种方法的实验结果可以看出，从直观上看，第三种方法检出病例图片更多，说明第三种方法在内镜彩色图像检索时更有效，为了进一步从客观上统计各种方法的有效性，计算每种方法的查准率。查准率的计算过程为：首先由内镜医生从图像库中找出所有与待查标准病例图像相类似的图像，记为集合{relevant}，将按照各种方法检索得到的结果图像，记为集合{retrieved}，然后根据式下面公式计算查全率recall的值：

$\mathrm{recall}=\frac{\left\{\mathrm{retrieved}\right\}\∩\left\{\mathrm{relevant}\right\}}{\left\{\mathrm{relevant}\right\}}$

(13)

检索方法	第一种方法	第二种方法	第三种方法
				Recall(查全率)	50％	50％	80％

经过以上主观分析和客观分析，比较三种方法，可以说明本发明方法，即第三种方法对内镜图像检索具有较佳的效果。

本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或变更，均落在本发明权利保护范围之内。

Claims (5)

1.一种基于小波变换的胶囊内窥镜图像检索方法，其特征在于包括以下步骤：

（1）    建立胶囊内窥镜彩色图像库：所述图像库中包括标准病例图像和待检图像；

（2）    将图像库中的标准病例图像和待检图像库图像的颜色空间转换成HSI型；所述HSI型的图像包括三个分量：色相分量、饱和度分量和亮度分量；

（3）    对步骤（2）处理后的图像的HIS各分量进行低频波段信息提取：

（4）    采用欧式距离计算步骤（3）处理后的标准病例图像和每幅待检图像之间的特征相似度；所述特征相似度的计算过程为：分别计算标准病例图像和待检图像之间在H、I、S这三个分量的低频波段信息上的欧氏距离，对三个分量的欧氏距离各分配一个权值，所述特征相似度值等于三个分量的欧氏距离分别乘以各自的权值后的和值；

（5）    按照特征相似度的值的由小到大地顺序将待检图像依次排序输出；

所述步骤（2）中将图像的RGB颜色空间转换成HSI型的公式为：

其中，R、G、B表示RGB空间的红色值、绿色值、蓝色值；H、S、I分别代表HIS型图像的色相值、饱和度、亮度值；

所述步骤（3）的低频波段信息提取过程为：采用塔式小波变换方式，对步骤（2）处理后的图像的HSI各分量进行三层塔式小波变换，得到图像的HSI各个分量的低频波段信息。

2.根据权利要求1所述的基于小波变换的胶囊内窥镜图像检索方法，其特征在于：所述塔式小波变换的基函数为道比奇小波函数。

3.根据权利要求1所述的基于小波变换的胶囊内窥镜图像检索方法，其特征在于：所述步骤（4）中特征相似度的计算公式为：

其中，表示标准病例图像与待检图像这两幅图像的特征相似度，表示HSI型的标准病例图像与待检图像在H分量上低频波段信息上的欧式距离，

表示HSI型的标准病例图像与待检图像在S分量上低频波段信息上的欧式距离，表示HSI型的标准病例图像与待检图像在I分量上低频波段信息上的欧式距离，

,,

分别代表H、S、I分量的欧氏距离的权值。

4.根据权利要求1或3所述的基于小波变换的胶囊内窥镜图像检索方法，其特征在于：所述欧氏距离公式为：

其中，q为HIS型的标准病例图像的图像纹理信息特征向量，t为HIS型的待检图像的图像纹理信息特征向量，M为向量的维数，所述图像纹理信息特征向量由相应的HIS型图像的各个分量上的低频波段信息的矩阵所构成。

5.根据权利要求1或3所述的基于小波变换的胶囊内窥镜图像检索方法，其特征在于：所述H、S、I分量的欧氏距离的权值中H分量的权重大于S或者I分量的权值。

Images