CN106649611B - 一种基于邻域旋转直角模式的图像检索方法 - Google Patents

Abstract

一种基于邻域旋转直角模式的图像检索方法，本发明涉及基于邻域旋转直角模式的图像检索方法。本发明了解决现有技术在阈值的选择上具有局限性，选择灰度图像损失了图像部分信息，导致查全率和查准率低的问题。本发明步骤为：一：分离彩色图像R、G、B三通道色，分别对三通道色进行二维离散小波变换，取三通道色的低频子带，作为所选平面；二：基于VLBP模式根据步骤一所选的平面提取局部模式；三：使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值；步骤四：将邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价。本发明应用于图像检索领域。

Description

一种基于邻域旋转直角模式的图像检索方法

技术领域

本发明涉及基于邻域旋转直角模式的图像检索方法。

背景技术

基于内容的图像检索(CBIR)这一概念于1992年由T.Kato提出。他在论文中构建了一个基于颜色和形状的图像数据库，并提供了一定的检索功能进行实验。从那时起，这个词被用来描述检索过程需要大量图片基础之上的图像特征。CBIR技术的核心是利用图像的可视化特征对图像进行检索。本质上就是一种相似性匹配技术。目前，有多种特征用来作为索引，大体上可分为低层视觉特征和高层语义特征这两类。低层视觉特征主要包括颜色、纹理和形状等；高层语义特征指图像的含义，它包含着人类对图像的识别和理解，往往借助人类的知识推理，由于当今计算机视觉和图像理解的发展水平限制，还无法真正依靠基于语义特征进行图像检索。所以，目前图像检索算法研究成果较多为基于图像颜色、纹理、形状等低层视觉特征。

颜色特征是目前使用最广泛的低层视觉特征。Swain和Ballard最先提出了颜色直方图的方法，颜色直方图是表现图像内容的一种直观方式就是统计图像中的各颜色像素点数的出现频率，他反映图像中颜色的组成部分。但是颜色直方图法简单，而当图像中的特征并不能取遍所有可取值时，直方图中会出现一些零值，这些出现的零值会对相似度度量的计算带来影响，从而使得相似性度量并不能准确的反映图像之间的颜色差别。颜色直方图法存在无法描述图像颜色的空间分布特征、特征维数过高、对噪声较为敏感等问题，提取方法相对颜色直方图较为简单的颜色矩也存在低阶矩辨别能力较弱、适用范围有其局限性等问题，颜色分布熵存在统计直方图的存储量与计算量较大，导致检索时间过慢等问题，颜色聚合向量虽然考虑到图像颜色空间分布特征，但忽略了各颜色集中最大区域的形状及背景的关系。基于以上问题，颜色特征无法全面描述图像信息，因此纹理特征作为另一个重要的图像特征成为了近年来国内外学者研究的热点。由于纹理能够捕捉到图像全局的周期性、粗糙度和方向性等特点，许多学者据此进行了一系列研究。

纹理是一种反映图像中同质现象的视觉特征，它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。纹理具有三大标志：某种局部序列性不断重复、非随机排列、纹理区域内大致为均匀的统一体。纹理不同于颜色等图像特征，它通过像素及其周围空间邻域像素分布来表现，即：局部纹理信息。局部纹理信息不同程度的重复性，即全局纹理信息。一幅图像的纹理是在图像计算中经过量化的图像特征。图像纹理描述图像或其中小块区域的空间颜色分布和光强分布。随着相关理论的发展以及各个应用领域的需求牵引，经过各国研究者几十年的共同努力，纹理特征提取方法层出不穷。

近年来，Ojala等人提出的局部二值模式成为了纹理分类和检索领域的另一道曙光。Ojala等人提出了用于纹理分类且具有旋转不变性的LBPs算子，该方法分析纹理的吸引人的地方在于其计算复杂度小，具有多尺度特性和旋转不变特性，在纹理检索领域得到应用。随着研究人员对LBP旋转不变性的广泛研究，LBP也衍生出了各种形式，如LBP方差与全局匹配、主导LBP模式、LBP的完整模型和模拟高斯混合局部模式的联合分布等等形式都已有效的应用在纹理分类领域。X.Tan等人提出的局部三值模式做到了在光照条件不同下对人脸的描述与识别。S.Murala等人提出的局部网格模式通过对中心像素及其周边像素之间的关系进行编码来实现特征提取。Zhao等人提出VLBP模式并在灰度空间进行实验，利用时间与空间并行实现动态纹理识别，在人脸识别方面效果显著，但在自然图像检索上效果并不理想。S.Murala等人在此基础上使用球形对称的三维局部三值模式SS-3D-LTP，使用不同标准偏差值的高斯滤波器组的多分辨率图像，根据五个不同方向建立三维立体模型来实现特征提取，但该方法在阈值的选择上具有一定的局限性，选取固定阈值存在一定的主观因素，而且选择灰度图像在一定程度上损失了图像部分信息。

发明内容

本发明是为了解决现有技术使用球形对称的三维局部三值模式SS-3D-LTP方法，在阈值的选择上具有局限性，选择灰度图像损失了图像部分信息，导致查全率和查准率低的问题，而提出的一种基于邻域旋转直角模式的图像检索方法。

一种基于邻域旋转直角模式的图像检索方法按以下步骤实现：

步骤一：分离彩色图像R、G、B三通道色，分别对三通道色进行二维离散小波变换，取三通道色的低频子带，作为所选平面；所述R为红色分量，G为绿色分量，B为蓝色分量；

步骤二：基于VLBP模式根据步骤一所选的平面提取局部模式；

步骤三：对步骤二提取的局部模式使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值；

步骤四：将步骤三得到的邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价。

发明效果：

为了解决现有技术使用球形对称的三维局部三值模式SS-3D-LTP方法，在阈值的选择上具有局限性，选择灰度图像损失了图像部分信息，导致查全率和查准率低的问题，本发明在基于图像纹理特征提取的角度上引用图像RGB颜色信息，增加了信息量，邻域旋转直角模式可更好地提取图像边缘特征信息，查全率及查准率均高于SS-3D-LTP算法。

附图说明

图1为本发明特征提取流程图；

图2为第一类待检索图像—黑人；

图3为黑人图像检索结果图；图3a为匹配度最高的检索结果图，图3a—图3i匹配度依次递减；

图4为第二类待检索图像—海滩；

图5为海滩图像检索结果图；图5a为匹配度最高的检索结果图，图5a—图5i匹配度依次递减；

图6为第三类待检索图像—建筑；

图7为建筑图像检索结果图；图7a为匹配度最高的检索结果图，图7a—图7i匹配度依次递减；

图8为第四类待检索图像—汽车；

图9为汽车图像检索结果图；图9a为匹配度最高的检索结果图，图9a—图9i匹配度依次递减；

图10为第五类待检索图像—恐龙；

图11为恐龙图像检索结果图；图11a为匹配度最高的检索结果图，图11a—图11i匹配度依次递减；

图12为第六类待检索图像—大象；

图13为大象图像检索结果图；图13a为匹配度最高的检索结果图，图13a—图13i匹配度依次递减；

图14为第七类待检索图像—鲜花；

图15为鲜花图像检索结果图；图15a为匹配度最高的检索结果图，图15a—图15i匹配度依次递减；

图16为第8类待检索图像—马；

图17为马图像检索结果图；图17a为匹配度最高的检索结果图，图17a—图17i匹配度依次递减；

图18为第9类待检索图像—雪山；

图19为雪山图像检索结果图；图19a为匹配度最高的检索结果图，图19a—图19i匹配度依次递减；

图20为第10类待检索图像—食物；

图21为食物检索结果图；图21a为匹配度最高的检索结果图，图21a—图21i匹配度依次递减。

具体实施方式

具体实施方式一：一种基于邻域旋转直角模式的图像检索方法包括以下步骤：

步骤一：分离彩色图像R、G、B三通道色，选择haar小波基，分别对三通道色进行二维离散小波变换，取三通道色的LL低频子带，即cA_R、cA_G、cA_B三个低频子带作为实验所选平面；所述R为红色分量，G为绿色分量，B为蓝色分量，cA_R为红色分量低频子带，cA_G为绿色分量低频子带，cA_B为蓝色分量低频子带；

步骤二：基于VLBP模式(Volume Local Binary Patterns卷体局部二值模式)根据步骤一所选的平面提取局部模式；

步骤三：对步骤二提取的局部模式使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值；

步骤四：将步骤三得到的邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中基于VLBP模式根据步骤一所选的平面提取局部模式的具体过程为：

将所选平面垂直排列，顺序为第一个平面为红色分量低频子带、第二个平面为蓝色分量低频子带、第三个平面为绿色分量低频子带；在每个平面上选取以每个像素为中心形成的3×3像素矩阵，即像素中心与其周围八个邻域像素形成的矩阵；平面四周像素向外扩展，其值等于自身像素值；

将三个平面等效为正方体，即三个平面上的3×3像素矩阵同样等效为正方体，依次提取每个3×3像素矩阵正方体的局部模式，所提取的局部模式同样为3×3像素矩阵，以3×3像素矩阵正方体中的第二个平面的像素矩阵为第一局部模式；以3×3像素矩阵正方体中的第二个平面的像素矩阵的中心像素为中心，过第一个平面和第三个平面像素矩阵的中心像素形成的像素矩阵为第二局部模式；以3×3像素矩阵正方体中过第一个平面和第三个平面像素矩阵的中心像素，并与第一局部模式和第二局部模式垂直的像素矩阵为第三局部模式；以3×3像素矩阵正方体中过第一个平面像素矩阵中心像素的两个对角线形成两个像素矩阵为第四局部模式和第五局部模式。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤三中对步骤二提取的局部模式使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值具体过程为：

使用邻域旋转直角模式对所提取的局部模式进行计算得出局部三值模式，将每个局部三值模式分解为两个局部二值模式，共形成以0,1编码的10个局部二值模式，对10个局部二值模式分别进行加权运算得到10个邻域旋转直角模式值。特征向量提取流程如图1所示。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述邻域旋转直角模式具体为：

本发明提出一种新的基于纹理特征的图像检索算法——邻域旋转直角模式。邻域旋转直角模式是一种局部纹理特征提取算法，该算法根据中心像素与以其半径为2且呈90°直角方向上通过旋转直角取得两邻域像素与中心像素比较结果确定该中心像素邻域旋转直角模式值。以R通道色LL低频子带为例。根据中心像素g_c，以邻域半径R＝1分别取α及α+90°方向上邻域像素g_p，邻域像素个数共8个。根据8个邻域像素及中心像素值计算均方差从而得出阈值μ，通过比较α及α+90°方向邻域像素均值与中心像素g_c±μ的关系确定二值模式下α方向上邻域像素取值。

邻域旋转直角模式计算公式如下所示：

α＝0°,45°,90°,...,315°

其中所述

为α方向上的邻域像素值，g_c为中心像素值；μ为根据8个邻域像素值以及中心像素值计算均方差得出的局部自适应阈值；

局部自适应阈值μ计算公式如下所示：

其中x_i为像素值，

为局部模式像素(9个)平均值，N为像素个数，取值为9。

σ₁、σ₂、σ₃分别表示平面cA_R、cA_B、cA_G，给定σ₂平面中心像素L_c(σ₂)，基于α方向上的邻域像素取值定义如下：

确定邻域像素分布情况后，通过计算邻域旋转直角模式内中心像素L_c(σ₂)与其邻域像素的关系如下：

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中将步骤三得到的邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价的具体过程为：

将邻域旋转直角模式值连接形成特征向量：

其中，N₁×N₂表示图像大小，PTN表示邻域旋转直角模式，(i,j)表示处于图像第i行第j列的像素，l表示均匀LBP模式值(均匀LBP模式值为共识点，是否需要另加说明)类型，P表示邻域像素个数；

通过计算待检索图像I_q的特征向量(直方图)

与图像数据库中图像的特征向量

的距离实现图像检索；

d1相似度度量计算公式如下所示：

其中，

代表图像数据库|DB|中第j幅图像的第i个特征，L_g表示图像数量；

使用查准率以及查全率对图像检索结果进行客观评价，对于待检索图像I_q，查准率计算公式如下所示：

其中，n表示检索结果中图像的数量，φ(I_i)表示检索结果中图像的类别，φ(I_q)表示待检索图像的类别；

查全率计算公式如下所示：

其中，N_G表示图像数据库中与待检索图像I_q相关图像总量，δ(φ(I_i),φ(I_q))函数关系如下所示：

实施例一：

实验选择Corel-1K数据库进行图像检索。

在查准率上，邻域旋转直角模式与SS-3D-LTP模式比较实验结果表明：在黑人图像中，提升23.33％；在海滩图像中，提升1.00％；在建筑图像中，提升7.66％；在汽车图像中，提升3.66％；在恐龙图像中，降低0.66％；在大象图像中，提升10.00％；在鲜花图像中，降低23.00％；在马图像中，提升33.00％；在雪山图像中，提升15.33％；在食物图像中，提升27.67％。通过实验结果图2—图21分析可知，局部直角均值模式与SS-3D-LTP模式在查准率上相比，8类图像有所提升，2类图像有所下降，查准率平均提升9.80％。

在查全率上，邻域旋转直角模式与SS-3D-LTP模式比较实验结果表明：在黑人图像中，提升18.10％；在海滩图像中，提升3.90％；在建筑图像中，提升2.60％；在汽车图像中，提升7.90％；在恐龙图像中，降低6.50％；在大象图像中，提升5.70％；在鲜花图像中，降低9.20％；在马图像中，提升20.90％；在雪山图像中，提升13.60％；在食物图像中，提升21.60％。通过实验结果图2—图21分析可知，局部直角均值模式与SS-3D-LTP模式在查全率上相比，8类图像有所提升，2类图像有所下降，查全率平均提升7.86％。

Claims (2)

1.一种基于邻域旋转直角模式的图像检索方法，其特征在于，所述基于邻域旋转直角模式的图像检索方法包括以下步骤：

步骤一：分离彩色图像R、G、B三通道色，分别对三通道色进行二维离散小波变换，取三通道色的低频子带，作为所选平面；所述R为红色分量，G为绿色分量，B为蓝色分量；

步骤二：基于VLBP模式根据步骤一所选的平面提取局部模式；

步骤三：对步骤二提取的局部模式使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值；

步骤四：将步骤三得到的邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价；

所述步骤二中基于VLBP模式根据步骤一所选的平面提取局部模式的具体过程为：

将所选平面垂直排列，顺序为第一个平面为红色分量低频子带、第二个平面为蓝色分量低频子带、第三个平面为绿色分量低频子带；在每个平面上选取以每个像素为中心形成的3×3像素矩阵，即像素中心与其周围八个邻域像素形成的矩阵；

将三个平面等效为正方体，即三个平面上的3×3像素矩阵同样等效为正方体，依次提取每个3×3像素矩阵正方体的局部模式，所提取的局部模式同样为3×3像素矩阵，以3×3像素矩阵正方体中的第二个平面的像素矩阵为第一局部模式；以3×3像素矩阵正方体中的第二个平面的像素矩阵的中心像素为中心，过第一个平面和第三个平面像素矩阵的中心像素形成的像素矩阵为第二局部模式；以3×3像素矩阵正方体中过第一个平面和第三个平面像素矩阵的中心像素，并与第一局部模式和第二局部模式垂直的像素矩阵为第三局部模式；以3×3像素矩阵正方体中过第一个平面像素矩阵中心像素的两个对角线形成两个像素矩阵为第四局部模式和第五局部模式，

所述步骤三中对步骤二提取的局部模式使用邻域旋转直角模式计算局部模式的邻域旋转直角模式值具体过程为：

使用邻域旋转直角模式对所提取的局部模式进行计算得出局部三值模式，将每个局部三值模式分解为两个局部二值模式，共形成以0,1编码的10个局部二值模式，对10个局部二值模式分别进行加权运算得到10个邻域旋转直角模式值，

所述邻域旋转直角模式具体为：

邻域旋转直角模式计算公式如下所示：

α＝0°,45°,90°,...,315°

其中所述

为α方向上的邻域像素值，g_c为中心像素值；μ为根据8个邻域像素值以及中心像素值计算均方差得出的局部自适应阈值；

局部自适应阈值μ计算公式如下所示：

其中x_i为像素值，

为局部模式像素平均值，N为像素个数，取值为9。

2.根据权利要求1所述的一种基于邻域旋转直角模式的图像检索方法，其特征在于，所述步骤四中将步骤三得到的邻域旋转直角模式值形成的特征向量与图像数据库进行特征相似度度量，使用查全率以及查准率对图像检索结果进行评价的具体过程为：

将邻域旋转直角模式值连接形成特征向量：

其中，N₁×N₂表示图像大小，PTN表示邻域旋转直角模式，(i,j)表示处于图像第i行第j列的像素，l表示均匀LBP模式值类型，P表示邻域像素个数；

通过计算待检索图像I_q的特征向量

与图像数据库中图像的特征向量

的距离实现图像检索；

d1相似度度量计算公式如下所示：

其中，

代表图像数据库|DB|中第j幅图像的第i个特征，L_g表示图像数量；

使用查准率以及查全率对图像检索结果进行客观评价，对于待检索图像I_q，查准率计算公式如下所示：

其中，n表示检索结果中图像的数量，φ(I_i)表示检索结果中图像的类别，φ(I_q)表示待检索图像的类别；

查全率计算公式如下所示：

其中，N_G表示图像数据库中与待检索图像I_q相关图像总量，δ(φ(I_i),φ(I_q))函数关系如下所示：

Images