CN103488660B - 基于方向可控金字塔二值图像投影的图像检索方法 - Google Patents

Abstract

基于方向可控金字塔二值图像投影的图像检索方法，属于基于内容的图像检索领域。具有以下步骤：首先，对灰度图像进行方向可控金字塔分解；然后，对分解所得到的各个尺度、各个方向的子带图像，分别通过各自的阈值进行二值化，得到子带二值图像；对每个子带二值图像分别在行和列方向上进行投影，并通过分别除以图像的列数和行数来实现归一化。在特征匹配上，采用向量相交匹配方法来实现两幅图像对应子带图像归一化行投影和归一化列投影的匹配，将全部对应子带二值图像投影匹配值的平均值作为两幅图像的匹配值；最后，通过一个阈值来判断两幅图像是否匹配。本发明通过充分利用图像中各个方向的纹理信息，有效提高了图像检索的查全率和准确率。

Description

基于方向可控金字塔二值图像投影的图像检索方法

技术领域

本发明涉及一种基于方向可控金字塔二值图像投影的图像检索方法，属于基于内容的图像检索领域。

背景技术

随着图像获取技术、计算机网络技术以及通信网络技术的飞速发展，人们所能获得的图像数量呈现爆炸式增长，如何在数量巨大的图像中找到含有相同或相似内容的图像成为亟待解决的重要问题。传统的基于关键字的图像检索方法通过人为设置的关键字来实现图像的检索，由于不同的人对图像内容的理解不同，造成同样内容的图像可能具有不同的关键字；另外，随着图像数量的增大以及来源的多样化，很多图像没有与其内容相关的关键字。可见，基于关键字的图像检索显然已经不能满足图像检索的需求，基于内容的图像检索技术成为解决这一问题的关键技术。

基于内容的图像检索技术首先提取图像内容的特征，然后，通过特征的匹配来实现图像检索。现有的图像特征提取方法有基于颜色特征的方法、基于纹理特征的方法、基于形状特征的方法等。图像的纹理特征是图像特征的重要组成部分，在表达图像内容上具有重要作用。纹理特征具有一种不依赖于颜色或亮度的反映图像中同质现象的视觉特征，可以从微观上区分图像中不同的物体。因此，纹理分析一直是计算机视觉的一个重要研究方向。常用的图像纹理特征提取方法包括：统计法、结构法、模型法和信号处理法。

基于统计的方法是对图像中的颜色强度的空间分布信息进行统计，该方法的主要意义在于：从数学角度研究了图像纹理中灰度级的空间依赖关系，包括灰度共生矩阵法、Laws纹理能量法等；基于结构的方法是建立在纹理元理论基础上的，该方法将重点放在分析纹理元之间的相互关系和排列规则上；基于模型的方法以图像的构造模型为基础，假设纹理按照某种类型分布，因此采用模型的参数作为纹理特征。典型的方法是随机场模型法，如马尔可夫随机场模型法和分形模型等。基于信号处理的方法是对图像进行频率分析，其中包括小波变换法和Gabor变换法等。因为人们对于纹理的视觉感受非常的主观，目前还没有一个统一的标准来精确地表示图像的纹理特征。

现有的纹理特征提取方法一般是针对纯粹的纹理图像来设置的，而对于一般的图像，虽然其内容不是纯纹理，但其中包含的纹理信息对于图像内容的表达非常重要，在基于内容的图像检索中应该充分利用这些纹理信息。另外，现有的纹理特征提取方法大都没有充分利用图像中各个方向上的纹理信息，因此效果有待进一步提高。

为了使提取出的图像特征能够抵抗尺度变换，对图像进行金字塔分解是一种有效的方法。常用的金字塔有高斯金字塔、拉普拉斯金字塔以及方向可控金字塔(SteerablePyramid)。方向可控金字塔变换是一种多分辨率分析方法，它能独立分解出不同尺度、不同方向的子带信息，没有频谱混叠现象，并且子带方向具有可调节性。可见，通过对图像进行可控金字塔分解可以有效利用图像内容在不同尺度、各个方向上的信息，对于基于内容的图像检索非常重要。

发明内容

本发明的目的是通过分别提取图像的方向可控金字塔分解中各子带图像的二值化图像在行和列上的投影，来充分利用图像中各个方向上的纹理信息，有效提取其纹理特征，通过此纹理特征的匹配来实现图像检索。

本发明的基本思想是：首先，对灰度图像进行方向可控金字塔分解；然后，对分解所得到的各个尺度、各个方向的子带图像，分别通过各自的阈值进行二值化，得到子带二值图像。在二值化的过程中，大于阈值的点设置为1，小于或等于阈值的点设置为0。对于每一个子带图像，其二值化的阈值由该子带图像中的值计算得到。然后，对每个子带二值图像分别在行和列方向上进行投影，即统计其每行和每列中1的数量，并通过分别除以图像的列数和行数来实现归一化。各子带二值图像归一化后的行和列投影向量就组成了该子带图像的纹理特征，所有子带图像的纹理特征组合就是该图像的纹理特征。在特征匹配上，采用向量相交匹配方法来实现两幅图像对应子带图像行投影和列投影的匹配，行投影和列投影值的平均值为对应子带图像的匹配值，取全部对应子带图像匹配值的平均值作为两幅图像的匹配值，最后，通过一个阈值来判断两幅图像是否匹配。本方法的流程如图1所示，图1中(a)为该方法的整体流程图，(b)为(a)中子带图像特征提取与匹配部分的详细说明图。

本发明提供的技术方案如下：

基于方向可控金字塔二值图像投影的图像检索方法，包括如下步骤：

步骤一：判断图像是否为灰度图像，如果不是，则将其转换为灰度图像，再进入步骤二；如果是灰度图像，则直接进行步骤二的处理；

步骤二：对图像进行方向可控金字塔分解，得到多个尺度、多个方向的子带图像。对图像进行方向可控金字塔分解的级数和方向的数量可根据需要进行调整；

步骤三：对金字塔分解后得到的每个子带图像进行二值化处理。二值化的阈值根据该子带图像的最大值来确定，大于阈值的点设置为1，小于或等于阈值的点设置为0；

步骤四：对二值化后所得子带二值图像分别求行投影和列投影；

步骤五：将各子带二值图像的行投影和列投影与图像库中各图像对应的子带二值图像行投影和列投影分别采用向量相交法进行匹配；

步骤六：将全部子带图像行投影和列投影的匹配值求平均得到平均匹配值；

步骤七：如果平均匹配值大于设定的阈值，则认为两幅图像匹配成功，否则认为两幅图像匹配失败。

步骤四所述的行投影P_r通过下式来求得，

(公式一)

其中，i＝1，2，3，……，r，j＝1，2，3，……，c；

其列投影P_c通过下式来求得：

(公式二)

其中，i＝1，2，3，……，r，j＝1，2，3，……，c；

上面(公式一)和(公式二)中的I_sbw为当前所处理的子带二值图像，c为该子带图像的列数，r为其行数。投影结果P_r和P_c均为向量。P_r的长度为r，P_c的长度为c。

步骤五所述的向量相交法如(公式三)所示。设P₁和P₂为别是两个长度相同的向量，其长度均为n。

(公式三)

其中，i＝1，2，3，……，n，j＝1，2，3，……，n。

本发明的有益效果：

本发明充分利用了图像中多个尺度、多个方向的纹理信息，通过方向可控金字塔技术使得算法可抵抗尺度变换，通过多个方向纹理信息的匹配，可有效提高图像检索的准确率和查全率。

图1为基于方向可控金字塔二值图像投影的图像检索方法流程图，其中(a)为方法整体流程图，(b)为(a)中子带图像特征提取与匹配部分的详细说明图

图2为待匹配的灰度图像I

图3为图2所示图像的方向可控金字塔分解后的各子带图像

图4为第一级4个方向的子带二值图像，其中(a)为0度方向子带二值图像，(b)为45度方向子带二值图像，(c)为90度方向子带二值图像，(d)为135度方向子带二值图像。

图5为图4(a)的行投影

图6为图4(a)的列投影。

本发明的具体实施方式：

下面结合附图对本发明的实施例做详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

1.输入待检索图像，判断图像是否为灰度图像，如果不是，则将其转换为灰度图像，再进入步骤二的处理，如果是灰度图像，则直接进行步骤二的处理；

从RGB真彩色图像到灰度图像的转换通过(公式四)来实现：

Gray＝0.299×R+0.587×G+0.114×B(公式四)

其中Gray为转换后得到的灰度图像，R为彩色图像的红色分量，G为其绿色分量，B为其蓝色分量。

本发明目前只处理RGB真彩色图像和灰度图像，不处理其他图像。此处设待处理的灰度图像为I。

2.对图像I进行方向可·控金字塔分解，得到多个尺度、多个方向的子带图像。

此处取3级金字塔分解，对于每一级取0度、45度、90度和135度4个方向。

具体分解方法如下：

(1)二维高斯函数分别对x和y求偏导数：

为G(x，y)对x的偏导数，对应图像的0度梯度核函数，与图像卷积后可得到图像0度方向的梯度，

为G(x，y)对y的偏导数，对应图像的90度梯度核函数，与图像卷积后可得到图像90度方向的梯度，

通过0度和90度方向梯度核函数的线性组合，可以求得任意方向的梯度核：

G_α(x，y)＝cos(α)G_x(x，y)+sin(α)G_y(x，y)，该梯度核与图像卷积后可得到图像α角度方向的梯度。本发明取α分别为和得到45度和135度方向的梯度核G₄₅(x，y)和G₁₃₅(x，y)。

(2)将以上得到的0度、45度、90度和135度4个方向的梯度核函数分别和图像I卷积，得到图像I在4个方向的子带图像。

(3)对灰度图像I进行下采样，得到128×128像素的灰度图像I₁。对I₁重复步骤(2)，得到I₁在0度、45度、90度和135度4个方向上的子带图像。

(4)对图像I₁进行下采样，得到64×64像素的灰度图像I₂。对I₂进行步骤(2)的处理，得到I₂在0度、45度、90度和135度4个方向上的子带图像。

经过步骤(2)(3)和(4)，得到了灰度图像I在第一级、第二级和第三级金字塔中的4个方向子带图像。共3×4＝12幅子带图像。

3.对金字塔分解后得到的每个子带图像进行二值化处理，得到二值化后的各子带图像。设I_sbw为子带图像I_s的二值化图像，则有：

其中，T为二值化的阈值，其值为：T＝max(I_s(x，y))/6，即为子带图像I_s中最大值的1/6。

4.对二值化后所得子带二值图像分别求行投影和列投影。

行投影P_r通过下式来求得：

其中，i＝1，2，3，……，r，j＝1，2，3，……，c；

其列投影P_c通过下式来求得：

其中，i＝1，2，3，……，r，j＝1，2，3，……，c；

其中，I_sbw为当前所处理的子带二值图像，c为该子带图像的列数，r为其行数。投影结果P_r和P_c均为向量。P_r的长度为r，P_c的长度为c。

5.将各子带二值图像的行列投影和图像库中各目标图像对应的子带二值图像行列投影分别采用向量相交法进行匹配。此处所指的数据库中各图像均已经用步骤1-4处理过，其各子带图像的行列投影值已经得到。

如果图像I与数据库中的一幅图像I_t相匹配，则将图像I的第一级0度方向的子带图像行投影和图像I_t的第一级0度方向的子带图像行投影采用向量相交法进行匹配，以此类推。

向量相交法具体计算方法：设P₁和P₂为别是两个长度相同的投影向量，其长度均为n，P₁和P₂的向量相交匹配结果M为：

6.将各子带图像行投影和列投影的匹配值求平均。

图像I和数据库中的一幅图像匹配时，按照上述步骤，每个对应的子带图像分别由行和列两个匹配值，这样可以得到12×2＝24个匹配值。取24个值的平均值A作为两幅图像的平均匹配值。

7.如果平均匹配值A不小于设定的阈值T₁，则认为两幅图像匹配成功，否则认为两幅图像匹配失败。

图2为待匹配的灰度图像I，图3为其金字塔分解后的各子带图像。图4为第一级4个方向的子带二值化图像，其中(a)为0度方向子带图像，(b)为45度方向子带图像，(c)为90度方向子带图像，(d)为135度方向子带图像。

图5为图4(a)的行投影，图6为图4(a)的列投影。

本实施例采用的测试图像库为Corel图像库中的500幅图像，通过实验发现本发明的检索查全率和查准率在图像没有受到干扰的情况下均为100％，检索效果大大好于现有的方法。实验结果说明本发明通过充分利用图像中各个方向的纹理信息，有效提高了图像检索的查全率和准确率。

Claims (1)

1.基于方向可控金字塔二值图像投影的图像检索方法，其特征在于包括如下步骤：

(1)判断图像是否为灰度图像，如果不是，则将其转换为灰度图像，再进入步骤(2)；如果是灰度图像，则直接进行步骤(2)；

(2)对图像进行方向可控金字塔分解，得到多个尺度、多个方向的子带图像，对图像进行方向可控金字塔分解的级数和方向的数量根据需要进行设置；

(3)对金字塔分解后得到的每个子带图像进行二值化处理，二值化的阈值根据该子带图像的最大值来确定，大于阈值的点设置为1，小于或等于阈值的点设置为0；

(4)对二值化处理后所得子带二值图像分别求行投影和列投影；

行投影P_r通过下式来求得：

$P_r=(\frac{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{I}_{sbw}(1,j)}{c},\frac{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{I}_{sbw}(2,j)}{c},\mathrm{...},\frac{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{I}_{sbw}(i,j)}{c},\mathrm{...},\frac{\underset{j=1}{\overset{c}{\mathrm{\Σ}}}{I}_{sbw}(r,j)}{c})$

其中，i＝1，2，3，……，r；j＝1，2，3，……，c；

其列投影P_c通过下式来求得：

$P_c=(\frac{\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{I}_{sbw}(i,1)}{r},\frac{\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{I}_{sbw}(i,2)}{r},\mathrm{...},\frac{\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{I}_{sbw}(i,j)}{r},\mathrm{...},\frac{\underset{i=1}{\overset{r}{\mathrm{\Σ}}}{I}_{sbw}(i,c)}{r})$

其中，i＝1，2，3，……，r；j＝1，2，3，……，c；

上面两式中的I_sbw为当前所处理的子带二值图像，c为该子带图像的列数，r为该子带图像的行数，投影结果P_r和P_c均为向量，P_r的长度为r，P_c的长度为c；

(5)将各子带二值图像的行投影和列投影与图像库中各图像对应的子带二值图像行投影和列投影分别采用向量相交法进行匹配；

如果P₁和P₂分别是两个长度相同的投影向量，其长度均为n，向量相交法如下式所示：

$M=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\min \left(P_1\right(i),P_2(i\left)\right)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\max \left(P_1\right(j),P_2(j\left)\right)}$

其中，i＝1，2，3，……，n，j＝1，2，3，……，n，M为向量相交法匹配结果值；

(6)将各子带图像行投影和列投影的匹配值求平均得到平均匹配值；

(7)如果平均匹配值大于设定的阈值T₁，则认为两幅图像匹配成功，否则认为两幅图像匹配失败。