CN110321452B - 一种基于方向选择机制的图像检索方法 - Google Patents

Abstract

本发明公开一种基于方向选择机制的图像检索方法，首先将输入图像从RGB颜色空间转换到HSV颜色空间；其次，在HSV颜色空间提取视觉特征图；然后，对视觉特征图进行最优方向选择，得到最优方向图；最后，在视觉特征图和最优方向图的基础上，提取局部特征变化关系，得到特征变化直方图用于相似性匹配。该方法在使用传统图像检索技术的同时，在一定程度上模拟了人脑的视觉信息处理机制，能够有效描述图像的颜色、纹理和空间关系特征。

Description

一种基于方向选择机制的图像检索方法

技术领域

本发明涉及图像检索技术领域，具体涉及一种基于方向选择机制的图像检索方法。

背景技术

随着手机等移动设备的快速更新换代，越来越多的人享受到了科技的快乐。与此同时，人们利用手机、单反等便携式设备进行拍照和摄影，并将采集到的图像通过各种手机应用或电脑程序分享到互联网。这样使得互联网拥有了海量的图像数据，也增加了人们搜索自己想要的图片的难度。另一方面，图像的大数据促进了深度学习等技术的空前发展。深度学习作为一种模拟人脑神经机制的热门技术，已经在计算机视觉领域取得了巨大的成功。研究人员也尝试着将深度学习应用于图像检索领域，并取得了比传统图像检索技术更高的检索精确度。卷积神经网络作为深度学习的代表性技术之一，它通过模拟人类对图像的认知过程，能够自主地学习图像的高级语义特征，有助于解决语义鸿沟问题。虽然深度学习具有上述优点，但它的计算量大，对机器设备要求高，需要研究者具有相当的研究经验。因此，深度学习在实践中较难普及。于是，在传统的图像检索技术上，如何结合人脑的视觉信息处理机制来进行图像检索成为了当前研究的热点和难点。

发明内容

本发明针对传统图像检索技术没有模拟人脑机制的问题，提供一种基于方向选择机制的图像检索方法，其能够在一定程度上模拟视觉信息处理机制，并结合颜色、边缘方向和灰度等视觉信息，能够有效提高图像检索精确度。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于方向选择机制的图像检索方法，包括步骤如下：

步骤1、将输入的彩色图像从RGB颜色空间转换到HSV颜色空间；

步骤2、将HSV颜色空间中的色调分量H、饱和度分量S和明度分量V进行均匀量化和组合量化处理，得到颜色索引图；

步骤3、利用Sobel算子对HSV颜色空间中的明度分量V进行边缘检测，并将所得到的边缘方向进行均匀量化处理，获得边缘方向索引图；

步骤4、使用均匀量化操作对HSV颜色空间中的明度分量V进行处理，得到的灰度索引图；

步骤5、使用最优方向选择算法分别确定颜色索引图、边缘方向索引图和灰度索引图的每一个像素点的最优方向；

步骤6、基于所确定的每一个像素点的最优方向，分别计算颜色索引图、边缘方向索引图和灰度索引图的每一个像素点在最优方向上的特征变化值；

步骤7、基于所到的每一个像素点在最优方向上的特征变化值，分别得到颜色索引图、边缘方向索引图和灰度索引图的特征变化直方图，并联合颜色索引图的特征变化直方图、边缘方向索引图的特征变化直方图和灰度索引图的特征变化直方图，得到最终的特征变化直方图；

步骤8、将所得到的最终的特征变化直方图的特征向量作为最终特征应用于图像检索。

上述步骤5中，最优方向选择算法的具体步骤如下：

步骤5.1、以所求像素点为中心，选取宽为m，高为n的局部邻域m×n；

步骤5.2、对于局部邻域m×n内的每一个像素点(x,y)，计算其在α＝0°、45°、90°和135°这4个备选方向上的平均索引值差异G(α)，其中：

式中，g(x,y)表示像素点(x,y)的索引值，g(x+1,y)表示与像素点(x,y)在0°方向上的相邻的像素点的索引值，g(x+1,y-1)表示与像素点(x,y)在45°方向上的相邻的像素点的索引值，g(x,y+1)表示与像素点(x,y)在90°方向上的相邻的像素点的索引值，g(x+1,y+1)表示与像素点(x,y)在135°方向上的相邻的像素点的索引值，m表示局部邻域的宽，n表示局部邻域的高；

步骤5.3、对于局部邻域m×n内的每一个像素点(x,y)，计算其在α＝0°、45°、90°和135°这4个备选方向与其垂直方向的平均索引值差异比值f(α)，其中：

f(0°)＝G(0°)/[G(90°)+1]

f(45°)＝G(45°)/[G(135°)+1]

f(90°)＝G(90°)/[G(0°)+1]

f(135°)＝G(135°)/[G(45°)+1]

步骤5.4、将平均索引值差异比值f(0°)、f(45°)、f(90°)和f(135°)的最小值所对应的备选方向α作为像素点(x,y)的最优方向。

上述步骤6中，特征变化值LFCD(x,y)_α为：

式中，α表示像素点(x,y)的最优方向，P(x,y)表示像素点(x,y)的索引值，P(x_α-1,y_α-1)表示像素点(x,y)在最优方向α上的左相邻的像素点的索引值，P(x_α,y_α)表示像素点(x,y)在最优方向α上的右相邻的像素点的索引值，s(q)为变化走向函数，

上述步骤8中，通过计算查询图像的特征向量与数据集中的图像的特征向量之间的距离D(T,Q)来进行相似性匹配，从而完成图像检索；其中

式中，T_i表示数据集中的图像的第i维特征向量，Q_i表示查询图像的第i维特征向量，K表示特征向量的维数，w表示权重参数。

上述特征向量的维数K为：

K＝N_C+N_O+N_I

式中，N_C表示颜色量化数目，N_O表示方向量化数目，N_I表示灰度量化数目。

与现有技术相比，本发明在颜色、边缘方向和灰度等低级视觉特征的基础上，模拟了人脑初级视皮层的方向选择机制，并提出最优方向选择算法和一种新颖的特征描述子—局部特征变化描述子，它不仅能够提取视觉特征上的特征变化关系，还能够描述视觉特征上的纹理结构和空间关系。

附图说明

图1为一种基于方向选择机制的图像检索方法的流程图。

图2为具有45°方向的局部邻域在最优方向选择上的示例图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

本发明的基本思路是：利用低级视觉特征在0°、45°、90°和135°方向上的像素点值差异，判断出每个像素点感受到的最优方向，并在此基础上提取视觉信息的特征变化关系。从基本思路出发，本发明所提出的一种基于方向选择机制的图像检索方法，如图1所示，其包括步骤如下：

步骤(1)先将输入的彩色图像从RGB颜色空间转换到HSV颜色空间；

在RGB颜色空间中，R表示红色分量，G表示绿色分量、B表示蓝色分量。在HSV颜色空间中，H表示色调分量，S表示饱和度分量，V表示明度分量。

步骤(2)将H，S，V分量进行均匀量化和组合量化后得到颜色索引图。

在本实施例中，分别将H，S，V分量均匀量化为6，3，3份，通过组合量化后的H，S，V分量，可以得到颜色索引图C(x,y)＝ω，ω∈{0,1,···,N_C-1}，N_C＝6×3×3＝54为颜色量化数目。

步骤(3)利用Sobel算子对V分量进行边缘检测，得到的边缘方向同样经过均匀量化操作，可获得边缘方向索引图O(x,y)＝θ，θ∈{0,1,···,N_O-1}，N_O＝36为边缘方向量化数目。

步骤(4)使用均匀量化操作对V分量进行处理，得到的灰度索引图为I(x,y)＝s，s∈{0,1,···,N_I-1}，N_I＝16为灰度量化数目。

步骤(5)对于所得到的颜色索引图C、边缘方向索引图O和灰度索引图I被统称为视觉特征图(被统称为视觉特征图)，使用最优方向选择算法分别确定各个被统称为视觉特征图的每一个像素点的最优方向。

对于上述各个视觉特征图中的任意一像素点(x,y)，以像素点(x,y)为中心，选取一个m×n的局部邻域。在该邻域内，将像素点(x,y)的索引值(在颜色索引图中为颜色索引值，边缘方向索引图为边缘方向索引值，灰度索引图为灰度索引值)记为g(x,y)，与其在0°、45°、90°和135°方向上的相邻的像素点的索引值记为g(x+1,y)，g(x+1,y-1)，g(x,y+1)，g(x+1,y+1)，则该邻域在四个方向上的平均索引值差异可以定义为：

式中，m,n分别为局部邻域的宽和高，(m-1)×n，(m-1)×(n-1)，m×(n-1)，(m-1)×(n-1)分别为四个方向上的像素点对个数。在本实施例中，局部邻域的宽m，高n取值为m＝n＝3。

若将某一方向上的G(α)作为分子，与该方向垂直的G(α)作为分母，则得到的比值为：

本发明将f(α)最小值对应的方向作为像素点(x,y)的最优方向。

同理，对各个视觉特征图中的所有像素点进行该操作，可以得到三幅最优方向图R_f(x,y)＝α，f∈{C,O,I}，α∈{0°,45°,90°,135°}。在得到最优方向图后，可利用局部变化特征描述子(Local feature change descriptor,LFCD)来提取视觉特征图中的特征变化关系，下面具体介绍该描述子。

步骤(6)对于上述各个视觉特征图中的任意一像素点(x,y)，α是(x,y)在相应最优方向图R_f上的最优方向。

将像素点(x,y)在各个视觉特征图中的索引值(在颜色索引图中为颜色索引值，边缘方向索引图为边缘方向索引值，灰度索引图为灰度索引值)记为P(x,y)。在α方向上左右相邻的像素点在视觉特征图中的索引值表示为P(x_α-1,y_α-1)和P(x_α,y_α)。

为了计算P(x_α-1,y_α-1)、P(x,y)、P(x_α,y_α)在视觉特征值和视觉特征值差异上的变化，本发明将α方向上三个像素点间的视觉特征值差异定义为：

fd₁＝P(x_α-1,y_α-1)-P(x,y) (3)

fd₂＝P(x,y)-P(x_α,y_α) (4)

由此可得，视觉特征值变化为：

fc＝3×s(fd₁)+s(fd₂) (5)

视觉特征值差异变化为：

通过结合视觉特征值变化和视觉特征值差异变化，可以得到像素点(x,y)在最优方向上的特征变化值：

LFCD(x,y)_α＝fd_c×2^fc (8)

如图2为具有45°方向的局部邻域在最优方向选择上的示例图。

步骤(7)在颜色索引图C、边缘方向索引图O和灰度索引图I中，使用步骤(6)中的特征变化值来构建特征变化直方图。

以颜色索引图C为例，P_C是其中任意一点，在以P_C为中心的3×3邻域中，将所有像素点记为P_Ci，i∈[0,1,2,···,8]，通过求出该邻域内的特征变化值的均值，可以得到P_C点的特征值：

同理，边缘方向索引图O和灰度索引图I的特征值可以表示为：

最后，联合H_C(C(x,y))、H_O(O(x,y))和H_I(I(x,y))可以得到最终的特征变化直方图H。

步骤(8)将特征变化直方图中的特征向量作为最终特征应用于图像检索，使用本发明提出的一种新型的距离计算公式来进行相似性匹配，该距离公式定义如下：

式中，T_i表示数据集中图像的第i维特征向量，Q_i表示查询图像的第i维特征向量，K为特征向量的维数，本实施例中，特征向量的维数K为N_C+N_O+N_I＝54+36+16＝106，权重参数w为0.25，

为特征向量T的均值，w为权重参数。

本发明提出一种基于方向选择机制来进行图像检索的新方法，首先将输入图像从RGB颜色空间转换到HSV颜色空间；其次，在HSV颜色空间提取视觉特征图；然后，对视觉特征图进行最优方向选择，得到最优方向图；最后，在视觉特征图和最优方向图的基础上，提取局部特征变化关系，得到特征变化直方图用于相似性匹配。该方法在使用传统图像检索技术的同时，在一定程度上模拟了人脑的视觉信息处理机制，能够有效描述图像的颜色、纹理和空间关系特征；通过在视觉信息的最优方向上计算特征变化值，能够描述彩色图像的纹理特征和空间关系，在检索精确度上取得了令人满意的结果。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (3)

1.一种基于方向选择机制的图像检索方法，其特征是，包括步骤如下：

步骤1、将输入的彩色图像从RGB颜色空间转换到HSV颜色空间；

步骤2、将HSV颜色空间中的色调分量H、饱和度分量S和明度分量V进行均匀量化和组合量化处理，得到颜色索引图；

步骤3、利用Sobel算子对HSV颜色空间中的明度分量V进行边缘检测，并将所得到的边缘方向进行均匀量化处理，获得边缘方向索引图；

步骤4、使用均匀量化操作对HSV颜色空间中的明度分量V进行处理，得到的灰度索引图；

步骤5、使用最优方向选择算法分别确定颜色索引图、边缘方向索引图和灰度索引图的每一个像素点的最优方向；其中最优方向选择算法的具体步骤如下：

步骤5.1、以所求像素点为中心，选取宽为m，高为n的局部邻域m×n；

步骤5.2、对于局部邻域m×n内的每一个像素点(x,y)，计算其在α＝0°、45°、90°和135°这4个备选方向上的平均索引值差异G(α)，其中：

式中，g(x,y)表示像素点(x,y)的索引值，g(x+1,y)表示与像素点(x,y)在0°方向上的相邻的像素点的索引值，g(x+1,y-1)表示与像素点(x,y)在45°方向上的相邻的像素点的索引值，g(x,y+1)表示与像素点(x,y)在90°方向上的相邻的像素点的索引值，g(x+1,y+1)表示与像素点(x,y)在135°方向上的相邻的像素点的索引值，m表示局部邻域的宽，n表示局部邻域的高；

步骤5.3、对于局部邻域m×n内的每一个像素点(x,y)，计算其在α＝0°、45°、90°和135°这4个备选方向与其垂直方向的平均索引值差异比值f(α)，其中：

f(0°)＝G(0°)/[G(90°)+1]

f(45°)＝G(45°)/[G(135°)+1]

f(90°)＝G(90°)/[G(0°)+1]

f(135°)＝G(135°)/[G(45°)+1]

步骤5.4、将平均索引值差异比值f(0°)、f(45°)、f(90°)和f(135°)的最小值所对应的备选方向α作为像素点(x,y)的最优方向；

步骤6、基于所确定的每一个像素点的最优方向，分别计算颜色索引图、边缘方向索引图和灰度索引图的每一个像素点在最优方向上的特征变化值；其中特征变化值LFCD(x,y)_α为：

式中，α表示像素点(x,y)的最优方向，P(x,y)表示像素点(x,y)的索引值，P(x_α-1,y_α-1)表示像素点(x,y)在最优方向α上的左相邻的像素点的索引值，P(x_α,y_α)表示像素点(x,y)在最优方向α上的右相邻的像素点的索引值，s(q)为变化走向函数，

步骤7、基于所到的每一个像素点在最优方向上的特征变化值，分别得到颜色索引图、边缘方向索引图和灰度索引图的特征变化直方图，并联合颜色索引图的特征变化直方图、边缘方向索引图的特征变化直方图和灰度索引图的特征变化直方图，得到最终的特征变化直方图；

步骤8、将所得到的最终的特征变化直方图的特征向量作为最终特征应用于图像检索。

2.根据权利要求1所述的一种基于方向选择机制的图像检索方法，其特征是，步骤8中，通过计算查询图像的特征向量与数据集中图像的特征向量之间的距离D(T,Q)来进行相似性匹配，从而完成图像检索；其中

式中，T_i表示数据集中图像的第i维特征向量，Q_i表示查询图像的第i维特征向量，K表示特征向量的维数，w表示权重参数。

3.根据权利要求2所述的一种基于方向选择机制的图像检索方法，其特征是，特征向量的维数K为：

K＝N_C+N_O+N_I

式中，N_C表示颜色量化数目，N_O表示方向量化数目，N_I表示灰度量化数目。

Images