CN103383700B - 基于边缘方向差直方图的图像检索方法 - Google Patents

Abstract

本发明公开一种基于边缘方向差直方图的图像检索方法，首先，输入要检索的图像；对该图像通过方向可调滤波器处理；通过方向滤波器的结果提取图像的边缘；根据检索图像的边缘提取检索图像的边缘方向差特征；计算检索图像像素点自身的边缘方向像素特征；整合计算得到图像的边缘方向差直方图特征，即图像用于匹配的特征；对数据库中的待检索图像同样提取边缘方向差直方图特征；把检索图像和待检索图像进行边缘方向差直方图特征相似性匹配；按照检索图像和待检索图像相似性匹配结果，显示图像的检索结果。尤其对于大型图像数据库检索本发明具有检索速度快、准确率和回调率较高的优势，可应用于实时人机交互和大型图像数据库的图像检索。

Description

基于边缘方向差直方图的图像检索方法

技术领域

本发明属于图像处理技术领域，涉及基于内容的图像检索方法，具体是一种基于边缘方向差直方图的图像检索方法，可应用于实时人机交互图像检索和离线大数据库图像检索等领域。

背景技术

图像检索是指在图像集合中查找具有指定特征或包含指定内容的图像的技术。随着多媒体技术、网络技术和数据库技术的不断发展，互联网的不断普及，人们对于图形、图像等多媒体数据的需求越来越强烈，因此图像信息的应用也越来越广泛。数字图像的容量随着人们的需求飞速增长着，每天都会产生数以百万计的图像。这就需要一种能快速、准确地查找图像的技术，即图像检索技术。图像检索技术实用性强且应用广泛，它涉及到当今社会和人们日常生活的方方面面。图像检索有着广阔的应用前景，目前主要应用于以下领域：数字图书馆、医疗诊断、军事、地理与远程遥感、图像分类、WEB相关应用、版权保护、公共安全和犯罪调查等等。

浙江大学提出的专利申请“一种基于图像分类的图像检索方法”(专利申请号201110443434.5，公开号CN102402621A)公开了一种基于图像分类的图像检索方法，该方法包括：首先确定在图像分类中图像的类别数以及与训练图像集；其次提取训练图像集的内容特征用以训练分类器得到分类器；然后输入待检索图像，提取待检索图像的内容特征作为分类器的输入，获得与类别对应的检索图像集，并提取检索图像集内每幅图像的内容特征；最后根据获得的内容特征运用相似度计算算法得到待检索图像与检索图像集内每幅图像的相似度距离，对距离进行排序最后得到与待检索图像距离最小的N幅图像并输出。该方法虽然在传统基于内容的图像检索方法基础上融入了图像分类技术，大大提高了图像检索的速度，但是仍然存在的不足是：返回结果集的准确率和回调率不高，对于大型的图像数据库检索效率低。

华中科技大学提出的专利申请“基于内容的图像检索反馈方法”(专利申请号20110423978.5，公开号CN102542014A)，公开了一种基于内容图像检索反馈方法。该方法包括以下步骤：从图像库中选择训练样本，并利用支持向量机对训练样本进行训练，以得到特征分类模型，根据特征分类模型将图像划分到视觉类别中，根据特征分类模型确定用户提交的图像的视觉类别，在视觉类别中检索与用户提交的图像相似的图像，并返回检索结果，在检索结果中选择反馈图像，根据反馈图像与用户提交的图像的相关性将其分别标注为正、负反馈图像，并将标注结果反馈给检索系统，根据反馈图像的文本关键字、类别标签以及映射表判断用户提交的图像的准确类别，在准确类别中检索与用户提交的图像相似的图像，并返回二次检索结果。该方法虽然可以快速准确定位用户提交的图像的所属类别，并提高了二次检索精度，但是这种方法采用的是反馈的交互方法，所以当图像数据库比较大时，因为反馈的信息和自身的检索信息，导致信息处理量大大增加，无法实现快速准确的检索。

发明内容

本发明针对上述现有技术的准确率和回调率较低的不足，提出一种基于边缘方向差直方图的方法，实现快速准确的实时人机交互，提高了图像数据库较大时候检索的速度、准确率和回调率。

实现本发明的思路是：首先应用方向可调滤波器对图像进行滤波，然后通过边缘方向和能量预测出每个像素点的边缘方向，通过阈值判断提取出图像边缘像素点，接着按照检索策略提取图像边缘像素点的边缘方向像素特征和边缘点邻域内的边缘方向差特征，最后根据边缘方向直方图特征和数据库中的待检索图像进行相似性匹配，得到检索结果，提高了检索过程的速度、准确率和回调率。具体实现步骤包括如下：

步骤1：输入检索的彩色图像，即将要查询的图像，该检索图像可以是人为自主选择的图像，也可以是数据库中随机选取得图像。

步骤2：对输入的检索图像灰度变换，通过方向可调滤波器进行处理，选取二维高斯函数为滤波器核函数，选取合适的滤波器滑动窗口大小，计算图像在X和Y方向上分别与一阶高斯核函数方向导数的卷积得到每个像素点2L个方向上的能量函数W_σ(x，y，θ)，L表示方向的个数，x和y表示像素点的坐标值，σ为滤波器尺度参数，θ为方向的值，范围是0～2π，间隔为π/L。

步骤3：通过方向滤波的结果提取图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分析，在每个边缘可能出现的方向θ上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d为圆形邻域半径，d的值为4σ。

3b)对于灰度图像中每个像素点，统计从其每个边缘可能出现的方向θ开始，旋转π角度，计算其π角度内L个方向上灰度差异值P_d(x，y，θ)的和值M_θ(x，y)，并选取对应于所有边缘可能出现的方向上，当M_θ(x，y)取得最大值时的边缘可能出现的方向θ为该像素点的边缘起始方向Θ(x，y)。

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得到每一个像素点2L个方向上的能量值A(x，y，θ)。

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开始，旋转π角度，在其π角度内L个方向上对于A(x，y，θ)进行向量求和计算得到图像中每个像素点边缘主方向向量该方向向量的幅值即该像素点的边缘能量值amp(x，y)，该方向向量的方向即该像素点的边缘主方向φ(x，y)。

3e)通过对灰度图像每一个像素点的方向向量的方向φ(x，y)和幅值amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像素点，计算该像素8邻域内的像素点是否满足方向阈值T_p和能量阈值T_a，如果8邻域内存在至少一个像素点边缘方向与中心像素点相反，即该像素点与中心像素点边缘主方向的差值在方向阈值T_p范围内，且该像素点与中心像素点边缘能量值均大于能量阈值T_a，则该中心像素点确定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ。

步骤4：根据检索图像的边缘像素点提取原检索彩色图像的边缘方向差特征，得到该图像的边缘方向差特征X₁，边缘方向差特征X₁包含了红色-R、绿色-G和蓝色-B三通道的方向差特征。

步骤5：计算原彩色图像边缘像素点本身所包含的特征，以边缘点主方向φ(x，y)为x轴，划为p个小区间，p取值为正整数，统计该图像中所有像素点落在每个小区间的像素点数目作为y轴，得到一个二维平面直方图，矩阵变换得到p维列向量，进行归一化处理得到边缘方向像素特征X₂。

步骤6：将原彩色图像的边缘方向差特征X₁和边缘方向像素特征X₂进行整合计算得到该图像的边缘方向差直方图特征X，边缘方向差特征X₁是一个w维特征，边缘方向像素特征X₂是一个p维特征，对两个维数不同的特征进行整合计算得到边缘方向直方图特征X，边缘方向直方图特征就是图像的最终特征。

步骤7：从图像总数大小为K的数据库中的提取一幅待检索图像执行步骤2-步骤6进行边缘方向差直方图特征提取，遍历数据库中的所有图像，数据库中所有待检索图像的边缘方向差直方图特征依次为X′_i，i＝1，2，...，K，K为待检索图像总数。

步骤8：把检索图像和待检索图像进行基于边缘方向差直方图特征的相似性匹配，为增强对旋转图像检索的鲁棒性，对于检索图像边缘方向差直方图特征X中的边缘方向像素特征X₂进行方向旋转处理，即对X₂列向量进行循环移位处理，整合边缘方向差特征X₁后得到方向旋转后的边缘方向差直方图特征X_j，计算X′_i和每一个其中边缘方向像素特征X₂旋转后整合得到的边缘方向差直方图特征X_j得到1范数距离取其最小值为Dis_i(X，X′_i)，j＝1，2，...，N，N为旋转方向的个数，取值为一能整除p的正整数，通常取与p相同的值。

步骤9：对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列，显示其中前n张图像即为检索的结果，i＝1，2，...，K，K为待检索图像总数，n为返回检索图像数目，取值为人为自主确定的正整数。

随着人们对于图形、图像等多媒体数据的需求越来越强烈，图像检索技术的应用已经涉及到当今社会和人们日常生活的方方面面。当前图像检索主要致力于解决图像数据库较大和图像发生尺度、光照和旋转变化时速度、准确率和回调率较低的问题。本发明主要通过提取图像的边缘方向差特征，该特征基于图像的边缘显著点，提取图像边缘点邻域内像素点和中心边缘像素点的边缘方向差异和像素值差异共同构成图像的边缘方向差特征，该特征对于图像尺度、光照和旋转变化时具有鲁棒性，然后再结合边缘像素点自身的边缘方向像素特征得到边缘方向差直方图特征，使得特征更有典型性。本发明在应用于实时人机交互和大型图像数据库时，提高了检索的速度、准确率和回调率。

本发明的实现还在于：步骤4中原检索彩色图像的边缘方向差特征提取，包括以下步骤：

4a)在计算图像的边缘方向差特征的时候，为了提高计算效率，把边缘主方向φ(x，y)的范围由原来的0～2π转化为0～π，在图像特征处理中，图像的边缘方向特征在0～2π范围上是对称的，θ和θ+π表示的边缘方向所代表的边缘方向特征是一样的。

4b)以原彩色图像中每一个边缘像素点为中心设定一矩形邻域，大小为13*13，计算邻域内所有像素点和中心像素点边缘主方向的方向差Pa(x，y)和分别在红色-绿色-蓝色RGB三通道内的像素值差Ap_r(x，y)、Ap_g(x，y)和Ap_b(x，y)。

4c)在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以4p_r(x，y)为x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区间，u和v取值为正整数，统计该邻域内所有像素点落在每个小区间的像素点数目作为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v)维列向量，归一化得到该边缘像素点R通道方向差特征his_r，同样的方法在绿色-G通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的计算分别得到该像素点的G通道方向差特征his_g和B通道方向差特征his_b。

4d)对原彩色图像中所有边缘像素点红色-绿色-蓝色RGB三个通道的方向差特征his_r、his_g和his_b分别进行一阶矩求和统计，得到该图像的边缘方向差特征X₁(θ)，边缘方向差特征X₁(θ)包含了红色蓝色绿色三通道的方向差特征，也就是三个通道组合的边缘方向差特征。

本发明与现有技术相比有以下优点：

第一，本发明采用了边缘方向和能量预测像素点的边缘方向的方法，结合方向可调滤波器，可以有效地判断出每个像素点边缘主方向的指向，然后通过阈值判定就可以快速准确的提取出图像的边缘像素点信息，通过提取得到的图像边缘像素点信息可以快速准确的进行下一步的特征提取，提高了应用于实时人机交互和大型图像数据库时检索的速度和准确性。

第二，本发明采用了提取边缘方向像素特征和边缘方向差特征相结合的检索策略，边缘方向差特征和边缘方向像素特征结合构成边缘方向差直方图特征，对图像的表示更加具有典型性，当图像发生尺度和光照变化时具有鲁棒性，可以更加有效的表示图像的特征差异性，在应用到检索过程中时，提高了应用于大型图像数据库检索时的准确率和回调率。

第三，本发明采用了基于边缘方向差直方图特征的方向旋转的相似性匹配方法，边缘方向差特征本身对图像发生方向旋转变化时具有鲁棒性，相似性匹配的时候对边缘方向像素特征进行方向旋转，使得边缘方向差直方图特征对图像发生方向旋转变化时具有更有效的鲁棒性，克服了当检索图像和待检索图像发生方向变化时造成的特征偏差，提高了图像检索的准确率和回调率。

附图说明

图1为本发明的流程图；

图2为本实施例所采用的Corel-1000图像数据库部分示例；

图3为本发明实施例中所使用的检索图像；

图4采用本发明对图2进行边缘提取所得到的所有像素点的方向和能量向量图；

图5本发明对图3进行阈值判断后得到的边缘像素点的方向和能量向量图；

图6为本发明在Corel-1000库中对图2所使用的检索图像的检索结果；

图7为本发明与本领域4种检索方法的平均检索准确率对比曲线图；

图8为本发明与本领域4种检索方法的平均检索回调率对比曲线图。

具体实施措施

下面结合附图对发明做进一步描述。

实施例1

本发明是一种基于边缘方向差直方图特征的检索方法，随着多媒体技术不断发展和互联网的不断普及，图像信息的应用也越来越广泛。图像检索涉及到当今社会和人们日常生活的方方面面，例如数字图书馆、公共安全和犯罪调查，图像检索可以快速有效地查询到人们需要的信息，融合进人们的日常生活中去，给人们带来便利，图像检索有着越来越广阔的应用前景。参照图1，对本发明实现给出如下具体实施例：

步骤1：输入检索的彩色图像。

步骤2：对输入的检索图像做灰度变换，通过方向可调滤波器进行处理，选取二维高斯函数为滤波器核函数，计算图像在X和Y方向上分别与一阶高斯核函数方向导数的卷积得到每个像素点2L个方向上的能量函数W_σ(x，y，θ)，L表示方向的个数，x和y表示像素点的坐标值，σ为滤波器尺度参数，θ为方向的值，范围是0～2π，间隔为π/L，具体步骤如下：

2a)对检索图像做灰度变换，选取滤波器滑动窗口大小为5*5。

2b)选取二维高斯函数为滤波器核函数，并分别在图像X和Y方向求该滤波核函数的一阶方向导数和

2c)对于灰度图像中每个像素点f(x，y)，选取方向间隔为π/L，L表示方向的个数，计算图像在X和Y方向上分别与一阶高斯核函数方向导数和的卷积，得到该图像每个像素点2L个方向上的能量函数W_σ(x，y，θ)。

步骤3：通过方向滤波的结果提取图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分析，在每个方向上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d为圆形邻域半径，d的值为4σ，在每个方向上计算每个像素点的灰度差异值P_d(x，y，θ)，采用如下公式计算P_d(x，y，θ)：

$P_d(x,y,\mathrm{\θ})=\frac{|I_{\mathrm{\σ}}(x+d\cos \mathrm{\θ},y+d\sin \mathrm{\θ})-I_{\mathrm{\σ}}(x,y)|}{{|I}_{\mathrm{\σ}}(x+d\cos \mathrm{\θ},y+d\sin \mathrm{\θ}){+I}_{\mathrm{\σ}}(x,y)|},$

P_d(x，y，θ)即计算中心像素点以d为半径圆形邻域上像素点与中心像素点每个方向θ上的灰度差异值，通过对该灰度差异值进一步计算来判断图像像素点的边缘起始方向。

3b)对于灰度图像中每个像素点，统计从其每个方向θ开始，旋转π角度，L个方向上灰度差异值P_d(x，y，θ)的和值M_θ(x，y)，并选取M_θ(x，y)取得最大值时的θ为该像素点的边缘起始方向Θ(x，y)，采用如下公式计算Θ(x，y)：

$\mathrm{\&Theta;}(x,y)=\arg \underset{\mathrm{\&theta;}}{\max }\left\{\right|\underset{\mathrm{\&theta;}\&le;{\mathrm{\&theta;}}^{\&prime;}<\mathrm{\&theta;}+(L-1)\mathrm{\&pi;}/L}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{P}(x,y,{\mathrm{\&theta;}}^{\&prime;})\left|\right\},$

其中，是由P_d(x，y，θ′)的值和方向θ′构成，Θ(x，y)即通过对灰度差异值P_d(x，y，θ′)和其方向θ′构成的向量进行向量求和计算和判断得到的像素点的边缘起始方向，通过对该边缘起始方向结合像素能量函数可以计算得到像素点的边缘主方向向量。

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得到每一个像素点2L个方向上的能量值A(x，y，θ)；

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开始，旋转π角度进行向量求和计算得到图像中每个像素点边缘主方向向量该方向向量的幅值即该像素点的边缘能量值amp(x，y)，该方向向量的方向即该像素点的边缘主方向φ(x，y)；采用如下公式计算

$\stackrel{\&RightArrow;}{O}(x,y)=\underset{\mathrm{\&Theta;}\&le;\mathrm{\&theta;}<\mathrm{\&Theta;}(L-1)\mathrm{\&pi;}/L}{\mathrm{\&Sigma;}}A(x,y,\mathrm{\&theta;})\&CenterDot;\exp \left(\mathrm{j\&theta;}\right),$

其中，A(x，y，θ)＝|W_σ(x，y，θ)|，即通过对像素点的能量值A(x，y，θ)从对应的边缘起始方向Θ(x，y)开始，旋转π角度向量求和计算得到的像素点边缘主方向向量，通过对该向量的幅值和方向进行阈值判断可以确定图像的边缘像素点。

3e)通过对灰度图像每一个像素点的方向向量的方向φ(x，y)和幅值amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像素点，计算该像素8邻域内的像素点是否满足方向阈值T_p和能量阈值T_a，如果满足，该中心像素点确定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ；

步骤4：根据检索图像的边缘像素点提取原检索彩色图像的边缘方向差特征，得到该图像的边缘方向差特征X₁，边缘方向差特征X₁包含了红色-R、绿色-G和蓝色-B三通道的方向差特征，对原检索彩色图像的边缘方向差特征提取，包括以下步骤：

4a)在计算图像的边缘方向差特征的时候，为了提高计算效率，把边缘主方向φ(x，y)的范围由原来的0～2π转化为0～π，在图像特征处理中，图像的边缘方向特征在0～2π范围上是对称的，θ和θ+π表示的边缘方向所代表的边缘方向特征是一样的；

4b)以原彩色图像中每一个边缘像素点为中心设定一矩形邻域，大小为13*13，计算邻域内所有像素点和中心像素点边缘主方向的方向差Pa(x，y)和分别在红色-绿色-蓝色RGB三通道内的像素值差Ap_r(x，y)、Ap_g(x，y)和Ap_b(x，y)。矩形邻域的大小是人为主观选定的，如果大小和13*13不同，或大或小均可实现本发明提取边缘方向差特征，本发明经过大量的实验、分析、总结，给出了13*13的矩形邻域大小的优选值，该值即可以保证特征的有效提取，也可以避免矩形窗过大带来的计算复杂度；

4c)在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以Ap_r(x，y)为x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区间，u和v取值为正整数，统计该邻域内所有像素点落在每个小区间的像素点数目作为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v)维列向量，归一化得到该边缘像素点R通道方向差特征his_r，同样的方法在绿色-G通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的计算分别得到该像素点的G通道方向差特征his_g和B通道方向差特征his_b；

4d)对原彩色图像中所有边缘像素点红色-绿色-蓝色RGB三个通道的方向差特征his_r、his_g和his_b分别进行一阶矩求和统计，得到该图像的边缘方向差特征X₁(θ)，边缘方向差特征X₁(θ)包含了红色蓝色绿色三通道的方向差特征，也就是三个通道组合的边缘方向差特征。

步骤5：计算原彩色图像边缘像素点本身所包含的特征，以边缘点主方向φ(x，y)为x轴，划为p个小区间，p取值为正整数，统计该图像中所有像素点落在每个小区间的像素点数目作为y轴，得到一个二维平面直方图，矩阵变换得到p维列向量，进行归一化处理得到边缘方向像素特征X₂。

步骤6：将原彩色图像的边缘方向差特征X₁和边缘方向像素特征X₂进行整合计算得到该图像的边缘方向差直方图特征X，边缘方向差特征X₁是一个w维特征，边缘方向像素特征X₂是一个p维特征，对两个维数不同的特征进行整合计算得到边缘方向直方图特征X，边缘方向直方图特征就是图像的最终特征。本例中，就是对图像的w维特征和p维特征进行整合计算，即pooling得到w+p维的边缘方向直方图特征X，边缘方向直方图特征X不仅是w维和p维两个特征的组合，同时还对w维和p维的两个特征有一个顺序的限定，如w维的X₁特征始终在先，然后顺序排列p维的X₂特征。

步骤7：从图像总数大小为K的数据库中的提取一幅待检索图像执行步骤2-步骤6进行边缘方向差直方图特征提取，遍历数据库中的所有图像，数据库中所有待检索图像的边缘方向差直方图特征依次为X′_i，i＝1，2，...，K，K为待检索图像总数。

步骤8：把检索图像和待检索图像进行基于边缘方向差直方图特征的相似性匹配，为增强对旋转图像检索的鲁棒性，对于检索图像边缘方向差直方图特征X中的边缘方向像素特征X₂进行方向旋转处理，即对X₂列向量进行循环移位处理，整合边缘方向差特征X₁后得到方向旋转后的边缘方向差直方图特征X_j，计算X′_i和每一个其中边缘方向像素特征X₂旋转后整合得到的边缘方向差直方图特征X_j得到1范数距离取其最小值为Dis_i(X，X′_i)，j＝1，2，...，N，N为旋转方向的个数，取值为一能整除p的正整数，通常取与p相同的值，采用如下公式计算Dis_i(X，X_i)：

${\mathrm{Dis}}_i(X,X_i^{\&prime;})=\underset{j=\mathrm{1,2},...,N}{\min }\left(\right||X_i^{\&prime;}-X_j|\left|\right),$

Dis_i(X，X′_i)即计算得到的检索图像和待检索图像最终的基于边缘方向差直方图特征的特征相似性匹配值，通过对该相似性匹配值进行排序可以判断得出对应于检索图像最终的检索结果。

步骤9：对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列，显示其中前n张图像即为检索的结果，i＝1，2，...，K，K为待检索图像总数，n为返回检索图像数目，取值为人为自主确定的正整数。

本发明采用了基于方向可调滤波器的灰度差异值和能量预测像素点边缘方向的方法，通过阈值判断可以快速有效地提取图像的边缘像素点，提取图像边缘像素点的边缘方向差直方图特征，可以更加典型的表征该图像，提高了应用于实时人机交互和大型图像数据库时图像检索的速度和检索的准确率和回调率。

实施例2

基于边缘方向差直方图特征的检索方法同实施例1

步骤1，输入检索的彩色图像；

本实例输入一副在Corel-1000图像数据库中随机选取的检索图像，见图3，需要在Corel-1000图像数据库中检索出同类型的图像，图像库包括10类图像，参见图2，每一类包括100张图像，每一类的部分示例如图2所示，本例中所使用的检索图像如图3所示。

步骤2，对输入的检索图像做灰度变换，通过方向可调滤波器进行处理，选取二维高斯函数为滤波器核函数，计算图像在X和Y方向上分别与一阶高斯核函数方向导数的卷积得到每个像素点2L个方向上的能量函数W_σ(x，y，θ)，L表示方向的个数，本例中L取值为6，x和y表示像素点的坐标值，σ为滤波器尺度参数，本例中σ取值为1，θ为方向的值，范围是0～2π，间隔为π/L。

步骤3，通过方向滤波的结果提取图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分析，在每个边缘可能出现的方向θ上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d为圆形邻域半径，d的值为4σ。

3b)对于灰度图像中每个像素点，统计从其每个边缘可能出现的方向θ开始，旋转π角度，计算其π角度内L个方向上灰度差异值P_d(x，y，θ)的和值M_θ(x，y)，并选取对应于所有边缘可能出现的方向上，当M_θ(x，y)取得最大值时的边缘可能出现的方向θ为该像素点的边缘起始方向Θ(x，y)。

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得到每一个像素点2L个方向上的能量值A(x，y，θ)，本例中计算得到每一个像素点12个方向上的能量值。

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开始，旋转π角度，在其π角度内L个方向上对于A(x，y，θ)进行向量求和计算得到图像中每个像素点边缘主方向向量该方向向量的幅值即该像素点的边缘能量值amp(x，y)，该方向向量的方向即该像素点的边缘主方向φ(x，y)，结果示意图如图4所示。

3e)通过对灰度图像每一个像素点的方向向量的方向φ(x，y)和幅值amp(x，y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像素点，选取3*3大小的窗是为了去除图像中的孤点，并进行阈值判断提取图像边缘点，选取3*3窗可以得到该像素点的一个8邻域进行计算，该像素8邻域内的像素点是否满足方向阈值T_p和能量阈值T_a，如果8邻域内存在至少一个像素点边缘方向与中心像素点相反，即该像素点与中心像素点边缘主方向的差值在方向阈值T_p范围内，且该像素点与中心像素点边缘能量值均大于能量阈值T_a，则该中心像素点确定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ，结果示意图如图5所示。

步骤4，根据检索图像的边缘像素点提取原检索彩色图像的边缘方向差特征，得到该图像的边缘方向差特征X₁，边缘方向差特征X₁包含了红色-R、绿色-G和蓝色-B三通道的方向差特征。

其中步骤4c)中，在原彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以Ap_r(x，y)为x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区间，u和v取值为正整数，本例中u取值为8和v取值为18，统计该邻域内所有像素点落在每个小区间的像素点数目作为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v)维列向量，本例中w值即为144，归一化得到该边缘像素点R通道方向差特征his_r，同样的方法在绿色-G通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的计算分别得到该像素点的G通道方向差特征his_g和B通道方向差特征his_b。

步骤5，计算原彩色图像边缘像素点本身所包含的特征，以边缘点主方向φ(x，y)为x轴，划为p个小区间，p取值为正整数，本例中p取值为72，统计该图像中所有像素点落在每个小区间的像素点数目作为y轴，得到一个二维平面直方图，矩阵变换得到p维列向量，进行归一化处理得到边缘方向像素特征X₂。

步骤6，将原彩色图像的边缘方向差特征X₁和边缘方向像素特征X₂进行整合计算得到该图像的边缘方向差直方图特征X，边缘方向差特征X₁是一个w维特征，边缘方向像素特征X₂是一个p维特征，对两个维数不同的特征进行整合计算得到边缘方向直方图特征X，边缘方向直方图特征就是本发明用于检索图像的最终特征。

步骤7，从图像总数大小为K的数据库中的提取一幅待检索图像执行步骤2-步骤6进行边缘方向差直方图特征提取，遍历数据库中的所有图像，数据库中所有待检索图像的边缘方向差直方图特征依次为X′_i，i＝1，2，...，K，本例中使用的数据库为Corel-1000，包括10类，每一类包括100张图像，K的值即为1000。

步骤8，把检索图像和待检索图像进行基于边缘方向差直方图特征的相似性匹配，为增强对旋转图像检索的鲁棒性，对于检索图像边缘方向差直方图特征X中的边缘方向像素特征X₂进行方向旋转处理，即对X₂列向量进行循环移位处理，整合边缘方向差特征X₁后得到方向旋转后的边缘方向差直方图特征X_j，计算X′_i和每一个其中边缘方向像素特征X₂旋转后整合得到的边缘方向差直方图特征X_j得到1范数距离取其最小值为Dis_i(X，X′_i)，j＝1，2，...，N，N为旋转方向的个数，取值为一能整除p的正整数，本例中N取值为72，和边缘方向像素特征X₂的维数p相等。

步骤9，对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列，显示其中前n张图像即为检索的结果，n为返回检索图像数目，取值为人为自主确定的正整数，本例中n取值为20，检索结果如图6所示，本发明成功的从Corel-1000图像数据中准确地检索出来20幅相关图像，但就此项，检索准确率为100％。

实施例3

基于边缘方向差直方图特征的检索方法同实施例1-2

本实例同样选取Corel-1000图像数据库，图像数据库中包括10类图像，每一类的部分示例如图2所示，每一类包括100张图像，对数据库中的每一张图像执行实施例1同样的检索过程，计算当返回检索图像数目n取值为10、20、…、100时图像数据库中全部1000张图像的平均检索准确率和平均检索回调率，绘制了曲线图，与本领域所熟知的Jhanwar、Hung、Chuen所提出的方法及CSD方法进行了对比，平均检索准确率的对比曲线图如图7所示，平均检索回调率的对比曲线图如图8所示。

对Corel-1000图像数据库中全部1000张图像的平均准确率和本领域几种常见方法的对比结果如7所示。从图7可见，Jhanwar和Hung所提出方法的平均检索准确率在返回检索图像数目n从10到100张变化时均比较低，在与Chuen所提出的方法及CSD方法进行对比时，本发明的平均检索准确率在返回检索图像数目n从10到100张变化时均高于两种方法。总体来看，本发明在返回检索图像数目n不同的情况下，较其他四种方法均保证了较高的平均检索准确率，返回检索图像数目n越大，本发明的优势越明显。因此，本发明在应对各种检索情况下，均可以保持较稳定的优于其他方法的平均检索准确率，尤其在图像数据库较大需要返回较多的检索图像数目时，仍可以保证较优的平均检索准确率，本发明能够适用于大型图像数据库的图像检索，并可得到较高的检索准确率，也可用于实时人机交互的图像检索领域。

对Corel-1000图像数据库中全部1000张图像的平均检索回调率和本领域几种常见方法的对比结果如图8所示。从图8可见，当返回检索图像数目n较低时，本发明和Jhanwar、Hung、Chuen所提出的方法及CSD方法的平均检索回调率比较相近，随着返回检索图像数目n的增加，本发明的平均检索回调率明显要优于其他4种对比方法，且返回检索图像数目n越大，优势越明显。同样可见，本发明在应对各种检索情况下，均保持较优的平均检索回调率，尤其在图像数据库较大时，平均检索回调率的优势更加明显，适用于大型图像数据库的图像检索。

实施例4

基于边缘方向差直方图特征的检索方法同实施例1-3

本实例同样选取Corel-1000图像数据库，图像数据库中包括10类图像，每一类的部分示例如图2所示，每一类包括100张图像，对数据库中的每一张图像执行实施例1同样的检索过程，计算当返回检索图像数目n为20时的全部10类中每一类的平均检索准确率和全部10类1000张图像的平均检索准确率，对检索结果统计并列表，并和本领域几种熟知的Jhanwar、Hung、Chuen所提出的方法及基于SIFT-SPM的方法和基于SIFT-LBP的方法进行了对比，对比结果如表1所示。从表1可见，本发明在图像数据库全部10类中每一类的平均检索准确率均高于Jhanwar、Hung所提出的方法和基于SIFT-SPM的方法，对比于基于SIFT-LBP的方法，本发明仅海滩和山峰两类的平均检索准确率低于基于SIFT-LBP的方法，对比于Chuen提出的方法，本发明有6类的平均检索准确率明显高于Chuen所提出的方法。总体来看，本发明的在返回检索图像数目n为20时全部10类1000张图像的平均检索准确率明显高于每一种对比方法，且在全部10类中每一类100张图像的平均检索准确率上高于大部分对比方法。因此，本发明在应用于不同类别图像进行检索时，均可以取的较高的平均检索准确率，适用于图像种类较多的大型图像数据的图像检索，且对于每一类均可得到较稳定、较优的平均检索准确率。

表1

以上是本发明的三个实例，并不构成对本发明的任何限制，仿真实验表明，本发明不仅能在应用与大型图像数据库时提高了速率，也能实现对于检索结果的拥有较高的准确率和回调率。

综上，本发明的基于边缘方向差直方图的图像检索方法，主要致力于现有技术应用于大型图像数据库时速度、准确率和回调率的提高。其方法步骤为：(1)输入将要检索的图像；(2)对该检索图像通过方向可调滤波器处理；(3)通过方向滤波器的结果提取图像的边缘；(4)根据检索图像的边缘提取检索图像的边缘方向差特征；(5)计算检索图像的特征边缘方向像素特征；(6)整合计算得到图像的边缘方向差直方图特征，即图像用于匹配的特征；(7)对数据库中的待检索图像同样提取边缘方向差直方图特征；(8)把检索图像和待检索图像进行边缘方向差直方图特征相似性匹配；(9)按照检索图像和待检索图像相似性匹配结果，显示图像检索结果。本发明具有检索速度快、准确率和回调率较高的优点，可应用于实时人机交互和大型的图像数据库的图像检索。

Claims (5)

1.一种基于边缘方向差直方图的图像检索方法，其特征在于：包括以下步骤：

步骤1：输入检索的彩色图像；

步骤2：对检索图像做灰度变换，通过方向可调滤波器进行处理，选取二维高斯函数为滤波器核函数，选取合适的滤波器滑动窗口大小，得到每个像素点2L个方向上的能量函数W_σ(x，y,θ)，L表示方向的个数，x和y表示像素点的坐标值，σ为滤波器尺度参数，θ为方向的值，范围是0～2π，间隔为π/L；

步骤3：通过方向滤波的结果提取图像的边缘像素点：

3a)以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分析，在每个方向上计算每个像素点的灰度差异值P_d(x，y，θ)，其中d为圆形邻域半径，d的值为4σ；

3b)对于灰度图像中每个像素点，统计从其每个方向θ开始，旋转π角度，L个方向上灰度差异值P_d(x，y，θ)的和值M_θ(x,y)，并选取M_θ(x，y)取得最大值时的θ为该像素点的边缘起始方向Θ(x,y)；

3c)根据灰度图像中每个像素点边缘方向的能量函数W_σ(x，y，θ)进行模值计算得到每一个像素点2L个方向上的能量值A(x，y,θ)；

3d)根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x,y)开始，旋转π角度进行向量求和计算得到图像中每个像素点边缘主方向向量该方向向量的幅值即该像素点的边缘能量值amp(x，y)，该方向向量的方向即该像素点的边缘主方向φ(x,y)；

3e)通过对灰度图像每一个像素点的方向向量的方向φ(x，y)和幅值amp(x,y)进行阈值判断提取图像的边缘像素点，选取一个3*3大小的窗遍历每个像素点，计算该像素8邻域内的像素点是否满足方向阈值T_p和能量阈值T_a，如果满足，该中心像素点确定为图像边缘像素点，其中T_p的取值为一范围5π/6～7π/6，T_a取值为2.5σ；

步骤4：根据检索图像的边缘像素点提取原检索彩色图像的边缘方向差特征，得到该图像的边缘方向差特征X₁，边缘方向差特征X₁包含了红色-R、绿色-G和蓝色-B三通道的方向差特征；

步骤5：计算原检索彩色图像边缘像素点本身所包含的特征，以边缘点主方向φ(x，y)为x轴，划为p个小区间，p取值为正整数，统计该图像中所有像素点落在每个小区间的像素点数目作为y轴，得到一个二维平面直方图，矩阵变换得到p维列向量，进行归一化处理得到边缘方向像素特征X₂；

步骤6：将原检索彩色图像的边缘方向差特征X₁和边缘方向像素特征X₂进行整合计算得到该图像的边缘方向差直方图特征X；

步骤7：从图像总数大小为K的数据库中的提取一幅待检索图像执行步骤2-步骤6进行边缘方向差直方图特征提取，遍历数据库中的所有图像，其特征依次为X′_i，i＝1，2，...，K，K为待检索图像总数；

步骤8：把检索图像和待检索图像进行边缘方向差直方图特征相似性匹配，对于检索图像边缘方向差直方图特征X中的边缘方向像素特征X₂进行方向旋转处理，即对特征X₂列向量进行循环移位处理，整合边缘方向差特征X₁得到方向旋转后的边缘方向差直方图特征X_j，计算X′_i和每一个X₂旋转后整合得到的X_j得到1范数距离取其最小值为Dis_i(X，X′_i)，j＝1，2，...，N，N为旋转方向的个数，取值为一能整除p的正整数；

步骤9：对于每幅待检索图像按照其Dis_i(X，X′_i)的值进行从小到大的顺序排列，显示其中前n张图像即为检索的结果，i＝1，2，...，K，K为待检索图像总数，n为返回检索图像数目，取值为人为自主确定的正整数。

2.根据权利要求1所述的基于边缘方向差直方图的图像检索方法，其特征在于：步骤4中原检索彩色图像的边缘方向差特征提取，包括以下步骤：

4a)在计算图像的边缘方向差特征的时候，把边缘主方向φ(x,y)的范围转化为0～π；

4b)以原检索彩色图像中每一个边缘像素点为中心设定一矩形邻域，大小为13*13，计算邻域内所有像素点和中心像素点边缘主方向的方向差Pa(x,y)和分别在红色-绿色-蓝色RGB三通道内的像素值差Ap_r(x,y)、Ap_g(x，y)和Ap_b(x,y)；

4c)在原检索彩色图像中每一个边缘像素点邻域内，在红色-R通道内，以Ap_r(x，y)为x轴，将x轴等距划为u个小区间，以Pa(x，y)为y轴，将y轴等距划为v个小区间，u和v取值为正整数，统计该邻域内所有像素点落在每个小区间的像素点数目作为z轴，在红色-R通道内得到一个三维立体直方图，进行矩阵变换得到w(u*v)维列向量，归一化得到该边缘像素点R通道方向差特征his_r，同样的方法在绿色-G通道和蓝色-B通道内，分别以Ap_g(x，y)和Ap_b(x，y)为x轴，执行红色-R通道同样的计算分别得到该像素点的G通道方向差特征his_g和B通道方向差特征his_b；

4d)对原检索彩色图像中所有边缘像素点红色-绿色-蓝色RGB三个通道的方向差特征his_r、his_g和his_b分别进行一阶矩求和统计，得到该图像的边缘方向差特征X₁(θ)。

3.根据权利要求1所述的基于边缘方向差直方图的图像检索方法，其特征在于：步骤3a)所述的以灰度图像中的每个像素点为中心点，通过对其与相邻像素的灰度差异分析，在每个方向上计算每个像素点的灰度差异值P_d(x,y,θ)，采用如下公式计算：

$P_d(x,y,\mathrm{\&theta;})=\frac{|I_{\mathrm{\&sigma;}}(x+d\cos \mathrm{\&theta;},y+d\sin \mathrm{\&theta;})-I_{\mathrm{\&sigma;}}(x,y)|}{|I_{\mathrm{\&sigma;}}(x+d\cos \mathrm{\&theta;},y+d\sin \mathrm{\&theta;})+I_{\mathrm{\&sigma;}}(x,y)|},$

其中，其中d为圆形邻域半径，θ表示方向的值，范围是0～2π，间隔为π/L，L表示方向的个数，σ为滤波器尺度参数。

4.根据权利要求1所述的基于边缘方向差直方图的图像检索方法，其特征在于：步骤3b)所述的对于灰度图像中每个像素点，统计从其每个方向θ开始，旋转π角度，L个方向上灰度差异值P_d(x，y，θ)的和值M_θ(x，y)，并选取M_θ(x，y)取得最大值时的θ为该像素点的边缘起始方向Θ(x，y)，采用如下公式计算：

$\mathrm{\&Theta;}(x,y)=\arg \underset{\mathrm{\&theta;}}{\max }\left\{\right|\underset{\mathrm{\&theta;}\&le;{\mathrm{\&theta;}}^{\&prime;}<\mathrm{\&theta;}+(L-1)\mathrm{\&pi;}/L}{\mathrm{\&Sigma;}}\stackrel{\&RightArrow;}{P}(x,y,{\mathrm{\&theta;}}^{\&prime;})\left|\right\},$

其中，θ表示方向的值，范围是0～2π，间隔为π/L，L表示方向的个数，是由P_d(x，y，θ′)的值和方向θ′构成。

5.根据权利要求1所述的基于边缘方向差直方图的图像检索方法，其特征在于：步骤3d)所述的根据灰度图像每一个像素点的能量值A(x，y，θ)从其边缘起始方向Θ(x，y)开始，旋转π角度进行向量求和计算得到图像中每个像素点边缘主方向向量采用如下公式计算：

$\stackrel{\&RightArrow;}{O}(x,y)=\underset{\mathrm{\&Theta;}\&le;\mathrm{\&theta;}<\mathrm{\&Theta;}+(L-1)\mathrm{\&pi;}/L}{\mathrm{\&Sigma;}}A(x,y,\mathrm{\&theta;})\&CenterDot;\exp \left(\mathrm{j\&theta;}\right),$

其中，A(x，y，θ)＝|W_σ(x，y，θ)|，θ表示边缘方向的值，范围是0～2π，间隔为π/L，L表示方向的个数，σ为滤波器尺度参数。