CN107247752B - 一种基于角点描述子的图像检索方法 - Google Patents

Abstract

本发明公开了一种基于角点描述子的图像检索方法，通过提取图像角点的局部邻域特征和空间位置特征实现角点匹配，在图像检索实验中表现出较高的准确性。其实现过程是：(1)检索图像和数据库图像二值化处理；(2)对查询图像和数据库图像分别检测角点；(3)对每个角点提取局部分布特征LSD和全局分布特征GSD并进行融合；(4)角点匹配；(5)按照角点匹配程度返回检索结果。本发明提出的角点描述方法，在相似图像匹配中表现出较强的鲁棒性，应用于图像检索的准确性较高。

Description

一种基于角点描述子的图像检索方法

技术领域

本发明属于图像检索技术领域，具体地说是一种基于角点描述子的图像检索方法。

背景技术

随着多媒体技术的发展和大数据时代的来临，图像数据爆炸式增长，图像成为当今社会获取数据和交换信息的重要载体，如何从庞大的网络图像数据库中快速有效组织检索图像信息，成为人们越来越关心的问题。图像检索技术具有广泛的应用场景，如商品搜索、图标去重、商标注册、人脸检索、医学图像检索等，具有重要的研究意义。

图像检索一般通过提取图像的颜色、形状、纹理等视觉特征，在数据库中查询和检索图像特征相近的图像实现。经过几十年的发展，图像检索技术取得了长足的进步，也有一些应用性的成果，但是现在图像检索系统的查询结果和人的认知判断差距较大，相似查询的准确率依然不能让人满意。

发明内容

本发明的目的在于针对上述已有技术的问题，提出一种基于角点描述子的图像检索方法，通过提取图像角点的局部邻域特征和空间位置特征实现角点匹配，通过分析角点匹配的结果实现图像检索。

为实现上述目的，本发明的技术方案是：一种基于角点描述子的图像检索方法，其特征在于包括如下步骤：

(1)输入查询图像I₀和图像数据库S，其中S包含k幅图像，S＝{I_j},j＝1,2,…,k；

(2)角点检测；对查询图像和图像数据库中的图像二值化提取边缘并滤波后利用基于边缘曲率极大值的方法检测角点；对查询图像I₀检测角点，得到查询图像的角点集合P₀＝{P_0u},u＝1,2,…,m，对图像数据库S中的任意一幅图像I_j(j＝1,2,…,k)检测角点，得到I_j的角点集合P_j＝{P_jv},v＝1,2,…,n，其中m,n分别是I₀和I_j的角点数目；

(3)特征提取；对P₀和P_j中的每个角点分别提取局部统计分布LSD特征f_LSD，全局统计分布GSD特征f_GSD，将这两个特征级联起来描述二值图像角点特征：

f＝[w₁f_LSD,w₂f_GSD]

其中，w₁和w₂分别为LSD特征和GSD特征的加权值，这里w₂＝2w₁；

对P₀和P_j分别得到两个角点描述集合F₀＝{f_0u},u＝1,2,…,m、F_j＝{f_jv},v＝1,2,…,n；

(4)角点匹配；对P₀中任意点P_0u,u＝1,2,…,m，对应特征向量f_0u,u＝1,2,…,m，P_j中任意点P_jv,v＝1,2,…,n，对应特征向量f_jv,v＝1,2,…,n，计算P₀和P_j的距离d_uv＝||f_0u-f_jv||；设相似阈值为T，则有当d_uv≤T时P_0u和P_jv相似，当d_uv＞T时P_0u和P_jv不相似；遍历F₀和F_j找出最相似的匹配点对，通过基于仿射变换的RANSAC筛选，消除误匹配，得到最终角点匹配结果；

(5)返回结果；按照查询图像和图像数据库中角点匹配率从大到小的顺序依次返回前N幅图像作为图像检索结果。

所述步骤(3)中局部统计分布LSD特征f_LSD的提取方法，包括以下步骤：

对于图像I的任意角点P，以P为中心，在I中取一个9*9的矩形区域，以P为原点划分1、2、3、4四个邻域象限，统计邻域象限i的黑色像素的比例并量化得到特征值r_i(i＝1,2,3,4)，将四个象限的特征值依次级联得到描述当前点P的特征矢量，该特征矢量定义如下：f_LSD＝(r₁，r₂，r₃，r₄)

其中，

其中，s是9*9的矩形邻域的目标像素总数，s_i是邻域象限i的目标像素的数目，这里T₁＝7，T₂＝16，T₃＝0.3。

所述步骤(3)中全局统计分布GSD特征f_GSD的提取方法，包括以下步骤：

对于图像I的任意角点P，以P为原点，将I划分为四个象限，然后统计每个象限的角点数目占整幅图像角点总数的比例，依次级联得到全局统计分布GSD特征；

设图像I角点集合C＝{C_t}＝{(x_t,yt)},t＝1,2,…,n，n为角点数目，x_t和y_t分别是角点C_t的横坐标和纵坐标；任意角点(x_t,y_t)∈C的全局统计分布特征计算如下：

其中，card(*)表示集合元素的数目，Q_1t,Q_2t,Q_3t,Q_4t分别是以角点(x_t,y_t)∈C为原点划分的1,2,3,4四个象限中的点集集合：

Q_1t＝{(x,y)|(x,y)∈C且x＞x_t,y≥y_t}

Q_2t＝{(x,y)|(x,y)∈C且x≤x_t,y＞y_t}

Q_3t＝{(x,y)|(x,y)∈C且x＜x_t,y≤y_t}

Q_4t＝{(x,y)|(x,y)∈C且x≥x_t,y＜y_t}。

本发明与现有的技术相比具有以下优点：本发明提出一种基于角点局部统计分布描述和全局统计分布描述的图像检索技术，在相似图像匹配中表现出较强的鲁棒性，图像检索准确性较高。该描述子也可用于图像配准等。

附图说明

图1是角点邻域分析示意图(P1、P2、P3为标示的三个角点)；

图2是关键点位置特征示意图；

图3是本发明图像检索方法实验的PVR曲线。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

本发明的实现步骤如下：

步骤1，输入查询图像I₀和目标图像数据库S。

步骤2，角点检测。对查询图像和图像数据库中的图像二值化后提取边缘并滤波，利用基于边缘曲率极大值的方法检测角点；对查询图像I₀检测角点，得到查询图像的角点集合P₀＝{P_0l},l＝1,2,…,m，对图像数据库S中的任意一幅图像I_j(j＝1,2,…,k)检测角点，得到I_j的角点集合P_j＝{P_jv},v＝1,2,…,n，其中m,n分别是I₀和I_j的角点数目；(橙色是添加的内容)

(2.1)边缘提取。对图像进行二值化操作并提取0-1变化的边缘曲线。

(2.2)边缘滤波。通过一维高斯滤波达到平滑曲线，抑制噪声的目的。

设曲线Γ的弧长表达方式为Γ(l)＝(x(l),y(l))，其中l是弧长参数，x,y分别表示曲线上点的横坐标和纵坐标，x,y都是l的一维函数。

在尺度σ下，曲线Γ表达为Γ_σ(l)＝(x(l,σ),y(l,σ))，为了减小噪声对角点检测准确性的干扰，分别对曲线在两个方向进行高斯滤波，如下：

其中，g(l,σ)是高斯函数g(l)在不同的尺度参数σ下的形式：

(2.3)角点检测。对经过滤波之后的曲线，将符合条件的曲率极大值点作为角点。对于曲线L的参数方程表示为

那么曲率计算公式如下：

如果曲率极大值点t点曲率值大于等于阈值T，即K(t)≥T，则当前点是角点；如果曲率值小于阈值，即K(t)＜T，则该曲率极大值点不是角点。

步骤3，提取角点特征。角点是图像轮廓突然发生转折的地方，微观上，每个角点具有一定的大小和方向，宏观上，一组角点集合的分布表示图像的关键结构分布。对P₀和P_j中的每个角点分别提取局部统计分布LSD特征f_LSD和全局统计分布GSD特征f_GSD并融合，分别得到P₀和P_j的角点描述集合F₀＝{f_0u},u＝1,2,…,m、F_j＝{f_jv},v＝1,2,…,n。

(3.1)局部统计分布特征。

每个尖角都有一定的大小、方向，我们通过角点邻域的像素分布来描述这些尖角特征。如图1所示，在每个角点邻域取一定大小的block，如图中在P₁、P₂、P₃附近分别标示的红色窗口所示，假设将窗口按象限分为1、2、3、4，我们会发现，不同类型的角点，每个窗口的内容及排列是不同的。如P₁为指向第三象限的黑色锐角，黑色像素只集中在邻域窗口的第一象限；P₂是由3、4象限指向1、2象限的白色钝角，黑色像素占据了1、2象限的全部，3、4象限的部分区域；P₃为由2、3象限指向1、4象限的黑色锐角，黑色像素占据了2、3象限的部分面积。由此可见，每个角点的特征可以由其周围区域的像素分布来表征。我们把这个特征定义为局部统计分布特征LSD(Local Statistical Distribution).

对于图像I的任意角点P，以P为中心，在I中取一个9*9的矩形区域，以P为原点划分1、2、3、4四个邻域象限，统计邻域象限i的黑色像素的比例并量化得到特征值r_i(i＝1,2,3,4)，将四个象限的特征值依次级联得到描述当前点P的特征矢量，该特征矢量定义如下：f_LSD＝(r₁,r₂,r₃,r₄)，其中，

r_i(i＝1,2,3,4)分别为邻域象限i的特征取值，s是9*9的矩形邻域的目标像素总数，s_i是邻域象限i的目标像素的数目，这里T₁＝7，T₂＝16，T₃＝0.3。本发明对角点的特征表达采用当前的量化规则，描述方式简单，减小了数据量，兼顾多种角点邻域分布情况，具有良好区分性。这里采用4个象限3种量化值，通过大尺度划分粗量化方式提高特征的鲁棒性，从而提高检索中相似点匹配的鲁棒性，增强相似图片检索能力。

(3.2)全局统计分布特征。

对于图像I的任意角点P，以P为原点，将I划分为四个象限，然后统计每个象限的角点数目占整幅图像角点总数的比例，依次级联得到一个4维的特征向量，描述该角点在图中的相对位置。我们把这种特征描述称为全局统计分布GSD(Global StatisticalDistribution).

设图像I角点集合C＝{C_t}＝{(x_t,y_t)},t＝1,2,…,n，n为角点数目，x_t和y_t分别是角点C_t的横坐标和纵坐标；。任意角点(x_t,y_t)∈C的全局统计分布特征计算如下：

其中，Q_1t,Q_2t,Q_3t,Q_4t分别是以角点(x_t,y_t)∈C为原点划分的1,2,3,4四个象限中的点集集合，card(*)表示相应集合中元素的数目：

Q_1t＝{(x,y)|(x,y)∈C且x＞x_t,y≥y_t}

Q_2t＝{(x,y)|(x,y)∈C且x≤x_t,y＞y_t}

Q_3t＝{(x,y)|(x,y)∈C且x＜x_t,y≤y_t}

Q_4t＝{(x,y)|(x,y)∈C且x≥x_t,y＜y_t}

如图2所示，对角点P₁，以其为中心，将整幅图像划分为4个象限，分别计算每个象限中角点的数目比例，得到P₁点的特征向量f₁＝(0.4,0.4,0.1,0.1)，从该特征向量可以看出来P₁左右两侧角点分布相对平衡，上侧角点数目较多，即位于中部偏下的位置，于图中观察的结果一致。对角点P₂，以同样的4象限划分方式，得到P₂的特征向量为f₂＝(0.2,0.7,0.1,0)，可见P₂位于接近右下角的位置。通过上述分析，我们发现该种特征描述方式能够比较直观简单的描述每个角点在角点点集中的相对位置，推广到整个角点集合的描述，那么该种特征描述方式可以表达整个角点集合的分布特征。同时，由于该特征描述方式利用了关键点之间的相对位置信息代替绝对位置，图像的平移对全局统计分布特征没有影响，同时少数点的大范围移动及多数点在小范围内的移动对全局分布特征影响不明显，GSD特征是一种非常稳定、简单的空间分布描述子。

综上所述，我们分别介绍了描述角点信息的两种统计分布特征：局部统计分布特征LSD描述图像关键点的局部分布，反映图像的关键结构的特征，表达细节信息；全局统计分布特征GSD描述图像关键点的整体分布特征，表达整体信息。将局部特征和全局特征结合起来则可以更加全面地描述图像。

(3.3)两种特征融合。

角点P的LSD特征为f_LSD，GSD特征为f_GSD，将这两个特征级联起来可以描述二值图像角点特征：

f＝[w₁f_LSD,w₂f_GSD]

其中，w₁和w₂分别为局部统计分布特征和全局统计分布特征的加权值，一般w₂＝λ·w₁，这里λ＝2。

步骤4，角点匹配。

(4.1)对P₀中任意点P_0u,u＝1,2,…,m，对应特征向量f_0u,u＝1,2,…,m，P_j中任意点P_jv,v＝1,2,…,n，对应特征向量f_jv,v＝1,2,…,n，计算P₀和P_j的距离d_uv＝||f_0u-f_jv||；设相似阈值为T，则有当d_uv≤T时P_0u和P_jv相似，当d_uv＞T时P_0u和P_jv不相似；遍历F₀和F_j找出最相似的匹配点对作为角点匹配结果。

(4.2)将上述匹配结果通过基于仿射变换的RANSAC筛选，消除误匹配，得到最终角点匹配结果。

步骤5，返回结果。

设I₀和I_j两个图像的角点数目分别为n₀和n_j，匹配点对数目为n_0j，则二者的匹配率为：

按照查询图像和图像数据库中角点匹配率从大到小的顺序依次返回前N幅图像作为图像检索结果。本发明效果可以通过以下仿真实验进行验证：

1.实验条件与方法

硬件平台为：处理器为Intel(R)Core(TM)i5-6500 CPU@3.20GHz，内存(RAM)为8.0GB，硬盘1TB，操作系统为Microsoft Windows 7旗舰版；

软件平台：Visual Studio 2013；

实验方法：本发明方法。

2.仿真内容与结果

在上述实验条件下，选用包含1000幅商标图像的图像库进行检索实验，用PVR曲线(查准率-查全率曲线)来衡量该检索系统的性能，这里查准率＝返回的相关图像数目/返回总图像，查全率＝返回的相关图像的数目/数据库中相关图像的数目。如图3是本发明方法在本文实验数据集实验的PVR曲线。跟已有的一些图像检索算法比较，本发明的检索表现较好，具有更强的鲁棒性。

本实施例没有详细叙述的部件和结构属本行业的公知部件和常用结构或常用手段，这里不一一叙述。

Claims (2)

1.一种基于角点描述子的图像检索方法，其特征在于包括如下步骤：

(1)输入查询图像I₀和图像数据库S，其中S包含k幅图像，S＝{I_j},j＝1,2,…,k；

(2)角点检测；对查询图像和图像数据库中的图像二值化提取边缘并滤波后利用基于边缘曲率极大值的方法检测角点；对查询图像I₀检测角点，得到查询图像的角点集合P₀＝{P_0u},u＝1,2,…,m，对图像数据库S中的任意一幅图像I_j,j＝1,2,...,k检测角点，得到I_j的角点集合P_j＝{P_jv},v＝1,2,…,n，其中m,n分别是I₀和I_j的角点数目；

(3)特征提取；对P₀和P_j中的每个角点分别提取局部统计分布LSD特征f_LSD，全局统计分布GSD特征f_GSD，将这两个特征级联起来描述二值图像角点特征：f＝[w₁f_LSD,w₂f_GSD]

其中，w₁和w₂分别为LSD特征和GSD特征的加权值，这里w₂＝2w₁；

全局统计分布GSD特征f_GSD的提取方法，包括以下步骤：

对于图像I的任意角点P，以P为原点，将I划分为四个象限，然后统计每个象限的角点数目占整幅图像角点总数的比例，依次级联得到全局统计分布GSD特征；

设图像I角点集合C＝{C_t}＝{(x_t,y_t)},t＝1,2,…,n，n为角点数目，x_t和y_t分别是角点C_t的横坐标和纵坐标；任意角点(x_t,y_t)∈C的全局统计分布特征计算如下：

其中，card(*)表示集合元素的数目，Q_1t,Q_2t,Q_3t,Q_4t分别是以角点(x_t,y_t)∈C为原点划分的1,2,3,4四个象限中的点集集合：

对P₀和P_j分别得到两个角点描述集合F₀＝{f_0u},u＝1,2,…,m、F_j＝{f_jv},v＝1,2,…,n；

(4)角点匹配；对P₀中任意点P_0u,u＝1,2,…,m，对应特征向量f_0u,u＝1,2,…,m，P_j中任意点P_jv,v＝1,2,…,n，对应特征向量f_jv,v＝1,2,…,n，计算P₀和P_j的距离d_uv＝||f_0u-f_jv||；设相似阈值为T，则有当d_uv≤T时P_0u和P_jv相似，当d_uv＞T时P_0u和P_jv不相似；遍历F₀和F_j找出最相似的匹配点对，通过基于仿射变换的RANSAC筛选，消除误匹配，得到最终角点匹配结果；

(5)返回结果；按照查询图像和图像数据库中角点匹配率从大到小的顺序依次返回前N幅图像作为图像检索结果。

2.根据权利要求1所述的一种基于角点描述子的图像检索方法，其特征在于步骤(3)中局部统计分布LSD特征f_LSD的提取方法，包括以下步骤：

对于图像I的任意角点P，以P为中心，在I中取一个9*9的矩形区域，以P为原点划分1、2、3、4四个邻域象限，统计邻域象限i的黑色像素的比例并量化得到特征值r_i,i＝1,2,3,4，将四个象限的特征值依次级联得到描述当前点P的特征矢量，该特征矢量定义如下：f_LSD＝(r₁,r₂,r₃,r₄)

其中，

其中，s是9*9的矩形邻域的目标像素总数，s_i是邻域象限i的目标像素的数目，这里T₁＝7，T₂＝16，T₃＝0.3。

Images