CN108898607B - 一种图像多尺度特征提取方法 - Google Patents

Abstract

一种图像多尺度特征提取方法，包括以下步骤：S1、输入二维图像，对所述二维图像进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定图像显著区域；S2、采用多尺度滑窗的方式分割图像，滑窗尺寸以0.1为精度，在图像区域内滑动采样，其中，图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长；S3、在每个窗口内提取图像梯度方向直方图特征。本发明能提取图像的局部特征进行匹配，可靠性高，同时又能兼顾检索的速度。

Description

一种图像多尺度特征提取方法

技术领域

本发明涉及图像检索技术领域，尤其涉及一种图像多尺度特征提取方法。

背景技术

商标是公司、产品或服务的标志，与企业的商品质量、服务质量、经营管理融为一体，在工商业社会中起着非常重要的作用，是公司及其产品的一个重要属性，具有唯一性。为使商标得到合法的保护，必须向商标局正式注册。随着我国经济的发展和全球化进程的加快，商标数量逐年递增。防止重复注册或相似商标注册是商标管理的核心问题。为了保护注册商标的合法权益，打击仿冒盗用注册商标的违法行为，需要对待注册的商标进行检索，与已注册的商标进行比较，确定二者不相同或者不相近似，才具有注册资格。

商标图像的识别检索是多媒体信息检索领域的热点问题，图像识别检索方法尽管多种多样，但其核心问题都是围绕特征提取与匹配，即特征算法。特征提取是指通过分析以数据的形式将图形的特性描述出来，而特征匹配是指对不同图形的特征数据进行匹配计算以获得二者之间的差距。不同的特征算法所提取的图形特征是不一样的，而特征算法性能的好坏直接决定着检索方法的性能的好坏。因此检索方法的核心就是找到一种高效快速的特征算法，使其既有高效稳定的特征提取又有快速精确的特征匹配。特征算法在检索中主要应用在两个地方。一是特征数据库的建立。在建立特征数据库的时候要使用特征算法对所有的图形进行特征提取得到对应的特征数据，将这些特征数据与其对应的图形按一定的规则保存起来就建立了特征数据库。二是按用户输入的要求的自动分析。用户以某种方式输入图形后，由特征算法对该图形进行特征提取，然后将得到特征与特征数据库中的特征进行特征匹配，从而找到与输入图形相似的图形。基于内容的图像检索的关键问题是找到一种既稳定又高效的检索方法。

发明内容

一种图像多尺度特征提取方法，包括以下步骤：

S1、输入二维图像，对所述二维图像进行边缘检测和角点检测，对所述二维图像进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域；

S2、采用多尺度滑窗的方式分割图像，滑窗在图像区域内滑动采样，其中，图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长；

S3、在每个窗口内提取图像梯度方向直方图特征。

图像特征提取之前，先采用高效的显像区域检测技术得到图像的显像区域，在引入较小时间开销的前提下有效检测出图像的关键区域；然后在该区域内重点提取特征，提高了特征提取步骤的效率；采用多尺度滑窗的方式，提取的图像特征更加丰富，有利于提高后续图像检索匹配的精度；HOG表示的是边缘(梯度)的结构特征，可以描述局部的形状信息，图像局部像素点之间的关系可以很好得到的表征。

进一步地，步骤S3具体包括以下步骤：

S31、对于窗口图像，计算水平和垂直方向的梯度；

S32、梯度方向角度取值0～360°，对梯度方向进行8方向量化；

S33、统计所有梯度点得到梯度方向直方图；

S34、对梯度方向直方图进行归一化；

S35、直方图特征编码得到二进制串，即图像特征。

进一步地，步骤S31的计算方法为[G_h,G_v]＝gradient(F)，采用方向模板[-1,0,1],计算当前像素点的水平梯度和垂直梯度，方向角度θ＝arctan(G_v/G_h)：

计算图像像素点间的梯度有多种方式，简单的一维中心模板[-1,0,1]效果最好，复杂模板在实验中会降低检索性能。

进一步地，步骤S32中的量化方法可以采用就近方向量化的原则，将实际的梯度方向量化至最近的量化方向上，运算较简单；

也可以采用模糊量化的方法，将实际的梯度方向用投影至相邻两个方向的分量表示，模糊量化方法对方向的敏感度较低、梯度方向量化后的特征鲁棒性好。

进一步地，步骤S34采用基于面积的归一化方法：

设特征窗口W_w×h梯度方向直方图Hist＝[h₀,h₁,…,h₇]^Τ，面积参数

则基于面积参数的归一化直方图为

该方法使特征具有较好的尺度一致性，既包含了特征窗口中边缘信息的丰富程度，又可反映各个梯度方向统计分布信息，单个bin的变化不会影响其他bin的值。

步骤S34也可以采用基于目标像素点总数的归一化方法：

R_i梯度方向直方图

归一化直方图为

该方法使特征具有良好的尺度一致性，同时体现出各个梯度方向相对统计分布信息。

也可以综合上述两种方法进行归一化；

优选为上述两种方法的结合，综合了两种方法的优点，既保证各个bin之间的相对独立性，又兼顾各个bin统计分布的差异性。

进一步地，步骤S1中判定显著区域的条件为：如果在一个角点的5*5邻域内的边缘点的个数超过特定阈值，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分。

进一步地，步骤S1中对二维图像进行高斯滤波，以去除噪声干扰，再进行边缘检测和角点检测。

进一步地，步骤S1中所述特定阈值为5或6。

进一步地，滑窗的大小按照图像实际大小的固定比例计算，具体地，所述滑窗的尺寸设置为长0.1～1、宽0.1～1的多种组合，以整幅图片的尺寸为高×宽＝1×1。

进一步地，窗口的滑动步长均按照图像实际大小的一些固定比例计算，步骤S2中图像显著区域滑窗的滑动步长设为0.05～0.2，非显著区域滑窗的滑动步长设为0.1～0.25，对重点区域着重提取特征。

本发明取得的有益效果如下：

1、图像特征提取之前，先采用高效的显像区域检测技术得到图像的显像区域，在引入较小时间开销的前提下有效检测出图像的关键区域；然后在该区域内重点提取特征，提高特征提取步骤的效率；

2、采用Hog算法，局部目标的形状能够被梯度或边缘的方向密度分布很好地描述；

3、采用多尺度滑窗的方式，提取的图像特征更加丰富；

4、算法稳定，可靠性高，图像特征提取更精确，可提高图像检索的准确度；

5、图像特征提取速度快、效率高。

附图说明

图1为梯度8方向示意图；

图2为就近量化方法示意图；

图3为模糊量化方法示意图。

具体实施方式

下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

一种图像多尺度特征提取方法，包括以下步骤：

S1、输入二维图像I_w×h，对所述二维图像进行边缘检测和角点检测，对所述二维图像I_w×h进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域，判定显著区域的条件为：如果在一个角点的5*5邻域内的边缘点的个数超过特定阈值5，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分；

S2、采用多尺度滑窗的方式分割图像I_w×h，滑窗尺寸以0.1为精度，在图像I_w×h区域内滑动采样，具体包括以下步骤：

S21、定义滑动窗口的多种尺度，以整幅图片的尺寸为高×宽＝1×1，如表1所示(实验中，σ₁＝0.8，σ₂＝0.6，σ₃＝0.4)，滑动步长参数(实验中图像显著区域滑窗的滑动步长μ₁取0.1，非显著区域滑窗的滑动步长μ₂取0.2)，滑窗水平方向步长step_x1＝wμ₁，step_x2＝wμ₂，垂直方向步长step_y1＝hμ₁，step_y2＝hμ₂。

表1.多尺度滑动窗口大小表

S22、按照上述定义的多尺度滑窗的大小，将每个滑动窗口以图像I_w×h左上角为起点，按照滑动步长step_x1、step_x2、step_y1、step_y2依次从左到右从上到下滑动，取得一系列局部窗口图像(共计t个)集合R＝{R_i},i＝0,1,...,t。

S3、对于S2步骤中得到的每个局部窗口图像R_i提取区域图像特征f_i，即提取图像梯度方向直方图特征。具体包括以下步骤：

S31、对于任一图像窗口R_i，计算水平和垂直方向的梯度。

计算方法:[G_h,G_v]＝gradient(R_i)，采用方向模板[-1,0,1]，计算R_i中任一像素点(x,y)的水平梯度G_h(x,y)和垂直梯度G_v(x,y)。

则(x,y)点的方向角度θ＝arctan(G_v/G_h)。

S32、梯度方向角度取值0～360°，根据图1所示8方向(0，1，2，...，7)对梯度方向进行量化：采用就近方向量化的原则，如图2所示，将实际的梯度方向量化至最近的量化方向上。

S33、统计所有梯度点得到梯度方向直方图，得到R_i的梯度方向直方图为

S34、对梯度方向直方图进行归一化，采用基于面积的归一化方法：

R_i的大小为w_i×h_i，梯度方向直方图

面积参数

基于面积参数的归一化直方图为

S35、直方图特征编码：

经过步骤S34得到R_i的归一化直方图

其中0＜h_uj＜1,j＝0,1,…,7。为了节约计算机计算资源，将上述浮点数据进行编码。

直方图归一化之后按照各个区间梯度点均匀概率分布的原则计算量化区间(0,0.098),(0.098,0.134),(0.134,0.18),(0.18,0.24),(0.24,1)，该量化区间的计算由当前样本集合进行统计计算实验得到。对落在这5个区间的数据进行编码分别为：0000,0001,0011,0111,1111.

编码之后将各个bin的码字级联得到为一段长度为4*8＝32位的二进制串

即f_i。

实施例2：

一种图像多尺度特征提取方法，包括以下步骤：

S1、输入二维图像I_w×h，对所述二维图像进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域，具体包括以下步骤；

S11、利用Canny边缘检测算法获得所述二维图像的边缘点，通过按如下设置上限阈值和下限阈值来引入所述二维图像中的局部信息：在每一个像素的5*5邻域中，求出各个像素的方向导数的最大值max和平均值ave，并将所述上限阈值设定为0.9*max，将所述下限阈值设定为ave；

S12、对所述二维图像进行角点检测；

S121、对所述二维图像进行高斯滤波，以去除噪声干扰；

S122、计算经过高斯滤波后的二维图像的R图像：R(x,y)＝λ₁λ₂-α(λ₁+λ₂)²，step_x2＝wμ₂其中λ₁，λ₂为矩阵

的特征值，其中I_x和I_y分别为经过高斯滤波后的二维图像在x、y方向一阶方向导数，

I_xy、I_yx为二阶方向导数，α为经验常数；

S123、使用σ＝1的高斯滤波器对所述R图像进行卷积，得到图像；

S124、将图像中小于t的值置零，其中t＝0.01R_max，其中R_max表示所述图像中的最大值；

S125、在经过所述置零后的图像中进行3*3邻域内的非最大值抑制，最后在图像中的不为零的点为检测得到的角点，其中，在所述角点检测中仅考虑R图像中满足以下情况的像素点：λ₁＞＞λ₂，λ₁＜＜λ₂和λ₁≈λ₂；

S13、将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域，判定条件为：如果在一个角点的5*5邻域内的边缘点的个数超过阈值6，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分。

S2、采用多尺度滑窗的方式分割图像区域I_w×h，以整幅图片的尺寸为高×宽＝1×1，滑窗尺寸以0.1为精度，即取值到小数点后一位，在图像区域I_w×h内等距离移动采样，具体包括以下步骤：

S21、定义滑动窗口的多种尺度，如表2所示(实验中，σ₁＝0.8，σ₂＝0.5)，滑动步长参数(实验中图像显著区域滑窗的滑动步长μ₁取0.2，非显著区域滑窗的滑动步长μ₂取0.25)，滑窗水平方向步长step_x1＝wμ₁，step_x2＝wμ₂，垂直方向步长step_y1＝hμ₁，step_y2＝hμ₂。

表2.多尺度滑动窗口大小表

S22、按照上述定义的多尺度滑窗的大小，将每个滑动窗口以图像I_w×h左上角为起点，按照滑动步长step_x1、step_x2、step_y1、step_y2依次从上到下从左到右滑动，取得一系列局部窗口图像(共计t个)集合R＝{R_i},i＝0,1,...,t。

S3、对于S2步骤中得到的每个局部窗口图像R_i提取图像梯度方向直方图特征f_i。具体包括以下步骤：

S31、对于任一图像窗口R_i，计算水平和垂直方向的梯度。

计算方法：[G_h,G_v]＝gradient(R_i)，采用方向模板[-1,0,1]，计算R_i中任一像素点(x,y)的水平梯度G_h(x,y)和垂直梯度G_v(x,y)。

则(x,y)点的方向角度θ＝arctan(G_v/G_h)。

S32、梯度方向角度取值0～360°，根据图1所示8方向，采用模糊量化的方法对梯度方向进行量化，如图3所示，将实际的梯度方向用投影至相邻两个方向的分量表示。

传统的方向量化方法过于严苛，导致梯度方向量化后的特征鲁棒性较差，对方向较为敏感，为此，我们提出一种模糊量化方法，将一个梯度方向量化至其相邻的两个bin中，即将一个方向用投影至相邻两个方向的分量表示，设某像素点(x,y)的梯度方向为θ(x,y)，其相邻的两个bin分别为θ_k、θ_k+1，则该梯度方向点量化至θ_k的分量为

量化至θ_k+1的分量为

S33、统计所有梯度点得到梯度方向直方图，得到R_i的梯度方向直方图为

S34、对梯度方向直方图进行归一化，采用基于目标像素点总数的归一化方法：

R_i的大小为w_i×h_i，梯度方向直方图

归一化直方图为

S35、直方图特征编码：

经过步骤S34得到R_i的归一化直方图

其中0＜h_uj＜1,j＝0,1,…,7。为了节约计算机计算资源，将上述浮点数据进行编码。

直方图归一化之后按照各个区间梯度点均匀概率分布的原则计算量化区间(0,0.098),(0.098,0.134),(0.134,0.18),(0.18,0.24),(0.24,1)，该量化区间的计算由当前样本集合进行统计计算实验得到。对落在这5个区间的数据进行编码分别为：0000,0001,0011,0111,1111.

编码之后将各个bin的码字级联得到为一段长度为4*8＝32位的二进制串

即f_i。

实施例3：

一种图像多尺度特征提取方法，包括以下步骤：

S1、输入二维图像I_w×h，首先进行高斯滤波，再对所述二维图像I_w×h进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域，具体方法参照实施例2，不同的是，所述特定阈值设置为5；

S2、采用多尺度滑窗的方式分割该包含物体的图像区域I_w×h，在该包含物体的图像区域I_w×h内等距离移动采样，具体包括以下步骤：

S21、定义滑动窗口的多种尺度，如表1所示(实验中，σ₁＝0.6，σ₂＝0.4，σ₃＝0.2)，滑动步长参数(实验中图像显著区域滑窗的滑动步长μ₁取0.125，非显著区域滑窗的滑动步长μ₂取0.2)，滑窗水平方向步长step_x1＝wμ₁，step_x2＝wμ₂，垂直方向步长step_y1＝hμ₁，step_y2＝hμ₂。

S22、按照上述定义的多尺度滑窗的大小，将每个滑动窗口以图像Iw×h左上角为起点，按照滑动步长step_x1、step_x2、step_y1、step_y2依次从左到右从上到下滑动，取得一系列局部窗口图像(共计t个)集合R＝{R_i},i＝0,1,...,t。

S3、对于S2步骤中得到的每个局部窗口图像R_i提取区域图像特征fi，即提取图像梯度方向直方图特征。具体包括以下步骤：

步骤S31～S33与实施例1相同，采用就近量化的方法对梯度方向进行量化，统计所有梯度点得到梯度方向直方图，得到R_i的梯度方向直方图为

S34、对梯度方向直方图进行归一化，采用基于目标像素点总数及区域面积参数二者结合的归一化方法：

设R_i的大小为w_i×h_i，梯度方向直方图

基于目标像素总数的归一化直方图为

基于面积参数

的归一化直方图为

则结合二者的归一化直方图定义为：

0＜w₁,w₂＜1；w₁+w₂＝1

其中α＝0.125为8方向归一化直方图的均值。

基于以上分析，将两种归一化方法相结合，既保证各个bin之间的相对独立性，又兼顾各个bin统计分布的差异性。

S35、直方图特征编码：

经过步骤S34得到R_i的归一化直方图

其中0＜h_uj＜1,j＝0,1,…,7。为了节约计算机计算资源，将上述浮点数据进行编码。

直方图归一化之后，采用针对0246水平垂直方向和1357倾斜方向不同的量化区间，量化区间由大量数据的统计结果得到，采用均匀分布原则：Th_even＝[-1,0.13,0.35,0.90,1000]，Th_odd＝[-1,0.06,0.14,0.25,0.4,1000]，编码规则为0→0000,1→0001,2→0011,3→0111,4→1111。

编码之后将各个bin的码字级联得到为一段长度为4*8＝32位的二进制串

即f_i。

实施例4：

一种图像多尺度特征提取方法，包括以下步骤：

S1、输入二维图像I_w×h，首先进行高斯滤波，再对所述二维图像I_w×h进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域，具体方法参照实施例1；

S2、采用多尺度滑窗的方式分割图像I_w×h，在图像I_w×h内等距离移动采样，具体包括以下步骤：

S21、定义滑动窗口的多种尺度，以整幅图片的尺寸为高×宽＝1×1，如表3所示(实验中，σ₁＝1，σ₂＝0.7，σ₃＝0.4，σ₃＝0.1)，滑动步长参数(实验中图像显著区域滑窗的滑动步长μ₁取0.05，非显著区域滑窗的滑动步长μ₂取0.1)，滑窗水平方向步长step_x1＝wμ₁，step_x2＝wμ₂，垂直方向步长step_y1＝hμ₁，step_y2＝hμ₂。

表3.多尺度滑动窗口大小表

S22、按照上述定义的多尺度滑窗的大小，将每个滑动窗口以图像I_w×h左上角为起点，按照滑动步长step_x1、step_x2、step_y1、step_y2依次从左到右从上到下滑动，取得一系列局部窗口图像(共计t个)集合R＝{R_i},i＝0,1,...,t。

S3、对于S2步骤中得到的每个局部窗口图像R_i提取区域图像特征f_i，即提取图像梯度方向直方图特征。

其中，步骤S31～S33与实施例2相同，采用模糊量化的方法对梯度方向进行量化，统计所有梯度点得到梯度方向直方图，得到R_i的梯度方向直方图为

S34、对梯度方向直方图进行归一化，与实施例3相同，采用基于目标像素点总数及区域面积参数二者结合的归一化方法。

得到归一化直方图为：

0＜w₁,w₂＜1；w₁+w₂＝1

其中α＝0.125为8方向归一化直方图的均值。

S35、直方图特征编码：

经过步骤S34得到R_i的归一化直方图

其中0＜h_uj＜1,j＝0,1,…,7。为了节约计算机计算资源，将上述浮点数据进行编码，方法与实施例1相同。编码之后将各个bin的码字级联得到为一段长度为4*8＝32位的二进制串

即f_i。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像多尺度特征提取方法，其特征在于，包括以下步骤：

S1、输入二维图像，对所述二维图像进行边缘检测和角点检测，将所述角点检测得到的角点和所述边缘检测得到的边缘点进行组合，以确定所述二维图像中的图像显著区域；

S2、采用多尺度滑窗的方式分割图像，滑窗在图像区域内滑动采样，其中，图像显著区域滑窗的滑动步长小于非显著区域滑窗的滑动步长；

S3、在每个窗口内提取图像梯度方向直方图特征：

S31、对于窗口图像，计算水平和垂直方向的梯度；

S32、梯度方向角度取值0～360°，对梯度方向进行8方向量化；

S33、统计所有梯度点得到梯度方向直方图；

S34、采用基于面积的归一化方法对梯度方向直方图进行归一化：

设特征窗口W_w×h梯度方向直方图Hist＝[h₀,h₁,…,h₇]^Τ，面积参数

则基于面积参数的归一化直方图为

和/或

基于目标像素点总数的归一化方法：

R_i梯度方向直方图Hist_Ri＝[h₀,h₁,…,h₇]^Τ，归一化直方图为

S35、直方图特征编码得到二进制串，即图像特征。

2.如权利要求1所述的图像多尺度特征提取方法，其特征在于，步骤S31的计算方法为[G_h,G_v]＝gradient(F)，采用方向模板[-1,0,1],计算当前像素点的水平梯度和垂直梯度，方向角度θ＝arctan(G_v/G_h)：

3.如权利要求2所述的图像多尺度特征提取方法，其特征在于，步骤S32采用就近方向量化的原则，将实际的梯度方向量化至最近的量化方向上；

或采用模糊量化的方法，将实际的梯度方向用投影至相邻两个方向的分量表示。

4.如权利要求1至3中任一项所述的图像多尺度特征提取方法，其特征在于，步骤S1中判定显著区域的条件为：如果在一个角点的5*5邻域内的边缘点的个数超过特定阈值，则确定该角点和所述个数的边缘点是所述图像显著物体边缘的一部分。

5.如权利要求4所述的图像多尺度特征提取方法，其特征在于，步骤S1中对二维图像进行高斯滤波，再进行边缘检测和角点检测。

6.如权利要求5所述的图像多尺度特征提取方法，其特征在于，步骤S1中所述特定阈值为5或6。

7.如权利要求6所述的图像多尺度特征提取方法，其特征在于，所述滑窗的尺寸设置为长0.1～1、宽0.1～1的多种组合，以整幅图片的尺寸为高×宽＝1×1。

8.如权利要求7所述的图像多尺度特征提取方法，其特征在于，步骤S2中图像显著区域滑窗的滑动步长设为0.05～0.2，非显著区域滑窗的滑动步长设为0.1～0.25。

Images