CN101770578B - 图像特征提取方法 - Google Patents

Abstract

一种图像处理技术领域的图像特征提取方法，包括步骤为：提取图像中全部像素点的位置信息和颜色信息；对图像进行提取边缘区域的处理，得到边缘区域每个像素点的位置信息和颜色信息；对图像I的边缘区域提取颜色自相关特征，得到边缘区域的颜色自相关图；对图像的全部区域提取边缘方向自相关特征，得到全局的边缘方向自相关图；对图像的全部区域内提取颜色自相关特征，得到全局的颜色自相关图；将三种自相关图进行特征前融合，得到图像的特征。本发明通过特征融合，实现了更为全面的基于图像结构的内容描述，减小了计算量且提高了性能，用于图像检索时准确率更高。

Description

图像特征提取方法

技术领域

本发明涉及的是一种图像处理技术领域的方法，具体是一种图像特征提取方法。

背景技术

随着多媒体技术和计算机网络的飞速发展，数字图像等多媒体数据库的规模迅速膨胀起来。面对无序分布的大量图像，传统的基于文本关键词的检索方法已经不能满足用户的需求，为了能够快速而且准确地查找图像，上世纪九十年代初期，基于内容的图像检索技术(CBIR：content-based image retrieval)应运而生。区别于原有系统中查询匹配人工标注的关键词的检索方式，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如颜色、纹理、形状等，系统按照样例和数据库中图像的视觉特征的相似度进行排序返回给用户。主要的研究领域有：图像特征提取技术、相似性匹配技术和检索方法。

特征提取技术是CBIR系统的重要单元，它是计算查询和数据库中图像的相似度的依据。特征提取就是用一个数学矢量来表示图像的内容，从而把高维的图像信息映射到一个低维的特征空间。通常图像的内容可以用颜色、纹理、形状等三个方面的低层特征来描述。颜色特征是图像检索中应用最广泛的特征。颜色特征计算简单，性能稳定，对于旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性。但是颜色信息却不是人类识别物体的主要依据，研究表明，人眼对物体的边缘形状最为敏感。但现有的形状特征很难满足物体在不同尺度、姿态和旋转的不变性。而且提取形状特征通常要使用图像分割技术，由于当前的技术无法做到准确而鲁棒的自动图像分割，形状特征在图像检索中的应用范围被大大限制了。近些年，有学者开始研究把空间信息加入到现有的特征中。

经对现有技术文献检索发现，J.Huang等人在International Journal of ComputerVision(国际计算机视觉期刊)1999年12月第35卷，第3期，245-268页上发表的文章“Spatialcolor indexing and applications(空间-颜色索引及应用)”中，提出了一种有效的颜色特征——颜色自相关图。颜色自相关图不但刻画了某一种颜色的像素数量占整个图像的比例，而且反映了同一种颜色像素的空间相关性。但该技术在计算时，图像中的每一个像素都是平等对待的，而忽略了像素的位置信息，这样导致它的计算量相当大。

又经检索发现，F.Mahmoudi等人在Pattern Recognition(模式识别)杂志2003年8月第36卷，第8期，1725-1736页上发表的文章“Image retrieval based on shape similarityby edge orientation autocorrelogram(基于边缘方向自相关图相似度的图像检索)”中，把图像中边缘像素和它的邻域内其他的边缘像素之间的相关度作为一种形状特征，但是该技术包含了背景中的冗余信息，在应用到通用的图像检索系统上时，有可能会因为冗余信息导致误判。

发明内容

本发明的目的在于克服现有技术的上述不足，提供一种图像特征提取方法。本发明提出了一种新的图像低层特征——边缘区域颜色自相关图，它描述了图像中的颜色和边缘形状联合分布，具有更低的计算复杂度和更高的准确率，通过将边缘区域颜色自相关图和已有的颜色、形状特征一起做前融合，可以更完备地对图像进行结构化描述；应用在图像检索中，可以得到更高的准确率。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步，提取图像I中全部像素点的位置信息和RGB颜色分量。

第二步，将图像I中每个像素点的RGB颜色分量变换为HSV颜色分量，并对HSV的三个分量进行非均匀化量化，得到N种颜色，即得到每个像素点的颜色信息。

所述的N种颜色分别用0～(N-1)表示。

第三步，对图像I进行提取边缘区域的处理，得到图像I的边缘区域，进而得到边缘区域每个像素点的位置信息和颜色信息。

所述的边缘区域包括边缘像素和图像I中与任一边缘像素的距离小于门限值T的像素。

所述的提取边缘区域的处理是采用Canny算子得到的。

第四步，对图像I的边缘区域提取颜色自相关特征，得到边缘区域的颜色自相关图ERCAC，即得到一组A维的特征向量；

对图像I的全部区域提取边缘方向自相关特征，得到全局的边缘方向自相关图EOAC，即得到一组B维的特征向量；

对图像I的全部区域内提取颜色自相关特征，得到全局的颜色自相关图CAC，即得到一组C维的特征向量。

所述的边缘区域的颜色自相关图ERCAC，具体是：

其中：ERCAC(c_n，d_i)是颜色为c_n的边缘区域颜色自相关特征值，E(p_x)和E(p_y)是边缘区域中p_x和p_y两个像素点的颜色信息，d_i是设定的边缘颜色距离集中第i个距离，Pr[]是[]成立的概率，0≤c_n＜N，1≤i≤m，m是设定的边缘颜色距离的总个数。

所述的全局的边缘方向自相关图EOAC，具体是：

$\mathrm{EOAC}(o_i,{d_j}^{\′})=\underset{{p^{\′}}_1,{p^{\′}}_2\∈I}{\mathrm{Pr}}[O\left({p^{\′}}_1\right)=O\left({p^{\′}}_2\right)=o_i||{p^{\′}}_1-{p^{\′}}_2|={d^{\′}}_j],$

其中：EOAC(o_i)是梯度方向为o_i、距离为d_j′的边缘方向自相关特征值，O(p₁′)和O(p₂′)是图像I中p₁′和p₂′两个像素点的梯度方向，d_j′是设定的全局边缘距离集中第j个距离，Pr[]是[]成立的概率，1≤j≤m′，m′是设定的全局边缘距离的总个数。

所述的全局的颜色自相关图CAC，具体是：

$\mathrm{CAC}\left(c_n\right)=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\mathrm{CAC}(c_n,{d_k}^{\′\′})=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\underset{p_1,p_2\∈I}{\mathrm{Pr}}[I\left(p_1\right)=I\left(p_2\right)=c_n||p_1-p_2|={d_k}^{\′\′}],$

其中：CAC(c_n)是颜色为c_n的全局颜色自相关特征值，I(p₁)和I(p₂)是图像I中p₁和p₂两个像素点的颜色，d_k″是设定的全局颜色距离集中的第k个距离，Pr[]是[]成立的概率，0≤c_n＜N，1≤k≤m″，m″是设定的全局颜色距离的总个数。

第五步，将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合，得到图像I的特征，即得到一组(A+B+C)维的特征向量。

与现有技术相比，本发明的有益效果是：考虑了物体识别过程中像素位置所起到的作用，选取了对识别贡献更大的边缘和边缘附近的像素，刨除了大部分平坦区域的像素，减小了计算量且提高了性能；通过特征融合，实现了更为全面的基于图像结构的内容描述，用于图像检索时准确率可提高15.2％。

具体实施方式

下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。

实施例

本实施例采用的图像数据库是TRECVID2005的所有视频关键帧。TRECVID是美国国家标准局(NIST)举办的视频检索领域的权威比赛，选取了16个语义概念进行检测。整个图像数据库共有60422幅图像，分为两部分：训练图像库和待检测图像集，其中，训练图像库中共有42226幅图像，包括5039幅正样本和37187幅负样本。待检测图像集共有18196幅图像，包括2055幅正样本和16141幅负样本。

本实施例包括如下步骤：

第一步，提取图像I中全部像素点的位置信息和RGB颜色分量。

第二步，将每个像素点的RGB颜色分量变换为HSV颜色分量，并对HSV的三个分量进行非均匀化量化，得到166种颜色，这166种颜色分别用0-165来表示。

第三步，对图像I进行提取边缘区域的处理，得到图像的边缘区域，进而得到边缘区域每个像素点的位置信息和颜色信息。

所述的边缘区域包括边缘像素和与任一边缘像素的距离小于门限值T(本实施例T＝4)的像素。

所述的提取边缘区域的处理是采用Canny算子提取的，边缘区域的像素颜色与原图像相同位置像素的颜色相同。

第四步，对图像I的边缘区域提取颜色自相关特征，得到边缘区域的颜色自相关图ERCAC，即得到一组166维的特征向量；

对图像I的全部区域提取边缘方向自相关特征，得到全局的边缘方向自相关图EOAC，即得到一组144维的特征向量；

对图像I的全部区域内提取颜色自相关特征，得到全局的颜色自相关图CAC，即得到一组166维的特征向量。

所述的边缘区域的颜色自相关图ERCAC，具体是：

其中：ERCAC(c_n，d_i)是颜色为c_n的边缘区域颜色自相关特征值，E(p_x)和E(p_y)是边缘区域中p_x和p_y两个像素点的颜色信息，d_i是设定的边缘颜色距离集d＝{1，3，5，7}中第i个距离，Pr[]是[]成立的概率，0≤c_n＜165，1≤i≤4。本实施例先分别求出每种颜色对应的每个边缘颜色距离下的边缘颜色自相关特征值，然后再把每种颜色对应的四个边缘颜色自相关特征值进行相加，得到该颜色的边缘颜色自相关特征值。

所述的提取边缘方向自相关特征，具体是：首先用水平和垂直方向的Sobel算子模板对图像分别进行滤波，得到每一像素点水平和垂直两个方向的梯度dx和dy，进而根据像素点的梯度方向，得到梯度方向图像，具体公式是：arg＝arctan(dx/dy)；再把得到的梯度方向以5度为一个单位进行量化，得到36个方向，这36个方向分别用0-35表示，从而得到梯度方向图。

所述的全局的边缘方向自相关图EOAC，具体是：

$\mathrm{EOAC}(o_i,{d_j}^{\′})=\underset{{p^{\′}}_1,{p^{\′}}_2\∈I}{\mathrm{Pr}}[O\left({p^{\′}}_1\right)=O\left({p^{\′}}_2\right)=o_i||{p^{\′}}_1-{p^{\′}}_2|={d^{\′}}_j],$

其中：EOAC(o_i)是梯度方向为o_i的边缘方向自相关特征值，O(p₁′)和O(p₂′)是图像I中p₁′和p₂′两个像素点的梯度方向，d_j′是设定的全局边缘距离集d′＝{1，3，5，7}中第j个距离，Pr[]是[]成立的概率，1≤j≤4，0≤o_i≤35。对每个梯度，本实施例中分别求出每一种全局边缘距离对应的全局的边缘方向自相关特征值，再把四个特征值拼接在一起，得到最后的144(即4×36＝144)维全局的边缘方向自相关特征值。

所述的全局的颜色自相关图CAC，具体是：

$\mathrm{CAC}\left(c_n\right)=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\mathrm{CAC}(c_n,{d_k}^{\′\′})=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\underset{p_1,p_2\∈I}{\mathrm{Pr}}[I\left(p_1\right)=I\left(p_2\right)=c_n||p_1-p_2|={d_k}^{\′\′}],$

其中：CAC(c_n)是颜色为c_n的全局颜色自相关特征值，I(p₁)和I(p₂)是图像I中p₁和p₂两个像素点的颜色，d_k″是设定的全局颜色距离集d″＝{1，2，3，4，5，6，7，8}中的第k个距离，Pr[]是[]成立的概率，0≤c_n＜165，1≤k≤4。本实施例先分别求出每种颜色对应的每个全局颜色距离下的全局颜色自相关特征值，然后再把每种颜色对应的八个全局颜色自相关特征值进行相加，得到该颜色的全局颜色自相关特征值。

第五步，将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合，得到图像I的特征，即得到一组476维的特征向量。

本实施例用全局的边缘方向自相关图EOAC表示图像的骨架，边缘区域的颜色自相关图ERCAC表示图像颜色和形状的联合分布，最后加入全局的颜色自相关图CAC，得到完备的图像内容的描述。三种特征拼接的顺序如下：

V＝{CAC(1)，...，CAC(166)，ERCAC(1)，...，ERCAC(166)，EOAC(1)，...，EOAC(144)}。

当分别采用全局的边缘方向自相关图、全局的颜色自相关图、边缘区域颜色自相关图和本实施例方法对15个概念进行特征提取，得到的准确率如表1所示。

表1

	全局的边缘方向自相关图	全局的颜色自相关图	边缘区域颜色自相关图	本实施例方法
					动物	0.101	0.130	0.228	0.682

公共汽车	0.066	0.031	0.071	0.038
					小汽车	0.249	0.222	0.230	0.355
图表	0.092	0.034	0.036	0.054
					沙漠	0.062	0.081	0.079	0.147
人脸	0.888	0.894	0.916	0.957
					地图	0.285	0.625	0.635	0.631
会议	0.148	0.348	0.374	0.433
					军事行动	0.185	0.267	0.296	0.343
室外	0.726	0.828	0.768	0.896
					游行	0.261	0.138	0.156	0.240
犯人	0.021	0.021	0.037	0.101
					道路	0.237	0.222	0.192	0.279
演播室	0.797	0.925	0.939	0.954
					植被	0.373	0.615	0.592	0.651
平均准确率	0.299	0.359	0.370	0.451

从表1可见，本实施例方法用于图像检索时的性能明显优于基于颜色自相关图和边缘方向自相关图，检索的平均准确率最高可提高15.2％。

Claims (6)

1.一种图像特征提取方法，其特征在于，包括以下步骤：

第一步，提取图像I中全部像素点的位置信息和RGB颜色分量；

第二步，将图像I中每个像素点的RGB颜色分量变换为HSV颜色分量，并对HSV的三个分量进行非均匀化量化，得到N种颜色，即得到每个像素点的颜色信息；

第三步，对图像I进行提取边缘区域的处理，得到图像I的边缘区域，进而得到边缘区域每个像素点的位置信息和颜色信息；

第四步，对图像I的边缘区域提取颜色自相关特征，得到边缘区域的颜色自相关图ERCAC，即得到一组A维的特征向量；

对图像I的全部区域提取边缘方向自相关特征，得到全局的边缘方向自相关图EOAC，即得到一组B维的特征向量；

对图像I的全部区域内提取颜色自相关特征，得到全局的颜色自相关图CAC，即得到一组C维的特征向量；

第五步，将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合，得到图像I的特征，即得到一组A+B+C维的特征向量；

所述的特征前融合是指：采用全局的边缘方向自相关图EOAC表示图像的骨架，边缘区域的颜色自相关图ERCAC表示图像颜色和形状的联合分布，最后加入全局的颜色自相关图CAC得以实现。

2.根据权利要求1所述的图像特征提取方法，其特征是，所述的边缘区域包括边缘像素和图像I中与任一边缘像素的距离小于门限值T的像素。

3.根据权利要求1所述的图像特征提取方法，其特征是，第三步中所述的提取边缘区域的处理是采用Canny算子得到的。

4.根据权利要求1所述的图像特征提取方法，其特征是，第四步中所述的边缘区域的颜色自相关图ERCAC，具体是：

其中：ERCAC(c_n，d_i)是颜色为c_n的边缘区域颜色自相关特征值，E(p_x)和E(p_y)是边缘区域中p_x和p_y两个像素点的颜色信息，d_i是设定的边缘颜色距离集中第i个距离，Pr[]是[]成立的概率，0≤c_n＜N，1≤i≤m，m是设定的边缘颜色距离的总个数。

5.根据权利要求1所述的图像特征提取方法，其特征是，第四步中所述的全局的边缘方向自相关图EOAC，具体是：

$\mathrm{EOAC}(o_i,d_j^{\′})=\underset{{p^{\′}}_1,{p^{\′}}_2\∈I}{\mathrm{Pr}}[O\left({p^{\′}}_1\right)=O\left({p^{\′}}_2\right){=o}_i||{p^{\′}}_1-{p^{\′}}_2|=d_j^{\′}],$

其中：EOAC(o_i)是梯度方向为o_i、距离为d′_j的边缘方向自相关特征值，O(p′₁)和O(p′₂)是指图像I中p′₁和p′₂两个像素点的梯度方向，d′_j是设定的全局边缘距离集中第j个距离，Pr[]是[]成立的概率，1≤j≤m′，m′是设定的全局边缘距离的总个数。

6.根据权利要求1所述的图像特征提取方法，其特征是，第四步中所述的全局的颜色自相关图CAC，具体是：

$\mathrm{CAC}\left(c_n\right)=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\mathrm{CAC}(c_n,{d_k}^{\′\′})=\underset{k=1}{\overset{m^{\′\′}}{\mathrm{\Σ}}}\underset{p_1,p_2\∈I}{\mathrm{Pr}}[I\left(p_1\right)=I\left(p_2\right)=c_n||p_1-p_2|={d_k}^{\′\′}],$

其中：CAC(c_n)是颜色为c_n的全局颜色自相关特征值，I(p₁)和I(p₂)是图像I中p₁和p₂两个像素点的颜色，d″_k是设定的全局颜色距离集中的第k个距离，Pr[]是[]成立的概率，0≤c_n＜N，1≤k≤m″，m″是设定的全局颜色距离的总个数。