CN101770578B - 图像特征提取方法 - Google Patents
图像特征提取方法 Download PDFInfo
- Publication number
- CN101770578B CN101770578B CN2010101306815A CN201010130681A CN101770578B CN 101770578 B CN101770578 B CN 101770578B CN 2010101306815 A CN2010101306815 A CN 2010101306815A CN 201010130681 A CN201010130681 A CN 201010130681A CN 101770578 B CN101770578 B CN 101770578B
- Authority
- CN
- China
- Prior art keywords
- color
- image
- prime
- autocorrelogram
- fringe region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
一种图像处理技术领域的图像特征提取方法,包括步骤为:提取图像中全部像素点的位置信息和颜色信息;对图像进行提取边缘区域的处理,得到边缘区域每个像素点的位置信息和颜色信息;对图像I的边缘区域提取颜色自相关特征,得到边缘区域的颜色自相关图;对图像的全部区域提取边缘方向自相关特征,得到全局的边缘方向自相关图;对图像的全部区域内提取颜色自相关特征,得到全局的颜色自相关图;将三种自相关图进行特征前融合,得到图像的特征。本发明通过特征融合,实现了更为全面的基于图像结构的内容描述,减小了计算量且提高了性能,用于图像检索时准确率更高。
Description
技术领域
本发明涉及的是一种图像处理技术领域的方法,具体是一种图像特征提取方法。
背景技术
随着多媒体技术和计算机网络的飞速发展,数字图像等多媒体数据库的规模迅速膨胀起来。面对无序分布的大量图像,传统的基于文本关键词的检索方法已经不能满足用户的需求,为了能够快速而且准确地查找图像,上世纪九十年代初期,基于内容的图像检索技术(CBIR:content-based image retrieval)应运而生。区别于原有系统中查询匹配人工标注的关键词的检索方式,基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引,如颜色、纹理、形状等,系统按照样例和数据库中图像的视觉特征的相似度进行排序返回给用户。主要的研究领域有:图像特征提取技术、相似性匹配技术和检索方法。
特征提取技术是CBIR系统的重要单元,它是计算查询和数据库中图像的相似度的依据。特征提取就是用一个数学矢量来表示图像的内容,从而把高维的图像信息映射到一个低维的特征空间。通常图像的内容可以用颜色、纹理、形状等三个方面的低层特征来描述。颜色特征是图像检索中应用最广泛的特征。颜色特征计算简单,性能稳定,对于旋转、平移、尺度变化都不敏感,表现出很强的鲁棒性。但是颜色信息却不是人类识别物体的主要依据,研究表明,人眼对物体的边缘形状最为敏感。但现有的形状特征很难满足物体在不同尺度、姿态和旋转的不变性。而且提取形状特征通常要使用图像分割技术,由于当前的技术无法做到准确而鲁棒的自动图像分割,形状特征在图像检索中的应用范围被大大限制了。近些年,有学者开始研究把空间信息加入到现有的特征中。
经对现有技术文献检索发现,J.Huang等人在International Journal of ComputerVision(国际计算机视觉期刊)1999年12月第35卷,第3期,245-268页上发表的文章“Spatialcolor indexing and applications(空间-颜色索引及应用)”中,提出了一种有效的颜色特征——颜色自相关图。颜色自相关图不但刻画了某一种颜色的像素数量占整个图像的比例,而且反映了同一种颜色像素的空间相关性。但该技术在计算时,图像中的每一个像素都是平等对待的,而忽略了像素的位置信息,这样导致它的计算量相当大。
又经检索发现,F.Mahmoudi等人在Pattern Recognition(模式识别)杂志2003年8月第36卷,第8期,1725-1736页上发表的文章“Image retrieval based on shape similarityby edge orientation autocorrelogram(基于边缘方向自相关图相似度的图像检索)”中,把图像中边缘像素和它的邻域内其他的边缘像素之间的相关度作为一种形状特征,但是该技术包含了背景中的冗余信息,在应用到通用的图像检索系统上时,有可能会因为冗余信息导致误判。
发明内容
本发明的目的在于克服现有技术的上述不足,提供一种图像特征提取方法。本发明提出了一种新的图像低层特征——边缘区域颜色自相关图,它描述了图像中的颜色和边缘形状联合分布,具有更低的计算复杂度和更高的准确率,通过将边缘区域颜色自相关图和已有的颜色、形状特征一起做前融合,可以更完备地对图像进行结构化描述;应用在图像检索中,可以得到更高的准确率。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第一步,提取图像I中全部像素点的位置信息和RGB颜色分量。
第二步,将图像I中每个像素点的RGB颜色分量变换为HSV颜色分量,并对HSV的三个分量进行非均匀化量化,得到N种颜色,即得到每个像素点的颜色信息。
所述的N种颜色分别用0~(N-1)表示。
第三步,对图像I进行提取边缘区域的处理,得到图像I的边缘区域,进而得到边缘区域每个像素点的位置信息和颜色信息。
所述的边缘区域包括边缘像素和图像I中与任一边缘像素的距离小于门限值T的像素。
所述的提取边缘区域的处理是采用Canny算子得到的。
第四步,对图像I的边缘区域提取颜色自相关特征,得到边缘区域的颜色自相关图ERCAC,即得到一组A维的特征向量;
对图像I的全部区域提取边缘方向自相关特征,得到全局的边缘方向自相关图EOAC,即得到一组B维的特征向量;
对图像I的全部区域内提取颜色自相关特征,得到全局的颜色自相关图CAC,即得到一组C维的特征向量。
所述的边缘区域的颜色自相关图ERCAC,具体是:
其中:ERCAC(cn,di)是颜色为cn的边缘区域颜色自相关特征值,E(px)和E(py)是边缘区域中px和py两个像素点的颜色信息,di是设定的边缘颜色距离集中第i个距离,Pr[]是[]成立的概率,0≤cn<N,1≤i≤m,m是设定的边缘颜色距离的总个数。
所述的全局的边缘方向自相关图EOAC,具体是:
其中:EOAC(oi)是梯度方向为oi、距离为dj′的边缘方向自相关特征值,O(p1′)和O(p2′)是图像I中p1′和p2′两个像素点的梯度方向,dj′是设定的全局边缘距离集中第j个距离,Pr[]是[]成立的概率,1≤j≤m′,m′是设定的全局边缘距离的总个数。
所述的全局的颜色自相关图CAC,具体是:
其中:CAC(cn)是颜色为cn的全局颜色自相关特征值,I(p1)和I(p2)是图像I中p1和p2两个像素点的颜色,dk″是设定的全局颜色距离集中的第k个距离,Pr[]是[]成立的概率,0≤cn<N,1≤k≤m″,m″是设定的全局颜色距离的总个数。
第五步,将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合,得到图像I的特征,即得到一组(A+B+C)维的特征向量。
与现有技术相比,本发明的有益效果是:考虑了物体识别过程中像素位置所起到的作用,选取了对识别贡献更大的边缘和边缘附近的像素,刨除了大部分平坦区域的像素,减小了计算量且提高了性能;通过特征融合,实现了更为全面的基于图像结构的内容描述,用于图像检索时准确率可提高15.2%。
具体实施方式
下面结合附图对本发明的实施例作详细说明:本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
实施例
本实施例采用的图像数据库是TRECVID2005的所有视频关键帧。TRECVID是美国国家标准局(NIST)举办的视频检索领域的权威比赛,选取了16个语义概念进行检测。整个图像数据库共有60422幅图像,分为两部分:训练图像库和待检测图像集,其中,训练图像库中共有42226幅图像,包括5039幅正样本和37187幅负样本。待检测图像集共有18196幅图像,包括2055幅正样本和16141幅负样本。
本实施例包括如下步骤:
第一步,提取图像I中全部像素点的位置信息和RGB颜色分量。
第二步,将每个像素点的RGB颜色分量变换为HSV颜色分量,并对HSV的三个分量进行非均匀化量化,得到166种颜色,这166种颜色分别用0-165来表示。
第三步,对图像I进行提取边缘区域的处理,得到图像的边缘区域,进而得到边缘区域每个像素点的位置信息和颜色信息。
所述的边缘区域包括边缘像素和与任一边缘像素的距离小于门限值T(本实施例T=4)的像素。
所述的提取边缘区域的处理是采用Canny算子提取的,边缘区域的像素颜色与原图像相同位置像素的颜色相同。
第四步,对图像I的边缘区域提取颜色自相关特征,得到边缘区域的颜色自相关图ERCAC,即得到一组166维的特征向量;
对图像I的全部区域提取边缘方向自相关特征,得到全局的边缘方向自相关图EOAC,即得到一组144维的特征向量;
对图像I的全部区域内提取颜色自相关特征,得到全局的颜色自相关图CAC,即得到一组166维的特征向量。
所述的边缘区域的颜色自相关图ERCAC,具体是:
其中:ERCAC(cn,di)是颜色为cn的边缘区域颜色自相关特征值,E(px)和E(py)是边缘区域中px和py两个像素点的颜色信息,di是设定的边缘颜色距离集d={1,3,5,7}中第i个距离,Pr[]是[]成立的概率,0≤cn<165,1≤i≤4。本实施例先分别求出每种颜色对应的每个边缘颜色距离下的边缘颜色自相关特征值,然后再把每种颜色对应的四个边缘颜色自相关特征值进行相加,得到该颜色的边缘颜色自相关特征值。
所述的提取边缘方向自相关特征,具体是:首先用水平和垂直方向的Sobel算子模板对图像分别进行滤波,得到每一像素点水平和垂直两个方向的梯度dx和dy,进而根据像素点的梯度方向,得到梯度方向图像,具体公式是:arg=arctan(dx/dy);再把得到的梯度方向以5度为一个单位进行量化,得到36个方向,这36个方向分别用0-35表示,从而得到梯度方向图。
所述的全局的边缘方向自相关图EOAC,具体是:
其中:EOAC(oi)是梯度方向为oi的边缘方向自相关特征值,O(p1′)和O(p2′)是图像I中p1′和p2′两个像素点的梯度方向,dj′是设定的全局边缘距离集d′={1,3,5,7}中第j个距离,Pr[]是[]成立的概率,1≤j≤4,0≤oi≤35。对每个梯度,本实施例中分别求出每一种全局边缘距离对应的全局的边缘方向自相关特征值,再把四个特征值拼接在一起,得到最后的144(即4×36=144)维全局的边缘方向自相关特征值。
所述的全局的颜色自相关图CAC,具体是:
其中:CAC(cn)是颜色为cn的全局颜色自相关特征值,I(p1)和I(p2)是图像I中p1和p2两个像素点的颜色,dk″是设定的全局颜色距离集d″={1,2,3,4,5,6,7,8}中的第k个距离,Pr[]是[]成立的概率,0≤cn<165,1≤k≤4。本实施例先分别求出每种颜色对应的每个全局颜色距离下的全局颜色自相关特征值,然后再把每种颜色对应的八个全局颜色自相关特征值进行相加,得到该颜色的全局颜色自相关特征值。
第五步,将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合,得到图像I的特征,即得到一组476维的特征向量。
本实施例用全局的边缘方向自相关图EOAC表示图像的骨架,边缘区域的颜色自相关图ERCAC表示图像颜色和形状的联合分布,最后加入全局的颜色自相关图CAC,得到完备的图像内容的描述。三种特征拼接的顺序如下:
V={CAC(1),...,CAC(166),ERCAC(1),...,ERCAC(166),EOAC(1),...,EOAC(144)}。
当分别采用全局的边缘方向自相关图、全局的颜色自相关图、边缘区域颜色自相关图和本实施例方法对15个概念进行特征提取,得到的准确率如表1所示。
表1
全局的边缘方向自相关图 | 全局的颜色自相关图 | 边缘区域颜色自相关图 | 本实施例方法 | |
动物 | 0.101 | 0.130 | 0.228 | 0.682 |
公共汽车 | 0.066 | 0.031 | 0.071 | 0.038 |
小汽车 | 0.249 | 0.222 | 0.230 | 0.355 |
图表 | 0.092 | 0.034 | 0.036 | 0.054 |
沙漠 | 0.062 | 0.081 | 0.079 | 0.147 |
人脸 | 0.888 | 0.894 | 0.916 | 0.957 |
地图 | 0.285 | 0.625 | 0.635 | 0.631 |
会议 | 0.148 | 0.348 | 0.374 | 0.433 |
军事行动 | 0.185 | 0.267 | 0.296 | 0.343 |
室外 | 0.726 | 0.828 | 0.768 | 0.896 |
游行 | 0.261 | 0.138 | 0.156 | 0.240 |
犯人 | 0.021 | 0.021 | 0.037 | 0.101 |
道路 | 0.237 | 0.222 | 0.192 | 0.279 |
演播室 | 0.797 | 0.925 | 0.939 | 0.954 |
植被 | 0.373 | 0.615 | 0.592 | 0.651 |
平均准确率 | 0.299 | 0.359 | 0.370 | 0.451 |
从表1可见,本实施例方法用于图像检索时的性能明显优于基于颜色自相关图和边缘方向自相关图,检索的平均准确率最高可提高15.2%。
Claims (6)
1.一种图像特征提取方法,其特征在于,包括以下步骤:
第一步,提取图像I中全部像素点的位置信息和RGB颜色分量;
第二步,将图像I中每个像素点的RGB颜色分量变换为HSV颜色分量,并对HSV的三个分量进行非均匀化量化,得到N种颜色,即得到每个像素点的颜色信息;
第三步,对图像I进行提取边缘区域的处理,得到图像I的边缘区域,进而得到边缘区域每个像素点的位置信息和颜色信息;
第四步,对图像I的边缘区域提取颜色自相关特征,得到边缘区域的颜色自相关图ERCAC,即得到一组A维的特征向量;
对图像I的全部区域提取边缘方向自相关特征,得到全局的边缘方向自相关图EOAC,即得到一组B维的特征向量;
对图像I的全部区域内提取颜色自相关特征,得到全局的颜色自相关图CAC,即得到一组C维的特征向量;
第五步,将边缘区域的颜色自相关图ERCAC、全局的边缘方向自相关图EOAC和全局的颜色自相关图CAC进行特征前融合,得到图像I的特征,即得到一组A+B+C维的特征向量;
所述的特征前融合是指:采用全局的边缘方向自相关图EOAC表示图像的骨架,边缘区域的颜色自相关图ERCAC表示图像颜色和形状的联合分布,最后加入全局的颜色自相关图CAC得以实现。
2.根据权利要求1所述的图像特征提取方法,其特征是,所述的边缘区域包括边缘像素和图像I中与任一边缘像素的距离小于门限值T的像素。
3.根据权利要求1所述的图像特征提取方法,其特征是,第三步中所述的提取边缘区域的处理是采用Canny算子得到的。
5.根据权利要求1所述的图像特征提取方法,其特征是,第四步中所述的全局的边缘方向自相关图EOAC,具体是:
其中:EOAC(oi)是梯度方向为oi、距离为d′j的边缘方向自相关特征值,O(p′1)和O(p′2)是指图像I中p′1和p′2两个像素点的梯度方向,d′j是设定的全局边缘距离集中第j个距离,Pr[]是[]成立的概率,1≤j≤m′,m′是设定的全局边缘距离的总个数。
6.根据权利要求1所述的图像特征提取方法,其特征是,第四步中所述的全局的颜色自相关图CAC,具体是:
其中:CAC(cn)是颜色为cn的全局颜色自相关特征值,I(p1)和I(p2)是图像I中p1和p2两个像素点的颜色,d″k是设定的全局颜色距离集中的第k个距离,Pr[]是[]成立的概率,0≤cn<N,1≤k≤m″,m″是设定的全局颜色距离的总个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101306815A CN101770578B (zh) | 2010-03-24 | 2010-03-24 | 图像特征提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010101306815A CN101770578B (zh) | 2010-03-24 | 2010-03-24 | 图像特征提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101770578A CN101770578A (zh) | 2010-07-07 |
CN101770578B true CN101770578B (zh) | 2011-07-27 |
Family
ID=42503430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010101306815A Active CN101770578B (zh) | 2010-03-24 | 2010-03-24 | 图像特征提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101770578B (zh) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101894259A (zh) * | 2010-08-02 | 2010-11-24 | 山东中创软件商用中间件股份有限公司 | 基于内嵌的图片过滤方法、装置及系统 |
CN102156880B (zh) * | 2011-04-11 | 2013-01-09 | 上海交通大学 | 基于改进的社会力模型的异常集群行为检测方法 |
CN102156879B (zh) * | 2011-04-11 | 2012-11-28 | 上海交通大学 | 基于加权陆地运动距离的人体目标匹配方法 |
CN102830958B (zh) * | 2011-06-16 | 2017-11-24 | 奇智软件(北京)有限公司 | 一种获取界面控件信息的方法及系统 |
CN102253989B (zh) * | 2011-07-04 | 2013-10-09 | 厦门市美亚柏科信息股份有限公司 | 图像处理方法、装置及图像检索方法、系统 |
CN103605957A (zh) * | 2013-11-05 | 2014-02-26 | 天脉聚源(北京)传媒科技有限公司 | 一种图片识别方法及装置 |
CN105320694A (zh) * | 2014-07-31 | 2016-02-10 | 香港理工大学 | 多模态图像检索方法 |
CN106485186B (zh) * | 2015-08-26 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 图像特征提取方法、装置、终端设备及系统 |
CN105404657B (zh) * | 2015-11-04 | 2018-11-02 | 北京工业大学 | 一种基于cedd特征和phog特征的图像检索方法 |
CN105844278B (zh) * | 2016-04-15 | 2019-01-25 | 浙江理工大学 | 一种多特征融合的织物扫描图案识别方法 |
CN107273936B (zh) * | 2017-07-07 | 2020-09-11 | 广东工业大学 | 一种gan图像处理方法及系统 |
CN108985224A (zh) * | 2018-07-13 | 2018-12-11 | 江苏慧学堂系统工程有限公司 | 一种提升人脸识别准确率的方法和人脸识别系统 |
CN109063596A (zh) * | 2018-07-13 | 2018-12-21 | 江苏慧学堂系统工程有限公司 | 一种人脸识别系统及移动终端和人脸识别辅助装置 |
CN113177491A (zh) * | 2021-05-08 | 2021-07-27 | 重庆第二师范学院 | 一种自适应光源人脸识别系统及方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100788643B1 (ko) * | 2001-01-09 | 2007-12-26 | 삼성전자주식회사 | 색과 질감의 조합을 기반으로 하는 영상 검색 방법 |
CN100573523C (zh) * | 2006-12-30 | 2009-12-23 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
CN101398846A (zh) * | 2008-10-23 | 2009-04-01 | 上海交通大学 | 基于局部颜色空间特征的图像语义概念检测的方法 |
-
2010
- 2010-03-24 CN CN2010101306815A patent/CN101770578B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101770578A (zh) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101770578B (zh) | 图像特征提取方法 | |
CN102012939B (zh) | 综合颜色和局部不变特征匹配的动画场景自动标注方法 | |
CN100433016C (zh) | 基于信息突变的图像检索方法 | |
CN103049446A (zh) | 一种图像检索方法及装置 | |
CN103870516A (zh) | 检索图像的方法、实时绘画提示方法及其装置 | |
CN104850850A (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN101763440B (zh) | 对搜索图像的过滤方法 | |
CN102542058A (zh) | 一种融合全局与局部视觉特征的层次化地标识别方法 | |
CN101526944A (zh) | 图像检索比对方法 | |
CN101944183B (zh) | 一种利用sift树进行物体识别的方法 | |
CN105493078A (zh) | 彩色草图图像搜索 | |
CN104299009A (zh) | 基于多特征融合的车牌字符识别方法 | |
CN102147812A (zh) | 基于三维点云模型的地标建筑图像分类方法 | |
CN103678552A (zh) | 基于显著区域特征的遥感影像检索方法及系统 | |
CN102693285A (zh) | 一种基于形状认知的三维建筑模型匹配与检索的方法 | |
CN113223042A (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
Song et al. | Analyzing scenery images by monotonic tree | |
CN102831161B (zh) | 用于图像检索的基于流形正则化的半监督排序学习方法 | |
CN101526955A (zh) | 一种基于草图的网络图元自动提取方法和系统 | |
CN108875828A (zh) | 一种相似图像的快速匹配方法和系统 | |
CN108805139A (zh) | 一种基于频域视觉显著性分析的图像相似性计算方法 | |
CN103345511A (zh) | 一种基于稀疏表达的遥感图像检索方法 | |
Ahmad et al. | SSH: Salient structures histogram for content based image retrieval | |
Schels et al. | Synthetically trained multi-view object class and viewpoint detection for advanced image retrieval | |
CN105205161A (zh) | 一种基于互联网图片的同时目标搜索与分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230825 Address after: 200240 Minhang District, Shanghai Jianchuan Road, No. 5, 1, 5 (centralized registration). Patentee after: Shanghai Xueshen Intelligent Technology Co.,Ltd. Address before: 200240 No. 800, Dongchuan Road, Shanghai, Minhang District Patentee before: SHANGHAI JIAO TONG University |