CN104899280B - 基于彩色直方图和nsct的模糊相关异步图像检索方法 - Google Patents
基于彩色直方图和nsct的模糊相关异步图像检索方法 Download PDFInfo
- Publication number
- CN104899280B CN104899280B CN201510291031.1A CN201510291031A CN104899280B CN 104899280 B CN104899280 B CN 104899280B CN 201510291031 A CN201510291031 A CN 201510291031A CN 104899280 B CN104899280 B CN 104899280B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- msub
- color
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及图像检索方法,利用彩色直方图来提取图像的颜色特征,将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据,利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性,同时引入非下采样轮廓波变换(NSCT)来提取图像的纹理特征,利用NSCT变换对图像进行分解,提取不同层次多个方向上的子带系数的均值和标准方差为特征向量,作为图像库中图像的索引,并利用模糊集理论中的模糊隶属函数计算图像之间的相似度,由于其多尺度性、多方向性和平移不变性,分解后保留有强大的方向信息,可以更全面地描述图像的纹理特征,最后,将上述两种算法相结合,运用综合特征对图像进行检索。
Description
技术领域
本发明涉及图像检索方法,具体为一种利用彩色直方图提取的颜色特征和非下采样轮廓波变换提取的纹理特征进行综合特征的图像检索方法。
背景技术
一幅图像表述的内容是很丰富的,它包含了多个方面的特征,仅利用一种特征并不能够描述图像的全部内容。另外,人们对图像的理解是建立在人眼所能识别的全部特征之上的,对图像整体的理解,并不是只基于某一个特征,所以若仅从某一个方面来对图像进行描述,往往得不到全面的描述,而且在图像发生较大变化(放大、缩小、平移或旋转等)时常常不能取得理想的检索效果。
目前,单一特征的图像检索方法已经不能满足用户的要求,综合特征检索得到了广泛的应用。综合特征检索应用两个或多个特征对图像进行描述,要比单一的特征更能全面地描述图像的内容,使得每幅图像的差异就愈加明显,区分信息增加,根据它们得出的检索结果也更加准确。
发明内容
颜色和纹理是图像检索中最常用的两种特征,图像库中的图像数目众多,内容更是千差万别,颜色特征和纹理特征都仅能描述图像的部分属性,不同图像侧重的特征并不一定相同,为了能更加客观全面的描述图像的属性,得到更好的检索效果,本发明的目的在于提供一种综合彩色直方图提取的颜色特征和NSCT提取出的纹理特征进行综合特征图像检索方法。
本发明是采用如下技术方案实现的:
一种基于彩色直方图和NSCT的模糊相关异步图像检索方法,包括如下步骤:
(1)、对图像库中的任一幅图像D和待检索图像Q,将RGB图像的颜色量化为16维,分别提取彩色直方图,具体方法如下:
将三维色彩值(r,g,b)作为彩色直方图的横轴,该三维色彩值在整幅图像中出现的像素数作为纵轴,制作出图像D的彩色直方图和图像Q的彩色直方图,然后利用彩色直方图来提取颜色特征;
在计算彩色直方图时,对彩色直方图按色彩柱的高度从高到低逐级排序,并确定每一色彩柱的级次序号,将不同彩色直方图对应序号的色彩柱作为同一级特征,并进行相似性度量;
由于RGB空间色彩为三维,则假设图像D和图像Q的彩色直方图的对应某一级次的一对色彩矢量分别为:ci(ri,gi,bi)及cj(rj,gj,bj),则其相似度用高斯隶属函数表示为:
利用模糊隶属函数计算相似度,如下:
将式(5)得到的代入式9中,利用α1级关系模糊匹配得出检索结果,其中,阈值ɑ1的取值可以根据实验结果确定。
当大于等于阈值ɑ1时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检图像进行处理。
(2)、对对应级次色彩柱的高度进行相似性判断,对应色彩柱的高度hi和hj的相似度表示为:
利用模糊隶属函数计算相似度,如下:
将式(6)得到的代入式10中,利用α2级关系模糊匹配得出检索结果,其中,阈值ɑ2的取值可以根据实验结果确定。
当大于等于阈值ɑ2时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检图像进行处理。
(3)、将待检索图像Q和图库中的每一幅图像依次经过步骤(1)和(2)的处理后,得出步骤(1)和(2)的输出检索结果都是1的所有图像,作为新的图像库;
(4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取,NSCT提取纹理特征方法如下:
将RGB图像转化为灰度图像,对灰度图像进行分解系数为{2,3,4},子带数为4,8,16的三层NSCT变换,得到28条子带的子带系数,分别计算各子带系数的均值μi和标准方差σi,均值μi和标准方差σi的计算公式如下:
其中,Ck(i,j)是第k个NSCT方向子带的系数,M×N是该子带的大小,μk是第k个方向子带的系数平均值,σk是第k个方向子带的系数标准方差;得到每幅图像的纹理特征向量为56维;M和N表示一帧图像的行列数;
即图像P的纹理特征向量f=(μ1,σ1,μ2,σ2,...,μ28,σ28),
图像Q的纹理特征向量f′=(μ′1,σ′1,μ′2,σ′2,...,μ′28,σ′28)。
(5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理,将所有特征值都归一化到[-1,1]区间内,具体方法如下:
高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下,采用下式对特征向量进行归一化,
式(8)中,均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差;
经过高斯归一化处理的图像P的纹理特征向量
fP=(μ1P,σ1P,μ2P,σ2P,...,μ28P,σ28P),其中,等等依次计算得到fP。
经过高斯归一化处理的图像Q的纹理特征向量
f′Q=(μ′1Q,σ′1Q,μ′2Q,σ′2Q,...,μ′28Q,σ′28Q);其中,等等依次计算得到f′Q。
对图像库中的任一幅图像P和待检索图像Q,两图像的相似度的计算公式如下:
其中,和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值(包括均值μk和标准方差σk,那么式7中总共是56个数值的加和)。
(6)、利用模糊隶属函数计算相似度,如下:
将式(7)得到的代入式11中,利用α3级关系模糊匹配得出检索结果,其中,阈值ɑ3的取值可以根据实验结果确定。
当大于等于阈值ɑ3时,取为1,认为图像P和图像Q特征相似;否则,取为0,认为图像P和图像Q特征不相似。
(7)、将待检索图像Q和新图库中的每一幅图像均经过步骤(4)至步骤(6)的对比后,输出检索结果为1的所有图像,异步综合检索结束。
下面对本发明方法中用到的一些原理阐述如下。
1、关于彩色直方图提取颜色特征的原理如下:
彩色直方图的概念是在某一个颜色模型中,统计不同颜色在整幅图像中出现的频率,常被用来描述图像颜色的统计特征。但是彩色直方图并没有考虑每种色彩所处的空间位置,仅记录了各种色彩出现的像素个数,也就是说无法使用彩色直方图来描述图像中的对象或物体。在该方法中将三维色彩值(r,g,b)作为彩色直方图的横轴,该三维色彩值在整幅图像中出现的像素数作为纵轴,然后利用彩色直方图来提取颜色特征。
2、关于NSCT提取纹理特征的原理如下:
基于NSCT的多尺度性和多方向性等特点,采用如下算法。首先将彩色图像转化为灰度图像,然后通过非下采样轮廓波变换(Non-Subsampled Contourlet Transform,NSCT)变换对灰度图像进行分解,得到不同尺度下、不同方向上的子带系数Ck(i,j),各子带的系数代表了图像的能量,将均值μi和标准方差σi作为图像的纹理特征。实验过程中对灰度图像进行三层NSCT分解。取分解系数为{2,3,4},则各层方向子带数分别为4,8,16;计算各子带的均值和标准方差作为图像NSCT变换得到的纹理特征,每幅图像的纹理特征向量为56(=(4+8+16)*2)维。纹理特征向量f1=(μ1,σ1,μ2,σ2,...,μ28,σ28),均值μi和标准方差σi的计算公式如下:
其中,Ck(i,j)是第k个NSCT方向子带的系数,M×N是该子带的大小,μk是第k个方向子带的系数平均值,σk是第k个方向子带的系数标准方差。
3、关于图像特征的模糊相关的原理如下:
假设集合X=R+,Y=R,则模糊关系xSy的模糊隶属函数用高斯型函数表示为:
以上可以计算出两特征矢量的相似程度,在判定整幅图像的特征相似与否时,常常需要简明的表示出“是”或“否”两个确定值,这时需要从图像的特征集中抽取一部分与已知特征相似的特征,而去除不相似的特征,这个过程在模糊数学中被称为去模糊化或清晰化过程。采用模糊关系中的ɑ级关系可以实现这一目的,从而判定特征相似与否:
其中c∈C,C是图像特征集;ɑ是阈值,用来判定两种特征相似与否。当μR(C,Ci)大于等于阈值ɑ时,取为1,认为两特征相似,否则,认为两特征不相似。
3.1、彩色直方图的模糊相关
通常计算两个彩色直方图的相似程度,就是要计算每一对色彩柱的相似程度再进行统计。不同彩色图像的彩色直方图不同,但是每一幅彩色图像的主色调会在彩色直方图中有所体现。在计算彩色直方图时,对彩色直方图按色彩柱的高度从高到低逐级排序,并确定每一色彩柱的级次序号,将不同彩色直方图对应序号的色彩柱作为同一级特征,并进行相似性度量。
这里由于不同图像的主色调并不一定相同,即不同彩色直方图对应级次的色彩柱的色彩值(横坐标)不一定相互匹配,因此,对彩色直方图进行相似性度量时,就需要先判断彩色直方图对应级次色彩柱的横坐标即色彩的对应关系,然后再判断对应色彩柱的高度的相似程度。
由于RGB空间色彩为三维,则假设两个彩色直方图的某一级次的一对色彩矢量分别为:ci(ri,gi,bi)及cj(rj,gj,bj),则其相似度用高斯隶属函数表示为:
上式的隶属函数将两个色彩矢量的相似程度映射到[0,1]闭区间内。
对对应级次色彩柱的高度进行相似性判断,对应色彩柱的高度hi和hj的相似度表示为:
上式将色彩柱高度的相关性映射到[0,1]闭区间内,越接近1,两个对应柱的高度越接近,当值为1时,高度相等,两色彩柱完全相同。
若对上述颜色特征进行相似性判断,可利用模糊关系中的ɑ级关系即式(4),其中α值由实验获得。
3.2、NSCT的模糊相关
对图像进行NSCT变换,分解层数为3,各层分解系数分别为{2,3,4},计算各子带的均值和标准方差作为图像NSCT变换的纹理特征向量f=(μ1,σ1,μ2,σ2,...,μ28,σ28),对于图像库中的任一幅图像P和待检索图像Q,两图像的相似度的计算公式如下:
其中,和分别为图像库中图像P和待检索图像Q的第k个纹理特征分量值(即每个k值均对应一个均值μk和一个标准方差σk)。通过计算待检索图像与图像库中图像的模糊隶属函数得到其相似度,按照相似度从大到小的顺序对图像库中图像进行排序,函数值越接近1,则图像越相似。
若对上述纹理特征进行相似性判断,可利用模糊关系中的ɑ级关系即式(4),其中α值由实验获得。
4、关于特征向量的归一化
进行综合特征的检索时,由于要考虑到两个或两个以上数目的特征,就不得不注意到不同特征在物理含义和数值上的差异。而这些差异常常会导致检索误差,为了避免这方面的影响,就需要对特征向量进行归一化处理。特征向量的归一化一般分为两类:特征向量的内部归一化和特征向量的外部归一化。
(1)、特征向量的内部归一化主要针对某一特征向量中的各个分量,通过将其归一化到某一特定范围内来使得各个分量对最终检索结果的贡献相同。
图像颜色特征提取的是图像的彩色直方图的色彩柱的色彩值及高度,它们分别作为特征,各自代表的含义相同,取值范围变化也不大,因此不需要进行内部归一化。
图像纹理特征提取的是通过NSCT变换得到的各子带系数的均值μ和标准方差σ,由于经NSCT变换所得的均值μ和标准方差σ数量级的差距较大,这里需要用到特征向量的内部归一化,由于这一特征满足高斯分布,因此用高斯归一化公式对其进行高斯归一化,将所有特征值都归一化到[-1,1]区间内。高斯归一化是在假定特征向量F的分布满足均值为μ,标准方差为σ的高斯分布的条件下,由下式对特征向量进行的归一化;
(2)、特征向量的外部归一化主要针对多个特征向量,通过归一化来确保各个特征向量的重要性,也可以通过改变权重来侧重某一特征。
由于从X到Y的一个模糊关系S是X×Y到[0,1]的一个映射,所以基于彩色直方图的相似度和基于NSCT的相似度都分布在[0,1]区间内,它们的物理意义相同,取值范围也确定在[0,1]区间内,所以均不需要进行特征向量的外部归一化。
综上所述,本方法设计合理,利用彩色直方图来提取图像的颜色特征,将彩色直方图的色彩矢量和色彩柱的高度这两个特征作为检索依据,利用模糊集理论中的模糊隶属函数计算相似度、α级模糊关系判定相似性,同时引入非下采样轮廓波变换(Non-SubsampledContourlet Transform,NSCT)来提取图像的纹理特征,利用NSCT变换对图像进行分解,提取不同层次多个方向上的子带系数的均值和标准方差为特征向量,作为图像库中图像的索引,并利用模糊集理论中的模糊隶属函数计算图像之间的相似度,由于其多尺度性、多方向性和平移不变性,分解后保留有强大的方向信息,可以更全面地描述图像的纹理特征,最后,将上述两种算法相结合,运用综合特征对图像进行检索。这种基于综合特征的方法中对权值的设定会影响图像检索的效果,使得颜色和纹理特征能够优势互补,提高图像的检索精度。这种综合特征方法不仅比单一特征的检索方法有更好的检索精度,由于其在特征提取和相似性度量方面的改进,使得其较之其它的综合特征方法也更有优势。
附图说明
图1表示本发明方法的流程示意图。
图2表示Corel图像库示例。
图3表示待检索图像Q。
图4表示采用不设定阈值的颜色特征检索的返回30幅图像。
图5表示采用不设定阈值的NSCT提取纹理特征检索的返回30幅图像。
图6表示采用不设定阈值的异步综合检索到的图像。
图7表示设定阈值的颜色特征检索到的图像。
图8表示设定阈值的NSCT提取纹理特征检索到的图像。
图9表示采用发明方法检索到的图像。
具体实施方式
下面结合附图对本发明的具体实施例进行详细说明。
一种基于彩色直方图和NSCT的模糊相关异步图像检索方法,如图1所示,包括如下步骤:
(1)、对图像库中的任一幅图像D和待检索图像Q,将RGB图像的颜色量化为16维,分别提取彩色直方图,具体方法如下:
将三维色彩值(r,g,b)作为彩色直方图的横轴,该三维色彩值在整幅图像中出现的像素数作为纵轴,制作出图像D的彩色直方图和图像Q的彩色直方图,然后利用彩色直方图来提取颜色特征。
在计算彩色直方图时,对彩色直方图按色彩柱的高度从高到低逐级排序,并确定每一色彩柱的级次序号,将不同彩色直方图对应序号的色彩柱作为同一级特征,并进行相似性度量。
由于RGB空间色彩为三维,则假设图像D和图像Q的彩色直方图的对应某一级次(优选为第一级次,即高度最高的级次,有利于计算的准确)的一对色彩矢量分别为:ci(ri,gi,bi)及cj(rj,gj,bj),则其相似度用高斯隶属函数表示为:
上式的隶属函数将两个色彩矢量的相似程度映射到[0,1]闭区间内。
利用模糊隶属函数计算相似度,如下:
将式(5)得到的代入式9中,利用α1级关系模糊匹配得出检索结果,其中,通过多次实验确定阈值ɑ1取值为0.95;
当大于等于阈值ɑ1时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检图像进行处理。
(2)、对对应级次色彩柱的高度进行相似性判断,对应色彩柱的高度hi和hj的相似度表示为:
上式将色彩柱高度的相关性映射到[0,1]闭区间内,越接近1,两个对应柱的高度越接近,当值为1时,高度相等,两色彩柱完全相同。
利用模糊隶属函数计算相似度,如下:
将式(6)得到的代入式10中,利用α2级关系模糊匹配得出检索结果,其中,通过多次实验确定阈值ɑ2取值为0.90;
当大于等于阈值ɑ2时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检图像进行处理。
(3)、将待检索图像Q和图库中的每一幅图像依次经过步骤(1)和(2)的处理后,得出步骤(1)和(2)的输出检索结果都是1的所有图像,作为新的图像库;
(4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取,NSCT提取纹理特征方法如下:
将RGB图像转化为灰度图像,对灰度图像进行分解系数为{2,3,4},子带数为4,8,16的三层NSCT变换,得到28条子带的子带系数,分别计算各子带系数的均值μi和标准方差σi,均值μi和标准方差σi的计算公式如下:
其中,Ck(i,j)是第k个NSCT方向子带的系数,M×N是该子带的大小,μk是第k个方向子带的系数平均值,σk是第k个方向子带的系数标准方差;得到每幅图像的纹理特征向量为56维;M和N表示一帧图像的行列数;
即图像P的纹理特征向量f=(μ1,σ1,μ2,σ2,...,μ28,σ28),
图像Q的纹理特征向量f′=(μ′1,σ′1,μ′2,σ′2,...,μ′28,σ′28)。
(5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理,将所有特征值都归一化到[-1,1]区间内,具体方法如下:
高斯归一化是在假定特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下,采用下式对特征向量进行归一化,
式(8)中,均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差;
经过高斯归一化处理的图像P的纹理特征向量
fP=(μ1P,σ1P,μ2P,σ2P,...,μ28P,σ28P),其中,等等依次计算得到fP。
经过高斯归一化处理的图像Q的纹理特征向量
f′Q=(μ′1Q,σ′1Q,μ′2Q,σ′2Q,...,μ′28Q,σ′28Q),其中,等等依次计算得到f′Q。
对图像库中的任一幅图像P和待检索图像Q,两图像的相似度的计算公式如下:
其中,和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值(包括均值μk和标准方差σk)。
(6)、利用模糊隶属函数计算相似度,如下:
将式(7)得到的代入式11中,利用α3级关系模糊匹配得出检索结果,其中,通过多次实验确定阈值ɑ3取值为0.75;
当大于等于阈值ɑ3时,取为1,认为图像P和图像Q特征相似;否则,取为0,认为图像P和图像Q特征不相似。
(7)、将待检索图像Q和新图库中的每一幅图像均经过步骤(4)至步骤(6)的处理后,得出输出检索结果1的所有图像,异步综合检索结束。
下面通过具体的实验结果来分析本发明方法的技术效果。
如图2所示,实验所用的图像库是从美国斯坦福大学的Corel图库中的10类彩色图像,每类100幅,共1000幅图像。
检索系统为“基于NSCT&Color模糊相关的图像检索系统”,用上述图像库进行实验,评价标准选择查准率,分别从每类图像中随机选出5幅图像作为待检索图像,分别计算对每幅图像的查准率,然后计算对每一类图像的平均检索查准率。
单一特征和综合特征对检索结果影响的对比实验
实验中将①单一的颜色特征检索方式;②单一的纹理特征检索方式;③颜色特征和纹理特征的异步综合检索组合;三种检索算法进行比较。
该组实验检索结果如表1。
表1检索算法性能比较(按阈值返回图像的平均查准率)
从表1可以看出,同步综合检索算法对所有类型图像的检索查准率都比较高。阈值的设定使得系统更容易给出期望的结果。而异步综合检索算法的图像检索查准率更是高达100%,这是由于整个检索过程考虑到了所有两种特征向量,当且仅当所有特征向量都匹配时才返回结果,检索精度更高。
总的来说,由于融合了彩色直方图和NSCT变换及模糊集理论三者的优点,本文的综合特征算法对每一类图像的检索性能都比对比实验算法要好。
另外,结合附图3-9说明以马为待检索图像的基于不同特征的检索结果。
图3是以绿色草地为背景的一大一小两匹棕红色马的图像;图4中有两幅是不相关的大象图像,剩余28幅中有15幅是两匹棕红色马的图像;图5中有六幅是不相关的图像,剩余24幅中几乎全是一大一小两匹马;图6中都是以绿色草地为背景的两匹马图像。
当按照阈值返回结果时,图7检索到的就是待检索图像本身;图8中包括待检索图像在内的5幅图像中全部为两匹马的图像,而且前三幅均为绿色草地背景的两匹棕红色马的图像,前两幅图像更是相当相似;图9中检索到就是待检索图像本身。
对比可知综合特征的算法是比单一特征算法更有效的一种算法,提高了图像检索的准确率。当想要返回同一类图像时,可以直接按照相似度返回;若想要获得最相似的图像,则可以设定阈值。
本发明方法提出了综合彩色直方图颜色特征和NSCT纹理特征的模糊相关图像检索方法,与单一的颜色特征检索和单一的纹理特征检索方式进行了比较,实验结果表明综合特征检索方法优于单一特征检索方法;并将综合特征检索方法与基于轮廓波变换和累积彩色直方图的欧氏距离相关图像检索方法进行了比较实验,由比较结果可知,综合特征的算法比单一特征的算法的检索效果好。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照本发明实施例进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明的技术方案的精神和范围,其均应涵盖本发明的权利要求保护范围中。
Claims (2)
1.一种基于彩色直方图和NSCT的模糊相关异步图像检索方法,其特征在于:包括如下步骤:
(1)、对图像库中的任一幅图像D和待检索图像Q,将RGB图像的颜色量化为16维,分别提取彩色直方图,具体方法如下:
将三维色彩值(r,g,b)作为彩色直方图的横轴,该三维色彩值在整幅图像中出现的像素数作为纵轴,制作出图像D的彩色直方图和图像Q的彩色直方图,然后利用彩色直方图来提取颜色特征;
在计算彩色直方图时,对彩色直方图按色彩柱的高度从高到低逐级排序,并确定每一色彩柱的级次序号,将不同彩色直方图对应序号的色彩柱作为同一级特征,并进行相似性度量;
由于RGB空间色彩为三维,则图像D和图像Q的彩色直方图的对应某一级次的一对色彩矢量分别为:ci(ri,gi,bi)及cj(rj,gj,bj),则其相似度用高斯隶属函数表示为:
<mrow>
<msub>
<mi>&mu;</mi>
<mover>
<mi>R</mi>
<mo>~</mo>
</mover>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>c</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>r</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>r</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>b</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>b</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
</msup>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
利用模糊隶属函数计算相似度,如下:
将式(5)得到的代入式9中,利用α1级关系模糊匹配得出检索结果,
当大于等于阈值ɑ1时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检索图像Q进行处理;
(2)、对对应级次色彩柱的高度进行相似性判断,对应级次色彩柱的高度hi和hj的相似度表示为:
<mrow>
<msub>
<mi>&mu;</mi>
<mover>
<mi>S</mi>
<mo>~</mo>
</mover>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>/</mo>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>h</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>h</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
利用模糊隶属函数计算相似度,如下:
将式(6)得到的代入式10中,利用α2级关系模糊匹配得出检索结果,
当大于等于阈值ɑ2时,取值为1,认为两特征相似,则进行下一步;否则,停止,返回进行下一张图像与待检索图像Q进行处理;
(3)、将待检索图像Q和图库中的每一幅图像依次经过步骤(1)和(2)的处理后,得出步骤(1)和(2)的输出检索结果都是1的所有图像,作为新的图像库;
(4)、对新的图像库中的任一幅图像P和待检索图像Q分别进行NSCT纹理特征提取,NSCT提取纹理特征方法如下:
将RGB图像转化为灰度图像,对灰度图像进行分解系数为{2,3,4},子带数为4,8,16的三层NSCT变换,得到28条子带的子带系数,分别计算各子带系数的均值μi和标准方差σi,均值μi和标准方差σi的计算公式如下:
<mrow>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<mo>|</mo>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msup>
<mrow>
<mo>&lsqb;</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>M</mi>
<mi>N</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>M</mi>
</munderover>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>N</mi>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mrow>
<msub>
<mi>C</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>|</mo>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>k</mi>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
</mrow>
<mrow>
<mn>1</mn>
<mo>/</mo>
<mn>2</mn>
</mrow>
</msup>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,Ck(i,j)是第k个NSCT方向子带的系数,M×N是该子带的大小,μk是第k个方向子带的系数平均值,σk是第k个方向子带的系数标准方差;得到每幅图像的纹理特征向量为56维;M和N表示一帧图像的行列数;
即图像P的纹理特征向量f=(μ1,σ1,μ2,σ2,...,μ28,σ28),
图像Q的纹理特征向量f′=(μ′1,σ′1,μ′2,σ′2,...,μ′28,σ′28);
(5)、对新的图像库中的任一幅图像P和待检索图像Q各自得到的56维纹理特征向量分别进行高斯归一化处理,将所有特征值都归一化到[-1,1]区间内,具体方法如下:
高斯归一化是在特征向量F的分布满足均值为μ、标准方差为σ的高斯分布的条件下,采用下式对特征向量进行归一化,
<mrow>
<msup>
<mi>F</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>F</mi>
<mo>-</mo>
<mi>&mu;</mi>
</mrow>
<mi>&sigma;</mi>
</mfrac>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
式(8)中,均值μ和标准方差σ表示特征向量F这个集合的均值和标准方差;
经过高斯归一化处理的图像P的纹理特征向量
fP=(μ1P,σ1P,μ2P,σ2P,...,μ28P,σ28P),
经过高斯归一化处理的图像Q的纹理特征向量
f′Q=(μ′1Q,σ′1Q,μ′2Q,σ′2Q,...,μ′28Q,σ′28Q);
对图像库中的任一幅图像P和待检索图像Q,两图像的相似度的计算公式如下:
<mrow>
<msub>
<mi>&mu;</mi>
<mover>
<mi>n</mi>
<mo>~</mo>
</mover>
</msub>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>,</mo>
<mi>P</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>exp</mi>
<mo>{</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>28</mn>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>f</mi>
<mi>k</mi>
<mrow>
<mo>&prime;</mo>
<mi>Q</mi>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>f</mi>
<mi>k</mi>
<mi>P</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>}</mo>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中,和分别为图像库中图像P和待检索图像Q分别经过高斯归一化处理后的第k个纹理特征分量值;
(6)、利用模糊隶属函数计算相似度,如下:
将式(7)得到的代入式11中,利用α3级关系模糊匹配得出检索结果,
当大于等于阈值ɑ3时,取为1,认为图像P和图像Q特征相似;否则,取为0,认为图像P和图像Q特征不相似;
(7)、将待检索图像Q和新图库中的每一幅图像均经过步骤(4)至步骤(6)的处理后,得出步骤(6)中输出检索结果为1的所有图像,异步综合检索结束。
2.根据权利要求1所述的基于彩色直方图和NSCT的模糊相关异步图像检索方法,其特征在于:步骤(1)中,阈值ɑ1为0.95;步骤(2)中,阈值ɑ2为0.90;步骤(6)中,阈值ɑ3为0.75。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510291031.1A CN104899280B (zh) | 2015-05-29 | 2015-05-29 | 基于彩色直方图和nsct的模糊相关异步图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510291031.1A CN104899280B (zh) | 2015-05-29 | 2015-05-29 | 基于彩色直方图和nsct的模糊相关异步图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104899280A CN104899280A (zh) | 2015-09-09 |
CN104899280B true CN104899280B (zh) | 2017-12-29 |
Family
ID=54031943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510291031.1A Expired - Fee Related CN104899280B (zh) | 2015-05-29 | 2015-05-29 | 基于彩色直方图和nsct的模糊相关异步图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104899280B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3034688C (en) | 2017-06-30 | 2021-11-30 | Beijing Didi Infinity Technology And Development Co., Ltd. | Systems and methods for verifying authenticity of id photo |
CN107358635B (zh) * | 2017-07-19 | 2020-11-03 | 辽宁工程技术大学 | 一种基于模糊相似性的彩色形态学图像处理方法 |
CN108052981B (zh) * | 2017-12-22 | 2021-08-17 | 辽宁师范大学 | 基于非下采样Contourlet变换和卷积神经网络的图像分类方法 |
CN110321452B (zh) * | 2019-05-05 | 2022-08-09 | 广西师范大学 | 一种基于方向选择机制的图像检索方法 |
CN110694942B (zh) * | 2019-10-21 | 2021-05-14 | 武汉纺织大学 | 一种太阳能电池片的色差分选方法 |
CN111288928B (zh) * | 2020-03-12 | 2021-08-13 | 华侨大学 | 物体表面三维形貌特征测量方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961736B1 (en) * | 2002-05-31 | 2005-11-01 | Adobe Systems Incorporated | Compact color feature vector representation |
CN102508901A (zh) * | 2011-11-07 | 2012-06-20 | 康佳集团股份有限公司 | 基于内容的海量图像检索方法和系统 |
CN104156433A (zh) * | 2014-08-11 | 2014-11-19 | 合肥工业大学 | 一种基于语义映射空间构建的图像检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100422805B1 (ko) * | 2000-12-26 | 2004-03-12 | 한국전자통신연구원 | 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 |
-
2015
- 2015-05-29 CN CN201510291031.1A patent/CN104899280B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6961736B1 (en) * | 2002-05-31 | 2005-11-01 | Adobe Systems Incorporated | Compact color feature vector representation |
CN102508901A (zh) * | 2011-11-07 | 2012-06-20 | 康佳集团股份有限公司 | 基于内容的海量图像检索方法和系统 |
CN104156433A (zh) * | 2014-08-11 | 2014-11-19 | 合肥工业大学 | 一种基于语义映射空间构建的图像检索方法 |
Non-Patent Citations (4)
Title |
---|
A fused features approach on Content-Based Image Retrieval based on Fuzzy rule-set;Nikita Raina.etc;《2014 International Conference on Advances in Computing, Communications and Informatics (ICACCI)》;20141201;第2436-2442页 * |
FCTH: Fuzzy Color and Texture Histogram - A Low Level Feature for Accurate Image Retrieval;Savvas A. Chatzichristofis.etc;《2008 Ninth International Workshop on Image Analysis for Multimedia Interactive Services》;20080715;第191-196页 * |
基于多尺度几何分析的纹理图像检索研究;朱正礼;《中国优秀博士学位论文全文数据库》;20130630;I138-32 * |
基于模糊相关的彩色图像检索;梁艳梅等;《中国科学(E辑)》;20031031;第33卷(第10期);第934-938段 * |
Also Published As
Publication number | Publication date |
---|---|
CN104899280A (zh) | 2015-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104899280B (zh) | 基于彩色直方图和nsct的模糊相关异步图像检索方法 | |
CN104915400B (zh) | 基于彩色直方图和nsct的模糊相关同步图像检索方法 | |
CN102663391B (zh) | 一种图像的多特征提取与融合方法及系统 | |
CN107679078A (zh) | 一种基于深度学习的卡口图像车辆快速检索方法及系统 | |
CN103886760B (zh) | 实时的基于交通视频的车型检测系统 | |
CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
CN103761295B (zh) | 基于图片自动分类的艺术类图片的定制化特征量提取方法 | |
CN104134071A (zh) | 一种基于颜色描述的可变形部件模型物体检测方法 | |
CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
CN104240256A (zh) | 一种基于层次化稀疏建模的图像显著性检测方法 | |
Adler et al. | Probabilistic subspace clustering via sparse representations | |
CN110110783A (zh) | 一种基于多层特征图连接的深度学习目标检测方法 | |
CN103336835B (zh) | 基于权值color‑sift特征字典的图像检索方法 | |
CN110210534B (zh) | 基于多包融合的高分遥感图像场景多标签分类方法 | |
CN103218617B (zh) | 一种多线性大间距的特征提取方法 | |
Duan et al. | Image classification of fashion-MNIST data set based on VGG network | |
CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 | |
Deng et al. | Citrus disease recognition based on weighted scalable vocabulary tree | |
CN108573241A (zh) | 一种基于融合特征的视频行为识别方法 | |
CN111709291A (zh) | 一种基于融合信息的外卖人员身份识别方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
Huang et al. | A method for object-based color image retrieval | |
Abood et al. | Content-based image retrieval (CBIR) using hybrid technique | |
Selvarajah et al. | Combined feature descriptor for content based image retrieval | |
Papp et al. | MMKK++ algorithm for clustering heterogeneous images into an unknown number of clusters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171229 Termination date: 20200529 |
|
CF01 | Termination of patent right due to non-payment of annual fee |