背景技术
随着信息技术的迅速发展和应用,多媒体数据尤其是图像数据急剧增长,如何快速有效地从大规模图像数据库中检索出所需的图像,已成为目前检索领域一个相当重要的研究课题,而基于内容的图像检索(Content-based ImageRetrieval,CBIR)是当前图像检索领域最为活跃的一项技术。基于内容的图像检索技术的核心问题是内容的特征提取技术和内容的相似性度量技术,这两个问题是被广泛研究的热点问题,也是极具挑战性的难点问题之一。
通过研究相关文献发现,目前很多CBIR方法都存在计算复杂度高、特征提取和特征匹配的时间长、特征存储空间大、特征信息容易缺失等问题,尤其对于大尺寸图像的检索。随着图像内容的增多以及人们对图像检索要求的提高,目前的CBIR技术还远远不够,有待于更深入的研究和探索。通过对现有的图像检索方法进行改进,或者结合新的理论,研究新的图像检索方法,对于解决目前图像检索的难题,具有非常重要的意义和价值。
近年来,由Donoho等人提出的压缩感知理论,以远低于奈奎斯特频率进行采样,为数据采集压缩技术带来了革命性突破,已经在很多领域得到了研究和应用。由于图像在小波、DCT等变换下的稀疏性,以及各类图像特征数据的海量性,这为压缩感知理论提供了绝佳的应用场景。压缩感知测量和重建过程描述如下:
假设有一信号x(x∈RN),长度为N,基向量为Ψi(i=1,2,…,N),对信号进行变换:
公式1
或者:
x=Ψa 公式2
其中x是原始信号,α是信号在Ψ域的表示。由于信号x是可稀疏表示的,因此上式可以表示为:
y=Φx=ΦΨα=Θα 公式3
其中Θ是一个M×N矩阵。如果Θ满足有限等距性(Restricted IsometryProperty,RIP),即:
公式4
则原始信号的恢复问题与下列最优化问题等价,即:
公式5
对上式的求解是个非确定性多项式问题(NP-HARD)。在一定条件下,最小l1范数和最小l0范数具有等价性,l0范数下的最优化问题可转化为l1范数下的最优化问题,即:
公式6
最小l1范数由于其算法复杂度高,所需重建时间长,研究人员开始寻求算法复杂度低,重建速度快的算法,如MP算法和OMP算法。由于MP算法的非正交性,使得每次迭代的结果不是最优的,且收敛的迭代次数较大。OMP算法在沿用MP算法框架基础上,采用正交化技术,从而减少了迭代次数。由于OMP算法使用了与MP算法相同的原子选择准则,这一准则并不能保证最新的观测信号整体余量达到最小,因此不是最优的。
为了进一步提高重构精度,Thong T.Do等人提出了稀疏自适应匹配追踪(Sparsity Adaptive Matching Pursuit,SAMP)算法,通过固定步长s逐步逼近进行重建,可以在稀疏值K未知的情况下获得较好的重建效果,速度也远快于OMP算法。由于该算法在预选阶段每次预选集的大小都是I,随着I的增大会造成候选阶段大量的时间损耗,并且该算法每次迭代的步长都是s,当s≠1时会给重构精度造成影响。
发明内容
针对现有技术的不足,本发明的提供了一种基于压缩感知的图像检索方法和装置,以提高图像检索的速度和精度。
为此,本发明第一方面首先提供的一种基于压缩感知的图像特征存储方法采用的技术方案如下:
一种基于压缩感知的自适应压缩重构过程中的图像特征存储方法,包括:
将待处理的图像分割为若干个子块;
将所述子块的若干个图像特征进行组合,形成所述图像的原始信号;
将所述原始信号依次进行稀疏变化和投影到相同的测量矩阵后,得到该原始信号对应的分块观测值进行存储。
优选的,所述图像特征包括颜色特征和纹理特征。
第二方面,本发明的主要目的是提供一种基于压缩感知的的图像检索方法采用的技术方案如下:
一种基于压缩感知的图像检索方法,包括:
对待检索的图像和图像库中的图像采用第一方面所述的图像特征存储方法进行存储;
根据待检索的图像的分块观测值获取该图像对应的第一测量值,以及根据图像库的图像的分块观测值获取该图像对应的第二测量值;
计算所述第一测量值和第二测量值相比对的整体相似性度量,输出检索结果。
优选的,所述第一测量值和第二测量值包括颜色信号和纹理信号。
优选的,根据稀疏自适应匹配追踪算法计算所述第一测量值和第二测量值的原始残量度量和稀疏性度量,然后根据所述原始残量度量和稀疏性度量计算所述整体相似性度量。
具体的,所述稀疏自适应匹配追踪算法采用变步长的方法进行迭代,包括:
如果其中最新迭代过程中的残差大于上一次迭代过程中的残差且与初始残差比值小于预设值,则改变步长进行迭代。
优选的,如果迭代次数超过预设值,则停止迭代,输出该图像与待检索的图像不具备相似性的较大稀疏值的检索结果。
相应的,本发明第三方面所述的一种基于压缩感知的图像检索装置采用的技术方案如下:
一种基于压缩感知的图像检索装置,包括:
存储模块,用于对待检索的图像和图像库中的图像采用第一方面所述的图像特征存储方法进行存储;
测量模块,用于根据待检索的图像的分块观测值获取该图像对应的第一测量值,以及根据图像库的图像的分块观测值获取该图像对应的第二测量值;
输出模块,用于计算所述第一测量值和第二测量值相比对的整体相似性度量,输出检索结果。
优选的,所述输出模块根据稀疏自适应匹配追踪算法计算所述第一测量值和第二测量值的原始残量度量和稀疏性度量,然后根据所述原始残量度量和稀疏性度量计算所述整体相似性度量。
进一步,还包括变步长模块,用于最新迭代过程中的残差大于上一次迭代过程中的残差且与初始残差比值小于预设值,则改变步长进行迭代。
与现有技术相比,本发明的有益效果在于:本发明采用对图像测量值与被检索图像测量值的差量进行稀疏性判别,因此不需要精准地恢复原始信号,只需对差量的稀疏性进行估计,有效提高了图像检索的速度和精度。另外,本发明利用分块压缩感知测量方法对图像特征进行存储,所需要的存储量小,而且可以快速实现。
下面结合附图,例举若干具体实施方式以对本发明的精神和实质进行详细说明。通过这些说明,本发明的有益效果将得到进一步说明。
具体实施方式
下面结合附图,对本发明做进一步说明:
参见图1,图1是本发明所述图像特征存储方法一实施方式的流程图。在图1示出的实施方式中,该图像特征存储方法包括:
步骤S101:将待处理的图像分割为若干个子块;
步骤S102:将所述子块的若干个图像特征进行组合,形成所述图像的原始信号;
步骤S103:将所述原始信号依次进行稀疏变化和投影到相同的测量矩阵后,得到该原始信号对应的分块观测值进行存储。
其中,在一些优选的实施方式中,所述图像特征包括颜色特征和纹理特征。
下面详细论述该特征存储方法的过程和原理:
现有的压缩感知方法一般一次性测量整幅图像,会导致存储量大、重建时间长等问题。本发明实施方式中采用分块压缩感知方式对图像进行并行的测量和重构。
如图2所示,图2是本发明所述图像存储方法一实施方式中基于图像分块的压缩感知测量和重构过程示意图。在图2示出的过程中,首选将大小为Ic×Ir的图像x分割成n个大小为B×B的子块(n=N/B2,N=Ic×Ir),令xi表示第i个图像块(i=1,2,…,n)。将每个子块的所有列向量首尾连接起来构成原始信号,这原始信号可以分为多个类别:
i)颜色类测量值:
把图像的RGB颜色像素按照列优先次序进行排列后,形成颜色类的原始信号,采用公式yi=ΦBxi得到颜色测量值。
ii)纹理类测量值:
设f(x,y)为一幅二维数字图像,其大小为M×N,灰度级别为Ng,则满足一定空间关系的灰度共生矩阵P为:
P(i,j)=#{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j} 公式7
其中#(x)表示集合x中的元素个数,显然灰度共生矩阵P为Ng×Ng的矩阵,把灰度共生矩阵P按列优先形成原始信号,采用公式yi=ΦBxi得到纹理测量值。
其中Ф
B是一个M
B×B
2的正交高斯随机矩阵,
当B较小时,所需要的存储量小且可快速实现。
参见图3,图3是本发明所述图像检索方法一实施方式的流程图。在图3示出的实施方式中,该自适应压缩重构过程中的图像检索方法包括:
步骤S301:对待检索的图像和图像库中的图像采用权所述的图像特征存储方法进行存储;
步骤S302:根据待检索的图像的分块观测值获取该图像对应的第一测量值,以及根据图像库的图像的分块观测值获取该图像对应的第二测量值;
步骤S303:计算所述第一测量值和第二测量值相比对的整体相似性度量,输出检索结果。
参见图4,图4是本发明所述图像检索方法一实施方式的图像检索框架示意图。采用图4描述的框架,以压缩感知测量值为基础,计算检索相似度,形成以下检索算法步骤:
首先,初始化阶段:1)设定原始残量度量函数Z=f1(x1,x2,x3,x4):
2)设定稀疏性度量函数:Z=f2(x1,x2,x3,x4);
3)设定整体相似性度量函数:Z=f3(x1,x2);其中,以上三个度量函数要求在其定义域内为非负函数
步骤1:对于待检索的图像,按照第一方面所述存储方法对待检索的图片和图像库中的图像特征进行存储;
步骤2:选择待检索的图像,对于第i块子块,采用以下测量公式进行计算:
Yi'=ΦBxi
其中,xi代表第i块子块以列为优先形成的各种分类原始信号。
1)颜色类测量值:对于颜色R、G、B,分别以RYi'、GYi'、BYi'代表测量值(i=1,2,…,n);
2)纹理类测量值:对于纹理特征,以PYi'(i=1,2,…,n)代表测量值。
步骤3:查询图像的测量向量存储库,获取比较图像的相关值:RYi、GYi、BYi、PYi(i=1,2,…,n)。
步骤4:采用VSLSAMP算法,分别计算下列8个数据,关于VSLSAMP的算法,将在后续详细介绍。
步骤4:计算所述第一测量值和第二测量值相比对的整体相似性度量,输出检索结果。
在一些优选实施方式中,可以首先计算原始残量度量C:
C=f1(GX,BX,RX,PX)
然后,计算稀疏性度量M:
M=f2(GK,BK,RK,PK)
最后,根据原始残量度量C和稀疏性度量M计算整体相似性度量H。
H=f3(C,M)
步骤5:若|H|<ε,则图像与被检索图像的相似度较高,输出该图像作为检索结果。
在本发明的实施方式中,所获得的实际结果基于以下选取原则:
Z=f3(x1,x2)=l1x1+l2x2
其中w1=w2=w3=w4=0.25,w1'=w2'=w3'=w4'=0.25,l1=0.3,l2=0.7,ε=(B2/N)*10-1。
然而,上述的选取原则并非唯一,本领域技术人员还可以根据实际应用时可以根据不同需要选取其它类型的函数。相对于现有技术,本实施方式中利用本发明描述的可变长自适应稀疏重构算法简称VSLSAMP(Variable Step LengthSparsity Adaptive Matching Pursuit),在检索时重点对测量差量的稀疏性进行估计,不需要精确恢复原始信号,给出了一种计算图像的相似度公式,从而实现了图像的快速检索。检索时根据VSLSAMP的迭代次数不同,得到的重构稀疏系数也不同。一般地,迭代次数越多,图像的重构稀疏系数非相关性越好,由此得到的图像检索效果越好,但图像的检索速度有所下降。图6a-6c是对恐龙的图像进行10次、20次和30次迭代的检索结果。图7a-7c是对花的图像进行10次、20次和30次迭代的检索结果。
在上述的实施方式中,运用到VSLSAMP算法。其中,所述VSLSAMP算法是一种SAMP算法的改进算法,具体论述如下:
输入:观测矩阵Ф,观测向量Y,步长s。
输出:信号的近似值及稀疏值K。
Step1:初始化。
(1)
r
0=Y,F
0=φ,I=s,K=1,l=1,SPARSNUM=MAXINT(较大整数,迭代段次数超限制时,赋予较大稀疏值),设定段迭代次数阀值ITNUM。
Step2:重复选择并迭代
(1)SK=SUPP_MAX(|ΦT·rK-1|,I)(预选下标集)
(2)CK=FK-1USK(新的下标候选集)
(3)计算
和r':
(计算最小二乘差量)
(4)F=SUPP_MAX(|r'|,I)(裁剪过程)
(5)计算
和r:
(计算本步迭代残差)
(6)若满足停止迭代条件: 则转入Step3;
(7)若需要精细迭代,即:(||r||2≤ε2||Y||2AND||r||2≥||rK-1||2),则:I=I+max(S/2,1);
(8)否则:{K=K+1;
FK=F;
rK=r;}
Step3:(1)若:l≥ITNUM
{输出:
其中
满足:
(最小二乘输出结果)及K=|F
K|}
及K=SPARSNUM}
其中ФT表示矩阵Ф的转置,函数SUPP_MAX(|V|,I)表示由向量|V|的前I个最大值所对应下标构成的下标支撑集。
表示由矩阵Ф中对应下标集C
K中的下标列所组成的子矩阵。Ф
F表示由矩阵Ф中对于下标集F中的下标列组成的子矩阵,SUPP(Z),Z∈R
n表示向量Z的非零分量的下标集。
本发明实施方式中采用以上迭代算法时,实际选取ε1=10-5,ε2=10-1,PM=B2,S≈MB/(2·log2(B2)),迭代阀值ITNUM分别选取10、20、30三种情况。
根据以上算法,把
K作为算法VSLSAMP的输出结果,记:
这就意味着由测量矩阵Ф,观测向量Y,及步长s,采用VSLSAMP算法所能够恢复得到的原始信号
及稀疏值K。
VSLSAMP的重构过程是压缩感知的逆过程,重构过程依然采用分块方式进行。很多压缩感知重构算法是在已知稀疏值K的情况下进行迭代,典型的如MP算法、OMP算法,但在实际应用中,往往稀疏值K是未知的,给这类算法的应用造成局限。经典的SAMP算法通过固定步长s逐步逼近稀疏解,其不足在于段交换时,每次增加固定的步长s,实际上在迭代的最后阶段,当接近于稀疏值时,只需要较小步长就能找到近似解,因此本发明实施方式所述的VSLSAMP算法主要把信号的稀疏值K作为算法的一个重要结果输出:特别是当迭代段变换次数达到上限时,认为差量不具备稀疏性,由此意味着图像与被检索图像间没有相似性,算法停止迭代的同时可以置稀疏值K直接为一个大整数。
对应的,参见图5,图5是本发明所述图像检索装置一实施方式的结构示意图。在图5示出的实施方式中,该自适应压缩重构过程中的图像检索装置包括:
存储模块,用于对待检索的图像和图像库中的图像采用所述的图像特征存储方法进行存储;
测量模块,用于根据待检索的图像的分块观测值获取该图像对应的第一测量值,以及根据图像库的图像的分块观测值获取该图像对应的第二测量值;
输出模块,用于计算所述第一测量值和第二测量值相比对的整体相似性度量,输出检索结果。
其中,所述输出模块根据稀疏自适应匹配追踪算法计算所述第一测量值和第二测量值的原始残量度量和稀疏性度量,然后根据所述原始残量度量和稀疏性度量计算所述整体相似性度量。在一些优选实施方式中,还包括变步长模块,用于在其中最新迭代过程中的残差大于上一次迭代过程中的残差且与初始残差比值小于预设值,则改变步长进行迭代。
应该理解,本发明并不局限于上述实施方式,凡是对本发明的各种改动或变型不脱离本发明的精神和范围,倘若这些改动和变型属于本发明的权利要求和等同技术范围之内,则本发明也意味着包含这些改动和变型。