CN104392207B - 一种用于数字图像内容识别的特征编码方法 - Google Patents

Abstract

本发明公开了一种用于数字图像内容识别的特征编码方法，涉及信号与信息处理技术领域，包括：将输入的图像特征序列分割成具有固定长度的特征矢量，利用稀疏编码获得每个特征矢量的稀疏描述；从各个特征矢量的稀疏描述中抽取具有最大权重的原子索引，对索引序列进行二值化处理；构造原子权重直方图并进行二值化处理；合并由原子索引和原子权重直方图所生成的二值序列构成图像哈希。本方法能够将图像特征矢量映射为简短的二值哈希序列，计算复杂度低；且所生成的图像哈希能够抵抗图像处理操作所引入的内容失真，可实现高效、准确的图像内容识别。

Description

一种用于数字图像内容识别的特征编码方法

技术领域

本发明涉及信号与信息处理技术领域，尤其涉及一种用于数字图像内容识别的特征编码方法。

背景技术

近年来，社交网络的快速发展和低成本图像传感器(如手机内置摄像头)的普及极大程度地丰富了数字图像资源，数字图像的数量呈现出激增的态势。海量的图像资源对高效的查询、索引以及版权管理技术提出了迫切需求，其核心问题是对图像感知内容的识别，而内容识别的基础是对图像感知内容的描述。为了实现准确的内容识别，图像描述符需要具备鲁棒性、区分性和简要性的特点。鲁棒性是指当图像经过处理后(如压缩、滤波和加噪声等)，其描述符仍然保持稳定。区分性要求内容不同的数字图像的描述符之间应呈现出显著差异。简要性则要求描述符的数据量尽量小，以降低内容识别中的比对复杂度和描述符存储空间。图像哈希(也称图像指纹)是内容识别中常用的描述符，它能够将图像感知内容用简短的二值序列描述，具有易于比对和存储等优点。图像哈希是对图像特征序列进行编码后的结果，因此对特征的编码是图像哈希中的关键技术。Swaminathan等人计算图像的傅立叶梅林变换系数在极坐标系下的圆周积分，采用文献[1]中提出的自适应量化器将积分结果编码为二元哈希序列[2]。与之类似，文献[3]对图像内显著点的响应进行自适应量化以生成哈希。为了达到鲁棒性和区分性之间的平衡，文献[4]中采用抖动格型矢量量化对特征矢量进行编码。文献[5]利用非负矩阵分解生成图像哈希。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的特征量化技术所生成的哈希序列数据量偏大。现有技术大多以每个特征量化索引的二进制表示作为哈希，哈希数据量大会增加图像识别的复杂度以及哈希存储空间。此外，现有技术的鲁棒性不强。例如：自适应量化器所生成的哈希是对特征进行标量量化的结果。图像处理操作会导致特征的改变，标量量化器存在对特征扰动敏感的特点，由此导致图像哈希在鲁棒性方面的局限。

发明内容

本发明提供了一种用于数字图像内容识别的特征编码方法，本发明将图像特征编码为简短的二值哈希序列，该哈希序列能够实现对图像感知内容的简要化描述，同时具有良好的鲁棒性和区分性，据此可实现高效、准确的图像内容识别，详见下文描述：

一种用于数字图像内容识别的特征编码方法，所述方法包括以下步骤：

(1)将输入的图像特征序列分割成具有固定长度的特征矢量，利用稀疏编码获得每个特征矢量的稀疏描述；

(2)从各个特征矢量的稀疏描述中抽取具有最大权重的原子索引，对索引序列进行二值化处理；

(3)构造原子权重直方图并进行二值化处理；

(4)合并由原子索引和原子权重直方图所生成的二值序列构成图像哈希。

所述从各个特征矢量的稀疏描述中抽取具有最大权重的原子索引，对索引序列进行二值化处理的步骤具体为：

在每个特征矢量的稀疏描述x_i中，获取具有最大绝对值的元素所在的位置(即原子索引)，收集所有特征矢量所对应的最大权重原子索引，组成集合；将集合中的每个元素与中位数作比较，如果元素大于中位数，输出1，否则输出0，由此获得二值序列。

所述构造原子权重直方图并进行二值化处理的步骤具体为：

1)统计每个原子在所有稀疏描述中的权重，获取原子权重直方图；

2)随机生成Q个随机矢量，对每个随机矢量进行归一化，使其2-范数为1；

3)将原子权重直方图投影至生成的Q个随机矢量上，计算投影矢量L；对于投影矢量L求取相应的中位数，将每个元素与中位数相比较，如果大于中位数，则输出1，否则输出0，经比较后得到二值序列。

本发明提供的技术方案的有益效果是：本发明通过对特征矢量进行稀疏编码生成图像哈希。首先，稀疏编码能够以最稀疏的方式对特征矢量进行描述，由此可保证哈希序列的简要性，有利于降低图像识别的复杂度以及哈希存储空间；其次，特征矢量的稀疏描述能够抵御图像处理操作(如压缩、滤波和加噪声等)所引入的失真，由此保证了图像哈希的鲁棒性。此外，本发明程序简单，易于实现，所述的特征编码过程计算复杂度低。在CPU主频为3.4GHz，内存为3.2GB的计算机上的测试结果表明，本方法计算单幅尺寸为512×512图像的哈希序列所需的时间为仅为0.0235秒，分别较文献[4]和文献[5]中所述算法快18倍和30倍。综上所述，本发明所生成的图像哈希具有易于比对和数据量小的优点，可以实现高效、准确的图像内容识别。

附图说明

图1为对图像特征矢量进行编码的流程图；

图2为对图像特征矢量进行编码的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

为了实现对图像内容的简要且鲁棒的描述，本发明实施例提出了一种用于图像内容识别的特征编码方法，参见图1和图2，详见下文描述：

101：将输入的图像特征序列分割成具有固定长度的特征矢量，利用稀疏编码获得每个特征矢量的稀疏描述；

其中该步骤具体为：

1)对输入特征序列V＝{v₁,…,v_N}进行矢量化，将该特征序列分割成一系列维数为M的特征矢量：y_i，i＝1,2,…,N/M。M和N的具体取值根据实际应用中的需要进行设定，本发明实施例对此不做限制。

2)对于集合中的每一个特征矢量y_i(i＝1,2,…,N/M)，根据稀疏编码字典D＝[d₁,…,d_K]，依次对y_i进行稀疏编码。字典D实际为M行、K列矩阵，d₁,…,d_K为K个列向量(K>M)，称为字典D的K个原子(文献6)。本发明实施例不限制具体的字典生成方法，原子个数K的具体取值根据实际应用中的需要进行设定，本发明实施例对此不做限制。

通过求解如下问题实现对每个特征矢量y_i的稀疏编码：

式中x_i为特征矢量y_i的稀疏描述，常数T₀<K为稀疏度上限，||·||₂表示2-范数，||·||₀表示0-范数，s.t.表示约束条件。具体实现时，本发明实例对(1)的求解方法不做限制。

102：从特征矢量的稀疏描述中抽取最大权重原子索引序列并进行二值化处理；

该步骤具体为：

在每个特征矢量的稀疏描述x_i中，找到具有最大绝对值的元素所在的位置，即argmax_k|x_i(k)|。该位置对应于所有参与描述y_i的原子中具有最大权重的一个，argmax_k|x_i(k)|为该原子在字典中的索引。收集所有特征矢量所对应的最大权重原子索引，组成集合统计集合A中所有元素的中位数Median(A)，其中Median(·)表示取中位数运算：对集合内的所有元素按由小至大的顺序排列，如果集合内元素的个数是奇数，取排在中间一个元素为中位数；例如集合{2,9,1,3,5}的中位数为3；如果元素个数是偶数，取中间的两个元素的算术平均值为中位数；例如{2,9,1,3,5,10}的中位数为4。将集合A中的每个元素与Median(A)作比较，如果该元素大于Median(A)，输出1，否则输出0，由此可得二值序列F₁。

103：根据特征矢量的稀疏描述构造原子权重直方图并进行二值化处理：

该步骤具体为：

1)统计每个原子在所有稀疏描述中的权重。首先统计正权重。以原子d_j为例，将其在所有描述中的正权重累加求和，计算方法如下：

同理，统计负权重，以原子d_j为例，将其在所有描述中的负权重累加求和，计算方法如下：

将上述计算得到的正、负权重累加值进行合并，形成原子权重直方图H＝[H⁺(1),…,H⁺(K),H^-(1),…,H^-(K)]，也可采用其他方式进行合并，本实例对比不做限制。

2)随机生成Q个维数为2K的随机矢量p_i,i＝1,…,Q，矢量中的元素从均值为0、标准差为1的正态分布N(0,1)中随机选取，对每个随机矢量进行归一化，使其2-范数为1。也可采用其他方式生成随机矢量。常数Q根据实际需要选择，本实例对此不做限制。

3)将1)中所得的权重直方图H投影至2)中生成的Q个随机矢量上，按如下方法计算投影矢量L：

L＝[<p₁,H>,<p₁,H>,…,<p_Q,H>]

式中<·,·>表示两个矢量的内积运算。对于投影矢量L，将其中的每个元素与求取到的中位数Median(L)(该中位数求取过程和上述Median(A)的求取过程相同，本实施例在此不再赘述)相比较，如果大于Median(L)，则输出1，否则输出0。经比较后得到二值序列F₂。

104：合并由原子索引和原子权重直方图所生成的二值序列构成图像哈希；

该步骤具体为：

将F₁和F₂两个序列合并，得到二值序列F＝[F₁,F₂]，F即为最终生成的图像哈希。也可采用其他方式进行合并，本实例对比不做限制。

下面以图像块均值特征为例，说明本发明实施例提供的用于数字图像内容识别的特征编码方法，详见下文描述：

步骤(1)：特征提取

将输入图像归一化至标准尺寸128×128。在归一化后的图像中随机划分400个尺寸为16×16的图像块，统计每个图像块内像素的灰度值均值，由此构成长度为400的特征序列V＝{v₁,…,v₄₀₀}；

步骤(2)：特征矢量化

依次将序列V中每5个相邻的特征值构成一个特征矢量，以第i个特征矢量为例：y_i＝[v_5i-4,…,v_5i]，i＝1,2,…,80。

步骤(3)：对特征矢量进行稀疏编码

对于集合中的每一个特征矢量y_i(i＝1,2,…,80)，预先生成包含15个原子的稀疏编码字典D＝[d₁,…,d₁₅]。本实例中字典D由文献(7)中所述的字典学习算法生成，按照步骤(1)和(2)所述的方法从200幅训练图像中抽取个8000个特征矢量作为训练矢量，利用字典学习算法生成15个原子，将每个原子的2-范数归一化为1。通过求解如下问题实现对每个特征矢量的稀疏编码，以y_i为例：

式中x_i为特征矢量y_i的稀疏描述，常数T₀＝3为稀疏度上限。本实例通过文献(8)中所述的正交匹配跟踪求解(1)式，针对特征矢量y_i，式(1)的求解方法包含如下具体步骤：

1)初始化变量t＝1，残差r＝y_i，初始化矩阵W为空，循环步骤2)至步骤6)；

2)计算残差r与字典D中每个原子之间的内积：<r,d₁>,…,<r,d₁₅>，找到具有最大内积绝对值的原子，其索引为：u_t＝argmax_j＝1,…,15|<r,d_j>|；

3)将步骤2)中选中的原子置于矩阵W的第t列；

4)由最小二乘法求解特征矢量y_i当前的稀疏描述：

5)更新残差r＝y_i-Wx_i，更新变量t＝t+1；

6)如果t>3，停止迭代，将x_i输出为y_i的稀疏描述；否则重复步骤2)。

其中，迭代次数根据实际需要选择，本实例对此不做限制。

步骤(4)：抽取最大权重原子索引序列并进行二值化处理：

在每个特征矢量的稀疏描述x_i中，找到具有最大绝对值的元素所在的位置，即argmax_k|x_i(k)|。该位置对应于所有参与描述y_i的原子中具有最大权重的一个，argmax_k|x_i(k)|为该原子在字典中的索引。收集所有特征矢量所对应的最大权重原子索引，组成集合计算集合A中所有元素的中位数Median(A)。将集合A中的每个元素与Median(A)作比较，如果该元素大于Median(A)，输出1，否则输出0，由此可得长度为80的二值序列F₁。

步骤(5)：构造原子权重直方图并进行二值化处理：

统计每个原子在所有稀疏描述中的权重。首先统计正权重。以原子d_j为例，将其在所有描述中的正权重累加求和，计算方法如下：

同理，统计负权重，以原子d_j为例，将其在所有描述中的负权重累加求和，计算方法如下：

合并上述计算得到的所有正、负权重累加值，形成原子权重直方图H：

H＝[H⁺(1),…,H⁺(15),H^-(1),…,H^-(15)]。

随机生成10个随机矢量p_i,i＝1,…,10，每个随机矢量的维数为30，随机矢量中的元素从均值为0、标准差为1的正态分布N(0,1)中随机选取。

将原子权重直方图H投影至上述10个随机矢量上，按如下方法计算投影矢量L：

L＝[<p₁,H>,<p₁,H>,…,<p₁₀,H>]。

将投影值矢量中的每个元素与中位数Median(L)相比较，如果大于Median(L)，则输出1，否则输出0。经比较后可得长度为10的二值序列F₂。

将步骤(4)和步骤(5)中所生成的两个序列合并,得到长度为80+10＝90的二值序列F＝[F₁,F₂]，F即为图像哈希。

为了测试由上述实施例生成的哈希序列在图像内容识别中的性能，选取包含14万幅图像的数据库进行了图像内容识别实验，其中2000幅为原始图像，其余为每个原始图像经过图像处理操作之后的版本，测试中所采用的图像处理操作种类包括：JPEG有损压缩、高斯低通滤波、均值滤波、添加高斯噪声、添加散斑噪声、直方图均衡化、旋转以及伽马矫正。根据上述方法为数据库中每幅图像生成哈希序列。在图像识别测试中，逐一选取每幅原始图像作为查询图像，计算其哈希序列并与数据库中参考图像哈希序列之间的归一化汉明距。如果归一化汉明距小于给定阈值，则判定该参考图像为查询图像经过处理后的失真版本。测试中选取阈值0.32，判断相应的图像识别结果，统计发生错误识别的次数。结果表明99.34％的识别结果与实际结果相吻合，由此可见本实例所生成的图像哈希可以实现较高的识别准确率。

参考文献

[1]M.K.Mihcak,R.Venkatesan.A perceptual audio hashing algorithm:atool for robust audio identification and information hiding[C].InternationalWorkshop on Information Hiding,2001,Pittsburgh,PA:51-65.

[2]A.Swaminathan,Y.Mao,M.Wu.Robust and secure image hashing[J].IEEETrans.on Information Forensics and Security,2006,1(2):215-230.

[3]V.Monga,B.L.Evans.Perceptual image hashing via feature points:performance evaluation and tradeoffs[J].IEEE Trans.on Image Processing,2006,15(11):3452-3465.

[4]Y.N.Li,Z.M.Lu,C.Zhu,X.M.Niu.Robust image hashing based on randomGabor filtering and dithered lattice vector quantization[J].IEEE Trans.onImage Processing,2012,21(4):1963-1980.

[5]Z.J.Tang,X.Q.Zhang,S.C.Zhang,Robust perceptual image hashing basedon ring partition and NMF[J].IEEE Trans.on Knowledge and DataEngineering.2014,26(3):711-724.

[6]M.Aharon,M.Elad,and A.Bruckstein.K-SVD:An algorithm for designingovercomplete dictionaries for sparse representation[J].IEEE Trans.on SignalProcessing,2006,54(11):4311-4322.

[7]D.Barchiesi and M.D.Plumbley.Learning incoherent dictionaries forsparse approximation using iterative projections and rotations[J].IEEETrans.on Signal Processing,2013,61(8):2055-2065.

[8]Y.C.Pati,R.Rezaiifar,P.S.Krishnaprasad.Orthogonal matchingpursuit:Recursive function approximation with applications to waveletdecomposition[C].International Conference on Signals,Systems and Computers,1993,Pacific Grove,CA:40-44.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种用于数字图像内容识别的特征编码方法，其特征在于，所述方法包括以下步骤：

(1)将输入的图像特征序列分割成具有固定长度的特征矢量，利用稀疏编码获得每个特征矢量的稀疏描述；

(2)从各个特征矢量的稀疏描述中抽取具有最大权重的原子索引，对索引序列进行二值化处理；

(3)构造原子权重直方图并进行二值化处理；

(4)合并由原子索引和原子权重直方图所生成的二值序列构成图像哈希；

上述步骤(1)具体为：

1)对输入特征序列进行矢量化，将特征序列分割成一系列维数为M的特征矢量；

2)对于集合中的每一个特征矢量，根据稀疏编码字典D，依次对特征矢量进行稀疏编码；

$\begin{array}{ccc}\underset{x_i}{min}\left|\right|y_i-{\mathrm{Dx}}_i|{|}_2,& s.t.& \left|\right|x_i|{|}_0\&le;T_0\end{array}$

式中x_i为特征矢量y_i的稀疏描述，常数T₀<K为稀疏度上限，K为列向量的个数，||·||₂表示2-范数，||·||₀表示0-范数，s.t.表示约束条件；

上述步骤(2)具体为：

在每个特征矢量的稀疏描述x_i中，获取具有最大绝对值的元素所在的位置，即原子索引，收集所有特征矢量所对应的最大权重原子索引，组成集合；将集合中的每个元素与中位数作比较，如果元素大于中位数，输出1，否则输出0，由此获得二值序列；

上述步骤(3)具体为：

1)统计每个原子在所有稀疏描述中的权重，获取原子权重直方图；

2)随机生成Q个随机矢量，对每个随机矢量进行归一化，使其2-范数为1；

3)将原子权重直方图投影至生成的Q个随机矢量上，计算投影矢量L；对于投影矢量L求取相应的中位数，将每个元素与中位数相比较，如果大于中位数，则输出1，否则输出0，经比较后得到二值序列。