CN103903238A - 图像特征的显著结构和相关结构融合方法 - Google Patents

Abstract

图像特征的显著结构和相关结构融合方法，包括图像的HOG特征和LBP特征的提取步骤、样本集内部图像特征的显著结构的度量步骤、样本集之间图像特征的相关结构的度量步骤和显著结构和相关结构融合映射步骤。本发明首先提取图像的HOG特征和LBP特征，然后用χ²测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题，并获得了判别能力强的结构融合特征。

Description

图像特征的显著结构和相关结构融合方法

技术领域

本发明属于视频监控图像处理方法技术领域，涉及一种图像HOG特征和LBP特征的显著结构和相关结构融合方法。

背景技术

近年来，基于内容分析的智能监控系统的应用越来越多，要智能分析和识别目标，图像的描述与认知是要解决的重要问题，因为图像描述的多样性和多特征结构观测的多样性，使得单一观测多特征结构难以完整的描述图像的本质结构。现有技术无法进行图像多特征的显著结构和相关结构融合，进而无法更加准确的表征图像特征。

发明内容

本发明的目的在于提供一种图像特征的显著结构和相关结构融合方法，解决现有技术存在的图像多特征的显著结构和相关结构难以融合的问题，最终获得判别能力强的结构融合特征。

本发明采用的技术方案为，图像特征的显著结构和相关结构融合方法，包括以下步骤：

步骤1，图像的HOG特征和LBP特征的提取；

步骤2，样本集内部图像特征的显著结构的度量；

步骤3，样本集之间图像特征的相关结构的度量；

步骤4，显著结构和相关结构融合映射。

本发明的特点还在于：

上述步骤1，图像的HOG特征和LBP特征的提取方法如下：

图像的HOG特征提取，设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值，图像归一化如式（1）所示：

I(x,y)＝I(x,y)^1/2      （1）

计算图像的梯度如式（2）所示。

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

$G(x,y)=\sqrt{{G_x(x,y)}^2+{G_y(x,y)}^2}---\left(2\right)$

$\mathrm{\α}(x,y)-{\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

式中G_x(x,y)、G_y(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有4×4个像素（图像分块多少与图像大小相关，如8×8的图像分为4个单元格），将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量，将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z₁,z₂,z₃,...,z₃₆]按照（3）式归一化得v＝[v₁,v₂,v₃,...,v₃₆]。

v_i＝(z_i-min(z))/(max(z)-min(z))      (3)

串联所有的图像块特征向量得图像的HOG特征向量表示为x1_i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X1＝[x1₁,x1₂,...,x1_m]^T。

图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有16×16个像素，对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的LBP值，计算单元格的直方图，即为每个LBP值出现的频率,再按照式（3）的方法对表示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的LBP特征向量表示为x2_i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X2＝[x2₁,x2₂,...,x2_m]^T。

上述步骤2，样本集内部图像特征的显著结构的度量方法如下：

因为选取的HOG特征和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ²测度；m个图像样本，根据步骤1，m个图像的HOG特征和LBP特征集表示为X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T，图像的HOG特征的显著结构度量为d_X1(x1_i,x1_j),x1_i和x1_j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为d_X2(x2_i,x2_j),x2_i和x2_j为图像i和图像j的LBP特征表征，它们分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\frac{{[{x1}_i-{x1}_j]}^2}{{x1}_i+{x1}_j}---\left(4\right)$

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[{x2}_i-{x2}_j]}^2}{{x2}_i+{x2}_j}---\left(5\right)$

上述步骤3，样本集之间图像特征的相关结构的度量方法如下：

两个特征集表示为X₁＝[x₁₁,x₁₂,...,x_1m]^T和X₂＝[x₂₁,x₂₂,...,x_2m]^T，那么两个特征集间的相关结构度量S(X₁,X₂)表示为典型相关性的和，如下式所示，

$S(X_1,X_2)=\max \mathrm{Tr}\left(Q_{12}^T{P}_1^T{P}_2{Q}_{21}\right)---\left(6\right)$

其中 $X_1{X}_1^T=P_1{\mathrm{\Λ}}_1{P}_1^T,X_2{X}_2^T=P_2{\mathrm{\Λ}}_2{P}_2^T,P_1^T{P}_2=Q_{12}{\mathrm{\Λ}}_0{Q}_{21}^T,$ Λ₁、Λ₂、Λ₀分别为矩阵分解的对角矩阵。

上述步骤4，显著结构和相关结构融合映射的方法如下：

定义X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T特征显著结构测度相似矩阵，以步骤2中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为W1＝{W1_i,j}和W2＝{W2_i,j}(i＝1,2,...,m j＝1,2,...,m)，如下式：

$X=\left[\begin{array}{c}X1\\ X2\end{array}\right]---\left(9\right)$

W_i,j＝W1_i,j+W2_i,j      （10）

W_i,j为W矩阵在i行j列的元素

L＝D-W      （11）

其中 $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j}$

(B-XLX^T)α＝λXX^Tα      （12）

其中 $B=\left[\begin{array}{cc}{(P_1{Q}_{12}-P_2{Q}_{21})(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{21}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\\ (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\end{array}\right],$ $X_1{X}_1^T=P_1{\mathrm{\Λ}}_1{P}_1^T,X_2{X}_2^T=P_2{\mathrm{\Λ}}_2{P}_2^T,P_1^T{P}_2=Q_{12}{\mathrm{\Λ}}_0{Q}_{21}^T,$ Λ₁、Λ₂、Λ₀分别为矩阵分解的对角矩阵。

通过迭代学习求解式A＝[α₁,α₂,...,α_d]，第一步初始赋予A为单位矩阵；第二步通过P₁、P₂和A求得R₁和R₂正规化P₁和P₂（P₁和P₂被P₁R₁ ^-1和P₂R₂ ^-1正规化，R₁和R₂分别为A^TP₁和A^TP₂的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α₁,α₂,...,α_d]，迭代5-6次数得收敛的结果。求解出A后，通过式Y＝A^TX映射各个特征集，得融合后的特征集为Y。

本发明具有如下有益效果：

1、本发明图像特征的显著结构和相关结构融合方法，首先提取图像的HOG特征和LBP特征，然后用χ²测度度量样本集内部图像特征的显著结构，用典型相关度量样本集之间图像特征的相关结构的度量，最终通过矩阵谱优化求解的方法融合结构，获得融合后的特征集，解决了现有技术无法将图像多特征的显著结构和相关结构融合的问题。

2、采用本发明图像特征的显著结构和相关结构融合方法，可以获得判别能力强的结构融合特征，提高了图像的识别率。

具体实施方式

下面对本发明的具体实施方式进行详细说明。

步骤1，图像的HOG特征和LBP特征的提取。

本发明的图像的多特征为HOG特征和LBP特征，因为HOG侧重于图像局部梯度的描述，能保持图像的几何形变不变性和光照影响的不变性；而LBP侧重于图像局部纹理的描述，能对保持图像的旋转不变性和灰度不变性。将两种特征的不同观测结构进行融合，能更加逼近图像本质结构，获得判别能力强的融合特征。

图像的HOG特征提取。设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值。图像归一化如式（1）所示：

I(x,y)＝I(x,y)^1/2      （1）

计算图像的梯度如式（2）所示：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

$G(x,y)=\sqrt{{G_x(x,y)}^2+{G_y(x,y)}^2}---\left(2\right)$

$\mathrm{\α}(x,y)-{\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

式中G_x(x,y)、G_y(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向。将图像分成有多个矩形单元格，单元格中有4×4个像素（图像分块多少与图像大小相关，如8×8的图像分为4个单元格）。将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量。将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z₁,z₂,z₃,...,z₃₆]按照（3）式归一化得v＝[v₁,v₂,v₃,...,v₃₆]。

v_i＝(z_i-min(z))/(max(z)-min(z))      (3)

串联所有的图像块特征向量得图像的HOG特征表示。

图像的LBP特征提取。将图像分成有多个矩形单元格，单元格中有16×16个像素。对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0。这样产生8位二进制数（从上到下，从左到右的顺序），得到中心像素点的LBP值。计算单元格的直方图，即为每个LBP值出现的频率,在按照式（3）的方法对表示直方图的向量归一化。最后将得到的每个单元格的特征向量串联起来得图像的LBP特征向量。

步骤2，样本集内部图像特征的显著结构的度量。

因为选取的HOG和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ²测度。设有m个图像样本，则根据步骤1m个图像的HOG和LBP特征集表示为X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T。图像的HOG特征的显著结构度量为d_X1(x1_i,x1_j),x1_i和x1_j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为d_X2(x2_i,x2_j),x2_i和x2_j为图像i和图像j的LBP特征表征，它们分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\frac{{[{x1}_i-{x1}_j]}^2}{{x1}_i+{x1}_j}---\left(4\right)$

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[{x2}_i-{x2}_j]}^2}{{x2}_i+{x2}_j}---\left(5\right)$

步骤3，样本集之间图像特征的相关结构的度量。

两个特征集表示为X₁＝[x₁₁,x₁₂,...,x_1m]^T和X₂＝[x₂₁,x₂₂,...,x_2m]^T，那么两个特征集间的相关结构度量S(X₁,X₂)表示为典型相关性的和，如下式所示，

$S(X_1,X_2)=\max \mathrm{Tr}\left(Q_{12}^T{P}_1^T{P}_2{Q}_{21}\right)---\left(6\right)$

其中 $X_1{X}_1^T=P_1{\mathrm{\Λ}}_1{P}_1^T,X_2{X}_2^T=P_2{\mathrm{\Λ}}_2{P}_2^T,P_1^T{P}_2=Q_{12}{\mathrm{\Λ}}_0{Q}_{21}^T,$ 其中Λ₁、Λ₂、Λ₀分别为矩阵分解的对角矩阵。

步骤4，显著结构和相关结构融合映射。

定义X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T特征显著结构测度相似矩阵，以步骤2计算度量的相似矩阵为W1＝{W1_i,j}和W2＝{W2_i,j}(i＝1,2,...,m j＝1,2,...,m)如下式：

$X=\left[\begin{array}{c}X1\\ X2\end{array}\right]---\left(9\right)$

W_i,j＝W1_i,j+W2_i,j      （10）

W_i,j为W矩阵在i行j列的元素

L＝D-W      （11）

其中 $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j}$

(B-XLX^T)α＝λXX^Tα      （12）

其中 $B=\left[\begin{array}{cc}{(P_1{Q}_{12}-P_2{Q}_{21})(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{21}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\\ (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\end{array}\right]$

通过迭代学习求解式A＝[α₁,α₂,...,α_d]，第一步初始赋予A为单位矩阵；第二步通过P₁、P₂和A求得R₁和R₂正规化P₁和P₂（P₁和P₂被P₁R₁ ^-1和P₂R₂ ^-1正规化，R₁和R₂分别为A^TP₁和A^TP₂的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α₁,α₂,...,α_d]，迭代5-6次数得收敛的结果。求解出A后，通过式Y＝A^TX映射各个特征集，得融合后的特征集为Y。

实施例1，在哥伦比亚目标图像库COIL20中，包含来自于20个目标不同角度拍摄的1440个图像，每张图像的像素为32×32，有256个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表1中为采用不同方法获得的图像识别率。CCA为典型相关性分析方法。

表1COIL20库中不同方法的识别率

方法	LBP	HOG	CCA	本发明
					识别率	94.77%	96.73%	98.57%	98.96%

实施例2，在ORL人脸库中，包含来自于40个人的400个人脸图像，每张图像的像素为32×32，有256个灰度级。对图像库中图像用本发明图像特征的显著结构和相关结构融合方法，最终获得融合特征。采用最近邻分类器和留一法的实验策略对此图像库中图像分类。表2中为不同方法实验中获得的识别率。CCA为典型相关性分析方法。

表2ORL库中不同方法的识别率

方法	LBP	HOG	CCA	本发明
					识别率	70.33%	83.64%	92.36%	95.11%

从表1、表2可以看出，采用本发明图像特征的显著结构和相关结构融合方法获得的图像的识别率高于其他几种方法所获得的图像的识别率。

Claims (6)

1.图像特征的显著结构和相关结构融合方法，其特征在于，包括以下步骤：

步骤1，图像的HOG特征和LBP特征的提取；

步骤2，样本集内部图像特征的显著结构的度量；

步骤3，样本集之间图像特征的相关结构的度量；

步骤4，显著结构和相关结构融合映射。

2.如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤1，图像的HOG特征和LBP特征的提取方法如下：

图像的HOG特征提取，设I为灰度图像，I(x,y)为I在坐标(x,y)处的像素值，图像归一化如式（1）所示：

I(x,y)＝I(x,y)^1/2      （1）

计算图像的梯度如式（2）所示：

G_x(x,y)＝I(x+1,y)-I(x-1,y)

G_y(x,y)＝I(x,y+1)-I(x,y-1)

$G(x,y)=\sqrt{{G_x(x,y)}^2+{G_y(x,y)}^2}---\left(2\right)$

$\mathrm{\α}(x,y)-{\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$

式中G_x(x,y)、G_y(x,y)、G(x,y)、α(x,y)分别为表示输入图像像素(x,y)处的水平方向梯度幅值、垂直方向梯度幅值、梯度幅值、梯度方向；将图像分成有多个矩形单元格，单元格中有4×4个像素，将单元格的梯度方向在360度平均分成9个方向块，将梯度方向属于方向块范围的梯度幅值累加，形成9维特征向量，将相邻的四个单元格组成图像块，对图像块中36维特征向量z＝[z₁,z₂,z₃,...,z₃₆]按照（3）式归一化得v＝[v₁,v₂,v₃,...,v₃₆]，

v_i＝(z_i-min(z))/(max(z)-min(z))      (3)

串联所有的图像块特征向量得图像的HOG特征向量表示为x1_i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X1＝[x1₁,x1₂,...,x1_m]^T；

图像的LBP特征提取，将图像分成有多个矩形单元格，单元格中有16×16个像素，对单元格中每个像素，将以其为中心相邻的8个像素的灰度值与其灰度值进行比较，若大于其灰度值，则该像素点的位置标记为1，否则为0，这样产生8位二进制数，从上到下，从左到右的顺序，得到中心像素点的LBP值，计算单元格的直方图，即为每个LBP值出现的频率,再按照式（3）的方法对表示直方图的向量归一化，最后得到的每个单元格的特征向量串联起来的图像的LBP特征向量表示为x2_i，设有m个图像样本，1≤i≤m，m个图像样本的HOG特征集为X2＝[x2₁,x2₂,...,x2_m]^T。

3.如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤2，样本集内部图像特征的显著结构的度量方法如下：

因为选取的HOG特征和LBP特征描述都是分布特征，而且分布值特征因旋转变换产生周期性平移，欧氏距离不能直接测度偏移的分布值特征，所以选用χ²测度；m个图像样本，根据步骤1，m个图像的HOG特征和LBP特征集表示为X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T，图像的HOG特征的显著结构度量为d_X1(x1_i,x1_j),x1_i和x1_j为图像i和图像j的HOG特征表征；图像的LBP特征的显著结构度量为d_X2(x2_i,x2_j),x2_i和x2_j为图像i和图像j的LBP特征表征，它们分别由下式计算：

$d_{X1}({x1}_i,{x1}_j)=\frac{1}{2}\frac{{[{x1}_i-{x1}_j]}^2}{{x1}_i+{x1}_j}---\left(4\right)$

$d_{X2}({x2}_i,{x2}_j)=\frac{1}{2}\frac{{[{x2}_i-{x2}_j]}^2}{{x2}_i+{x2}_j}---\left(5\right)$

4.如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤3，样本集之间图像特征的相关结构的度量方法如下：

两个特征集表示为X₁＝[x₁₁,x₁₂,...,x_1m]^T和X₂＝[x₂₁,x₂₂,...,x_2m]^T，那么两个特征集间的相关结构度量S(X₁,X₂)表示为典型相关性的和，如下式所示，

$S(X_1,X_2)=\max \mathrm{Tr}\left(Q_{12}^T{P}_1^T{P}_2{Q}_{21}\right)---\left(6\right)$

其中 $X_1{X}_1^T=P_1{\mathrm{\Λ}}_1{P}_1^T,X_2{X}_2^T=P_2{\mathrm{\Λ}}_2{P}_2^T,P_1^T{P}_2=Q_{12}{\mathrm{\Λ}}_0{Q}_{21}^T,$ Λ₁、Λ₂、Λ₀分别为矩阵分解的对角矩阵。

5.如权利要求1所述的图像特征的显著结构和相关结构融合方法，其特征在于，所述步骤4，显著结构和相关结构融合映射的方法如下：

定义X1＝[x1₁,x1₂,...,x1_m]^T和X2＝[x2₁,x2₂,...,x2_m]^T特征显著结构测度相似矩阵，以步骤2中的式（4）代入式（7），式（5）代入式（8）分别计算度量的相似矩阵为W1＝{W1_i,j}和W2＝{W2_i,j}(i＝1,2,...,m j＝1,2,...,m)，如下式：

$X=\left[\begin{array}{c}X1\\ X2\end{array}\right]---\left(9\right)$

W_i,j＝W1_i,j+W2_i,j      （10）

W_i,j为W矩阵在i行j列的元素

L＝D-W      （11）

其中 $D_{\mathrm{ii}}=\underset{j}{\mathrm{\Σ}}{W}_{i,j}$

(B-XLX^T)α＝λXX^Tα      （12）其中 $B=\left[\begin{array}{cc}{(P_1{Q}_{12}-P_2{Q}_{21})(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{21}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\\ (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T& (P_1{Q}_{12}-P_2{Q}_{21}){(P_1{Q}_{12}-P_2{Q}_{21})}^T\end{array}\right],$ $X_1{X}_1^T=P_1{\mathrm{\Λ}}_1{P}_1^T,X_2{X}_2^T=P_2{\mathrm{\Λ}}_2{P}_2^T,P_1^T{P}_2=Q_{12}{\mathrm{\Λ}}_0{Q}_{21}^T,$ Λ₁、Λ₂、Λ₀分别为矩阵分解的对角矩阵；

通过迭代学习求解式A＝[α₁,α₂,...,α_d]，第一步初始赋予A为单位矩阵；第二步通过P₁、P₂和A求得R₁和R₂正规化P₁和P₂（P₁和P₂被P₁R₁ ^-1和P₂R₂ ^-1正规化，R₁和R₂分别为A^TP₁和A^TP₂的QR分解上三角矩阵）；第三步通过式（12）求解得A＝[α₁,α₂,...,α_d]，迭代5-6次数得收敛的结果，求解出A后，通过式Y＝A^TX映射各个特征集，得融合后的特征集为Y。

6.如权利要求5所述的图像特征的显著结构和相关结构融合方法，其特征在于，P₁和P₂被P₁R₁ ^-1和P₂R₂ ^-1正规化，R₁和R₂分别为A^TP₁和A^TP₂的QR分解上三角矩阵。