CN107609604A

CN107609604A - 一种基于l1范数的二维概率线性判别分析的图像识别方法

Info

Publication number: CN107609604A
Application number: CN201710975588.6A
Authority: CN
Inventors: 孙艳丰; 胡向杰; 胡永利; 句福娇
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2017-10-19
Filing date: 2017-10-19
Publication date: 2018-01-19

Abstract

本发明公开一种基于L1范数的二维概率线性判别分析的图像识别方法，用于对二维数据的降维以及图像中存在异常值的情况，记为L1‑2DPLDA。具体为：对原始的图像数据建立L1范数的模型；利用EM算法对模型求解，得到投影矩阵；利用投影矩阵对未知的图像分类。与传统向量数据的不同是，本发明提出的方法能够在二维数据的行、列两个方向上降维，保持了图像的空间特征，同时在原始数据存在异常值的情况下，具有鲁棒性，得到更准确的图像识别率。

Description

一种基于L1范数的二维概率线性判别分析的图像识别方法

技术领域

本发明涉及一种基于L1范数的二维概率线性判别分析的图像识别方法，用于图像特征提取及数据降维，特别是适用于图像中带有遮挡块的情况。

背景技术

高维数据在机器学习中随处可见。高维数据不仅增加了在计算机中存储的开销，同时也增加了算法的复杂度。由于高维数据一般可以由低维数据表示，所以，研究高维数据的一个关键问题是找到一种映射关系将高维数据投影到低维空间。近二、三十年来，对数据降维的算法已取得很大发展。

线性判别分析(LDA)被广泛用于对数据降维和模式识别。LDA是将高维数据投影到低维空间的一种线性映射，这种映射使得类间距和类内距的比值最大。而实际中图像数据利用LDA时，通常的做法是将矩阵数据向量化，然后对这个高维数据进行降维。但我们知道，图像数据一般都具有内部相关结构，向量化的后果往往会破坏数据的空间结构。在此基础上，提出了二维LDA(2DLDA)的算法。与传统LDA相比，2DLDA直接对矩阵数据降维，因而会保留数据间的空间结构关系。

代数LDA只能依赖原始数据，不能假设任何参数，缺乏灵敏度。为了克服这个不足，2006年提出了概率LDA的模型(PLDA)，PLDA同样是将矩阵数据表示成一维向量，并且假设噪声服从均值是零，斜方差为单位矩阵的高斯分布。PPCA是应用概率的理论对数据降维，模型的参数可以通过极大似然估计得到。与传统的LDA相比，PLDA更具有灵活性，即使在部分数据缺失的情况下，模型也可做出估计。同时，LDA的另一个不足在于：现实中的噪声很复杂，当图像中存在遮挡块时，高斯噪声不足已描述问题，高斯分布的二次项会将图像中的异常值无限放大。为了克服这个不足，我们提出了一种基于拉普拉斯噪声的二维概率线性判别分析模型。拉普拉斯分布是L1分布的概率密度函数，即使图像中存在异常值，也不会被无限放大。

发明内容

本发明的目的在于：提供一种不会破坏图像空间结构且对异常值鲁棒的，基于L1范数的图像识别方法。

本发明解决其技术问题所采取的技术方案是：

一种基于L1-范数的二维概率线性判别分析模型的图像识别方法，包括一下步骤：

A、采用L1范数对输入的原始图像数据建立概率模型；

B、利用最大期望算法求解模型，得到图像的投影矩阵；

C、根据得到的投影矩阵，对未知的图像进行分类。

进一步，所述步骤A包括：

A1、输入原始的图像数据，建立模型。令是独立同分布的J个图像数据，其中包括I类，每类有J_i个图像，即每个样本的大小为R^M ^×N。则2D概率判别分析模型为：

x_ij＝μ+Fh_iR+Gw_ijP+e_ij

其中μ是图像的均值，与图像的大小相同。和是h_i的投影矩阵。和是w_ij的投影矩阵。是图像x_ij的特征变量，h_i表示图像的类间变量，同类中的图像共享此变量；而w_ij是图像的类内变量，它表示图像数据的个性，随图像的变化而变化。r＜M，c＜N是对图像降维后的行、列数。

是图像中的噪声项，对于图像中存在异常值的情况，单用高斯分布去描述噪声是不合理的，因为它的协方差等于是二次型的，这样会无限放大异常值。因此，我们的发明中用拉普拉斯分布描述误差项，拉普拉斯是一次型的函数，即使有异常值的存在，模型也具有鲁棒性。

假设误差项中的每一个元素都是独立同分布的，那么它的拉普拉斯分布可以表示成：

其中，σ为权重调整系数，“||·||₁”为L1范数，即图像噪声矩阵中每个元素的绝对值之和。

A2、可以看到，在噪声的概率表达式中，我们引入了一个权重调整系数σ，为了方便计算，令ρ＝1/σ²，假设其概率密度函数为Gamma分布：

a_ρ是概率函数的形状参数，b_ρ是概率函数的尺度参数。

A3、对于模型中的图像特征变量，我们假设h_i、w_ij服从均值为零，协方差为单位矩阵的高斯分布：

h_i～N(h_i|0，I_r，I_c)，

w_ij～N(w_ij|0，I_r，I_c)

基于以上概率假设，我们可以初步得到L1范数的二维概率线性判别分析模型，需要求解投影矩阵Θ＝{F，R，G，P}和特征变量h_i、w_ij权重系数ρ。

进一步，所述步骤A2包括：

由于噪声项的概率密度函数服从L1范数的拉普拉斯分布，L1范数不利于求导，我们将A1中的拉普拉斯分布扩展成无数高斯分布叠加的形式：

其中，η(β)是权重系数，其服从：

在引入了新变量β后，此时需要求解的变量为h_i、w_ij权重系数ρ，β。

进一步，所述步骤B包括：

对于A1中模型的各变量，我们可以写出模型的极大似然函数，然后利用EM算法求解似然函数中的变量。

利用极大似然函数的目的就是为了求解出投影矩阵和隐变量的后验分布。模型的似然函数为：

L(Θ)＝ar gmaxlogp(X|Θ)

对这个似然函数的求解，我们的做法就是利用EM算法交替迭代求解。在E步更新变量h、w、ρ和β的分布；在M步更新投影矩阵Θ＝{F，R，G，P}。E步和M步交替迭代，使似然函数增大并趋于稳定时停止迭代，输出更新的投影矩阵。

进一步，所述步骤C包括：

在图像分类实验中，我们利用的是相似度量法，即计算两张图像的相似度。在步骤B的变分最大期望求解中，我们已得到(1)中投影矩阵的值。下面是投影矩阵在分类时的应用：

以图像x₁,x₂为例，当两张图像不属于同一类时，分别计算两个图像的概率：

p(x₁)＝N(0，BB^T+β)

p(x₂)＝N(0，BB^T+β)

其中，

当两张图像属于同一类时，计算x₁,x₂的联合概率分布：

p(_x1，x₂)＝N(0，AA^T+β′)

这里，令则

根据两个概率计算公式，我们就可以计算两个图像的相似度(S)：

为了方便计算，我们一般对上面的相似度(S)取对数运算。

在我们实验中对图像进行分类时，用测试图像和训练集图像两两计算相似度，测试图像属于值最大的那一类。

本发明的有益效果是：采用二维概率线性判别分析模型可以保证图像的空间特征不会被破坏；此外，采用L1范数对图像建模，可以使本发明对异常值更鲁棒，得到更正确的图像分类效果。

附图说明

图1为本发明一种基于L1范数的二维概率线性判别分析的图像识别方法的整体流程图；

图2为求解投影矩阵的流程图。

具体实施方式

下面结合附图与实验对该发明的技术方法进一步的说明。

基于本发明提出了一种基于L1范数的二维概率先行判别分析的图像识别方法，参照图1，具体实施包括：

A、采用L1范数对输入的原始图像数据建立概率模型；

B、利用最大期望算法求解模型，得到图像的投影矩阵；

C、根据得到的投影矩阵，对未知的图像进行分类。

结合ORL库中的数据，所述步骤A包括：

A1、输入ORL的图像数据，建立模型。令是独立同分布的320个图像数据，其中包括40类，每类有8个图像，即每个样本的大小为R^64×64。则2D概率判别分析模型为：

x_ij＝μ+Fh_iR+Gw_ijP+e_ij

其中μ是图像的均值，与图像的大小相同。和是h_i的投影矩阵。和是w_ij的投影矩阵。是图像x_ij的特征变量，h_i表示图像的类间变量，同类中的图像共享此变量；而w_ij是图像的类内变量，它表示图像数据的个性，随图像的变化而变化。r＜64，c＜64是对图像降维后的行、列数。

a_ρ是概率函数的形状参数，b_ρ是概率函数的尺度参数。

h_i～N(h_i|0，I_r，I_c)，

w_ij～N(w_ij|0，I_r，I_c)

进一步，所述步骤A2包括：

其中，η(β)是权重系数，其服从：

参照图2，步骤B中的EM算法包括：

L(Θ)＝ar gmaxlogp(X|Θ)

本发明通过在公开数据中的具体实施，实验结果表明我们的方法在异常值存在的条件下具有鲁棒性，有更准确的识别率。

Claims

1.一种基于L1范数的二维概率线性判别分析的图像识别方法，其特征包括以下步骤：

A、采用L1范数对输入的原始图像数据建立概率模型；

B、利用最大期望算法求解模型，得到图像的投影矩阵；

C、根据得到的投影矩阵，对未知的图像进行分类。

2.根据权利要求1所述的基于L1范数的二维概率线性判别分析的图像识别方法，其特征在于：所述步骤A包括：

A1、输入原始的图像数据，建立模型，令是独立同分布的J个图像数据，其中包括I类，每类有J_i个图像，即每个样本的大小为R^M×N，则2D概率判别分析模型为：

x_ij＝μ+Fh_iR+Gw_ijP+e_ij

其中，μ是图像的均值；和是h_i的投影矩阵；和是w_ij的投影矩阵；是图像x_ij的特征变量，h_i表示图像的类间变量；w_ij是图像的类内变量，它表示图像数据的个性；r＜M，c＜N是对图像降维后的行、列数；是图像中的噪声项，对于图像中存在异常值的情况，单用高斯分布去描述噪声是不合理的，因为它的协方差等于是二次型的，这样会无限放大异常值，采用拉普拉斯分布描述误差项，拉普拉斯是一次型的函数，即使有异常值的存在，模型也具有鲁棒性；

<mrow> <msub> <mi>p</mi> <mrow> <mi>L</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mi>&sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msup> <mrow> <mo>(</mo> <mn>2</mn> <mi>&sigma;</mi> <mo>)</mo> </mrow> <mrow> <mi>M</mi> <mi>N</mi> </mrow> </msup> </mfrac> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mn>1</mn> <mi>&sigma;</mi> </mfrac> <mo>|</mo> <mo>|</mo> <msub> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> </mrow>

其中，σ为权重调整系数，“||·||₁”为L1范数，即图像噪声矩阵中每个元素的绝对值之和；

A2、可以看到，在噪声的概率表达式中，引入了一个权重调整系数σ，令ρ＝1/σ²，假设其概率密度函数为Gamma分布：

<mrow> <msub> <mi>p</mi> <mi>&sigma;</mi> </msub> <mrow> <mo>(</mo> <mi>&rho;</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <mi>&rho;</mi> <mo>|</mo> <msub> <mi>a</mi> <mi>&rho;</mi> </msub> <mo>,</mo> <msub> <mi>b</mi> <mi>&rho;</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <msubsup> <mi>b</mi> <mi>&rho;</mi> <msub> <mi>a</mi> <mi>&rho;</mi> </msub> </msubsup> <mrow> <mi>&Gamma;</mi> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mi>&rho;</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <msub> <mi>b</mi> <mi>&rho;</mi> </msub> <mi>&rho;</mi> <mo>}</mo> </mrow>

a_ρ是概率函数的形状参数，b_ρ是概率函数的尺度参数；

A3、对于模型中的图像特征变量，假设h_i、w_ij服从均值为零，协方差为单位矩阵的高斯分布：

h_i～N(h_i|O，I_r，I_c),

w_ij～N(w_ij|O，I_r，I_c)

基于以上概率假设，可以初步得到L1范数的二维概率线性判别分析模型，需要求解投影矩阵Θ＝{F，R，G，P}和特征变量h_i、w_ij权重系数ρ。

3.根据权利要求2所述的基于L1范数的二维概率线性判别分析的图像识别方法，其特征在于：所述步骤A2包括：

由于噪声项的概率密度函数服从L1范数的拉普拉斯分布，L1范数不利于求导，将A1中的拉普拉斯分布扩展成无数高斯分布叠加的形式：

<mrow> <msub> <mi>p</mi> <mrow> <mi>L</mi> <mn>1</mn> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>e</mi> <mrow> <mi>i</mi> <mi>j</mi> </mrow> </msub> <mo>|</mo> <mi>&sigma;</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&Integral;</mo> <mn>0</mn> <mi>&infin;</mi> </msubsup> <msqrt> <mfrac> <mi>&beta;</mi> <mrow> <mn>2</mn> <msup> <mi>&pi;&sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> </msqrt> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <mi>&beta;</mi> <mrow> <mn>2</mn> <msup> <mi>&sigma;</mi> <mn>2</mn> </msup> </mrow> </mfrac> <msup> <mi>e</mi> <mn>2</mn> </msup> <mo>}</mo> <mi>&eta;</mi> <mrow> <mo>(</mo> <mi>&beta;</mi> <mo>)</mo> </mrow> <mi>d</mi> <mi>&beta;</mi> </mrow>

其中，η(β)是权重系数，其服从：

4.根据权利要求3所述的基于L1范数的二维概率线性判别分析的图像识别方法，其特征在于：所述步骤B包括：

对于A1中模型的各变量，可以写出模型的极大似然函数，然后利用EM算法求解似然函数中的变量；

利用极大似然函数的目的就是为了求解出投影矩阵和隐变量的后验分布，模型的似然函数为：

L(Θ)＝argmaxlogp(X|Θ)

对这个似然函数的求解，采用EM算法交替迭代求解，在E步更新变量h、w、ρ和β的分布；在M步更新投影矩阵Θ＝{F，R，G，P}；E步和M步交替迭代，使似然函数增大并趋于稳定时停止迭代，输出更新的投影矩阵。