CN109784356A - 基于Fisher判别分析的矩阵变量受限玻尔兹曼机图像分类方法 - Google Patents

Abstract

本发明公开一种基于矩阵变量Fisher判别分析的ClassMVRBM模型进行图像分类的方法，采用矩阵变量的Fisher准则即类内最小、类间最大准则，并整合到ClassMVRBM模型进行联合训练；首先定义了面向矩阵变量的Fisher准则，通过引入矩阵变量之间的距离度量，定义了矩阵变量的类内散度和类间散度；然后引入该矩阵变量Fisher判别准则到矩阵变量受限玻尔兹曼机分类模型(记为ClassMVRBM‑MVFDA)的目标函数；最后通过联合训练进行模型求解。本发明方法能够使同类图像的特征之间的距离小，而不同类图像的特征之间距离大，进而利于图像分类。

Description

基于Fisher判别分析的矩阵变量受限玻尔兹曼机图像分类 方法

技术领域

本发明属于模式识别技术领域，尤其涉及一种基于Fisher判别分析的矩 阵变量受限玻尔兹曼机分类模型的图像识别方法。

背景技术

图像分类是模式识别、计算机视觉领域的热点研究问题。深度学习方法 被广泛用于解决图像分类问题。受限玻尔兹曼机(RBM)模型是深度学习模型 的经典基块之一，不过RBM通常是无监督的，为了使其能用于分类任务，Hugo 等提出分类受限玻尔兹曼机(ClassRBM)，不过该模型是面向向量变量的，当 用于图像分类任务时，通常需要对图像进行向量化处理。为了保持图像的空 间结构，发明人在ClassRBM基础上已设计实现了面向矩阵变量的ClassMVRBM， 在该模型中，输入和隐层都是矩阵变量，通过能量函数定义输入、隐层和标 签层的联合概率分布，并通过最大化观测样本发生情况下类别标签的条件概 率的对数似然进行模型求解，从而可实现分类任务，不过基于该模型提取的 隐层特征不具有可判别性。

在通常的图像分类任务中，希望提取到的图像特征具有一定的判别性， 如基于Fisher判别分析准则约束使提取到的特征具有类内距离小，类间距离 大的特点。不过传统的Fisher判别准则通常是基于向量变量定义的，当目标 是使基于ClassMVRBM提取的隐层特征具有判别性时，需要重新定义基于矩阵 变量的Fisher判别约束。

发明内容

本发明要解决的技术问题是：提供一种基于矩阵变量Fisher判别分析的ClassMVRBM模型进行图像分类的方法。该方法能够使同类图像的特征之间的 距离小，而不同类图像的特征之间距离大，进而利于图像分类。该方法与已 发明的ClassMVRBM模型不同的是：发明了矩阵变量的Fisher准则即类内最 小、类间最大准则，并整合到ClassMVRBM模型进行联合训练。首先定义了面 向矩阵变量的Fisher准则，通过引入矩阵变量之间的距离度量，定义了矩阵 变量的类内散度和类间散度；然后引入该矩阵变量Fisher判别准则到矩阵变 量受限玻尔兹曼机分类模型(记为ClassMVRBM-MVFDA)的目标函数；最后通 过联合训练进行模型求解。鉴于该模型学习到的隐层特征有判别性，所以提 升了图像分类效果。

附图说明

图1为本发明基于Fisher判别分析的矩阵变量受限玻尔兹曼机分类模型 的图像识别方法的训练流程图。

具体实施方式

如图1所示，本发明提供一种基于Fisher判别分析的矩阵变量受限玻尔 兹曼机分类模型的图像识别方法，包括以下步骤：

步骤1、对获取的图像建立ClassMVRBM-MVFDA模型

给定N张训练图像这里X⁽ⁿ⁾∈i^I*J是第n张训练图像； y⁽ⁿ⁾∈{1,2,...,c,...,C}是第n张图像的类别标签，这里，图像的总类别数是C个。 令N_c是类别为c的样本数量，则

为了使提取的矩阵变量隐层特征具有同类样本类内距离小，不同类样本类 间距离大的特点，基于ClassMVRBM模型的隐层定义类内散度矩阵S^(w)和类间 散度矩阵S^(b)。根据向量变量的FDA准则定义以及矩阵变量的F范数距离度量， 定义如下矩阵变量的MVFDA判别准则：

H⁽ⁱ⁾表示提取的第X⁽ⁱ⁾张图像的特征，H^(j)表示提取的第X^(j)张图像的特征， 类内和类间邻接矩阵和定义如下:

其中，y⁽ⁱ⁾是数据X⁽ⁱ⁾对应的标签。从而，矩阵变量Fisher判别准则约束 可形式化为：

为了整合Fisher判别分析到ClassMVRBM-MVFDA模型，定义如下优化的目 标函数：

这里，L₁对应ClassMVRBM的目标函数部分，而目标函数L₂为本发明提出 的面向矩阵变量的Fisher判别分析准则约束；超参数σ控制ClassMVRBM与 MVFDA之间的平衡。进行公式(6)的优化问题求解时，为方便运算，上式的 除法可简化等价为如下减法：

目标函数L₁的显式表达式为：

其中，

这里，

X＝[x_ij]∈i^I*J为输入图像数据，是一个二维矩阵，矩阵大小为I×J；

H＝[h_kl]∈i^K*L表示基于本发明所提模型提取的输入图像数据的有判别性的隐层特征，大小为K×L；

W＝[w_ijkl]∈i^I*J*K*L表示输入层与输出特征层之间的关系，是X与H的连接权重， 为四阶张量变量；

B＝[b_ij]∈i^I*J为图像数据层的偏移量，是一个矩阵变量；

C＝[c_kl]∈i^k*l为特征层的偏移量，也是一个矩阵变量；

y＝[y_t]∈i^T表示输入图像数据所属的类别标签，是一个向量；用一位有效编码 向量表示，即如果输入数据的标签为第t类，则该数据对应的标签层向量的 第t个分量为1，其他分量均置零；

P＝[p_klt]∈i^K*L*T为标签层y与特征层H的连接权重，是三阶张量变量，表示输入 图像的标签与输出特征之间的关系；

d＝[d_t]∈i^T为标签层的偏置向量，表示标签的偏移量。

由于模型的输入和隐层之间的连接权重是四阶张量，总计有I×J×K×L个 权重参数，这使模型训练阶段有很高的时间复杂度。为减少模型参数，降低 计算复杂度，假定隐含层单元和可见层单元的连接权重具有某种特定结构， 从而大大减少自由参数数量，具体地，通过指定某种特定的结构对权重张量 做分解。即通过定义两个矩阵U＝[u_ki]∈i^K*I，V＝[v_lj]∈i^L*J，使W＝UV，从而把权 重参数减少到K×I+L×J。

至此，已显式地给出了L₁和L₂的表达式，接下来通过模型优化求解最优 的模型参数{U,V,P,B,C,d}。

步骤2、ClassMVRBM-MVFDA模型的优化

待优化模型参数为{U,V,P,B,C,d}，训练过程就是通过训练数据更新模型参 数，寻找使模型目标函数最大化的最优参数组合。本模型中，B对应输入数据 的偏置，而目标函数L₁和L₂分别旨在求输入所属类别的条件概率和基于输入 提取的隐层特征的Fisher判别约束，此过程不涉及输入图像X的重构，所以 参数B不需要更新，即目标函数对参数B的偏导数为0，从而只需更新其它五 个参数{U,V,P,C,d}。本发明首先分别对目标函数L₁和L₂关于各参数求偏导， 然后加权综合两项的结果求解。

为了计算L₂关于各参数的导数，首先计算L₂对H⁽ⁱ⁾的偏导数：

然后计算H⁽ⁱ⁾对各参数的偏导数，这里，需要说明的是，在ClassMVRBM 中，H⁽ⁱ⁾是基于输入图像和标签共同计算的，但当求L₂关于各参数的偏导数时， 因为通常的Fisher准则同类样本类内距离小、不同类样本类间距离大是针对 输入图像本身，而不考虑标签，所以这里我们认为L₂影响最大的是三个参数， 即θ₂＝{U,V,C}，所以只考虑对这三个参数求偏导，即：

这里，P_t∈i^K*L表示向量y中第t个分量与各个隐层节点之间的连接权重。

根据链式法则，目标函数L₂对θ₂＝{U,V,C}中各个参数的求导公式为：

这里，(12)(13)(14)为使用一个训练样本X⁽ⁱ⁾计算各个参数偏导的公 式。⊙表示两个矩阵的对应像素的逐像素乘积。

目标函数L₁对各参数的梯度计算如下：

p(y_t|X⁽ⁿ⁾)表示由训练数据X⁽ⁿ⁾计算得到的第t类的概率值，表示遍历所有可能的C个类别。

计算出目标函数L1和目标函数L2对各个参数的导数之后，模型对参数的 更新公式为：

其中超参数σ控制ClassMVRBM模型与MVFDA判别目标函数L₂之间的平衡， η为学习率。表示目标函数L1对参数U的偏导数，即其它同理；表示目标函数L2对参数U的偏导数，即其它 同理。

训练模型时，现根据公式(15)～(19)计算目标函数L1对各参数的导 数，再根据公式(12)～(14)计算目标函数L2对各参数的导数，最后根据 公式(20)～(24)更新模型参数。迭代多次，直到模型收敛即可完成训练。

ClassMVRBM-MVFDA模型训练算法总结如下：

步骤3、基于ClassMVRBM-MVFDA模型的图像分类

积极效果：

积极效果：

本发明所提模型可被更好地用于分类任务，判别性特征的引入有效提升了 分类精度。在多个数据集上，与RBM、RBM-FDA和ClassMVRBM的对比实验都 验证了本发明所提方法能取得更高的分类精度，进一步说明了本发明所提模 型的有效性。

实验验证：

通过与同类方法在不同数据集上的对比实验来验证本发明对图像识别的 有效性。本发明从两个角度选取对比实验方法，首先，旨在验证矩阵变量模 型相对向量变量模型和不加Fisher判别的ClassMVRBM的有效性，即 ClassMVRBM-MVFDA相对RBM、RBM-FDA以及ClassMVRBM的优越性；然后，在 更复杂的数据集上验证增加Fisher判别准则相对不增加的性能，即 ClassMVRBM-MVFDA相对ClassMVRBM的优越性。

本发明所用实验数据集如下：

MNIST:手写数字集，共10类，分别是数字0到数字9。此数据库一共包 含60000个训练数据和10000个测试数据。每个数据都是大小为28*28的灰 度图像，因为增加Fisher约束后算法复杂度高，本数据集数据量大，所以参 考RBM-FDA的做法，选取20000个样本作为训练数据，10000个作为测试数据。

Pendigits:此数据库是基于钢笔书写的数字库，包含数字0到数字9。 其中包含7494个训练样本与3498个测试数据，每个数据的维度是16，本发 明实验时，将16维的向量转换为4*4的矩阵形式。

Caltech101 Silhouettes：此数据库是基于Caltech101的数据库。此数 据库中每张图像包含场景中主要物体的高质量轮廓边缘信息。物体轮廓呈现 为白色背景上的黑色形状。共有6364个训练数据和2307个测试数据。每张 图像数据的大小是28*28。

Ballet Database：整个数据集包含8种复杂的芭蕾舞动作，是从芭蕾舞 DVD中截取的44段视频，每段视频包含107到506帧。本发明从8种动作中 的每一种动作随机选取200帧作为训练数据。将每一帧图像下采样为32*32， 并把图像转化为灰度图像。

ETH-80Database：ETH-80数据集包含8类物体(苹果，汽车，牛，水杯， 狗，马，梨，西红柿)，在每类物体集合中，包含该类10个不同对象的41种 不同视角下的图像，即每类里含10个不同对象，每个对象中含41帧图像数 据，共8*10*41＝3,280帧图像。本发明首先将每张图像下采样到32*32，并将 每张图像转化为灰度图像。

Coil_20:包含20类不同的物体，每类物体有72张不同视角的图像，将 每一帧图像下采样为32*32大小，以此作为训练数据。

实验结果如下表：

表1 ClassMVRBM-MVFDA与RBM-FDA对比模型的分类准确率对比

表2 ClassMVRBM-MVFDA与ClassMVRBM对比模型的分类准确率对比

表3多种数据集上不同隐层大小下对分类准确度的影响

根据表1的ClassMVRBM-MVFDA与RBM-FDA以及无监督的RBM和 ClassMVRBM的对比实验结果不难看出矩阵变量ClassMVRBM-MVFDA模型的分类 准确性高于向量变量RBM—FDA模型和RBM模型，也高于ClassMVRBM。实验结 果验证了理论上的推断，因为ClassMVRBM-MVFDA是面向矩阵变量定义的，在 处理上述不同数据集时，不需要把数据作向量化处理，因而保持了数据的原 始空间结构信息，减少了向量化处理带来的可能的信息损失，特别地，面向 矩阵变量定义Fisher判别准则，对矩阵变量进行距离度量，约束类内和类间 散度，更有助于保持图像集数据的空间分布信息。从而矩阵变量模型 ClassMVRBM-MVFDA比向量模型RBM-FDA的分类效果更好，当然也必然好于不 增加FDA约束的RBM模型的分类性能。

本发明也在更复杂的数据集上验证了ClassMVRBM-MVFDA相对ClassMVRBM 的分类准确性。根据表2的ClassMVRBM-MVFDA与ClassMVRBM在更多数据集 上的对比实验结果可知：在ClassMVRBM的隐层增加Fisher判别约束的分类 结果好于没有Fisher判别约束的ClassMVRBM的分类性能，实验结果验证了 理论上的推断。对于ClassMVRBM-MVFDA模型，因为在隐层增加了Fisher判 别约束，所以提取到的隐层特征具有同类数据间距离小而不同类别数据间距 离大的特点，从而保证了样本的可分性，即每个样本所提取的特征具有更强的判别性，因此使模型有更高的分类准确率。所以ClassMVRBM-MVFDA的实验 结果优于ClassMVRBM。

根据表3，隐层为输入层大小的0.8倍时，得到最佳的分类准确率。因此， 本发明中MNIST数据集上ClassMVRBM-FDA的隐层大小18*18，Pendigits上 ClassMVRBM-MVFDA的隐层大小为3*2，Caltech101Silhouettes上 ClassMVRBM-MVFDA的隐层大小为18*18，ETH-80上ClassMVRBM-MVFDA的隐层 大小为28*28，Coil_20上ClassMVRBM-MVFDA的隐层大小为28*28。

Claims (4)

1.一种基于Fisher判别分析的矩阵变量受限玻尔兹曼机分类模型的图像识别方法，其特征在于，采用矩阵变量的Fisher准则即类内最小、类间最大准则，并整合到ClassMVRBM模型进行联合训练，包括以下步骤：

步骤1、定义了面向矩阵变量的Fisher准则，通过引入矩阵变量之间的距离度量，定义了矩阵变量的类内散度和类间散度；

步骤2、引入该矩阵变量Fisher判别准则到矩阵变量受限玻尔兹曼机分类模型(记为ClassMVRBM-MVFDA)的目标函数；

步骤3、通过联合训练进行模型求解。

2.如权利要求1所述的基于Fisher判别分析的矩阵变量受限玻尔兹曼机分类模型的图像识别方法，其特征在于，步骤1具体为：

给定N张训练图像X⁽ⁿ⁾∈i^I*J是第n张训练图像；y⁽ⁿ⁾∈{1,2,...,c,...,C}是第n张图像的类别标签，图像的总类别数是C个，令N_c是类别为c的样本数量，则

基于ClassMVRBM模型的隐层定义类内散度矩阵S^(w)和类间散度矩阵S^(b)，根据向量变量的FDA准则定义以及矩阵变量的F范数距离度量，定义如下矩阵变量的MVFDA判别准则：

H⁽ⁱ⁾表示提取的第X⁽ⁱ⁾张图像的特征，H^(j)表示提取的第X^(j)张图像的特征，类内和类间邻接矩阵和定义如下:

其中，y⁽ⁱ⁾是数据X⁽ⁱ⁾对应的标签，从而矩阵变量Fisher判别准则约束可形式化为：

为了整合Fisher判别分析到ClassMVRBM-MVFDA模型，定义如下优化的目标函数：

其中，L₁对应ClassMVRBM的目标函数部分，而目标函数L₂为面向矩阵变量的Fisher判别分析准则约束；超参数σ控制ClassMVRBM与MVFDA之间的平衡，进行公式(6)的优化问题求解时，上式的除法可简化等价为如下减法：

目标函数L₁的显式表达式为：

其中，

其中，

X＝[x_ij]∈i^I*J为输入图像数据，是一个二维矩阵，矩阵大小为I×J；

H＝[h_kl]∈i^K*L表示输入图像数据的有判别性的隐层特征，大小为K×L；

W＝[w_ijkl]∈i^I*J*K*L表示输入层与输出特征层之间的关系，是X与H的连接权重，为四阶张量变量；

B＝[b_ij]∈i^I*J为图像数据层的偏移量，是一个矩阵变量；

C＝[c_kl]∈i^k*l为特征层的偏移量，也是一个矩阵变量；

y＝[y_t]∈i^T表示输入图像数据所属的类别标签，采用一位有效编码向量表示，即如果输入数据的标签为第t类，则该数据对应的标签层向量的第t个分量为1，其他分量均置零；

P＝[p_klt]∈i^K*L*T为标签层y与特征层H的连接权重，是三阶张量变量，表示输入图像的标签与输出特征之间的关系；

d＝[d_t]∈i^T为标签层的偏置向量，表示标签的偏移量；

模型的输入和隐层之间的连接权重是四阶张量，总计有I×J×K×L个权重参数，通过指定结构对权重张量做分解，即通过定义两个矩阵U＝[u_ki]∈i^K*I，V＝[v_lj]∈i^L*J，使W＝UV，从而把权重参数减少到K×I+L×J，

至此，已显式地给出了L₁和L₂的表达式，接下来通过模型优化求解最优的模型参数{U,V,P,B,C,d}。

3.如权利要求2所述的基于Fisher判别分析的矩阵变量受限玻尔兹曼机分类模型的图像识别方法，其特征在于，步骤2具体为：

待优化模型参数为{U,V,P,B,C,d}，训练过程就是通过训练数据更新模型参数，寻找使模型目标函数最大化的最优参数组合，其中，B对应输入数据的偏置，而目标函数L₁和L₂分别旨在求输入所属类别的条件概率和基于输入提取的隐层特征的Fisher判别约束，此过程不涉及输入图像X的重构，所以参数B不需要更新，即目标函数对参数B的偏导数为0，从而只需更新其它五个参数{U,V,P,C,d}，首先分别对目标函数L₁和L₂关于各参数求偏导，然后加权综合两项的结果求解，

为了计算L₂关于各参数的导数，首先计算L₂对H⁽ⁱ⁾的偏导数：

然后计算H⁽ⁱ⁾对各参数的偏导数；在ClassMVRBM中，H⁽ⁱ⁾是基于输入图像和标签共同计算的，L₂影响最大的是三个参数，即θ₂＝{U,V,C}，所以只考虑对这三个参数求偏导，即：

其中，P_t∈i^K*L表示向量y中第t个分量与各个隐层节点之间的连接权重，

根据链式法则，目标函数L₂对θ₂＝{U,V,C}中各个参数的求导公式为：

这里，(12)(13)(14)为使用一个训练样本X⁽ⁱ⁾计算各个参数偏导的公式，⊙表示两个矩阵的对应像素的逐像素乘积。

目标函数L₁对各参数的梯度计算如下：

p(y_t|X⁽ⁿ⁾)表示由训练数据X⁽ⁿ⁾计算得到的第t类的概率值，表示遍历所有可能的C个类别；

计算出目标函数L1和目标函数L2对各个参数的导数之后，模型对参数的更新公式为：

其中，超参数σ控制ClassMVRBM模型与MVFDA判别目标函数L₂之间的平衡，η为学习率，表示目标函数L1对参数U的偏导数，即其它同理；表示目标函数L2对参数U的偏导数，即其它同理；

训练模型时，现根据公式(15)～(19)计算目标函数L1对各参数的导数，再根据公式(12)～(14)计算目标函数L2对各参数的导数，最后根据公式(20)～(24)更新模型参数；迭代多次，直到模型收敛即可完成训练。

4.如权利要求3所述的基于Fisher判别分析的矩阵变量受限玻尔兹曼机模型的图像识别方法，其特征在于，步骤3具体为：

当ClassMVRBM-MVFDA模型收敛之后，可以得到优化的模型参数{U,V,P,B,C,d}，此时将测试集图像X⁽ⁿ⁾输入到训练好的模型，根据最大化条件概率原则可实现对输入测试图像的分类。