CN106529570A - 基于深度脊波神经网络的图像分类方法 - Google Patents

Abstract

本发明公开了一种基于深度脊波神经网络的图像分类方法，主要解决现有技术基于神经网络的图像分类训练时间长，分类精度不高的问题。其实现步骤为：1.对图像库中的数据选择10％比例作为训练样本，其余作为测试样本；2.建立深度脊波神经网络的网络结构，并将训练样本作为网络的输入；3.分别对深度脊波神经网络中每一层的参数用脊波自编码器进行分层学习；4.将分层学习的参数结果作为深度脊波神经网络中参数的初始值，对整个网络中的参数利用梯度下降法进行训练，得到训练好的网络；5.将测试样本输入网络，得到每一个测试样本的类标。本发明具有分类精度高，训练速度快的优点，可用于到目标识别、目标分析以及社会活动检测。

Description

基于深度脊波神经网络的图像分类方法

技术领域

本发明属于智能图像处理技术领域，特别涉及一种图像分类方法，可用于到目标识别、目标分析以及社会活动检测。

背景技术

随着社会的进步与科技的快速发展,图像己经成为人们获取信息越来越重要的手段。近年来出现在人们生活中的图像数量迅猛增长,对于数量巨大的图像数据,人们需要快速、有效地、合理的对这些海量图像数据进行分析和处理并对分析后的图像进行识别和分类，能大大的提高人们从海量图像信息中找到自己需要的信息的效率。在这个追求效率的数字和信息化时代，想要用人工参与的方法来对海量的图像数据进行分类处理需要耗费大量的人工和时间资源，而且效率低下、带有较高的主观性，跟不上时代发展的步伐。因此，使用计算能力强大的计算机并按照一定的算法来代替人工的方式对图像进行智能处理是势在必行的。图像分类是指利用人工智能技术特别是机器学习方法，使得计算机能够对图像进行识别和分类的过程。图像分类目前己经成为模式识别研究领域一个重要的方向，涉及人脸识别、物体识别、行为检测等等，对该方向的深入研究具有巨大的理论研究意义和广泛的实际应用价值。

目前，市场上使用的图像分类方法主要有两大类，一类是基于图像空间的分类方法，另一类是基于特征空间的分类方法。

基于图像空间的分类方法，主要是利用图像的颜色、灰度、纹理、形状、位置等底层特征来对图像进行分类。比如对于颜色特征，任何物体都有颜色特征，因此可以根据颜色特征来对物体进行分类，最早利用颜色特征进行图像分类是颜色直方图方法，该方法是利用不同颜色在整幅图像中所占比例来区分图像，但它无法准确的描述每种颜色所在的具体位置，也无法描述图像中的对象或物体。对于纹理特征，它是描述像素间的灰度空间分布规律，它在日常生活中是无处不在，如云朵、树木、水波纹等都是不同的纹理，在获取图像的纹理后经过计算机处理和数字化转换后可以得到对图像进行分析和处理的信号。其次常用的方法还有基于纹理特征的灰度共生矩阵表示方法，该方法基于像素之间的距离和方向建立灰度共生矩阵，再由这个矩阵得到纹理特征向量。由于纹理图像的多样性以及分析算法的复杂性，目前没有一种普遍适用的方法以至于纹理特征很难跨领域推广。对于形状特征，它是描述一条封闭的轮廓曲线所包围的区域，形状通常与图像中的特定目标对象有关，是人们视觉系统对目标对象的初步认识，目前这种基于形状分类的方法大多围绕从形状的轮廓特征和形状的区域特征建立图像索引。这些图像空间分类方法大都是数据量较大，计算复杂性较高，而且分类精度一般不高。

基于特征空间的分类方法，是将原图像经过某种变换，如K-L变换、小波变换等变换到特征空间去提取图像的高层特征来实现图像的分类。特征提取方法包括线性特征提取方法和非线性特征提取方法。线性特征提取方法是通过线性映射方法得到特征，其中线性特征提取方法主要有主成分分析法，基于Fisher准则的线性鉴别分析法，和投影寻踪等。非线性特征提取方法主要有支持向量机、核主成分分析等。基于特征空间的分类方法在一定程度上可以降低数据的维度和计算复杂性，但是问题之间的相关性很强，不能获得可分性特征，不易达到最优解，难以满足海量的图像数据。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种深度脊波神经网络的图像分类方法，以获得可分性特征，提高分类的精度和鲁棒性，满足海量图像数据的分类需求。

为实现上述目的，本发明的实现步骤包括如下：

1)从图像库中随机选择所有图像样本的10％作为训练图像样本集，其中第n个训练图像样本记为P(n)，n＝1,...,N为训练图像样本的个数，第n个训练图像样本的类标记为L(n)，其余样本作为测试图像样本，Q(m)为第m个测试图像样本，m＝1,...,M，M为测试图像样本的个数；

2)对每一个训练图像样本P(n)，按照行优先的规则，重新排列为一个列向量S₁(n)：

其中，表示列向量S₁(n)中第i个元素值，i∈I，I为输入样本元素的个数；

3)建立四层深度脊波神经网络的结构，其中第一层样本输入层为l₁，有I₁个神经元，第二层特征学习层为l₂，有I₂个神经元，第三层特征学习层为l₃，有I₃个神经元，第四层分类层为l₄；将S₁(n)作为深度脊波神经网络第一层的输入，令I＝I₁；

4)建立三层脊波自编码器，用来得到四层深度脊波神经网络的初始化权值。该三层脊波自编码器包括自编码输入层I₁个神经元，自编码隐层I₂个神经元和自编码输出层I₁个神经元；

5)将步骤2)中的列向量S₁(n)作为脊波自编码器的输入,得到脊波自编码器的实际输出Z₁(n):

其中，表示第k个神经元的实际输出：

式中ψ_j(·)表示自编码隐层第j个神经元的脊波函数，w_j,i是连接自编码输入层第i个神经元和自编码隐层第j个神经元的权重值，λ_j是自编码隐层第j个神经元的位移参数，u_j是自编码隐层第j个神经元的尺度参数，w_k,j是连接自编码隐层第j个神经元和自编码输出层第k个神经元的权重值，b_k是自编码输出层第k个神经元的阈值，i,k∈I₁，j∈I₂；

6)将步骤2)中的列向量S₁(n)作为脊波自编码器的理想输出，建立自编码器损失函数ξ₁(n)，最小化ξ₁(n)并利用梯度下降法，对步骤5)中的参数w_j,i、λ_j、u_j、w_k,j和b_k进行反向调节更新；

7)重复步骤5)和步骤6)，直至达到设定的迭代次数，得到更新后的参数值w_j,i、λ_j、u_j、w_k,j和b_k；

8)根据步骤7)更新后得到的所述参数w_j,i、λ_j和u_j，计算深度脊波神经网络第二层第j个神经元的值：得到第二层学习到的特征为：

9)用深度脊波神经网络第二层的特征S₂(n)代替步骤2)中的自编码输入层S₁(n)，令自编码输入层包含I₂个神经元，自编码隐层包含I₃个神经元，自编码输出层包含I₂个神经元，重复步骤5)-8)，得到深度脊波神经网络第三层学到的特征：

10)将第三层学到的的特征S₃(n)作为第四层分类层的输入，得到脊波神经网络分类层l₄的类标输出：其中Num为该样本的的类别数，并根据样本的理想输出类标L(n)和得到的输出类标S₄(n)的误差，建立分类器损失函数ξ₂(n)，最小化该分类器损失函数ξ₂(n)并按照梯度下降法，对分类层选择的softmax分类器进行训练，得到分类器的参数θ；

11)将步骤4)-10)得到的深度脊波神经网络的每一层的参数值，作为深度脊波神经网络中参数的初始值，将S₁(n)作为深度脊波神经网络的输入，按照下式对网络进行前向计算，得到深度脊波神经网络中第二层和第三层第j个神经元的输出：

其中，当l＝1时表示特征学习层l₂的第j个神经元的输出，当l＝2时表示特征学习层l₃的第j个神经元的输出，式中表示第l层第i个神经元的值，表示第l+1层第j个神经元的值，表示l+1层第j个神经元的脊波函数值，表示连接第l层第i个神经元和第l+1层第j个神经元的权重值，表示第l+1层第j个神经元的位移参数，表示第l+1层第j个神经元的尺度参数；

12)将深度脊波神经网络第三层的学到的特征S₃(n)作为softmax分类器的输入，计算得到样本的输出类标S₄(n)，按照梯度下降法，根据输出类标S₄(n)和真实类标L(n)的差异，建立分类器损失函数ξ₂(n)，对深度脊波神经网络中误差进行反向传播，对参数进行更新；

13)重复步骤11)-12)，直到达到设定迭代次数，得到训练好的网络的所有参数值，完成深度脊波神经网络的训练；

14)将每一个测试样本Q(m)，按照行优先的规则重新排列为一个列向量根据网络训练好的参数值，按照整个网络前向传播的计算过程，得到测试样本的类标，完成分类。

本发明与现有技术相比，具有如下优点：

(a)本发明使用脊波函数作为深度神经网络的激活函数，克服了传统激活函数缺乏尺度信息的问题，提高了深度神经网络的稀疏逼近能力，有效提高图像的分类精度。

(b)本发明采用分层学习的方法，设计脊波自编码器，为深度脊波神经网络提供了较好的初始值，有效的提高了深度脊波神经网络的逼近速率。

附图说明

图1是本发明的实现流程图；

图2是本发明中4层深度脊波神经网络示意图；

图3是本发明中脊波自编码器示意图；

图4是本发明中所采用的部分实验数据图；

图5是用本发明对深度脊波神经网络进行逼近的性能分析图。

具体实施方式

以下参照附图，对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤1，获取训练样本和测试样本。

从图像库中随机选择所有图像样本的10％作为训练图像样本集，其中第n个训练图像样本记为P(n)，n＝1,...,N为训练图像样本的个数，第n个训练图像样本的类标记为L(n)，其余样本作为测试图像样本，Q(m)为第m个测试图像样本，m＝1,...,M，M为测试图像样本的个数。

步骤2，对训练样本重新组合。

对每一个训练图像样本P(n)，按照行优先的规则，重新排列为一个列向量S₁(n)：

其中，表示列向量S₁(n)中第i个元素值，i∈I，I为输入训练样本元素的个数。

步骤3，建立深度脊波神经网络。

由于脊波具有灵活的方向信息和较强逼近性，因此需要建立四层深度脊波神经网络的结构，使本发明能够得到较高的分类精度和较快的分类速度，这四层深度脊波神经网络的结构如图2所示，其中第一层样本输入层为l₁，包含I₁个神经元，第二层特征学习层为l₂，包含I₂个神经元，第三层特征学习层为l₃，包含I₃个神经元，第四层分类层为l₄；将S₁(n)作为深度脊波神经网络第一层的输入，令I＝I₁。

步骤4，深度脊波神经网络中的参数值进行训练和特征学习。

(4a)建立三层脊波自编码器:

由于直接对深层的脊波神经网络进行训练会存在梯度弥散的问题，所以本发明建立了一个三层脊波自编码器模型，如图3所示；该三层脊波自编码器包括自编码输入层I₁个神经元，自编码隐层I₂个神经元和自编码输出层I₁个神经元；

(4b)用三层脊波自编码器对深度脊波神经网络中的参数值进行预训练，该训练过程包括前向传播和反向调节两部分：

(4b1)前向传播：

将步骤2中的列向量S₁(n)作为脊波自编码器的输入，根据下式得到脊波自编码器的实际输出：

其中ψ_j(·)表示隐层第j个神经元的脊波函数，w_j,i是连接输入层第i个神经元和隐层第j个神经元的权重值，λ_j是隐层第j个神经元的位移参数，u_j是隐层第j个神经元的尺度参数，w_k,j是连接隐层第j个神经元和输出层第k个神经元的权重值，b_k是输出层第k个神经元的阈值，i,k∈I₁，j∈I₂；

(4b2)反向调节：

根据脊波自编码器的实际输出和理想输出的误差，建立自编码器损失函数：

其中ξ(n)是误差函数，λ为权值约束项参数，γ为稀疏约束项参数，

对自编码器损失函数ξ₁(n)进行最小化，并按照梯度下降法，对步骤(4b1)中的所述参数w_j,i、λ_j、u_j、w_k,j和b_k进行反向调节更新；

(4b3)重复步骤(4b1)和步骤(4b2)，直到设定的迭代次数，停止迭代，得到更新后的参数值w_j,i、λ_j、u_j、w_k,j和b_k。

(4c)将更新后的参数值w_j,i、λ_j、u_j、w_k,j、b_k作为深度脊波神经网络的初始值，并进行前向计算，进而学习得到深度脊波神经网络每一层的特征：

(4c1)脊波自编码器根据步骤(4b3)得到的参数值w_j,i、λ_j、u_j，计算深度脊波神经网络第二层第j个神经元的值：得到第二层学习到的特征为：

(4c2)脊波自编码器将深度脊波神经网络第二层的特征S₂(n)作为步骤(4b1)中脊波自编码器的输入S₁(n)，设自编码输入层包含I₂个神经元，自编码隐层包含I₃个神经元，自编码输出层包含I₂个神经元，重复步骤(4a)-(4c1)，得到深度脊波神经网络第三层的特征为：

(4c3)将第三层的特征S₃(n)作为第四层分类层的输入，分类层选择softmax分类器，得到深度脊波神经网络的第四层的输出类标S₄(n)，表示如下：

式中表示第n个样本属于第z类的可能性，其中Num是该样本的类别数；

(4c4)根据样本的理想输出类标L(n)和实际输出类标S₄(n)之间的误差，按照下式建立分类器损失函数：

(4c5)对分类器损失函数ξ₂(n)进行最小化，并按照梯度下降法，对softmax分类器进行训练，得到分类器的参数值θ。

(4d)对深度脊波神经网络进行整体训练，该训练过程包括前向传播和反向调节两部分：

(4d1)深度脊波神经网络整体训练的前向传播：

将步骤(4a)-(4c4)得到的深度脊波神经网络的每一层的参数值，作为深度脊波神经网络中参数的初始值，将S₁(n)作为深度脊波神经网络的输入，按照下式对网络进行前向计算，得到深度脊波神经网络中第二层和第三层第j个神经元的输出：

其中当l＝1时表示特征学习层l₂的第j个神经元的输出，当l＝2时表示特征学习层l₃的第j个神经元的输出，式中表示第l层第i个神经元的值，表示第l+1层第j个神经元的值，表示l+1层第j个神经元的脊波函数值，表示连接第l层第i个神经元和第l+1层第j个神经元的权重值，表示第l+1层第几个神经元的位移参数，表示第l+1层第j个神经元的尺度参数，第2层第n个样本的特征为第三层第n个样本的特征为

(4d2)将深度脊波神经网络第三层的特征作为第四层的输入，按照下式，得到深度脊波神经网络的输出S₄(n)，表示如下：

式中表示第n个样本属于第z类的可能性，其中Num是该样本的类别数，S₄(n)中最大元素所在的位置即为第n个样本的类标值；

(4d3)深度脊波神经网络整体训练的反向调节：

根据深度脊波神经网络的输出S₄(n)和真实类标L(n)的差异，建立分类器损失函数ξ₂(n)，表示如下：

(4d4)最小化分类器损失函数ξ₂(n)，并按照梯度下降法，对深度脊波神经网络中的参数进行反向调节更新；

(4d5)重复步骤(4d1)-(4d4)，直到达到设定迭代次数，得到训练好的网络的所有参数值，完成深度脊波神经网络的训练。

步骤5，分类。

(5a)将每一个测试样本T(m)，按照行优先的规则，重新排列为一个列向量：

(5b)根据网络训练好的参数值，按照整个网络前向传播的计算过程，得到测试样本的类标，完成分类。

本发明的效果可以用下列的仿真实验进一步说明:

(1)仿真条件

本发明的仿真的硬件条件为：windows XP,SPI,CPU Pentium(R)4,基本频率2.4GHZ,软件平台为：MatlabR2012a，仿真选用的图片来源是MNIST手写体图像库和CIFAR10图像库，如图4，其中图4(a)为MNIST手写体图像库，包含60000个训练样本，10000个测试样本，图4(b)为CIFAR10图像库，包含有50000个训练样本，10000个测试样本。

仿真传递函数分别使用本发明ridgelet函数和Sigmoid函数、Tanh函数、Rectifier函数。

仿真融合方法分别用本发明方法和GS的融合方法、Brovery融合方法、P+XS融合方法、DWT融合方法。

(2)仿真内容及结果

仿真1，用本发明和现有的三种方法对图4(a)MNIST手写体图像库进行图像分类仿真，结果如表1。

表1

从表1可以看出，本发明得到的图像分类精度更高。

仿真2，用本发明和现有的三种方法对图4(b)CIFAR10图像库进行图像分类仿真，得到的分类结果如表2所示。

表2

从表2可以看出，本发明得到的图像分类精度更高。

利用表1和表2的仿真结果，对脊波自编码器的逼近性能进行分析，结果如图5，其中图5(a)是针对图4(a)MNIST手写体图像库的逼近性能分析图，图5(b)是针对图4(b)CIFAR10图像库的逼近性能分析图，图5(a)和图5(b)中均对比了四种方法在深度脊波神经网络不同训练次数下得到的测试样本的精度变化情况，从图5中可以看出，深度脊波神经网络具有更快的逼近速率，在较少的迭代次数下，就能够达到较好的分类精度。

以上实验结果表明：本发明相比现有技术有效的提高了深度脊波神经网络的逼近速率和图像的分类精度。

Claims (4)

1.一种基于深度脊波神经网络的图像分类方法，包括如下步骤：

1)从图像库中随机选择所有图像样本的10％作为训练图像样本集，其中第n个训练图像样本记为P(n)，n＝1,...,N为训练图像样本的个数，第n个训练图像样本的类标记为L(n)，其余样本作为测试图像样本，Q(m)为第m个测试图像样本，m＝1,...,M，M为测试图像样本的个数；

2)对每一个训练图像样本P(n)，按照行优先的规则，重新排列为一个列向量S₁(n)：

$S_1\left(n\right)={\left(x_1^1\right(n),x_2^1(n),...,x_i^1(n),...,x_I^1(n\left)\right)}^T,$

其中，表示列向量S₁(n)中第i个元素值，i∈I，I为输入样本元素的个数；

3)建立四层深度脊波神经网络的结构，其中第一层样本输入层为l₁，有I₁个神经元，第二层特征学习层为l₂，有I₂个神经元，第三层特征学习层为l₃，有I₃个神经元，第四层分类层为l₄；将S₁(n)作为深度脊波神经网络第一层的输入，令I＝I₁；

4)建立三层脊波自编码器，用来得到四层深度脊波神经网络的初始化权值。该三层脊波自编码器包括自编码输入层I₁个神经元，自编码隐层I₂个神经元和自编码输出层I₁个神经元；

5)将步骤2)中的列向量S₁(n)作为脊波自编码器的输入,得到脊波自编码器的实际输出Z₁(n):

$Z_1\left(n\right)={\left(z_1^1\right(n),z_2^1(n),...,z_k^1(n),...,z_{I_1}^1(n\left)\right)}^T,$

其中，表示第k个神经元的实际输出：

式中ψ_j(·)表示自编码隐层第j个神经元的脊波函数，w_j,i是连接自编码输入层第i个神经元和自编码隐层第j个神经元的权重值，λ_j是自编码隐层第j个神经元的位移参数，u_j是自编码隐层第j个神经元的尺度参数，w_k,j是连接自编码隐层第j个神经元和自编码输出层第k个神经元的权重值，b_k是自编码输出层第k个神经元的阈值，i,k∈I₁，j∈I₂；

6)将步骤2)中的列向量S₁(n)作为脊波自编码器的理想输出，建立自编码器损失函数ξ₁(n)，最小化ξ₁(n)并利用梯度下降法，对步骤5)中的参数w_j,i、λ_j、u_j、w_k,j和b_k进行反向调节更新；

7)重复步骤5)和步骤6)，直至达到设定的迭代次数，得到更新后的参数值w_j,i、λ_j、u_j、w_k,j和b_k；

8)根据步骤7)更新后得到的所述参数w_j,i、λ_j和u_j，计算深度脊波神经网络第二层第j个神经元的值：得到第二层学习到的特征为：

$S_2\left(n\right)={\left(x_1^2\right(n),x_2^2(n),...,x_j^2(n),...,x_{I_2}^2(n\left)\right)}^T,j\∈I_2;$

9)用深度脊波神经网络第二层的特征S₂(n)代替步骤2)中的自编码输入层S₁(n)，令自编码输入层包含I₂个神经元，自编码隐层包含I₃个神经元，自编码输出层包含I₂个神经元，重复步骤5)-8)，得到深度脊波神经网络第三层学到的特征：

$S_3\left(n\right)={\left(x_1^3\right(n),x_2^3(n),...,x_r^3(n),...,x_{I_3}^3(n\left)\right)}^T,r\∈I_3;$

10)将第三层学到的的特征S₃(n)作为第四层分类层的输入，得到脊波神经网络分类层l₄的类标输出：其中Num为该样本的的类别数，并根据样本的理想输出类标L(n)和得到的输出类标S₄(n)的误差，建立分类器损失函数ξ₂(n)，最小化该分类器损失函数ξ₂(n)并按照梯度下降法，对分类层选择的softmax分类器进行训练，得到分类器的参数θ；

11)将步骤4)-10)得到的深度脊波神经网络的每一层的参数值，作为深度脊波神经网络中参数的初始值，将S₁(n)作为深度脊波神经网络的输入，按照下式对网络进行前向计算，得到深度脊波神经网络中第二层和第三层第j个神经元的输出：

$x_j^{l+1}\left(n\right)={\mathrm{\ψ}}_j^{l+1}\left(\frac{\underset{i\∈I_l}{\Σ}{w}_{j,i}^{l+1}{x}_i^l\left(n\right)-{\mathrm{\λ}}_j^{l+1}}{2^{u_j^{l+1}}}\right),l=1,2;j\∈I_{l+1},$

其中，当l＝1时表示特征学习层l₂的第j个神经元的输出，当l＝2时表示特征学习层l₃的第j个神经元的输出，式中表示第l层第i个神经元的值，表示第l+1层第j个神经元的值，表示l+1层第j个神经元的脊波函数值，表示连接第l层第i个神经元和第l+1层第j个神经元的权重值，表示第l+1层第j个神经元的位移参数，表示第l+1层第j个神经元的尺度参数；

12)将深度脊波神经网络第三层的学到的特征S₃(n)作为softmax分类器的输入，计算得到样本的输出类标S₄(n)，按照梯度下降法，根据输出类标S₄(n)和真实类标L(n)的差异，建立分类器损失函数ξ₂(n)，对深度脊波神经网络中误差进行反向传播，对参数进行更新；

13)重复步骤11)-12)，直到达到设定迭代次数，得到训练好的网络的所有参数值，完成深度脊波神经网络的训练；

14)将每一个测试样本Q(m)，按照行优先的规则重新排列为一个列向量根据网络训练好的参数值，按照整个网络前向传播的计算过程，得到测试样本的类标，完成分类。

2.根据权利要求1所述的深度脊波神经网络的图像分类方法，其中所述步骤6)中建立的自编码器损失函数ξ₁(n)，表示如下：

${\mathrm{\ξ}}_1\left(n\right)=\left|\right|e|{|}^2=\frac{1}{2}\underset{k\∈I_1}{\Σ}{\left(z_k\right(n)-x_k^1(n\left)\right)}^2+\frac{\mathrm{\λ}}{2}(\underset{k=1}{\overset{I_3}{\Σ}}\underset{j=1}{\overset{I_2}{\Σ}}{\left(w_{k,j}\right)}^2+\underset{j=1}{\overset{I_2}{\Σ}}\underset{i=1}{\overset{I_1}{\Σ}}{\left(w_{j,i}\right)}^2)+\frac{\mathrm{\γ}}{2}\underset{j=1}{\overset{I_2}{\Σ}}{\left(y_j\right(n\left)\right)}^2$

其中ξ(n)是误差函数，λ为权值约束项参数，γ为稀疏约束项参数，

3.根据权利要求1所述的深度脊波神经网络的图像分类方法，其中所述步骤10)和步骤12)中的输出类标S₄(n)，表示如下：

$S_4\left(n\right)={(x_1^4,x_2^4...,x_z^4,...,x_{Num}^4)}^T,$

式中表示第n个样本属于第z类的可能性，其中Num是该样本的类别数，S₄(n)中最大元素所在的位置即为第n个样本的类标值。

4.根据权利要求1所述的深度脊波神经网络的图像分类方法，其中所述步骤10)和步骤12)中的分类器损失函数ξ₂(n)，表示如下：

${\mathrm{\ξ}}_2\left(n\right)=-\frac{1}{N}\left(\underset{n=1}{\overset{N}{\Σ}}\underset{z=1}{\overset{Num}{\Σ}}1\right\{S_4\left(n\right)==L\left(n\right)\left\}log\frac{e^{{\mathrm{\θ}}_z^T{S}_3\left(n\right)}}{\underset{l=1}{\overset{Num}{\Σ}}{e}^{{\mathrm{\θ}}_l^T{S}_3\left(n\right)}}\right)$

其中，N为训练图像样本的个数，S₄(n)表示深度脊波神经网络第四层的真实输出类标，L(n)表示样本的理想输出类标,S₃(n)表示深度脊波神经网络第三层学到的特征，θ_z表示分类器的第z个参数θ，z＝1,...,Num，Num是该样本的类别数。