CN110188692B - 一种有效目标快速识别的强化循环级联方法 - Google Patents

Abstract

一种有效目标快速识别的强化循环级联方法。本发明提出了一种强化循环级联方法用于快速有效的目标识别任务，该方法包含循环级联模型，非线性映射操作以及分类识别模块。级联模型能够提取样本的多样化特征，其中低层特征能够逐层转换为高层特征，循环机制在强化样本特征的同时，还能轻量化网络模型；非线性映射操作增强了样本特征的非线性关系；建立损失函数，采用导数求逆矩阵的方式，直接计算网络权重，避免迭代优化算法的耗时问题，同时完成快速有效的目标识别任务。本发明通过利用目标区域定位和深度特征学习相结合的方法，解决了传统目标识别方法训练耗时，识别精度低的问题；避免了传统算法中复杂的模型建立，减小计算成本；具有训练时间短，识别精度高特点。

Description

一种有效目标快速识别的强化循环级联方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种有效目标快速识别的强化循环级联方法。

背景技术

近年来，随着计算机视觉研究的飞速发展，许多神经网络模型被陆续提出，并应用在各个领域。深度网络模型因其优越的特征提取能力成为推动该项研究的主要动力。常见的深度网络模型如2014年推出的VGGNet(K.Simonyan and A.Zisserman,“Very deepconvolutional networks for large-scale image recognition”,arXiv preprintarXiv:1409.1556,2014)以及2015年推出的GoogLeNet(C.Szegedy,W.Liu,Y.-Q.Jia,etal,“Going deeper with convolutions”.In IEEE Conference on Computer Vision andPattern Recognition,pp.1-9,Boston,MA,USA,June2015.IEEE)。上述深度神经网络模型通过纵向增加网络层数和卷积核数量用于更好的提取样本特征。这种方式会导致网络模型超参数众多，需要消耗大量时间训练网络模型以此达到较好的收敛效果，且容易产生过拟合现象。宽度学习系统(Broad Learning System,BLS)作为深度网络模型的另一种选择(C.L.P.Chen,Z.Liu,“Broad learning system:an effective and efficientincremental learning system without the need for deep architecture”.IEEETransactions on Neural Networks and Learning Systems,29(1):10-24,2018)，因其具有网络参数少，学习速度快等特点，许多基于BLS的网络模型被广泛的应用于多个领域，如用于图像识别的GBLS(J.W.Jin,Z.L.Liu,C.L.P.Chen,“Discriminative graphregularized broad learning system for image recognition”.Science ChinaInformation Sciences,61(11):112209,2018)，以及用于时间序列预测的RBLS(M.Xu,M.Han,C.L.P.Chen,et al.“Recurrent Broad Learning Systems for Time SeriesPrediction”.IEEE Transactions on Cybernetics.doi:10.1109/TCYB.2018.2863020)。与深度神经网络模型不同的是，BLS可视为单层神经网络，通过横向的增加特征提取模块提升网络性能。BLS相比于深度神经网络模型，虽然其网络优化速度快，简单的特征提取模块，使得BLS的特征提取能力不足。综上，两类方法各有特点，前者的特征表达能力较好，但网络训练耗时；后者学习速度快，但网络的特征提取能力不足。

发明内容

本发明目的在于克服现有技术的不足，建立用于提取样本特征的循环级联模型；采用非线性映射操作增强样本特征之间的非线性关系；利用导数求逆矩阵的方式直接计算网络权重，实现快速有效的目标识别任务，具体由以下技术方案实现：

所述有效目标快速识别的强化循环级联方法，包括如下步骤：

步骤1)进行样本归一化处理；

步骤2)特征提取：针对目标识别对象，建立循环级联模型，并提取输入图像的样本特征；

步骤3)特征映射：将所提取的样本特征映射到的非线性空间，得到非线性特征；

步骤4)分类识别：建立损失函数，优化网络权重，实现目标识别。

所述有效目标快速识别的强化循环级联方法的进一步设计在于，所述步骤2)具体包括如下步骤：

步骤2-1)搭建循环级联模型：假设循环迭代次数为K，级联模型中包含L个隐含层用于特征提取，其中第l隐含层包含n_l个特征图；

步骤2-2)对于任意第k次循环过程，X^k为模型输入，根据式(1)进行特征提取：

式(1)中，

分别为第l层的第i个特征图以及所对应的权重；/>

为激活函数；Z^l为第l层的输出，同时也是第(l+1)层的输入；当l＝1时，Z⁰＝X^k；当l＝L时进入第(k+1)次迭代，此时根据式(2)对模型输入进行更新；

其中，

为第k次循环中第L层的输出；当k＝1时，X¹＝X∈R^N×M为原始样本输入，N，M分别对应地表示样本数量和维度；

步骤2-3)在第K次循环结束后得到每一层的输出并定义Z≡[Z¹,...,Z^L]。

所述有效目标快速识别的强化循环级联方法的进一步设计在于，所述步骤2-2)中对任意权重

进行优化操作，所述优化操作包括如下步骤：

步骤2-2-1)建立优化目标，根据式(3)通过L1范数约束目标函数获得稀疏化权重；

步骤2-2-2)根据式(4)进行迭代优化权重

式(4)中，O是

的对偶变量，U是累计残差；ρ，λ均为大于0的常数；I为单位矩阵，p为迭代次数；S_λ/ρ(·)是软阈值操作，如式(5)所示：

其中λ/ρ表示软阈值，α为软阈值操作的输入，且满足

所述有效目标快速识别的强化循环级联方法的进一步设计在于，所述步骤3)具体为将步骤2)中提取的样本特征根据式(6)进行非线性映射，

式(6)中，W_h是随机生成的正交矩阵，s是收缩因子，H，ξ分别对应为非线性特征和非线性激活函数，Z为步骤2)中提取的样本特征。

所述有效目标快速识别的强化循环级联方法的进一步设计在于，所述步骤4)包括如下步骤：

步骤4-1)经过特征提取和非线性映射后，得到特征矩阵[Z|H]，根据式(6)通过建立带有L2范数的损失函数优化网络权重，

式(7)中，F(W)为损失函数，W为网络权重，

Y分别对应为网络输出和目标输出；步骤4-2)令F(W)＝0并对权重W求导，如式(8)，

2[Z|H]^T(Y-[Z|H]W)-2λ¹W＝0 (8)

步骤4-3)得到最终的网络权重W；

W＝([Z|H]^T[Z|H]+λ¹I)^-1[Z|H]^TY (9)

式(9)中，λ¹是惩罚因子，I是单位矩阵。

本发明的优点如下：

本发明的有效目标快速识别的强化循环级联方法采用循环级联模型提取样本特征，级联模型能够提取样本的多样化特征，低级特征能够逐层转换为高层特征，循环机制在强化特征的同时更能简化网络模型；采用非线性映射操作增强样本特征之间的非线性关系；利用导数求逆矩阵的方式直接计算网络权重，实现快速有效的目标识别任务。

附图说明

图1为本发明方法的流程示意图。

图2为本发明方法的可行性分析图。

图3(a)为本发明方法的识别精度示意图。

图3(b)为本发明方法的识别精度示意图。

具体实施方式

下面结合附图对本发明的技术方案进一步说明。

如图1，本实施例的快速有效目标识别的强化循环级联方法，针对目标对象，设计循环级联模型提取样本特征，然后将所提特征进行非线性映射，最后建立损失函数，利用导数求逆的方式直接计算网络权重，实现快速有效的目标识别，具体实现包括以下步骤：

步骤1)：将原始样本的像素值归一化到[-1,+1]，处理方式如下：

其中y_max，y_min分别表示+1,-1；x_max，x_min分别表示原始样本向量中的像素最大值和最小值；x，y分别表示原始样本中的任意像素值和归一化后的数值。

步骤2)：搭建循环级联模型提取样本特征。假设循环迭代次数为K，级联模型中包含L个隐含层用于特征提取，其中第l隐含层包含n_l个特征图；对于任意第k次循环过程，X^k为模型输入，其特征提取过程如下：

其中

分别为第l层的第i个特征图以及所对应的权重；/>

为激活函数；Z^l为第l层的输出，同时也是第(l+1)层的输入，Z⁰＝X^k。当l＝L时进入第(k+1)次迭代，此时

其中X¹＝X∈R^N×M为原始样本输入，N，M分别表示样本数量和维度。前一次循环过程中，级联结构所提取的特征会被下一次循环强化，当级联结构确定后，只需要调整循环次数就可以实现深度级联的效果，但不会增加网络参数，实现轻量化网络的效果。第K次循环结束后得到每一层的输出并定义Z≡[Z¹,...,Z^L]。任意权重

的优化方式具体为：首先建立优化目标，为了获得稀疏化权重，利用L1范数约束目标函数。

然后采用如下迭代方式优化权重

其中O是

的对偶变量，U是累计残差；ρ，λ均为大于0的常数；I为单位矩阵，p为迭代次数，λ/ρ表示软阈值；S_λ/ρ(·)是软阈值操作，其具体表示如下：

式(6)中，α为软阈值操作的输入，且满足

步骤3)：样本特征的非线性映射。正交矩阵的向量之间相互独立，因此随机生成正交矩阵并将步骤2)所提取的样本特征Z进行非线性映射为H，具体映射过程如下：

其中W_h是随机生成的正交矩阵，s是收缩因子，H，ξ分别为非线性特征和非线性激活函数。

步骤4)：经过特征提取和非线性映射后，得到特征矩阵[Z|H]，为了更好的实现目标识别，建立带有L2范数的损失函数，用于优化网络权重。过程如下：

上式即为损失函数F(W)，其中W为网络权重，

Y分别为网络输出和目标输出。另F(W)＝0并对权重W求导可得式(9)。

2[Z|H]^T(Y-[Z|H]W)-2λ¹W＝0 (9)

可以得到最终的网络权重W

W＝([Z|H]^T[Z|H]+λ¹I)^-1[Z|H]^TY (10)

其中λ¹是惩罚因子，I是单位矩阵。

对本发明方法的可行性进行分析，实验结果参见图2，通过与其他算法的可视图对比发现，本发明方法通过采用循环级联模型更能提取样本的关键性特征，直观可视图优于其他算法。另外，本发明方法的第3层可视图相比前两层更加丰富，说明多层级联能够逐层强化样本特征。不仅能够提取样本的主要特征还能提取样本的细节信息，有效的提取样本的通过对比不同层的可视化图，

对本发明方法的多层级联性能表现展开了讨论，实验结果如图3(a)和图3(b)。从图3(a)可知，任意数据集上，识别精度随着级联层数的增加而上升，当达到最大值后识别精度趋于平稳，甚至开始下降，主要因为级联层数的增加导致网络复杂度增加，产生过拟合。另外图3(b)，表明级联层数的增加会合理地消耗更多的时间用于特征提取。

对比了本发明方法和其他算法在多个分类数据集上的性能表现进行了实验仿真，实验结果表1所示。

表1对比性算法的识别率及训练时间

由表1中可知，实验选取了卷积神经网络(CNN)，深度置信网络(DBN)，堆栈式稀疏编码(SAE)以及BLS作为对比算法，分别在人脸数据集ORL，EYaleB，UMIST车型数据集BIT以及MNIST，NORB，F-mnist等7个数据集上实验仿真。实验结果表明，在任意数据集上，本发明方法的识别精度均高于其他方法，在模型的训练时间方面，本发明方法在部分数据集上的时间消耗最小，个别数据集上的时间消耗高于BLS方法，但仍然远远低于其他3种方法。综上由实验数据可知，本发明所提出的强化循环级联方法对目标识别任务具有识别精度高，识别速度快特点。实验设备配置为，操作系统和版本Windows 10，3.20Ghz主频四核Corei7CPU，8GRAM，运行环境为Matlab2016b 64-bit。

本实施例针对目标对象，建立循环级联模型用于提取样本特征，其中多层级联的网络模型能够将低级特征逐层转换为高层特征；循环机制不仅能够降低网络复杂度，而且在每次循环过程中还能强化所提取的特征；非线性映射处理增强了样本特征的非线性；建立损失函数，采用导数求逆矩阵的方式，直接计算网络权重，避免迭代优化算法的耗时问题，同时完成快速有效的目标识别任务。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种有效目标快速识别的强化循环级联方法，其特征在于包括如下步骤：

步骤1)进行样本归一化处理；

步骤2)特征提取：针对目标识别对象，建立循环级联模型，并提取输入图像的样本特征；

步骤3)特征映射：将所提取的样本特征映射到的非线性空间，得到非线性特征；

步骤4)分类识别：建立损失函数，优化网络权重，实现目标识别；

所述步骤2)具体包括如下步骤：

步骤2-1)搭建循环级联模型：假设循环迭代次数为K，级联模型中包含L个隐含层用于特征提取，其中第l隐含层包含n_l个特征图；

步骤2-2)对于任意第k次循环过程，X^k为模型输入，根据式(1)进行特征提取：

式(1)中，

分别为第l层的第i个特征图以及所对应的权重；/>

为激活函数；Z^l为第l层的输出，同时也是第l+1层的输入；当l＝1时，Z⁰＝X^k；当l＝L时进入第k+1次迭代，此时根据式(2)对模型输入进行更新；

其中，

为第k次循环中第L层的输出；当k＝1时，X¹＝X∈R^N×M为原始样本输入，N，M分别对应地表示样本数量和维度；

步骤2-3)在第K次循环结束后得到每一层的输出并定义Z≡[Z¹,...,Z^L]。

2.根据权利要求1所述的有效目标快速识别的强化循环级联方法，其特征在于所述步骤2-2)中对任意权重

进行优化操作，所述优化操作包括如下步骤：

步骤2-2-1)建立优化目标，根据式(3)通过L1范数约束目标函数获得稀疏化权重；

步骤2-2-2)根据式(4)进行迭代优化权重

式(4)中，O是

的对偶变量，U是累计残差；ρ，λ均为大于0的常数；I为单位矩阵，p为迭代次数；S_λ/ρ(·)是软阈值操作，如式(5)所示：

其中，λ/ρ表示软阈值，α为软阈值操作的输入，且满足

3.根据权利要求1所述的有效目标快速识别的强化循环级联方法，其特征在于所述步骤3)具体为将步骤2)中提取的样本特征根据式(6)进行非线性映射，

式(6)中，W_h是随机生成的正交矩阵，s是收缩因子，H，ξ分别对应为非线性特征和非线性激活函数，Z为步骤2)中提取的样本特征。

4.根据权利要求1所述的有效目标快速识别的强化循环级联方法，其特征在于所述步骤4)包括如下步骤：

步骤4-1)经过特征提取和非线性映射后，得到特征矩阵[Z|H]，根据式(6)通过建立带有L2范数的损失函数优化网络权重，

式(7)中，F(W)为损失函数，W为网络权重，

Y分别对应为网络输出和目标输出；步骤4-2)令F(W)＝0并对权重W求导，如式(8)，

2[Z|H]^T(Y-[Z|H]W)-2λ¹W＝0 (8)步骤4-3)得到最终的网络权重W；

W＝([Z|H]^T[Z|H]+λ¹I)^-1[Z|H]^TY (9)

式(9)中，λ¹是惩罚因子，I是单位矩阵。

Images