CN112686323B - 一种基于卷积的极限学习机的图像识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积的极限学习机的图像识别方法，通过采用随机卷积运算提取图像的图像特征向量完成对图像的预处理，采用图像特征向量及标签构建的训练样本集训练极限学习机图像识别模型，由于随机卷积运算中卷积核为随机生成且无需调整，能够很大程度上解决计算负担过重的问题，有效提高了计算效率，在一定程度上能够满足图像识别的需要，同时为更准确地进行图像识别提供了新思路和新途径。

Description

一种基于卷积的极限学习机的图像识别方法

技术领域

本发明涉及基于深度学习的图像识别技术领域，具体涉及一种基于卷积的极限学习机的图像识别方法。

背景技术

图像识别是信息时代的关键技术之一，利用图像识别技术能够完成传统传感器技术无法实现的任务，同时借助图像识别与多源信息的融合，能够让监测效果更佳精确。随着计算机技术的不断发展，计算机计算能力进一步提升，对信息的处理能力获得了极大的改善。依托于智能图像识别算法，可以获得识别准确率的提升，也能够降低识别所需的时间，在未来人工智能领域将发挥重要的作用。在过去几年中，卷积神经网络已成为图像识别领域中用于各种任务的主流机器学习方法。然而，传统的卷积神经网络采用基于梯度下降的反向传播方法进行训练，伴随卷积神经网络参数数目的增大，网络训练时间变长。因此，如何在保证图像识别准确率的情况下缩短神经网络的训练时间具有十分重要的意义。

发明内容

有鉴于此，本发明提供了一种基于卷积的极限学习机的图像识别方法，利用卷积运算随机提取图像特征，构建基于卷积的极限学习机的图像识别模型，在此基础上利用基于自适应衰减率的梯度下降算法求取隐含层节点的输出权值矩阵，实现对极限学习机模型的训练，从而缩短神经网络的训练时间，提高计算效率和图像识别准确率。

本发明提供的一种基于卷积的极限学习机的图像识别方法，包括以下步骤：

步骤1、采集图像形成图像数据集，对所述图像进行基于卷积运算的预处理得到图像特征向量，由所述图像特征向量与所述图像特征向量相应的标记形成训练样本；由所有所述图像对应的所述训练样本形成训练样本集；

步骤2、采用极限学习机理论，建立基于卷积的极限学习机图像识别模型，如公式(1)所示：

U^1×N＝β^1×k·J^k×N (1)

其中，U^1×N∈R^1×N表示图像识别模型的输出矩阵，N表示样本个数，k表示隐含层节点的个数，J^k×N表示隐含层节点输出矩阵，S^{(p-n-m+1+q-b-s+1)×N}∈R^{(p-n-m+1+q-b-s+1)×N}表示极限学习机模型的输入数据，(p-n-m+1+q-b-s+1)表示每个输入样本向量的特征维数，α^{k×(p-n-m+1+q-b-s+1)}表示输入到隐含层节点之间的输入权值矩阵，λ^k×N表示隐含层节点的偏置矩阵；

为可选择的非线性激活函数；α^{k×(p-n-m+1+q-b-s+1)}和λ^k×N均为随机生成，且生成后保持不变；

步骤3、采用所述步骤1形成的所述训练样本集，完成所述基于卷积的极限学习机图像识别模型的训练；

步骤4、采用所述步骤1中的所述基于卷积运算的预处理提取待识别图像的待识别图像特征向量，将所述待识别图像特征向量输入训练得到所述基于卷积的极限学习机图像识别模型，得到所述待识别图像的类型。

进一步地，所述步骤1中的对所述图像进行基于卷积运算的预处理得到图像特征向量的过程为：随机生成卷积核，且所述卷积核不变，采用所述卷积核与所述图像进行卷积运算得到所述图像特征向量。

进一步地，所述步骤1中的所述图像数据集为{X_i,X_i∈R^p×q×3,i＝1,2,...,N}，其中，X_i为所述图像，p为所述图像的高度，q为所述图像的宽度，3为所述图像的RGB三个颜色通道，N为所述图像的总数，i为所述图像的编号；所述图像X_i为三元数组，表示为：X_i＝[X_1i,X_2i,X_3i]，X_1i表示图像X_i的R通道的分量，X_2i表示图像X_i的G通道的分量，X_3i表示图像X_i的B通道的分量。

进一步地，所述步骤1中对所述图像数据进行基于卷积运算的预处理得到图像特征向量，包括以下步骤：

步骤4.1、采用公式(2)计算所述图像X_i的平均像素图像

其中，所述平均像素图像

满足

步骤4.2、采用公式(3)对所述平均像素图像

进行卷积运算：

其中，F_i ^{(p-n+1)×(q-b+1)}∈R^{(p-n+1)×(q-b+1)}为卷积层的输出矩阵，W^n×b为二维卷积核，n、b分别为W^n×b的尺寸，*表示卷积运算；W^n×b为随机生成，且生成后保持不变；

采用公式(4)对所述卷积层的输出矩阵进行非线性映射：

H_i ^{(p-n+1)×(q-b+1)}＝φ(F_i ^{(p-n+1)×(q-b+1)}) (4)；

其中，H_i ^{(p-n+1)×(q-b+1)}为输出特征映射矩阵，φ为非线性激活函数；

采用公式(5)对所述输出特征映射矩阵进行池化操作：

其中，

为池化层输出矩阵，P^m×s为二维卷积核，m、s分别为P^m×s的尺寸；P^m×s中所有元素均为1，且满足p＞n＞m,p-n-m＞0，q＞b＞s,q-b-s＞0；

步骤4.3、将所述步骤4.2输出的所述池化层输出矩阵

转换为特征向量

进一步地，所述步骤4.2中采用的非线性激活函数包括Sigmoid函数。

进一步地，所述步骤3中采用所述步骤1形成的所述训练样本完成所述基于卷积的极限学习机图像识别模型的训练，为采用基于自适应衰减率的梯度下降算法求取隐含层节点的输出权值矩阵的方式，包括以下步骤：

步骤6.1、随机产生隐含层节点输出权值矩阵的初始值

设置迭代步长η、迭代次数的最大值T，第l次迭代训练的梯度矩阵

的初始值

第l次迭代训练的一阶矩估计矩阵

的初始值

迭代次数编号为l，且令l＝1；

步骤6.2、采用公式(6)计算所述第l次迭代训练的梯度矩阵：

其中，Y^1×N为所述极限学习机模型的理想输出矩阵；

步骤6.3、采用公式(7)计算第l次迭代训练的衰减率：

步骤6.4、采用公式(8)计算所述第l次迭代训练的一阶矩估计矩阵：

步骤6.5、采用公式(9)计算所述隐含层节点输出权值矩阵：

步骤6.6、令l自加1，当l≤T，执行步骤6.2；否则，则完成训练，输出所述隐含层节点输出权值矩阵

结束本流程。

有益效果：

1、本发明采用随机卷积运算提取图像的图像特征向量完成对图像的预处理，采用图像特征向量及标签构建的训练样本集训练极限学习机图像识别模型，由于随机卷积运算中卷积核为随机生成且无需调整，能够很大程度上解决计算负担过重的问题，有效提高了计算效率，在一定程度上能够满足图像识别的需要，同时为更准确地进行图像识别提供了新思路和新途径。

2、本发明通过在的极限学习机图像识别模型的训练过程中，采用基于自适应衰减率的梯度下降算法求取隐含层节点的输出权值矩阵，使模型较易收敛，从而提高了极限学习机模型的学习速度、缩短了模型的训练时间，同时有效提高了算法的泛化性能。

具体实施方式

下面列举实施例，对本发明进行详细描述。

本发明提供了一种基于卷积的极限学习机的图像识别方法，其基本思想是：获取图像数据集，利用卷积运算对图像数据集进行预处理获得图像特征向量，由图像特征向量及其所对应的图像类型形成训练样本，采用训练样本训练建立的基于卷积的极限学习机的图像识别模型，在此基础上，利用基于自适应衰减率的梯度下降算法求取隐含层节点的输出权值矩阵，从而完成对极限学习机模型的训练。

本发明提供的一种基于卷积的极限学习机的图像识别方法，具体步骤如下：

步骤1、采集图像数据，对图像数据进行预处理提取图像特征向量，由图像特征向量与相应标记形成训练样本。

步骤1.1、采集图像数据。

采集图像X_i，形成图像数据集合{X_i,X_i∈R^p×q×3,i＝1,2,...,N}，其中，p是图像的高度，q是图像的宽度，3是RGB图像的三个颜色通道，N是图像的总数，i是图像的编号。图像X_i为三元数组，表示为：X_i＝[X_1i,X_2i,X_3i]，X_1i表示图像X_i的R通道的分量，X_2i表示图像X_i的G通道的分量，X_3i表示图像X_i的B通道的分量。

步骤1.2、采用公式(1)计算图像X_i的平均像素图像

步骤1.3、采用公式(2)、(3)、(4)分别对步骤1.2得到的平均像素图像

进行卷积、非线性映射和池化运算：

H_i ^{(p-n+1)×(q-b+1)}＝φ(F_i ^{(p-n+1)×(q-b+1)}) (3)

其中，F_i ^{(p-n+1)×(q-b+1)}∈R^{(p-n+1)×(q-b+1)}表示卷积层的输出矩阵，W^n×b表示二维卷积核，n、b表示卷积核的尺寸，W^n×b为随机生成，且生成后保持不变，*表示卷积运算，

表示卷积层的输入数据；H_i ^{(p-n+1)×(q-b+1)}表示输出特征映射矩阵，φ为可选择的非线性激活函数；

表示池化层的输出矩阵，P^m×s表示二维卷积核，m、s表示卷积核的尺寸，卷积核中所有元素均为1，且满足p＞n＞m,p-n-m＞0，q＞b＞s,q-b-s＞0。

将池化层的输出矩阵

转换为特征向量

步骤1.4、遍历{X_i,X_i∈R^p×q×3,i＝1,2,...,N}中的所有输入X_i，重复执行步骤1.2和步骤1.3，形成包含N个图像的特征向量的图像特征矩阵：

由图像的图像特征矩阵及图像对应的标记构成模型的训练样本集，训练样本集为如下公式所示：

{S_i ^{(p-n-m+1+q-b-s+1)×1},Y_i|S_i∈R^{(p-n-m+1+q-b-s+1)×1},Y_i∈R,i＝1,2,...,N}

其中，S_i ^{(p-n-m+1+q-b-s+1)×1}是模型的输入，表示第i张图像X_i的特征向量；Y_i表示第i张图像X_i对应的标记。

步骤2、建立基于卷积的极限学习机的图像识别模型，如公式(5)所示：

U^1×N＝β^1×k·J^k×N (5)

其中，U^1×N∈R^1×N表示图像识别模型的输出矩阵，N表示样本个数，k表示隐含层节点的个数，J^k×N表示隐含层节点输出矩阵，S^{(p-n-m+1+q-b-s+1)×N}∈R^{(p-n-m+1+q-b-s+1)×N}表示极限学习机模型的输入数据，(p-n-m+1+q-b-s+1)表示每个输入样本向量的特征维数，α^{k×(p-n-m+1+q-b-s+1)}表示输入到隐含层节点之间的输入权值矩阵，λ^k×N表示隐含层节点的偏置矩阵；

为可选择的非线性激活函数；α^{k×(p-n-m+1+q-b-s+1)}和λ^k×N均为随机生成，且生成后保持不变。

步骤3、采用步骤1生成的训练样本集对基于卷积的极限学习机的图像识别模型进行训练，本发明采用基于自适应衰减率的梯度下降算法求解隐含层节点的输出权值矩阵，完成基于卷积的极限学习机的图像识别模型的训练。

训练样本分为两个部分，一部分用于训练，另一部分用于测试；当极限学习机模型的训练完成后，利用测试样本进行测试。

步骤4、使用中，采用本发明提出的图像预处理方法对待识别图像进行处理，得到待识别图像的图像特征向量，将图像特征向量输入训练完成的基于卷积的极限学习机的图像识别模型，得到待识别图像的类型。

本发明的步骤3中使用的基于自适应衰减率的梯度下降算法求解隐含层节点的输出权值矩阵，具体包括如下步骤：

定义，Y^1×N为所述极限学习机模型的理想输出矩阵；

步骤3.1、随机产生隐含层节点的输出权值矩阵

人为设置迭代步长η、迭代次数T，梯度矩阵

一阶矩估计矩阵

迭代的编号为l，且令l＝1；

步骤3.2、采用公式(6)计算第l次迭代训练的梯度矩阵；

步骤3.3、采用公式(7)计算第l次迭代训练的衰减率；

步骤3.4、采用公式(8)计算第l次迭代训练的一阶矩估计矩阵；

步骤3.5、采用公式(9)计算隐含层节点的输出权值矩阵；

步骤3.6、令l自加1，当l≤T，执行步骤3.2；否则，则完成训练，输出隐含层节点的输出权值矩阵

结束本流程。

上述过程中，采用基于自适应衰减率的梯度下降算法求解隐含层节点的输出权值矩阵，使模型较易收敛，从而提高了极限学习机模型的学习速度、缩短了模型的训练时间。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于卷积的极限学习机的图像识别方法，其特征在于，包括以下步骤：

步骤1、采集图像形成图像数据集，对所述图像进行基于卷积运算的预处理得到图像特征向量，由所述图像特征向量与所述图像特征向量相应的标记形成训练样本；由所有所述图像对应的所述训练样本形成训练样本集；

其中，所述图像数据集为{X_i,X_i∈R^p×q×3,i＝1,2,...,N}，其中，X_i为所述图像，p为所述图像的高度，q为所述图像的宽度，3为所述图像的RGB三个颜色通道，N为所述图像的总数，i为所述图像的编号；所述图像X_i为三元数组，表示为：X_i＝[X_1i,X_2i,X_3i]，X_1i表示图像X_i的R通道的分量，X_2i表示图像X_i的G通道的分量，X_3i表示图像X_i的B通道的分量；

对所述图像数据进行基于卷积运算的预处理得到图像特征向量，包括以下步骤：

步骤1.1、采用公式(2)计算所述图像X_i的平均像素图像

其中，所述平均像素图像

满足

步骤1.2、采用公式(3)对所述平均像素图像

进行卷积运算：

其中，F_i ^{(p-n+1)×(q-b+1)}∈R^{(p-n+1)×(q-b+1)}为卷积层的输出矩阵，W^n×b为二维卷积核，n、b分别为W^n×b的尺寸，*表示卷积运算；W^n×b为随机生成，且生成后保持不变；

采用公式(4)对所述卷积层的输出矩阵进行非线性映射：

H_i ^{(p-n+1)×(q-b+1)}＝φ(F_i ^{(p-n+1)×(q-b+1)}) (4)；

其中，H_i ^{(p-n+1)×(q-b+1)}为输出特征映射矩阵，φ为非线性激活函数；

采用公式(5)对所述输出特征映射矩阵进行池化操作：

其中，

为池化层输出矩阵，P^m×s为二维卷积核，m、s分别为P^m×s的尺寸；P^m×s中所有元素均为1，且满足p>n>m,p-n-m>0，q>b>s,q-b-s>0；

步骤1.3、将所述步骤1.2输出的所述池化层输出矩阵

转换为特征向量

步骤2、采用极限学习机理论，建立基于卷积的极限学习机图像识别模型，如公式(1)所示：

U^1×N＝β^1×k·J^k×N (1)

其中，U^1×N∈R^1×N表示图像识别模型的输出矩阵，N表示样本个数，k表示隐含层节点的个数，J^k×N表示隐含层节点输出矩阵，S^{(p-n-m+1+q-b-s+1)×N}∈R^{(p-n-m+1+q-b-s+1)×N}表示极限学习机模型的输入数据，^{(p-n-m+1+q-b-s+1)}表示每个输入样本向量的特征维数，α^{k×(p-n-m+1+q-b-s+1)}表示输入到隐含层节点之间的输入权值矩阵，λ^k×N表示隐含层节点的偏置矩阵；

为可选择的非线性激活函数；α^{k×(p-n-m+1+q-b-s+1)}和λ^k×N均为随机生成，且生成后保持不变；

步骤3、采用所述步骤1形成的所述训练样本集，完成所述基于卷积的极限学习机图像识别模型的训练；

所述基于卷积的极限学习机图像识别模型的训练，为采用基于自适应衰减率的梯度下降算法求取隐含层节点的输出权值矩阵的方式，包括以下步骤：

步骤3.1、随机产生隐含层节点输出权值矩阵的初始值

设置迭代步长η、迭代次数的最大值T，第l次迭代训练的梯度矩阵

的初始值

第l次迭代训练的一阶矩估计矩阵

的初始值

迭代次数编号为l，且令l＝1；

步骤3.2、采用公式(6)计算所述第l次迭代训练的梯度矩阵：

其中，Y^1×N为所述极限学习机模型的理想输出矩阵；

步骤3.3、采用公式(7)计算第l次迭代训练的衰减率：

步骤3.4、采用公式(8)计算所述第l次迭代训练的一阶矩估计矩阵：

步骤3.5、采用公式(9)计算所述隐含层节点输出权值矩阵：

步骤3.6、令l自加1，当l≤T，执行步骤3.2；否则，则完成训练，输出所述隐含层节点输出权值矩阵

结束本流程；

步骤4、采用所述步骤1中的所述基于卷积运算的预处理提取待识别图像的待识别图像特征向量，将所述待识别图像特征向量输入训练得到所述基于卷积的极限学习机图像识别模型，得到所述待识别图像的类型。

2.根据权利要求1所述的图像识别方法，其特征在于，所述步骤1中的对所述图像进行基于卷积运算的预处理得到图像特征向量的过程为：随机生成卷积核，且所述卷积核不变，采用所述卷积核与所述图像进行卷积运算得到所述图像特征向量。

3.根据权利要求1所述的图像识别方法，其特征在于，所述步骤1.2中采用的非线性激活函数包括Sigmoid函数。