CN113408610B - 一种基于自适应矩阵迭代极限学习机的图像识别方法 - Google Patents

Abstract

本发明公开了一种基于自适应矩阵迭代极限学习机的图像识别方法，将传统极限学习机的网络结构与自适应的矩阵迭代方式相结合，在求解输出权重矩阵的时候利用收敛因子自适应的矩阵迭代方式收敛得到输出权重矩阵，因此在保留传统极限学习机网络结构简单与随机生成参数等特点的同时，在图像识别方面具有更好的训练精度，且占用计算资源和耗费时间更少，这为机器学习算法及图像识别的改进优化提供了新思路和新途径。

Description

一种基于自适应矩阵迭代极限学习机的图像识别方法

技术领域

本发明属于基于机器学习的图像识别技术领域，具体涉及一种基于自适应矩阵迭代极限学习机的图像识别方法。

背景技术

随着人工智能产生突破性发展，机器学习作为解决人工智能问题的一类主流方法，在不断创新和改进。图像识别技术作为人工智能的一个重要领域，借助图像识别技术可以完成一般传感器不能完成的任务。图像识别技术以图片特征为基础对图像进行数据处理，利用算法来建立模型，算法的好坏将决定图像识别的效果。

极限学习机(Extreme Learning Machine，ELM)是一种单隐藏层的前馈神经网络算法，由于其结构简单、训练时输入权重和偏差可以随机产生以及通过求解线性方程组的最小范数解来确定输出权重的特点，ELM算法相较于许多传统算法可以在保证学习准确率的基础上拥有更快的训练速度以及更好的泛化能力，被越来越多的应用于图像识别领域。传统的ELM算法虽然有网络结构简单、设置参数较少以及相对于多层神经网络训练速度较快的优点，但是由于其单层网络结构和参数随机性的特点，其训练出的学习模型的精度具有很大的不稳定性。同时求解输出权重矩阵采用的求解Moore-Penrose广义逆的方法也有一定的缺陷，该方法会导致运算时间过长以及部分情况下图像识别准确率较低。

发明内容

有鉴于此，本发明提供了一种基于自适应矩阵迭代极限学习机的图像识别算法，实现了图像的精确、高效识别分类。

本发明提供的一种基于自适应矩阵迭代极限学习机的图像识别方法，包括以下步骤：

步骤1、对采集到的图像数据集进行数据预处理得到图像的特征向量，并确定图像的标签，所述图像数据集中的元素记为：(x,t)，其中，x为图像的特征向量，x＝[x₁,x₂,···,x_m]^T∈R，m为特征维数；t为图像的标签向量，t＝[t₁,t₂,···,t_l]^T∈R，l为标签维度；将所述图像数据集划分为测试集和训练集；

步骤2、结合极限学习机与自适应的矩阵迭代方式，构建基于自适应矩阵迭代极限学习机的图像识别模型，所述图像识别模型的网络结构由m维的输入层、含有n个节点的隐藏层及含有l个节点的输出层组成，如公式(1)所示：

其中，w_i＝[w_i1,w_i2,···,w_im]^T表示连接第i个隐藏层节点与输入层节点的输入权重向量，β_i＝[β_i1,β_i2,···,β_il]为连接第i个隐藏层节点与输出层节点的输出权重矩阵，b_i为第i个隐藏层节点的偏置矩阵，g(w,x,b)为激活函数；所述输入权重矩阵和偏置矩阵均为随机生成；

步骤3、采用所述步骤1生成的所述训练集，利用矩阵迭代方式求解输出权重矩阵，完成对所述图像识别模型的训练；

步骤4、应用中，将待分类图像的特征向量输入所述步骤3训练得到的所述图像识别模型，即可得到所述待分类图像的类型。

进一步地，所述步骤3中利用矩阵迭代方式求解输出权重矩阵，完成对所述图像识别模型的训练，包括以下步骤：

步骤3.1、选定包含M个样本的训练集，记为：(x_i,t_i),i＝1,2,···M，其中x_i＝[x_i1,x_i2,···,x_im]^T∈R，t_i＝[t_i1,t_i2,···,t_il]^T∈R；将所述训练集输入所述图像识别模型；

步骤3.2、利用矩阵迭代方式求解所述图像识别模型的输出权重矩阵，将所述公式(1)转换为公式(2)所示：

β(k)＝(I_M-μN^-1H^TH)β(k-1)+μN^-1H^TT (2)

其中，β＝[β₁,β₂,···,β_n]^T；T＝[t₁,t₂,···,t_M]^T；H为隐藏层输出矩阵，表示为：

k为迭代次数，μ为收敛因子，N为矩阵H^TH的对角矩阵；I_M为M维的单位矩阵；

采用自适应方式确定所述收敛因子μ的取值，如公式(3)所示：

其中，λ_max[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最大值，λ_min[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最小值；

由所述公式(2)和(3)即可求解出输出权重矩阵β；

步骤3.3、使用所述测试集对所述图像识别模型进行测试，若所述图像识别模型的准确率达标，则完成所述图像识别模型的训练；否则，执行步骤3.1。

进一步地，所述图像数据集中图像的特征向量均经过归一化处理。

有益效果：

本发明通过将传统极限学习机的网络结构与自适应的矩阵迭代方式相结合，在求解输出权重矩阵的时候利用收敛因子自适应的矩阵迭代方式收敛得到输出权重矩阵，因此在保留传统极限学习机网络结构简单与随机生成参数等特点的同时，在图像识别方面具有更好的训练精度，且占用计算资源和耗费时间更少，这为机器学习算法及图像识别的改进优化提供了新思路和新途径。

具体实施方式

下面列举实施例，对本发明进行详细描述。

本发明提供了一种基于自适应矩阵迭代极限学习机的图像识别方法，其基本思想是：通过将传统极限学习机的网络结构与自适应的矩阵迭代方式相结合，构建基于自适应矩阵迭代极限学习机的图像识别模型，以图像数据构建的训练集完成对基于自适应矩阵迭代极限学习机的图像识别模型的训练，采用训练得到的基于自适应矩阵迭代极限学习机的图像识别模型实现对图像的分类。

本发明提供了一种基于自适应矩阵迭代的极限学习机的图像识别方法，具体步骤如下：

步骤1、采集得到图像数据集，对图像数据进行数据预处理得到图像的特征向量，并确定图像的标签，图像数据集中的元素记为：(x,t)，其中，x为图像的特征向量，x＝[x₁,x₂,···,x_m]^T∈R，m为特征维数；t为图像的标签向量，t＝[t₁,t₂,···,t_l]^T∈R，l为标签维度。将图像数据集按照一定比例划分为测试集和训练集，并将图像的特征向量经过归一化标准化处理。

步骤2、结合极限学习机与自适应的矩阵迭代方式，构建基于自适应矩阵迭代极限学习机的图像识别模型，极限学习机的网络结构由m维的输入层、含有n个节点的隐藏层及含有l个节点的输出层组成，如下式所示：

其中，w_i＝[w_i1,w_i2,···,w_im]^T表示连接第i个隐藏层节点与输入层节点的输入权重向量，β_i＝[β_i1,β_i2,···,β_il]为连接第i个隐藏层节点与输出层节点的输出权重矩阵，b_i为第i个隐藏层节点的偏置矩阵，g(w,x,b)为激活函数。输入权重矩阵和偏置矩阵均为随机生成。

步骤3、采用步骤1生成的训练集完成对基于自适应矩阵迭代极限学习机的图像识别模型的训练。

对于包含M个样本的训练集(x_i,t_i),i＝1,2,···M，其中x_i＝[x_i1,x_i2,···,x_im]^T∈R，t_i＝[t_i1,t_i2,···,t_il]^T∈R，为了便于模型的求解，将公式(1)变换为公式(2)所示：

Hβ＝T (2)

其中，β＝[β₁,β₂,···,β_n]^T；T＝[t₁,t₂,···,t_M]^T；H为隐藏层输出矩阵，表示为：

由此通过求解线性矩阵方程(2)即可得到输出权重的最小二乘解。本发明中，利用矩阵迭代方式求解输出权重矩阵，如式(3)所示：

β(k)＝β(k-1)+μN^-1H^T[T-Hβ(k-1)] (3)

其中，k为迭代次数，μ为收敛因子，N为矩阵H^TH的对角矩阵。经过进一步化简可得：

β(k)＝(I_M-μN^-1H^TH)β(k-1)+μN^-1H^TT (4)

其中，I_M为M维的单位矩阵。若矩阵H^TH为下式所示：

则矩阵N为diag{H₁₁,H₂₂,H₃₃}。特别地，若矩阵H为列满秩的，则可收敛到唯一解。

现有技术中，很多此类迭代方法中并未给出μ的具体取值，本发明采用自适应的方法确定收敛因子μ的取值，如公式(5)所示：

其中，λ_max[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最大值，λ_min[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最小值。

根据公式(4)和(5)，即可求解出输出权重矩阵β。然后，再使用测试集对模型进行测试，通过将得到的预测值与真实值做比对得到模型准确率，若准确率达标，则基于自适应矩阵迭代极限学习机的图像识别模型的训练完成；否则，则重新确定训练集进行下一轮训练。

步骤4、应用中，将待分类图像的特征向量输入步骤3训练得到的基于自适应矩阵迭代极限学习机的图像识别模型，即可得到待分类图像所属的类型。

本方法已经用多个经典图像数据集以及MedMNIST图像数据集进行识别测试。实验结果表明，该算法与传统极限学习机、正则化极限学习机以及支持向量机等相比，具有更高的识别准确度和更好的泛化能力，同时在对大型图像数据集的实验中，本文算法所占用的资源以及耗费时间更少。同时实验还发现，对一些具有特定特征的图像数据集进行学习时，精度甚至会优于一些多层卷积神经网络结构算法。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于自适应矩阵迭代极限学习机的图像识别方法，其特征在于，包括以下步骤：

步骤1、对采集到的图像数据集进行数据预处理得到图像的特征向量，并确定图像的标签，所述图像数据集中的元素记为：(x,t)，其中，x为图像的特征向量，x＝[x₁,x₂,…,x_m]^T∈R，m为特征维数；t为图像的标签向量，t＝[t₁,t₂,…,t_l]^T∈R，l为标签维度；将所述图像数据集划分为测试集和训练集；

步骤2、结合极限学习机与自适应的矩阵迭代方式，构建基于自适应矩阵迭代极限学习机的图像识别模型，所述图像识别模型的网络结构由m维的输入层、含有n个节点的隐藏层及含有l个节点的输出层组成，如公式(1)所示：

其中，w_i＝[w_i1,w_i2,…,w_im]^T表示连接第i个隐藏层节点与输入层节点的输入权重向量，β_i＝[β_i1,β_i2,…,β_il]为连接第i个隐藏层节点与输出层节点的输出权重矩阵，b_i为第i个隐藏层节点的偏置矩阵，g(w,x,b)为激活函数；输入权重矩阵和偏置矩阵均为随机生成；

步骤3、采用所述步骤1生成的所述训练集，利用矩阵迭代方式求解输出权重矩阵，完成对所述图像识别模型的训练；

步骤4、应用中，将待分类图像的特征向量输入所述步骤3训练得到的所述图像识别模型，即可得到所述待分类图像的类型；

所述步骤3中利用矩阵迭代方式求解输出权重矩阵，完成对所述图像识别模型的训练，包括以下步骤：

步骤3.1、选定包含M个样本的训练集，记为：(x_i,t_i),i＝1,2,…M，其中x_i＝[x_i1,x_i2,…,x_im]^T∈R，t_i＝[t_i1,t_i2,…,t_il]^T∈R；将所述训练集输入所述图像识别模型；

步骤3.2、利用矩阵迭代方式求解所述图像识别模型的输出权重矩阵，将所述公式(1)转换为公式(2)所示：

β(k)＝(I_M-μN^-1H^TH)β(k-1)+μN^-1H^TT (2)

其中，β＝[β₁,β₂,…,β_n]^T；T＝[t₁,t₂,…,t_M]^T；H为隐藏层输出矩阵，表示为：

k为迭代次数，μ为收敛因子，N为矩阵H^TH的对角矩阵；I_M为M维的单位矩阵；

采用自适应方式确定所述收敛因子μ的取值，如公式(3)所示：

其中，λ_max[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最大值，λ_min[N^-1H^TH]为矩阵N^-1H^TH的特征值中的最小值；

由所述公式(2)和(3)即可求解出输出权重矩阵β；

步骤3.3、使用所述测试集对所述图像识别模型进行测试，若所述图像识别模型的准确率达标，则完成所述图像识别模型的训练；否则，执行步骤3.1。

2.根据权利要求1所述的图像识别方法，其特征在于，所述图像数据集中图像的特征向量均经过归一化处理。