CN114897188B - 大规模数据处理方法 - Google Patents

Abstract

本申请公开了一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法，属于人工智能技术领域，方法包括：构建RELM网络模型，得到模型拟合函数；引入辅助变量对模型拟合函数进行转换；采用Gauss–Seidel迭代法最小化优化变量β、z上的增广拉格朗日函数：采用最大分划自适应松弛交替方向乘子法，将RELM网络模型处理的正则化最小二乘问题最大限度地分解为可并行执行的多个单变量子问题；采用自适应参数寻优方法，简化单变量子问题的求解过程；对多个单变量子问题进行求解，以得到正则化最小二乘问题的结果。避免了在求解过程中进行大量Moore‑Penrose矩阵逆运算，减少计算过程中所需要存储空间和计算量，降低RELM模型分析和计算成本。

Description

大规模数据处理方法

技术领域

本申请属于人工智能技术领域，具体涉及一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法。

背景技术

极限学习机(Extreme Learning Machine，ELM)因具有良好的快速学习能力和泛化性能被广泛应用于疾病诊断、图像质量评估、交通标志识别等多个领域中。正则化ELM(Regularization ELM，RELM)是标准ELM的一种扩展变体，通过在损失函数中加入正则化项，从而提高ELM的泛化性能和稳定性。

然而，随着互联网、云计算、物联网的迅猛发展，数据维数和体量呈爆炸式增长，当训练样本数和隐含层节点数都非常大时，会导致ELM模型输出矩阵维数特别大，基于Moore-Penrose矩阵逆运算(MI)的计算过程需要大量的存储空间和计算量，会显著增加RELM的建模分析和计算成本，因此，为满足高效的大规模数据处理需求，需要从根源上解决在大规模数据条件下RELM求解效率不高的问题。

发明内容

本申请实施例的目的是提供一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法，能够解决现有技术在基于Moore-Penrose矩阵逆运算对ELM模型进行求解时计算过程需要大量的存储空间和计算量，会显著增加RELM模型分析和计算成本的问题。

为了解决上述技术问题，本申请是这样实现的：

本申请实施例提供了一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法，应用于正则化极限学习机，大规模数据处理方法包括：

S101：构建正则化极限学习机RELM网络模型，得到模型拟合函数：

其中，||·||_F为Frobenius范数，μ为正则化因子，μ＞0，控制损失函数和正则项之间的平衡，T为目标输出矩阵，H为输出矩阵，β为输出权重；

S102：引入辅助变量z＝Hβ将模型拟合函数转换成：

s.t.Hβ-z＝0 公式2

其中，s.t.表示条件；

S103：采用Gauss–Seidel迭代法最小化优化变量β、z上的增广拉格朗日函数：

λ^k+1＝λ^k+ρ(Hβ^k+1-z^k+1) 公式3

其中，ρ为惩罚参数，ρ＞0，λ为对偶变量，z-T为训练误差；

S104：采用最大分划自适应松弛交替方向乘子法MS-ARADMM，将RELM网络模型处理的正则化最小二乘问题最大限度地分解为可并行执行的多个单变量子问题，其中，每个单变量子问题中只包含一个标量分量：

其中，λ＝[λ₁,λ₂,...,λ_L]∈R^N×L，H＝[a₁,a₂,...,a_N]∈R^N×L,a_i∈R^N，β＝[β₁,β₂,...,β_L]^T∈R^L×m,β_i∈R^m；

S105：采用自适应参数寻优方法，简化单变量子问题的求解过程；

S106：对多个单变量子问题进行求解，以得到正则化最小二乘问题的结果。

在本申请实施例中，采用最大分划自适应松弛交替方向乘子法将RELM网络模型处理的正则化最小二乘问题最大限度地分解为可并行执行的多个单变量子问题，并且采用自适应参数寻优方法，简化单变量子问题的求解过程，通过对多个单变量子问题进行求解，以得到正则化最小二乘问题的结果。避免了在求解过程中进行大量的Moore-Penrose矩阵逆运算，减少对ELM模型进行求解时计算过程中所需要存储空间和计算量，降低RELM模型分析和计算成本。

附图说明

图1是本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法的流程示意图；

图2是本申请实施例提供的一种RELM网络模型框架示意图；

图3是本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法的实现框图；

图4是本申请实施例提供的一种最大分划并行方法算法流程图；

图5是本申请实施例提供的一种残差约束松弛方法流程图；

图6是本申请实施例提供的一种自适应参数选择方法流程图；

图7是本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法的正则化极限学习机模型构建流程图。

本发明目的的实现、功能特点及优点将结合实施例、参照附图做进一步说明。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的大规模数据处理方法进行详细地说明。

实施例一

参照图1，示出了本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法(Maximally Split and Adaptive Relaxed ADMM，MS-ARADMM)的大规模数据处理方法的流程示意图。

本申请提供的一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法，应用于正则化极限学习机(Regularized Extreme Learning Machines，RELM)。

参照图2，示出了本申请实施例提供的一种RELM网络模型框架示意图。

RELM网络模型框架分为三层：左侧为输入层，中间为隐含层，右侧为输出层。

参照图3，示出了本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法的实现框图。

参照图4，示出了本申请实施例提供的一种最大分划并行方法算法流程图。

本申请实施例提供的大规模数据处理方法包括：

S101：构建正则化极限学习机网络模型，得到模型拟合函数：

其中，||·||_F为Frobenius范数，μ为正则化因子，μ＞0，控制损失函数和正则项之间的平衡，T为目标输出矩阵，H为输出矩阵，β为输出权重。

S102：引入辅助变量z＝Hβ将模型拟合函数转换成：

s.t.Hβ-z＝0 公式2

其中，s.t.表示条件。

S103：采用Gauss–Seidel迭代法最小化优化变量β、z上的增广拉格朗日函数：

λ^k+1＝λ^k+ρ(Hβ^k+1-z^k+1) 公式3

其中，ρ为惩罚参数，ρ＞0，λ为对偶变量，z-T为训练误差。

S104：采用最大分划自适应松弛交替方向乘子法，将RELM网络模型处理的正则化最小二乘问题(Regularized Least Squares，RLS)最大限度地分解为可并行执行的多个单变量子问题，其中，每个单变量子问题中只包含一个标量分量：

其中，λ＝[λ₁,λ₂,...,λ_L]∈R^N×L，H＝[a₁,a₂,...,a_N]∈R^N×L,a_i∈R^N，β＝[β₁,β₂,...,β_L]^T∈R^L×m,β_i∈R^m。

需要说明的是，利用MS-ARADMM优化方法，将RELM网络模型中大的全局问题最大程度地分解为多个较小、较容易求解的局部单变量子问题，极大地提高了算法并行性。

具体地，通过考虑2-block ADMM，将一个问题分成两个子问题进行并行计算，并将数据矩阵H简化为数据向量a_i，向量系数β简化为标量系数β_i，使得算法具有高度并行结构，提高并行运算效率。

S105：采用自适应参数寻优方法，简化单变量子问题的求解过程。

需要说明的是，在单变量子问题的求解过程得到简化之后，可以极大地提高RELM网络模型对于大规模数据的处理速度。

S106：对多个单变量子问题进行求解，以得到正则化最小二乘问题的结果。参照图5，图5示出了本申请实施例提供的一种残差约束松弛方法流程图。可选地，步骤S104可由子步骤S1041至S1045来完成。

S1041：定义原始残差和对偶残差来衡量算法收敛性：

r_k＝aβ_k-z_k

d_k＝ρa^T(z_k-z_k-1) 公式5

其中，r_k、d_k分别代表原始残差和对偶残差。

S1042：在计算一次迭代时考虑过去迭代，通过放大等式约束残差a_iβ_i-z_i＝0，将公式4中的替换成/>z_i替换成/> 替换成其中，α为松弛参数。

需要说明的是，通过放大等式约束残差，可以提高算法法的收敛性能。

S1043：结合松弛技术，RELM网络模型的求解过程转变为：

S1044：确定松弛交替方向乘子法ADMM和松弛Douglas-Rachford分裂算法(DRS)之间的关系，假设在迭代k次时的局部线性模型近似为：

其中，θ_k＞0,γ_k＞0分别为f、g的局部曲率估计，ψ_k、φ_k为常数。

S1045：将线性模型拟合到目标梯度上，使得ρ和α满足此时f(x)+g(x)的残差为0。

可选地，步骤S105可由子步骤S1051至S1056来完成。

参照图6，示出了本申请实施例提供的一种自适应参数选择方法流程图。

在利用MS-ARADMM方法优化RELM模型求解过程时，考虑到对偶变量λ_k与步长会影响模型收敛性能的因素，将非单调Wolfe型线搜索策略引入到记忆梯度法中，通过结合当前函数迭代信息和过去多个迭代点的函数信息，提高MS-ARADMM算法全局收敛性能。通过添加步长选择约束条件，简化子问题求解复杂度，提高模型收敛速度。

S1051:设置停止误差ε＝10^-5，令尺度参数σ为10^-4，给定初始点x₀，常数τ₀＝1，常数Λ＝10^-4，h₀＝A*x₀-b，迭代次数k＝0。

S1052：如果τ_k≤∈或令/>即λ＝τ_k。

S1053：若为非单调线搜索，λ_k计算公式为：

其中，ξ为步长的约束因子，ζ为(0,1)之间的随机数，用于控制步长的变化情况。

S1054：否则，λ_k计算公式为：

λ_k＝σλ 公式10

S1055：根据获得的λ_k，计算τ_k，计算公式为：

S1056：判断是否满足终止条件，若满足，输出τ_k；否则，迭代次数k加1，跳转到S1052。

可选地，在步骤S104之前，本申请实施例提供的大规模数据处理方法还包括：

S107：计算输出矩阵H和最佳输出权重。

需要说明的是，计算输出矩阵H和最佳输出权重可以极大的提高后续步骤的计算效率。

参照图7，图7示出了本申请实施例提供的一种基于最大分划自适应松弛交替方向乘子法的正则化极限学习机模型构建流程图。

可选地，步骤S107可由子步骤S1071至S1077来完成。

S1071：给定训练样本数据x，设置隐含层为L，随机生成输入权重w和隐含层阈值s；

S1072：根据公式12计算出极限学习机模型隐含层输出矩阵H：

h_i(x)＝g(w_ix+s_i) 公式12

其中，w_i、s_i分别为输入权重和阈值，g(·)为非线性激活函数，T为目标输出矩阵，f_L(x)为极限学习机模型输出；

S1073：引入正则化理论，使得模型训练误差和输出权重范数达到最小，则极限学习机模型中的最小二乘问题转变为公式1，从而得到精简的RELM网络模型；

需要说明的是，利用正则化理论使得模型训练误差和输出权重范数达到最小，提高模型泛化性能和稳定性。

S1074：令Hβ＝z，设置误差终止条件ε^tol＝10^-5，输出权重β、z、λ的初始值均为0，迭代次数k＝0；

S1075：利用原始残差r_k和对偶残差d_k衡量算法收敛性，设定迭代终止条件：

||r_k||≤ε^tolmax{||H*x||,||z},||d_k||≤ε^tolmax{||λ||} 公式13

S1076：利用公式12求解出的输出矩阵H，结合MS-ARADMM算法，利用迭代过程求解出当前迭代次数下的最佳输出权重β，计算公式为：

S1077：判断是否满足迭代终止条件，若满足，输出最佳输出权重β；否则，迭代次数k加1，跳转到S1076。

在本申请实施例中，采用最大分划自适应松弛交替方向乘子法将RELM网络模型处理的正则化最小二乘问题最大限度地分解为可并行执行的多个单变量子问题，并且采用自适应参数寻优方法，简化单变量子问题的求解过程，通过对多个单变量子问题进行求解，以得到正则化最小二乘问题的结果。避免了在求解过程中进行大量的Moore-Penrose矩阵逆运算，减少对ELM模型进行求解时计算过程中所需要存储空间和计算量，降低RELM模型分析和计算成本。综上，本发明采用利用MS-ARADMM的可分解性，将正则化极限学习机的RLS问题最大限度地分解为可并行执行的单变量子问题，弥补极限学习机基于MI的计算过程需要大量的存储空间和计算量所带来的一系列问题。采用正则化理论精简ELM模型，最小化训练误差和输出权重范数，提高模型泛化性能和稳定性；利用ADMM的可分解性，采用最大分划技术和松弛技术，将RELM模型拟合问题最大限度地划分成一组可并行执行的单变量子问题；提出一种自适应参数选择方法，将非单调Wolfe型策略引入到记忆梯度法中，通过结合当前函数迭代信息和过去多个点的函数信息，克服震荡现象的同时提高算法全局收敛性，结合改进BB谱梯度下降法，通过添加步长选择约束条件，简化ADMM算法子问题求解复杂度，提高算法收敛速度。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (3)

1.一种基于最大分划自适应松弛交替方向乘子法的大规模数据处理方法，应用于正则化极限学习机，具体应用于疾病诊断、图像质量评估和交通标志识别，其特征在于，包括：

S101：构建正则化极限学习机RELM网络模型，得到模型拟合函数：

其中，||·||_F为Frobenius范数，μ为正则化因子，μ＞0，控制损失函数和正则项之间的平衡，T为目标输出矩阵，H为输出矩阵，β为输出权重；

S102：引入辅助变量z＝Hβ将所述模型拟合函数转换成：

其中，s.t.表示条件；

S103：采用Gauss–Seidel迭代法最小化优化变量β、z上的增广拉格朗日函数：

其中，ρ为惩罚参数，ρ＞0，λ为对偶变量，z-T为训练误差；

S104：采用最大分划自适应松弛交替方向乘子法MS-ARADMM，将所述RELM网络模型处理的正则化最小二乘问题最大限度地分解为可并行执行的多个单变量子问题，其中，每个所述单变量子问题中只包含一个标量分量：

其中，λ＝[λ₁,λ₂,...,λ_L]∈R^N×L，H＝[a₁,a₂,...,a_N]∈R^N×L,a_i∈R^N，β＝[β₁,β₂,...,β_L]^T∈R^L×m,β_i∈R^m；

S105：采用自适应参数寻优方法，简化所述单变量子问题的求解过程；

S106：对多个所述单变量子问题进行求解，以得到所述正则化最小二乘问题的结果；

其中，所述S104具体包括：

S1041：定义原始残差和对偶残差来衡量算法收敛性：

其中，r_k、d_k分别代表原始残差和对偶残差；

S1042：在计算一次迭代时考虑过去迭代，通过放大等式约束残差a_iβ_i-z_i＝0，将所述公式4中的替换成/>z_i替换成/> 替换成其中，α为松弛参数；

S1043：结合松弛技术，所述RELM网络模型的求解过程转变为：

S1044：确定松弛交替方向乘子法ADMM和松弛Douglas-Rachford分裂算法之间的关系，假设在迭代k次时的局部线性模型近似为：

其中，θ_k＞0,γ_k＞0分别为f、g的局部曲率估计，ψ_k、φ_k为常数；

S1045：将线性模型拟合到目标梯度上，使得ρ和α满足此时f(x)+g(x)的残差为0；

其中，所述S105具体包括：

S1051:设置停止误差ε＝10^-5，令尺度参数σ为10^-4，给定初始点x₀，常数τ₀＝1，常数Λ＝10^-4，h₀＝A*x₀-b，迭代次数k＝0；

S1052：如果τ_k≤∈或令/>即λ＝τ_k；

S1053：若为非单调线搜索，λ_k计算公式为：

其中，ξ为步长的约束因子，ζ为(0,1)之间的随机数，用于控制步长的变化情况；

S1054：否则，λ_k计算公式为：

λ_k＝σλ 公式10

S1055：根据获得的λ_k，计算τ_k，计算公式为：

S1056：判断是否满足终止条件，若满足，输出τ_k；否则，迭代次数k加1，跳转到S1052。

2.根据权利要求1所述的大规模数据处理方法，其特征在于，在所述S104之前，包括：

S107：计算输出矩阵H和最佳输出权重β。

3.根据权利要求2所述的大规模数据处理方法，其特征在于，所述S107具体包括：

S1071：给定训练样本数据x，设置隐含层为L，随机生成输入权重w和隐含层阈值s；

S1072：根据公式12计算出极限学习机模型隐含层输出矩阵H：

其中，w_i、s_i分别为输入权重和阈值，g(·)为非线性激活函数，T为目标输出矩阵，f_L(x)为极限学习机模型输出；

S1073：引入正则化理论，使得模型训练误差和输出权重范数达到最小，则极限学习机模型中的最小二乘问题转变为所述公式1，从而得到精简的RELM网络模型；

S1074：令Hβ＝z，设置误差终止条件ε^tol＝10^-5，输出权重β、z、λ的初始值均为0，迭代次数k＝0；

S1075：利用原始残差r_k和对偶残差d_k衡量算法收敛性，设定迭代终止条件：

||r_k||≤ε^tolmax{||H*x||,||z||},||d_k||≤ε^tolmax{||λ||} 公式13

S1076：利用所述公式12求解出的输出矩阵H，结合MS-ARADMM算法，利用迭代过程求解出当前迭代次数下的最佳输出权重β，计算公式为：

S1077：判断是否满足迭代终止条件，若满足，输出最佳输出权重β；否则，迭代次数k加1，跳转到所述S1076。