CN105740208B - 一种基于admm算法的数据处理方法 - Google Patents

一种基于admm算法的数据处理方法 Download PDF

Info

Publication number
CN105740208B
CN105740208B CN201610052280.XA CN201610052280A CN105740208B CN 105740208 B CN105740208 B CN 105740208B CN 201610052280 A CN201610052280 A CN 201610052280A CN 105740208 B CN105740208 B CN 105740208B
Authority
CN
China
Prior art keywords
quadratic function
process block
lasso
matrix
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610052280.XA
Other languages
English (en)
Other versions
CN105740208A (zh
Inventor
沈辉
袁晓彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Wisdom Dragon Machinery Design Co ltd
Shanghai Niute Information Technology Co.,Ltd.
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN201610052280.XA priority Critical patent/CN105740208B/zh
Publication of CN105740208A publication Critical patent/CN105740208A/zh
Application granted granted Critical
Publication of CN105740208B publication Critical patent/CN105740208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于ADMM算法的二次函数分布式实现方法，步骤包括：启动系统，读入二次目标函数的系数矩阵A和b，将数据分为N个处理块，采用二次函数分布式更新的表达式进行其中每一个处理块的计算，各处理块计算完成后，将各处理块结果汇总，完成计算过程。本发明所提供的一种基于ADMM算法的二次函数分布式实现方法，利用了二次函数表达式和LASSO表达式之间的关系，在LASSO分布式更新的基础上推导出了二次函数的分布式更新表达式，实现了在大数据背景下，目标函数是二次函数的分布式计算，大大提高了计算速度。

Description

一种基于ADMM算法的数据处理方法
技术领域
发明涉及一种基于ADMM算法的二次函数分布式实现方法，属于信息处理技术领域。
背景技术
目前，我们已然生活在一个大数据的时代，各行各业的数据正在迅速膨胀增长，毫无疑问，如何高效合理的处理这些数据，将成为企业提高核心竞争力的关键因素。从数学角度看，大数据意味着样本量的增加以及维度的增加，在不考虑真实环境下所消耗的计算时间，数学家们已经提出了很多好的迭代算法，但是面对真实的Gb甚至是Tb以上的数据时，一般的硬件都无法满足直接运行这些算法的要求，在目前条件下，并行化、分布式计算是一种比较好的解决思路。将一个大规模问题分散到多个机器、多个核上，这些好的算法便可以大规模运用，而ADMM算法正是在解决大规模问题上起到了显而易见的效果。
ADMM算法整合了许多经典算法的优化思路，提出了一个比较好实施的分布式计算框架，简单来讲，ADMM算法充分利用了目标函数的可分离性，它将原来的问题转变成了更容易求解的若干子问题，尽管看上去未知量似乎变多了，但是实际上每一个子问题的求解都得到了大大的简化，通过交替求解子问题，最终实现原始问题的求解。针对众多不同的数学模型，研究者们已经给出了它们的分布式算法，其中就包括了LASSO(least absoluteshrinkage and selection operator)问题。然而当LASSO表达式展开之后转变成了一个二次函数问题时：尽管表达式上相近，但是LASSO的分布式更新算法已经不再适用。
二次函数模型是一个常见的数学模型，在信号处理、统计学、生物系统、人工智能等领域都有着广泛的应用。并且在统计优化领域中，很多函数模型采用梯度法来求解目标函数，而其最终的本质就是转化成对一个二次函数模型的优化，所以将二次函数模型用分布式的方式来计算实现是非常有意义的。
发明内容
本发明所要解决的技术问题是提供一种基于ADMM算法的二次函数分布式实现方法，能够实现目标函数是二次函数的分布式计算。
为解决以上技术问题，本发明采用的技术方案是：一种基于ADMM算法的二次函数分布式实现方法，步骤包括：启动系统，读入二次目标函数的系数矩阵A和b，将数据分为N个处理块，其中任一个处理块的二次函数分布式更新的表达式为：
式中，Aii可以看成是已知的矩阵A中沿着对角线上取的一个方阵，为A对应的行乘上x再除以块数，bi为b中第i个处理块对应的部分，为中间变量；λ为拉格朗日乘子，ρ>0为惩罚函数，i为第i个处理块，T为矩阵转置，k为第k次迭代，x为待求解的目标变量，xi为第i个处理块中的目标变量；
各处理块计算完成后，将各处理块结果汇总，完成计算过程。
所述二次函数分布式更新的推导过程为：
将LASSO问题表示为：
其中，B、D为中间过渡变量，
目标函数为由LASSO展开后的二次函数：
结合(4)、(5)两式：
A＝DTD；b＝-DTB (6)
根据ADMM算法给出的LASSO问题的分布式更新表达式，x更新为
其中z、u为中间过渡变量，令中间过渡变量
则二范数项可以写成如下：
(9)式中：
把(8)式代入
(11)式中，Aii是A中沿着对角线上取的一个方阵，为A对应的行乘上x再除以块数，和则分别由下面更新得到，
其中：
在实际求解过程中，只需求解如下问题：
求解(14)是一个小规模的带正则项的二次函数问题；
更新过程：
其中：
更新过程：
至此，在只知道A和b的情况下，实现了对x的更新。
本发明的有益效果在于：对于二次函数，在只给定A和b的情况下，想要求解出D和B再利用ADMM算法本身则需要相当复杂的运算，倘若A和b足够大，求解D和B未必行得通。为此，本文从二次函数和LASSO的关系出发，不采用求解D和B的方式，直接实现了对二次函数的分布式计算。
因此，本发明所提供的一种基于ADMM算法的二次函数分布式实现方法，利用了二次函数表达式和LASSO表达式之间的关系，在LASSO分布式更新的基础上推导出了二次函数的分布式更新表达式，实现了在大数据背景下，目标函数是二次函数的分布式计算，大大提高了计算速度。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示的一种基于ADMM算法的二次函数分布式实现方法，首先读入二次目标函数系数矩阵A和b，然后按照要求分成若干个块，每个块里面包含着A的一个子块对角阵，A对应块位置的一部分，b对应块位置的一部分，接着对分好的每个块进行二次函数分布式更新：
式中，Aii可以看成是已知的矩阵A中沿着对角线上取的一个方阵，为A对应的行乘上x再除以块数，bi为b中第i个处理块对应的部分，为中间变量；λ为拉格朗日乘子，ρ>0为惩罚函数，i为第i个处理块，T为矩阵转置，k为第k次迭代，x为待求解的目标变量，xi为第i个处理块中的目标变量；
最后把生成的结果按照对应位置输出。
按照稀疏表示问题里面的数据生成方式生成了一个5000*5000的对称阵来表示A，一个5000*1的矩阵来表示b，我们采用matlab中parfor实现多核处理的方式与传统的单核串行实验进行比较来验证算法的有效性，本实验的机器是64位操作系统，处理器为IntelCore i7-2600，内存为16G。
在双核实验中，将A分成两块，其中第i块标准按照如下i：2：5000，即A1抽取的是A的第1、3、5、7……4999行，A2抽取的是A的2、4、6、8……5000行，b的分法一样，Aii则是选取相应的行列上的元素组成的新的对称阵。在四核实验中，分块标准则是i：4：5000，i取1、2、3、4。
表1是实验所用时间对比。
表1实验时间对比单位：秒
串行 两个核 四个核
时间 144.0272 54.6643 26.8056
目标值 -7.0762 -7.0703 -7.0316
从实验结果可以看出，在目标值相当的情况下，利用分布式计算能够大大减少实验所用时间，在大数据时代，本文提出的算法无疑为目标函数是二次函数的分布式计算提供了一个可行的方法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种基于ADMM算法的数据处理方法，其特征在于：步骤包括：建立Lasso展开后的目标函数：
按照稀疏表示将数据生成一个n*n的对称阵来表示A，一个n*1的矩阵表示b，将数据矩阵A与b平均分为N个处理块，将N个处理块分配到N个处理器中进行计算，对每个处理块进行二次函数分布式更新，过程如下：
式中，Aii可以看成是已知的矩阵A中沿着对角线上取的一个方阵，为A对应的行乘上x再除以块数，bi为b中第i个处理块对应的部分，为中间变量；λ为拉格朗日乘子，ρ>0为惩罚函数，i为第i个处理块，T为矩阵转置，k为第k次迭代，x为待求解的目标变量，xi为第i个处理块中的目标变量；
各处理块计算完成后，将各处理块结果汇总，将生成的结果按照对应位置输出。
2.如权利要求1所述的一种基于ADMM算法的数据处理方法，其特征在于：所述二次函数分布式更新的推导过程为：
将LASSO问题表示为：
其中，B、D为中间过渡变量，
目标函数为由LASSO展开后的二次函数：
结合(4)、(5)两式：
A＝DTD；b＝-DTB (6)
根据ADMM算法给出的LASSO问题的分布式更新表达式，x更新为
其中z、u为中间过渡变量，令中间过渡变量
则二范数项可以写成如下：
(9)式中：
把(8)式代入
(11)式中，Aii是A中沿着对角线上取的一个方阵，为A对应的行乘上x再除以块数，和则分别由下面更新得到，
其中：
在实际求解过程中，只需求解如下问题：
求解(14)是一个小规模的带正则项的二次函数问题；
更新过程：
其中：
更新过程：
至此，在只知道A和b的情况下，实现了对x的更新。
CN201610052280.XA 2016-01-26 2016-01-26 一种基于admm算法的数据处理方法 Active CN105740208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610052280.XA CN105740208B (zh) 2016-01-26 2016-01-26 一种基于admm算法的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610052280.XA CN105740208B (zh) 2016-01-26 2016-01-26 一种基于admm算法的数据处理方法

Publications (2)

Publication Number Publication Date
CN105740208A CN105740208A (zh) 2016-07-06
CN105740208B true CN105740208B (zh) 2019-05-14

Family

ID=56247671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610052280.XA Active CN105740208B (zh) 2016-01-26 2016-01-26 一种基于admm算法的数据处理方法

Country Status (1)

Country Link
CN (1) CN105740208B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106769040B (zh) * 2016-12-14 2019-02-26 上海工程技术大学 一种轴承振动信号稀疏重构的方法
CN109271134B (zh) * 2018-12-13 2020-08-25 上海燧原科技有限公司 超越函数运算方法及装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063897A (zh) * 2014-06-28 2014-09-24 南京理工大学 基于图稀疏正则化的卫星高光谱图像压缩感知重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760534B2 (en) * 2014-02-20 2017-09-12 Mitsubishi Electric Research Laboratories, Inc. Optimal parameter selection and acceleration in ADMM for multi-stage stochastic convex quadratic programs
US9753892B2 (en) * 2014-02-20 2017-09-05 Mitsubishi Electric Research Laboratories, Inc. Method for solving quadratic programs for convex sets with linear equalities by an alternating direction method of multipliers with optimized step sizes

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063897A (zh) * 2014-06-28 2014-09-24 南京理工大学 基于图稀疏正则化的卫星高光谱图像压缩感知重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
量子系统状态估计及其跟踪控制;张慧;《CNKI优秀硕士学位论文集》;20150930;全文

Also Published As

Publication number Publication date
CN105740208A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
Burau et al. PIConGPU: a fully relativistic particle-in-cell code for a GPU cluster
Göddeke et al. Cyclic reduction tridiagonal solvers on GPUs applied to mixed-precision multigrid
CN104636273B (zh) 一种带多级Cache的SIMD众核处理器上的稀疏矩阵存储方法
Bali et al. Charmonium spectroscopy and mixing with light quark and open charm states from n F= 2 lattice QCD
Shojaei et al. A hybrid meshfree discretization to improve the numerical performance of peridynamic models
CN108170639A (zh) 基于分布式环境的张量cp分解实现方法
CN109726441B (zh) 体和面混合gpu并行的计算电磁学dgtd方法
CN105740208B (zh) 一种基于admm算法的数据处理方法
Anzt et al. Batched generation of incomplete sparse approximate inverses on GPUs
Zhou et al. FASTCF: FPGA-based accelerator for stochastic-gradient-descent-based collaborative filtering
CN108257172B (zh) 基于Hadoop的集成电路版图开路关键面积提取方法
Arriola et al. Fixed points of the SRG evolution and the on-shell limit of the nuclear force
Wang et al. EI-MOR: A hybrid exponential integrator and model order reduction approach for transient power/ground network analysis
Partimbene et al. Asynchronous multi-splitting method for linear and pseudo-linear problems
Shen et al. Distributed sparse bundle adjustment algorithm based on three-dimensional point partition and asynchronous communication
Li et al. Analysis on intersections between fractures by parallel computation
Yang et al. A novel class of explicit divergence-free time-domain methods for efficiently solving Maxwell's equations
XuBen A parallel preconditioned Bi-Conjugate Gradient stabilized solver for the Poisson problem
Zhang et al. The novel implicit LU-SGS parallel iterative method based on the diffusion equation of a nuclear reactor on a GPU cluster
CN105844009A (zh) 高效稀疏矩阵存储及油藏数值模拟的方法和装置
Agullo et al. Recent advances in sparse direct solvers
Xiao et al. Architecting the Discontinuous Deformation Analysis Method Pipeline on the GPU
Ter-Kazarian A new look at some aspects of geometry, particle physics, inertia, radiation and cosmology
Meng et al. A Flexible Global GCRO-DR Method for Shifted Linear Systems and General Coupled Matrix Equations
Cao et al. A new scalable parallel method for molecular dynamics based on cell-block data structure

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 210019 No. 219 Ningliu Road, Jiangbei New District, Nanjing City, Jiangsu Province

Patentee after: Nanjing University of Information Science and Technology

Address before: The Olympic Avenue in Jianye District of Nanjing city of Jiangsu Province, No. 69 210019

Patentee before: Nanjing University of Information Science and Technology

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221117

Address after: No. 58, Lane 666, Xianing Road, Jinshan Industrial Zone, Jinshan District, Shanghai, 200540_ Room 4018, No. 59

Patentee after: Shanghai Niute Information Technology Co.,Ltd.

Address before: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province

Patentee before: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd.

Effective date of registration: 20221117

Address after: 230000 b-1018, Woye Garden commercial office building, 81 Ganquan Road, Shushan District, Hefei City, Anhui Province

Patentee after: HEFEI WISDOM DRAGON MACHINERY DESIGN Co.,Ltd.

Address before: No. 219, ningliu Road, Jiangbei new district, Nanjing, Jiangsu 210019

Patentee before: Nanjing University of Information Science and Technology