CN106339351A - 一种sgd算法优化系统及方法 - Google Patents

一种sgd算法优化系统及方法 Download PDF

Info

Publication number
CN106339351A
CN106339351A CN201610780375.3A CN201610780375A CN106339351A CN 106339351 A CN106339351 A CN 106339351A CN 201610780375 A CN201610780375 A CN 201610780375A CN 106339351 A CN106339351 A CN 106339351A
Authority
CN
China
Prior art keywords
calculation
data
fpga
sgd
sgd algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610780375.3A
Other languages
English (en)
Other versions
CN106339351B (zh
Inventor
王丽
陈继承
王洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201610780375.3A priority Critical patent/CN106339351B/zh
Publication of CN106339351A publication Critical patent/CN106339351A/zh
Application granted granted Critical
Publication of CN106339351B publication Critical patent/CN106339351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种SGD算法优化系统及方法，该系统包括：多个基于FPGA的分布式计算节点和一个基于CPU的中心计算节点，其中，各分布式计算节点用于通过对应的FPGA中的并行数据通路对SGD算法中的待处理数据进行并行计算；中心计算节点用于对数据处理任务进行分配和调度。中心计算节点可以根据每个分布式计算节点的结构特点来为其分配不同的计算任务，提高了分布式计算节点的计算性能、能效比和计算实时性，各分布式计算节点之间无需进行数据交换，减少了计算集群的网络开销。分布式计算节点基于FPGA，中心计算节点基于CPU，这就形成了异构计算平台，通过对SGD算法进行并行化设计，对Spark框架下的SGD算法进行了极大的优化，提高SGD算法处理海量数据的整体性能。

Description

一种SGD算法优化系统及方法
技术领域
本发明涉及大数据处理领域，特别是涉及一种SGD算法优化系统及方法。
背景技术
随着信息技术的发展，目前已经进入了大数据时代。许多机器学习算法可以转化为凸函数优化问题，即为一个回归函数找到最小值的任务，其最简单的方法就是梯度下降。而随机梯度下降(SGD)算法是机器学习算法中用于凸函数优化问题的典型算法。
在Spark大数据处理框架中，SGD算法的处理思想是：首先随机初始化函数的梯度值和权重值，并运用参数指定全集数据的一个随机抽样子集，然后计算子集中数据点的梯度的平均值，即得到一个随机子梯度，利用计算的梯度值更新函数的权重值。然而，在Spark大数据平台下，SGD算法的数据集抽样和梯度计算采用并行化操作，使得各计算节点服务器需要承担较大的数据计算量，且分布式计算环境下，各计算节点间需要进行数据交换(shuffle操作)来更新随机梯度值和权重值，增大了计算集群的网络开销。
因此，如何对Spark框架下的SGD算法进行优化，提高SGD算法处理海量数据的整体性能，是本领域技术人员目前需要解决的技术问题。
发明内容
本发明的目的是提供一种SGD算法优化系统及方法，可以对Spark框架下的SGD算法进行优化，提高SGD算法处理海量数据的整体性能。
为解决上述技术问题，本发明提供了如下技术方案：
一种SGD算法优化系统，包括：多个基于FPGA的分布式计算节点和一个基于CPU的中心计算节点，其中，各所述分布式计算节点用于通过对应的FPGA中的并行数据通路对SGD算法中的待处理数据进行并行计算；所述中心计算节点用于对数据处理任务进行分配和调度。
优选地，还包括：
OpenCL编程模型模块，用于对各所述分布式计算节点和所述中心计算节点进行算法调试。
优选地，所述分布式计算节点包括：
梯度计算单元，用于对所述SGD算法中的待处理数据的样本点进行子梯度计算；
权值更新计算单元，用于对所述SGD算法中的待处理数据的样本点进行权重值更新计算。
优选地，所述中心计算节点包括：
计算结果合并收集单元，用于对各所述分布式计算节点的子梯度计算结果和权重值更新计算结果进行收集合并；
广播单元，用于将所述计算结果合并收集单元收集合并的结果信息广播至各所述分布式计算节点。
优选地，还包括：
数据获取模块，用于获取所述SGD算法中的信息数据，并将符合预设的并行计算条件且计算量超过预设阈值的信息数据作为待处理数据引入至各所述分布式计算节点。
一种SGD算法优化方法，包括：
获取SGD算法中的待处理数据；
通过FPGA加速设备以多条并行数据通路对所述待处理数据进行并行计算；
获取所述并行计算的计算结果，并反馈对应的计算结果反馈信息控制所述FPGA加速设备对所述待处理数据进行并行计算。
优选地，所述获取SGD算法中的待处理数据，包括：
随机初始化SGD算法中函数的梯度值和权重值；
运用参数指定所述SGD算法的全集数据的一个随机抽样子集，记为所述待处理数据。
优选地，所述通过FPGA加速设备以多条并行数据通路对所述待处理数据进行并行计算，包括：
通过基于OpenCL标准的FPGA加速设备，以多条并行数据通路计算所述随机抽样子集中的数据点的梯度的平均值，记为子梯度值；
根据所述子梯度值更新所述函数的权重值。
优选地，所述获取所述并行计算的计算结果，并反馈对应的计算结果反馈信息控制所述FPGA加速设备对所述待处理数据进行并行计算，包括：
对各所述并行数据通路计算所得的子梯度值的计算结果和权重值的更新结果进行收集合并；
将收集合并后所得的新的梯度值和权重值反馈至所述FPGA加速设备，进行迭代计算，直至达到最高迭代次数限制或权值收敛。
与现有技术相比，上述技术方案具有以下优点：
本发明所提供的一种SGD算法优化系统，包括：多个基于FPGA的分布式计算节点和一个基于CPU的中心计算节点，其中，各分布式计算节点用于通过对应的FPGA中的并行数据通路对SGD算法中的待处理数据进行并行计算；中心计算节点用于对数据处理任务进行分配和调度。由于采用中心计算节点来对数据处理任务进行分配和调度，可以根据每个分布式计算节点的结构特点来为其分配不同的计算任务，提高了分布式计算节点的计算性能、能效比和计算实时性，各分布式计算节点之间无需进行数据交换，减少了计算集群的网络开销。分布式计算节点基于FPGA，中心计算节点基于CPU，这就形成了异构计算平台，通过对SGD算法进行并行化设计，对Spark框架下的SGD算法进行了极大的优化，提高SGD算法处理海量数据的整体性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种具体实施方式所提供的SGD算法优化系统结构示意图；
图2为本发明一种具体实施方式所提供的SGD算法优化方法流程图。
具体实施方式
本发明的核心是提供一种SGD算法优化系统及方法，可以对Spark框架下的SGD算法进行优化，提高SGD算法处理海量数据的整体性能。
为了使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施的限制。
请参考图1，图1为本发明一种具体实施方式所提供的SGD算法优化系统结构示意图。
本发明的一种具体实施方式提供了一种SGD算法优化系统，包括：多个基于FPGA的分布式计算节点1和一个基于CPU的中心计算节点2，其中，各分布式计算节点1用于通过对应的FPGA中的并行数据通路对SGD算法中的待处理数据进行并行计算；中心计算节点2用于对数据处理任务进行分配和调度。
在本实施方式中，由于采用中心计算节点来对数据处理任务进行分配和调度，可以根据每个分布式计算节点的结构特点来为其分配不同的计算任务，提高了分布式计算节点的计算性能、能效比和计算实时性，各分布式计算节点之间无需进行数据交换，减少了计算集群的网络开销。分布式计算节点基于FPGA，中心计算节点基于CPU，这就形成了异构计算平台，通过对SGD算法进行并行化设计，对Spark框架下的SGD算法进行了极大的优化，提高SGD算法处理海量数据的整体性能。
在上述实施方式的基础上，本发明一种实施方式中，该优化系统还包括：OpenCL编程模型模块，用于对各分布式计算节点和中心计算节点进行算法调试。
其中，优选地，分布式计算节点包括：梯度计算单元，用于对SGD算法中的待处理数据的样本点进行子梯度计算；权值更新计算单元，用于对SGD算法中的待处理数据的样本点进行权重值更新计算。
中心计算节点包括：计算结果合并收集单元，用于对各分布式计算节点的子梯度计算结果和权重值更新计算结果进行收集合并；广播单元，用于将计算结果合并收集单元收集合并的结果信息广播至各分布式计算节点，进行迭代，直至达到最高迭代次数限制或者权值收敛。
进一步地，还包括：数据获取模块，用于获取SGD算法中的信息数据，并将符合预设的并行计算条件且计算量超过预设阈值的信息数据作为待处理数据引入至各分布式计算节点。
在本实施方式中，以FPGA+CPU形成的异构计算平台为基础对SGD算法进行优化。尤其是OpenCL编程模型模块采用OpenCL高层次编程模型对SGD算法中适合并行化描述且耗时的计算部分进行并行优化设计，然后将对应的代码移植到异构计算平台中执行计算。FPGA作为分布式计算节点负责SGD算法中样本点的子梯度计算和权重值的更新计算，CPU作为中心计算节点负责子梯度计算结果以及权重值更新结果的收集合并，在降低整个系统功耗的同时，提升了SGD算法的计算性能。这是由于异构计算能够根据每个计算子系统的结构特点为其分配不同的计算任务，而FPGA是一种可编程的专用处理器，由可编程的逻辑块和互联网组成，可在不同逻辑执行多个线程，实现流水线并行处理，具有较强的并行处理能力，因而通过对复杂的SGD算法进行并行化处理可以提升该算法的计算性能。
为了缩短FPGA的开发周期，本实施方式采用OpenCL编程模型。OpenCL是针对异构计算装置所设计的标准API以及程式语言。FPGA采用OpenCL高级语言的算法调试模式，可直接写入FPGA进行程序验证。
此外，本实施方式将SGD算法中适合并行计算且计算量较大的数据点的梯度计算和权值更新计算引入到FPGA器件中，而基于FPGA的计算平台的一个特征即是内存计算，即需要将尽可能多的待处理数据传输至FPGA的板载内存，由FPGA进行细粒度的并行计算，无需在主存储器保存，降低了存储器的读取开销，数据处理延时较低。
请参考图2，图2为本发明一种具体实施方式所提供的SGD算法优化方法流程图。
相应地，本发明一种实施方式还提供了一种SGD算法优化方法，包括：
S11：获取SGD算法中的待处理数据。
其中，获取SGD算法中的待处理数据，包括：
随机初始化SGD算法中函数的梯度值和权重值；
运用参数指定SGD算法的全集数据的一个随机抽样子集，记为待处理数据。
S12：通过FPGA加速设备以多条并行数据通路对待处理数据进行并行计算。
进一步地，通过FPGA加速设备以多条并行数据通路对待处理数据进行并行计算，包括：
通过基于OpenCL标准的FPGA加速设备，以多条并行数据通路计算随机抽样子集中的数据点的梯度的平均值，记为子梯度值；
根据子梯度值更新函数的权重值。
在本实施方式中，FPGA加速设备包括多条并行数据通路，即包括多组并行执行的内核流水线，以对SGD算法中的循环操作，采用循环流水线化以及循环展开并行化方法进行性能优化，其中，每隔内核流水线可以同时应用于多个执行通路，即通过算法级的描述实现在原有的单流水线基础上进行流水线复制，形成多流水线架构。且在FPGA加速设备中，每次计算的结果无需在主存储器中进行保存，降低了存储器读取延迟。
S13：获取并行计算的计算结果，并反馈对应的计算结果反馈信息控制FPGA加速设备对待处理数据进行并行计算。
获取并行计算的计算结果，并反馈对应的计算结果反馈信息控制FPGA加速设备对待处理数据进行并行计算，包括：
对各并行数据通路计算所得的子梯度值的计算结果和权重值的更新结果进行收集合并；
将收集合并后所得的新的梯度值和权重值反馈至FPGA加速设备，进行迭代计算，直至达到最高迭代次数限制或权值收敛。
在本实施方式中，将收集合并后所得的新的梯度值和权重值反馈至FPGA加速设备，进行迭代计算，通过循环迭代，重新获取随机抽样子集并进行梯度和权值的更新操作，直至达到最高迭代次数限制或权值收敛，即算法达到收敛，优化操作结束。
综上所述，本发明所提供的一种SGD算法优化系统及方法，将SGD算法中适合并行计算且计算量较大的数据点的梯度计算和权值更新计算引入到FPGA器件中，而基于FPGA的计算平台的一个特征即是内存计算，即需要将尽可能多的待处理数据传输至FPGA的板载内存，由FPGA进行细粒度的并行计算，无需在主存储器保存，降低了存储器的读取开销，数据处理延时较低。FPGA作为分布式计算节点负责SGD算法中样本点的子梯度计算和权重值的更新计算，CPU作为中心计算节点负责子梯度计算结果以及权重值更新结果的收集合并，在降低整个系统功耗的同时，提升了SGD算法的计算性能。
以上对本发明所提供的一种SGD算法优化系统及方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (9)

1.一种SGD算法优化系统，其特征在于，包括：多个基于FPGA的分布式计算节点和一个基于CPU的中心计算节点，其中，各所述分布式计算节点用于通过对应的FPGA中的并行数据通路对SGD算法中的待处理数据进行并行计算；所述中心计算节点用于对数据处理任务进行分配和调度。
2.根据权利要求1所述的系统，其特征在于，还包括：
OpenCL编程模型模块，用于对各所述分布式计算节点和所述中心计算节点进行算法调试。
3.根据权利要求2所述的系统，其特征在于，所述分布式计算节点包括：
梯度计算单元，用于对所述SGD算法中的待处理数据的样本点进行子梯度计算；
权值更新计算单元，用于对所述SGD算法中的待处理数据的样本点进行权重值更新计算。
4.根据权利要求3所述的系统，其特征在于，所述中心计算节点包括：
计算结果合并收集单元，用于对各所述分布式计算节点的子梯度计算结果和权重值更新计算结果进行收集合并；
广播单元，用于将所述计算结果合并收集单元收集合并的结果信息广播至各所述分布式计算节点。
5.根据权利要求1至4任一项所述的系统，其特征在于，还包括：
数据获取模块，用于获取所述SGD算法中的信息数据，并将符合预设的并行计算条件且计算量超过预设阈值的信息数据作为待处理数据引入至各所述分布式计算节点。
6.一种SGD算法优化方法，其特征在于，包括：
获取SGD算法中的待处理数据；
通过FPGA加速设备以多条并行数据通路对所述待处理数据进行并行计算；
获取所述并行计算的计算结果，并反馈对应的计算结果反馈信息控制所述FPGA加速设备对所述待处理数据进行并行计算。
7.根据权利要求6所述的方法，其特征在于，所述获取SGD算法中的待处理数据，包括：
随机初始化SGD算法中函数的梯度值和权重值；
运用参数指定所述SGD算法的全集数据的一个随机抽样子集，记为所述待处理数据。
8.根据权利要求7所述的方法，其特征在于，所述通过FPGA加速设备以多条并行数据通路对所述待处理数据进行并行计算，包括：
通过基于OpenCL标准的FPGA加速设备，以多条并行数据通路计算所述随机抽样子集中的数据点的梯度的平均值，记为子梯度值；
根据所述子梯度值更新所述函数的权重值。
9.根据权利要求8所述的方法，其特征在于，所述获取所述并行计算的计算结果，并反馈对应的计算结果反馈信息控制所述FPGA加速设备对所述待处理数据进行并行计算，包括：
对各所述并行数据通路计算所得的子梯度值的计算结果和权重值的更新结果进行收集合并；
将收集合并后所得的新的梯度值和权重值反馈至所述FPGA加速设备，进行迭代计算，直至达到最高迭代次数限制或权值收敛。
CN201610780375.3A 2016-08-30 2016-08-30 一种sgd算法优化系统及方法 Active CN106339351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610780375.3A CN106339351B (zh) 2016-08-30 2016-08-30 一种sgd算法优化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610780375.3A CN106339351B (zh) 2016-08-30 2016-08-30 一种sgd算法优化系统及方法

Publications (2)

Publication Number Publication Date
CN106339351A true CN106339351A (zh) 2017-01-18
CN106339351B CN106339351B (zh) 2019-05-10

Family

ID=57823788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610780375.3A Active CN106339351B (zh) 2016-08-30 2016-08-30 一种sgd算法优化系统及方法

Country Status (1)

Country Link
CN (1) CN106339351B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241472A (zh) * 2017-12-01 2018-07-03 北京大学 一种支持局部性表达函数的大数据处理方法和系统
CN108628800A (zh) * 2018-05-08 2018-10-09 济南浪潮高新科技投资发展有限公司 一种动态可重构的智能计算集群及其配置方法
CN108829517A (zh) * 2018-05-31 2018-11-16 中国科学院计算技术研究所 一种用于在集群环境下进行机器学习的训练方法和系统
CN108932212A (zh) * 2018-07-16 2018-12-04 郑州云海信息技术有限公司 一种基于异构计算芯片的数据处理方法、系统及相关组件
CN109388772A (zh) * 2018-09-04 2019-02-26 河海大学 一种基于时间的大规模图均衡k划分的禁忌搜索方法
CN111090611A (zh) * 2018-10-24 2020-05-01 上海雪湖信息科技有限公司 一种基于fpga的小型异构分布式计算系统
CN111488051A (zh) * 2020-03-06 2020-08-04 复旦大学 基于cpu和fpga协同计算的云端深度神经网络优化方法
CN111858058A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 基于并行计算的sgd负载均衡方法、装置及存储介质
CN112966438A (zh) * 2021-03-05 2021-06-15 北京金山云网络技术有限公司 机器学习算法选择方法、分布式计算系统
CN113065642A (zh) * 2021-04-09 2021-07-02 中电科数字科技(集团)有限公司 一种基于异构计算的人工智能加速方法及系统
US11568171B2 (en) 2020-12-01 2023-01-31 International Business Machines Corporation Shuffling-type gradient method for training machine learning models with big data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142845A (zh) * 2014-07-21 2014-11-12 中国人民解放军信息工程大学 基于OpenCL-To-FPGA的CT图像重建反投影加速方法
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
CN105046382A (zh) * 2015-09-16 2015-11-11 浪潮(北京)电子信息产业有限公司 异构系统并行随机森林优化方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142845A (zh) * 2014-07-21 2014-11-12 中国人民解放军信息工程大学 基于OpenCL-To-FPGA的CT图像重建反投影加速方法
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
CN105046382A (zh) * 2015-09-16 2015-11-11 浪潮(北京)电子信息产业有限公司 异构系统并行随机森林优化方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
夏飞等: "基于ＦＰＧＡ的非编码ＲＮＡ基因检测算法加速器研究", 《计算机工程与科学》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241472B (zh) * 2017-12-01 2021-03-12 北京大学 一种支持局部性表达函数的大数据处理方法和系统
CN108241472A (zh) * 2017-12-01 2018-07-03 北京大学 一种支持局部性表达函数的大数据处理方法和系统
CN108628800A (zh) * 2018-05-08 2018-10-09 济南浪潮高新科技投资发展有限公司 一种动态可重构的智能计算集群及其配置方法
CN108829517A (zh) * 2018-05-31 2018-11-16 中国科学院计算技术研究所 一种用于在集群环境下进行机器学习的训练方法和系统
CN108829517B (zh) * 2018-05-31 2021-04-06 中国科学院计算技术研究所 一种用于在集群环境下进行机器学习的训练方法和系统
CN108932212A (zh) * 2018-07-16 2018-12-04 郑州云海信息技术有限公司 一种基于异构计算芯片的数据处理方法、系统及相关组件
CN109388772A (zh) * 2018-09-04 2019-02-26 河海大学 一种基于时间的大规模图均衡k划分的禁忌搜索方法
CN111090611A (zh) * 2018-10-24 2020-05-01 上海雪湖信息科技有限公司 一种基于fpga的小型异构分布式计算系统
CN111488051A (zh) * 2020-03-06 2020-08-04 复旦大学 基于cpu和fpga协同计算的云端深度神经网络优化方法
CN111858058A (zh) * 2020-07-24 2020-10-30 成都成信高科信息技术有限公司 基于并行计算的sgd负载均衡方法、装置及存储介质
US11568171B2 (en) 2020-12-01 2023-01-31 International Business Machines Corporation Shuffling-type gradient method for training machine learning models with big data
CN112966438A (zh) * 2021-03-05 2021-06-15 北京金山云网络技术有限公司 机器学习算法选择方法、分布式计算系统
CN113065642A (zh) * 2021-04-09 2021-07-02 中电科数字科技(集团)有限公司 一种基于异构计算的人工智能加速方法及系统
CN113065642B (zh) * 2021-04-09 2023-04-07 中电科数字科技(集团)有限公司 一种基于异构计算的人工智能加速方法及系统

Also Published As

Publication number Publication date
CN106339351B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
CN106339351A (zh) 一种sgd算法优化系统及方法
CN102063336B (zh) 一种分布式计算多应用功能异步并发调度方法
CN103279392B (zh) 一种云计算环境下虚拟机上运行的负载分类方法
CN100449497C (zh) 并行计算机和定位并行计算机中硬件故障的方法
CN103401939A (zh) 一种采用混合调度策略的负载均衡方法
CN107193652A (zh) 容器云环境中流数据处理系统的弹性资源调度方法及系统
CN107908536B (zh) Cpu-gpu异构环境中对gpu应用的性能评估方法及系统
CN103823706B (zh) 一种基于RTLinux的被控对象模型模拟仿真实时调度方法
CN102855153B (zh) 面向片式多核处理器的流编译优化方法
CN105912401A (zh) 一种分布式数据批处理系统和方法
CN102360313B (zh) 片上异构多核计算平台的性能加速方法
CN112685153A (zh) 微服务调度方法、装置以及电子设备
US20120315966A1 (en) Scheduling method and system, computing grid, and corresponding computer-program product
CN109739833A (zh) 一种基于fpga的国产平台数据库加速系统及方法
CN104820636A (zh) 一种并行的基于蚁群算法的测试用例序列生成方法
CN110231986A (zh) 基于多fpga的动态可重配置的多任务调度和放置方法
CN109918199A (zh) 基于gpu的分布式图处理系统
CN104375882A (zh) 匹配于高性能计算机结构的多级嵌套数据驱动计算方法
CN103941662A (zh) 一种基于云计算的任务调度系统和调度方法
CN112948123B (zh) 一种基于Spark的网格水文模型分布式计算方法
CN101860752A (zh) 一种针对嵌入式多核系统的视频编码流水化并行方法
CN103677960A (zh) 一种能耗约束的虚拟机博弈重放置方法
Kunz et al. Multi-level parallelism for time-and cost-efficient parallel discrete event simulation on gpus
CN101957760A (zh) 一种过程执行时间的测定方法
CN111176831B (zh) 基于多线程共享内存通信的动态线程映射优化方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant