CN105159610B - 大规模数据处理系统及方法 - Google Patents

大规模数据处理系统及方法 Download PDF

Info

Publication number
CN105159610B
CN105159610B CN201510551644.4A CN201510551644A CN105159610B CN 105159610 B CN105159610 B CN 105159610B CN 201510551644 A CN201510551644 A CN 201510551644A CN 105159610 B CN105159610 B CN 105159610B
Authority
CN
China
Prior art keywords
node
computing
basic data
control node
gpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510551644.4A
Other languages
English (en)
Other versions
CN105159610A (zh
Inventor
高永虎
张清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Beijing Electronic Information Industry Co Ltd
Original Assignee
Inspur Beijing Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Beijing Electronic Information Industry Co Ltd filed Critical Inspur Beijing Electronic Information Industry Co Ltd
Priority to CN201510551644.4A priority Critical patent/CN105159610B/zh
Publication of CN105159610A publication Critical patent/CN105159610A/zh
Application granted granted Critical
Publication of CN105159610B publication Critical patent/CN105159610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种大规模数据处理系统和方法,应用于中央处理器与图形处理器混合异构集群,包括至少一个共享存储节点、一个控制节点和多个计算节点,通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接,由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点,使得各计算节点的负载均衡,由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算,并返回计算后的结果给控制节点,优化了数据传输过程,缩短了计算时间,从而最大限度的利用现有系统的性能,使得整个系统效率大幅提升,不需受限于网络带宽不足、内存容量小等情况,满足了高性能应用对于大规模数据进行处理的要求。

Description

大规模数据处理系统及方法
技术领域
本发明涉及大规模数据处理技术,尤指一种大规模数据处理系统及方法。
背景技术
目前,处于数据大爆炸的时代,信息数据越来越多,人们对信息数据的处理能力的要求也越来越高,不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算,金融、政府信息化、教育、企业、网络游戏、人工智能等更广泛的领域对高性能计算的需求迅猛增长,而计算速度对于高性能计算尤为重要。
现有技术中,高性能计算朝多核、众核发展,通常采用中央处理器(CentralProcessing Unit,简称:CPU)与图形处理器(Graphics Processing Unit,简称:GPU)异构协同计算模式,提升应用计算速度。
但是,现有的数据处理系统和方法受限于网络带宽、系统内存等性能的影响无法满足大规模数据的处理需求。
发明内容
为了解决上述技术问题,本发明提供了一种大规模数据处理系统及方法,能够对大规模数据包进行统筹规划并优化数据传输环节,最大限度的的利用现有系统的性能,使得各计算节点的负载均衡,缩短了计算时间,提升整个系统效率。
第一方面,本发明提供一种大规模数据处理系统,应用于中央处理器与图形处理器混合异构集群,包括:至少一个共享存储节点、一个控制节点和多个计算节点,所述共享存储节点、控制节点和多个计算节点通过高速网络相互连接;其中,
所述共享存储节点用于存储所有需要处理的数据包,所述数据包由多个基本数据块组成;
所述控制节点用于给各所述计算节点分配计算任务,接收各所述计算节点计算后的结果;
所述计算节点用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算,发送计算后的结果给所述控制节点。
第二方面,本发明提供一种大规模数据处理方法,应用于大规模数据处理系统,所述大规模数据处理系统包括:至少一个共享存储节点、一个控制节点和多个计算节点,所述共享存储节点、所述控制节点和多个所述计算节点通过高速网络相互连接,所述方法包括:
所述共享存储节点存储所有需要处理的数据包,所述数据包由多个基本数据块组成;
所述控制节点给各计算节点分配计算任务,接收各所述计算节点计算后的结果;
所述计算节点根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算,发送计算后的结果给所述控制节点。
与现有技术相比,本发明提供的一种大规模数据处理系统和方法,应用于中央处理器与图形处理器混合异构集群,包括至少一个共享存储节点、一个控制节点和多个计算节点,通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接,由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点,使得各计算节点的负载均衡,由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算,并返回计算后的结果给控制节点,优化了数据传输过程,缩短了计算时间,从而最大限度的利用现有系统的性能,使得整个系统效率大幅提升,不需受限于网络带宽不足、内存容量小等情况,满足了高性能应用对于大规模数据进行处理的要求。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1为本发明实施例提供的大规模数据处理系统实施例一的拓扑结构示意图;
图2为本发明实施例提供的大规模数据处理系统实施例一的网络通信示意图;
图3为本发明实施例提供的大规模数据处理方法实施例一的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例涉及的大规模数据处理系统,应用于中央处理器与图形处理器混合异构集群,具体可以是计算机集群或者服务器集群上,但并不以此为限。
本发明实施例涉及的系统和方法,旨在解决现有技术中数据处理系统和方法受限于网络带宽、系统内存等性能的影响无法满足大规模数据处理的需求的技术问题。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的大规模数据处理系统实施例一的结构示意图,图2为本发明实施例提供的大规模数据处理系统实施例一的网络通信示意图,如图1-图2所示,大规模数据处理系统包括:至少一个共享存储节点10、一个控制节点20和多个计算节点30,所述共享存储节点10、控制节点20和多个计算节点30通过高速网络40相互连接,可选的,该高速网络40可以是Myrinet、QsNet、SCI以及Infiniband等多种专用网络,但并不限于此。
所述共享存储节点10用于存储所有需要处理的大规模数据包,所述数据包由多个基本数据块组成。
具体的,根据需要处理的数据的容量,可以设置一个或者多个共享存储节点10,该共享存储节点10可分为主存储和备份存储(图中未示出),设计备份存储作为冗余设计,用于存储与主存储一样的数据,存储所有需要处理的大规模数据包,大规模数据通常具有数据量大而且种类多的特点,由几千甚至上万个基本数据块组成,通过高速网络40与各计算节点30相连,布式共享给各计算节点,便于对数据进行高效管理,提高了各计算节点30对数据的访问效率。
所述控制节点20用于给各所述计算节点30分配计算任务,接收各所述计算节点30计算后的结果。
具体的,控制节点20根据所述共享存储节点中的大规模数据包以及各计算节点30已有的计算任务作为参考信息,在系统运行过程中,根据各计算节点30的负载状态,随时调整计算任务的分配,使得各计算节点30尽可能保持负载的平衡,所述控制节点20接收到各计算节点30计算后的结果,可以在第一时间了解各计算节点30的计算情况,以便更好地对计算任务进行调度调整,以提高系统的运行效率。
所述计算节点30用于根据所分配的计算任务从所述共享存储节点10读取相应的所述基本数据块进行计算,发送计算后的结果给所述控制节点20。
具体的,计算节点30的数量可以根据需要处理的大规模数据包的内存空间来进行设置,具有一定的扩展性,可以根据情况,增加或者删除相应的计算节点30,但并不限于此。每一个计算节点30会根据控制节点20划分的计算任务,从所述共享存储节点10中的读取相应的基本数据块进行计算,并把计算后的结果发送给控制节点20。
本发明实施例提供的大规模数据处理系统,应用于中央处理器与图形处理器混合异构集群,包括至少一个共享存储节点、一个控制节点和多个计算节点,通过高速网络将所述共享存储节点、控制节点和多个计算节点相连接,由控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点,使得各计算节点的负载均衡,由各计算节点直接从共享存储节点中读取相应的基本数据块进行计算,并返回计算后的结果给控制节点,优化了数据传输过程,缩短了计算时间,从而最大限度的的利用现有系统的性能,使得整个系统效率大幅提升,不需受限于网络带宽不足、内存容量小等情况,满足了高性能应用对于大规模数据进行处理的要求。
进一步地,所述控制节点20用于给各所述计算节点30分配计算任务之前,还用于:确定各所述计算节点30的数据处理能力,所述数据处理能力包括:各所述计算节点30包含的GPU设备的数量、高速网络通信的能力和计算数据的能力。
具体的,控制节点20会收集各计算节点30的GPU设备的数量,根据各计算节点30包含的GPU设备的数量,根据实际情况可以从通信速率、计算速度等反映每个GPU设备的网络通信能力和计算数据的能力,从而更好地分配合适的计算任务给各计算节点30,一般计算节点30包含的GPU设备数量越多,相应的该计算节点30的数据处理能力越强。
进一步地,所述控制节点20包括:至少一个CPU设备210、多个GPU设备220和本地存储模块230,其中,一个CPU作为一个CPU设备210,一块GPU作为一个GPU设备220。
所述CPU设备210用于给各所述计算节点30分配计算任务,包括:用根据各所述计算节点30的数据处理能力确定相应的计算任务,分别发送命令参数给各所述计算节点30的CPU设备310,所述命令参数包含各所述计算节点30需要计算的所述基本数据块的数量和寻址信息。
具体的,为了更好地说明本实施例,举例说明:假设数据包里包括100个基本数据块,有3个计算节点30,如果第一个计算节点30可以处理4个基本数据块的计算任务,第二个计算节点30可以处理8个基本数据块的计算任务,第三个计算节点30可以处理器12个基本数据块的计算任务,则可以将共享存储节点10中的大规模数据包划分为24个基本数据块,则CPU设备210分别发送命令参数给这3个计算节点30的CPU设备310,其中给第一个计算节点30的命令参数包括处理4个基本数据块和对应的地址,给第二个计算节点20的命令参数包括处理8个基本数据块和对应的地址,给第三个计算节点30的命令参数包括处理12个基本数据块和对应的地址。
所述GPU设备220用于接收各所述计算节点30计算后的结果,包括:接收各所述计算节点30内所有GPU设备320的计算结果,将计算后的结果通知给所述控制节点20内的其他GPU设备220。
具体的,所述控制节点20中有多个GPU设备220,所述GPU设备220的一端与所述CPU设备210相连,所述GPU设备220的另一端与一个计算节点30的多个GPU设备320相连,用于接收计算节点30内所有GPU设备320计算后的结果,并将该计算后的结果通知给控制节点20内的其他GPU设备220,以便及时地了解各计算节点30的负载情况。
所述本地存储模块230用于存储命令参数和各所述计算节点计算后的结果。
具体的,本地存储模块230相对于共享存储节点10来说内存空间比较小,适合数据容量小的数据,可以存储控制节点20发送的命令参数和各所述计算节点30计算后的结果,每次计算后的结果会更新前一次计算的结果存储在本地存储模块230里,以保证数据的实时性和安全性。
进一步地,所述计算节点30包括:至少一个CPU设备310和多个GPU设备320,其中,一个CPU作为一个CPU设备310,一块GPU作为一个GPU设备320。
所述CPU设备310用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块,包括:接收所述控制节点20的CPU设备210发送的命令参数,根据所述命令参数从所述共享存储节点10读取相应的所述基本数据块分配给所述计算节点30内各GPU设备320;
具体的,各所述计算节点30的CPU设备310接收到控制节点20发送的命令参数,配置到各计算节点30需要计算的基本数据块的数量和位置等信息,从所述共享存储节点10读取相应的所述基本数据块分配给各GPU设备320,为了更好的说明本实施例,举例说明如下:假设有需要计算的数据包包括10000个基本数据块,有5个计算节点30,一个GPU设备可以处理100个基本数据块的话,如果每个计算节点30都有4个的GPU设备320,则这个5个计算节点30分配的计算任务一样,可以都是400个基本数据块;如果每个计算节点30中的GPU设备数量不一致,假如第一个计算节点30有3个GPU设备320,第二个计算节点30有4个GPU设备320,第二个计算节点30有5个GPU设备320,则第一个计算节点30分配的计算任务可以是300个数据块,第二个计算节点30分配的计算任务可以是400个数据块,第三个计算节点30分配的计算任务可以是500个数据块,具体可以根据实际情况来以便更好地进行统筹分配,但并不以此为限。
所述GPU设备320用于计算相应的所述基本数据块并发送计算后的结果给所述控制节点20,包括:读取所述CPU设备310分配的基本数据块进行计算,并将计算后的结果发送给所述控制节点20的GPU设备220。
具体的,各所述计算节点30的多个GPU设备320读取所述CPU设备310分配的基本数据块进行计算,可以设置一定数量的基本数据块跟GPU设备320的计算能力相匹配,可选的,所述多个型号相同的GPU设备320,这样可以提高计算的并行度,也可以是多个型号不相同的GPU设备320的,可以提高单个计算节点30的计算能力,具体根据需要计算的任务来,多个所述GPU设备320与所述控制节点20的一个GPU设备220相连,以便每个GPU设备320将计算后的结果可以直接发送给控制节点20的GPU设备220,没有中间环节,从而提高了数据处理的效率。
进一步地,所述计算节点30的GPU设备320读取所述CPU设备310分配的基本数据块进行计算是指:依次读取各相应的基本数据块,每读取一个基本数据块后,对所读取的基本数据块进行计算,并读取下一个基本数据块,以及发送上一个基本数据块的计算结果。
具体的,计算节点30的多个GPU设备320在读取所述CPU设备310分配的基本数据块进行计算时,依次读取各相应的基本数据块,假设需要计算N个基本数据块,GPU设备320对第m个基本数据块进行计算,并读取第m+1个基本数据块,以及发送第m-1个基本数据块的计算结果给控制节点20,如果遇到传输繁忙,可以先将计算结果暂存于CPU设备310中,等待网络空闲时再将计算结果发送给控制节点20,这样计算、传输异步不仅缩短了计算的时间,同时由于分块计算,提高了系统的整体的运行效率和设备的利用率,满足了高性能应用的要求。
图3为本发明实施例提供的大规模数据处理方法实施例一的流程示意图,如图3所示,该方法应用于大规模数据处理系统,所述大规模数据处理系统包括:至少一个共享存储节点、一个控制节点和多个计算节点,所述共享存储节点、所述控制节点和多个所述计算节点通过高速网络相互连接,所述方法包括:
S101、所述共享存储节点存储所有需要处理的数据包,所述数据包由多个基本数据块组成;
S102、所述控制节点给各计算节点分配计算任务,接收各所述计算节点计算后的结果;
S103、所述计算节点根据所分配的计算任务从所述共享存储节点读取相应的基本数据块进行计算,发送计算后的结果给所述控制节点。
本发明实施例提供的大规模数据处理方法,应用于大规模数据处理系统,该系统包括至少一个共享存储节点、一个控制节点和多个计算节点相连接,通过高速网络相互连接,该方法通过控制节点对数据包中的基本数据块进行统筹规划分配给各计算节点,使得各计算节点的负载均衡,各计算节点直接从共享存储节点中读取相应的基本数据块进行计算,并返回计算后的结果给控制节点,优化了数据传输过程,缩短了计算时间,从而最大限度的的利用现有系统的性能,使得整个系统效率大幅提升,不需受限于网络带宽不足、内存容量小等情况,满足了高性能应用对于大规模数据进行处理的要求。
进一步地,所述控制节点给各计算节点分配计算任务之前,还包括:
所述控制节点确定各所述计算节点的数据处理能力,所述数据处理能力包括:各所述计算节点包含的GPU设备的数量、网络通信的能力和计算数据的能力。
本发明实施例提供的大规模数据处理方法,可以执行上述系统实施例,其实现原理和技术效果类似,在此不再赘述。
进一步地,所述控制节点包括:至少一个CPU设备、多个GPU设备和本地存储模块;其中,
所述CPU设备给各所述计算节点分配计算任务,包括:根据各所述计算节点的数据处理能力确定相应的计算任务,分别发送命令参数给各所述计算节点的CPU设备,所述命令参数包含各所述计算节点需要计算的所述基本数据块的数量和寻址信息;
所述GPU设备接收各所述计算节点的计算结果,将计算后的结果通知给所说控制节点内的其他GPU设备;
所述本地存储模块存储所述命令参数和各所述计算节点计算后的结果。
本发明实施例提供的大规模数据处理方法,可以执行上述系统实施例,其实现原理和技术效果类似,在此不再赘述。
进一步地,所述计算节点包括:至少一个CPU设备和多个GPU设备;其中,
所述CPU设备所述CPU设备根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块,包括:接收所述控制节点的CPU设备发送的命令参数,根据所述命令参数读取相应的所述基本数据块分配给所述计算节点内各所述GPU设备;
所述GPU设备计算相应的所述基本数据块并发送计算后的结果给所述控制节点,包括:读取所述CPU设备分配的基本数据块进行计算,并将计算后的结果发送给所述控制节点的GPU设备。
本发明实施例提供的大规模数据处理方法,可以执行上述系统实施例,其实现原理和技术效果类似,在此不再赘述。
进一步地,所述计算节点的GPU设备读取所述CPU设备分配的基本数据块进行计算是指:依次读取各相应的基本数据块,每读取一个基本数据块后,对所读取的基本数据块进行计算,并读取下一个基本数据块,以及发送上一个基本数据块的计算结果所述计算节点的多个GPU设备在计算当前的基本数据块时,同时读取下一个基本数据块,同时发送上一个基本数据块的计算结果。
本发明实施例提供的大规模数据处理方法,可以执行上述系统实施例,其实现原理和技术效果类似,在此不再赘述。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。

Claims (6)

1.一种大规模数据处理系统,应用于中央处理器与图形处理器混合异构集群,其特征在于,包括:至少一个共享存储节点、一个控制节点和多个计算节点,所述共享存储节点、控制节点和多个计算节点通过高速网络相互连接;其中,
所述共享存储节点用于存储所有需要处理的数据包,所述数据包由多个基本数据块组成;
所述控制节点用于给各所述计算节点分配计算任务,接收各所述计算节点计算后的结果;
所述计算节点用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算,发送计算后的结果给所述控制节点;
其中,所述控制节点用于给各所述计算节点分配计算任务之前,还用于:
确定各所述计算节点的数据处理能力,所述数据处理能力包括:各所述计算节点包含的GPU设备的数量、网络通信的能力和计算数据的能力;
所述控制节点包括:至少一个CPU设备、多个GPU设备和本地存储模块;其中,
所述CPU设备用于给各所述计算节点分配计算任务,包括:根据各所述计算节点的数据处理能力确定相应的计算任务,分别发送命令参数给各所述计算节点的CPU设备,所述命令参数包含各所述计算节点需要计算的所述基本数据块的数量和寻址信息;
所述GPU设备用于接收各所述计算节点计算后的结果,包括:接收各所述计算节点内所有GPU设备计算后的结果,将计算后的结果通知给所述控制节点内的其他GPU设备;
所述本地存储模块用于存储所述命令参数和各所述计算节点计算后的结果。
2.根据权利要求1所述的系统,其特征在于,所述计算节点包括:至少一个CPU设备和多个GPU设备;其中,
所述CPU设备用于根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块,包括:接收所述控制节点的CPU设备发送的命令参数,根据所述命令参数从所述共享存储节点读取相应的所述基本数据块分配给所述计算节点内各GPU设备;
所述GPU设备用于计算相应的所述基本数据块并发送计算后的结果给所述控制节点,包括:读取所述CPU设备分配的基本数据块进行计算,并将计算后的结果发送给所述控制节点的GPU设备。
3.根据权利要求2的系统,其特征在于,所述计算节点的GPU设备读取所述CPU设备分配的基本数据块进行计算是指:依次读取各相应的基本数据块,每读取一个基本数据块后,对所读取的基本数据块进行计算,并读取下一个基本数据块,以及发送上一个基本数据块的计算结果。
4.一种大规模数据处理方法,应用于大规模数据处理系统,其特征在于,所述大规模数据处理系统包括:至少一个共享存储节点、一个控制节点和多个计算节点,所述共享存储节点、所述控制节点和多个所述计算节点通过高速网络相互连接,所述方法包括:
所述共享存储节点存储所有需要处理的数据包,所述数据包由多个基本数据块组成;
所述控制节点给各计算节点分配计算任务,接收各所述计算节点计算后的结果;
所述计算节点根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块进行计算,发送计算后的结果给所述控制节点;
其中,所述控制节点给各计算节点分配计算任务之前,还包括:
所述控制节点确定各所述计算节点的数据处理能力,所述数据处理能力包括:各所述计算节点包含的GPU设备的数量、网络通信的能力和计算数据的能力;
所述控制节点包括:至少一个CPU设备、多个GPU设备和本地存储模块;其中,
所述CPU设备给各所述计算节点分配计算任务,包括:根据各所述计算节点的数据处理能力确定相应的计算任务,分别发送命令参数给各所述计算节点的CPU设备,所述命令参数包含各所述计算节点需要计算的所述基本数据块的数量和寻址信息;
所述GPU设备接收各所述计算节点计算后的结果,包括:接收各所述计算节点内所有GPU设备的计算后的结果,将计算后的结果通知给所述控制节点内的其他GPU设备;
所述本地存储模块存储所述命令参数和各所述计算节点计算后的结果。
5.根据权利要求4所述的方法,其特征在于,所述计算节点包括:至少一个CPU设备和多个GPU设备;其中,
所述CPU设备根据所分配的计算任务从所述共享存储节点读取相应的所述基本数据块,包括:接收所述控制节点的CPU设备发送的命令参数,根据所述命令参数读取相应的所述基本数据块分配给所述计算节点内各所述GPU设备;
所述GPU设备计算相应的所述基本数据块并发送计算后的结果给所述控制节点,包括:读取所述CPU设备分配的基本数据块进行计算,并将计算后的结果发送给所述控制节点的GPU设备。
6.根据权利要求5所述的方法,其特征在于,所述计算节点的GPU设备读取所述CPU设备分配的基本数据块进行计算是指:依次读取各相应的基本数据块,每读取一个基本数据块后,对所读取的基本数据块进行计算,并读取下一个基本数据块,以及发送上一个基本数据块的计算结果。
CN201510551644.4A 2015-09-01 2015-09-01 大规模数据处理系统及方法 Active CN105159610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510551644.4A CN105159610B (zh) 2015-09-01 2015-09-01 大规模数据处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510551644.4A CN105159610B (zh) 2015-09-01 2015-09-01 大规模数据处理系统及方法

Publications (2)

Publication Number Publication Date
CN105159610A CN105159610A (zh) 2015-12-16
CN105159610B true CN105159610B (zh) 2018-03-09

Family

ID=54800484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510551644.4A Active CN105159610B (zh) 2015-09-01 2015-09-01 大规模数据处理系统及方法

Country Status (1)

Country Link
CN (1) CN105159610B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598738A (zh) * 2016-12-13 2017-04-26 郑州云海信息技术有限公司 一种计算机集群系统及其并行计算方法
CN108319500B (zh) * 2017-01-16 2022-06-21 阿里巴巴集团控股有限公司 一种云计算系统的操作方法、装置及电子设备
CN106919346B (zh) * 2017-02-21 2019-01-22 无锡华云数据技术服务有限公司 一种基于clvm的共享存储虚拟化实现方法
CN106856509A (zh) * 2017-02-27 2017-06-16 郑州云海信息技术有限公司 一种基于knl集群的大规模数据的处理方法及系统
CN107122490B (zh) * 2017-05-18 2021-01-29 苏州浪潮智能科技有限公司 一种分组查询中聚合函数的数据处理方法及系统
CN108319510A (zh) * 2017-12-28 2018-07-24 大唐软件技术股份有限公司 一种异构处理方法及装置
CN108763299A (zh) * 2018-04-19 2018-11-06 贵州师范大学 一种大规模数据处理计算加速系统
CN109101339B (zh) * 2018-08-15 2019-05-31 北京邮电大学 异构集群中视频任务并行化方法、装置及异构集群系统
CN110874268B (zh) * 2018-09-04 2023-04-18 阿里巴巴集团控股有限公司 数据处理方法、装置和设备
CN112579692B (zh) * 2019-09-29 2023-05-05 杭州海康威视数字技术股份有限公司 一种数据同步方法、装置、系统、设备及存储介质
CN111415007B (zh) * 2020-03-26 2023-01-17 中科寒武纪科技股份有限公司 一种计算数据的方法、装置、板卡及计算机可读存储介质
CN111625325A (zh) * 2020-04-21 2020-09-04 上海天数智芯半导体有限公司 基于批数据的ai芯片片上网络调度方法和装置
CN112394882B (zh) * 2020-11-17 2022-04-19 浙江大华技术股份有限公司 数据存储方法及装置、存储介质、电子装置
CN113806067B (zh) * 2021-07-28 2024-03-29 卡斯柯信号有限公司 基于车车通信的安全数据校验方法、装置、设备及介质
CN114356818A (zh) * 2022-03-17 2022-04-15 苏州浪潮智能科技有限公司 一种多通道数据传输方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103567A (zh) * 2009-12-21 2011-06-22 英特尔公司 在异构处理器之间共享基于虚拟存储器的多版本数据
CN103684754A (zh) * 2013-12-03 2014-03-26 中国电子科技集团公司第三十研究所 一种基于gpu集群的wpa共享密钥破解系统
CN103810124A (zh) * 2012-11-09 2014-05-21 辉达公司 用于数据传输的系统及方法
CN104731569A (zh) * 2013-12-23 2015-06-24 华为技术有限公司 一种数据处理方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103567A (zh) * 2009-12-21 2011-06-22 英特尔公司 在异构处理器之间共享基于虚拟存储器的多版本数据
CN103810124A (zh) * 2012-11-09 2014-05-21 辉达公司 用于数据传输的系统及方法
CN103684754A (zh) * 2013-12-03 2014-03-26 中国电子科技集团公司第三十研究所 一种基于gpu集群的wpa共享密钥破解系统
CN104731569A (zh) * 2013-12-23 2015-06-24 华为技术有限公司 一种数据处理方法及相关设备

Also Published As

Publication number Publication date
CN105159610A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
CN105159610B (zh) 大规模数据处理系统及方法
CN109491790B (zh) 基于容器的工业物联网边缘计算资源分配方法及系统
US10728091B2 (en) Topology-aware provisioning of hardware accelerator resources in a distributed environment
US10572290B2 (en) Method and apparatus for allocating a physical resource to a virtual machine
CN105426245A (zh) 包括分散的部件的动态地组成的计算节点
US9330199B2 (en) Striping of directed graphs and nodes with improved functionality
CN110389826B (zh) 用于处理计算任务的方法、设备和计算程序产品
CN107710238A (zh) 具有堆栈存储器的硬件加速器上的深度神经网络处理
Liu et al. Task scheduling in fog enabled Internet of Things for smart cities
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN103270492A (zh) 用于网络使能应用的硬件加速图形
CN113946431B (zh) 一种资源调度方法、系统、介质及计算设备
CN110109756A (zh) 一种网络靶场构建方法、系统及存储介质
US10983828B2 (en) Method, apparatus and computer program product for scheduling dedicated processing resources
CN104580447A (zh) 一种基于访问热度的时空数据服务调度方法
Achary et al. Dynamic job scheduling using ant colony optimization for mobile cloud computing
CN104580503A (zh) 一种高效动态负载均衡的处理大规模数据的系统及方法
CN115460216A (zh) 算力资源调度方法和装置、算力资源调度设备、系统
Jiang et al. Hierarchical deployment of deep neural networks based on fog computing inferred acceleration model
CN113014649B (zh) 一种基于深度学习的云物联负载均衡方法、装置及设备
Deiab et al. Energy efficiency in cloud computing
CN109729110B (zh) 管理专用处理资源的方法、设备以及计算机可读介质
Guo Ant colony optimization computing resource allocation algorithm based on cloud computing environment
CN109254844B (zh) 一种大规模图的三角形计算方法
CN107590000B (zh) 二次随机资源管理方法/系统、计算机存储介质及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant