CN108763299A - 一种大规模数据处理计算加速系统 - Google Patents

一种大规模数据处理计算加速系统 Download PDF

Info

Publication number
CN108763299A
CN108763299A CN201810355569.8A CN201810355569A CN108763299A CN 108763299 A CN108763299 A CN 108763299A CN 201810355569 A CN201810355569 A CN 201810355569A CN 108763299 A CN108763299 A CN 108763299A
Authority
CN
China
Prior art keywords
data
node
result
task
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810355569.8A
Other languages
English (en)
Inventor
刘志杰
李菂
谢晓尧
王培�
于徐红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Education University
National Astronomical Observatories of CAS
Original Assignee
Guizhou Education University
National Astronomical Observatories of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Education University, National Astronomical Observatories of CAS filed Critical Guizhou Education University
Priority to CN201810355569.8A priority Critical patent/CN108763299A/zh
Publication of CN108763299A publication Critical patent/CN108763299A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种大规模数据处理计算加速系统，包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，上述各节点之间通过高速网络连接，所述并行计算机节点的数量为n个。本发明以大规模射电脉冲星巡天数据文件处理任务为例，对数据进行合理统筹规划，通过综合利用计算资源、GPU和CPU技术、内存计算技术、数据库技术、网络通信技术及WEB技术，并优化数据传输，以及利用内存计算技术来减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，将计算结果分别持久化至所述数据库节点和非结构化结果存储节点，有效解决类似大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行导致的问题。

Description

一种大规模数据处理计算加速系统
技术领域
本发明涉及大规模数据处理技术领域，具体是一种大规模数据处理计算加速系统。
背景技术
近年来，随着计算科学、信息技术、计算机、生物学、射电天文等的高速发，各行各业采集到的数据量呈现几何指数增长。在射电天文领域，随着大型观测设备的筹划建造和投入使用，譬如：我国500米口径球面射电望远镜(Five-hundred-meter ApertureSpherical radio Telescope，简称FAST)的投入使用，即将进入19波束超宽带脉冲星巡天。另外，以及来自全球各国及组织共同筹划建设中的平方公里阵列射电望远镜(SquareKilometre Array,简称SKA)也将建造。就我国FAST而言，有望在实现脉冲星巡天在采样时间分辨率、频率分辨率、灵敏度等方面大幅提高。经模拟实验测算，采集巡天数据每日高达5TB至TB(Terabyte)，分析处理过程将伴随产生至少量级的新数据，数据集可达1PB(Petabyte)。不久的将来，SKA投入使用后，需处理的数据量甚至更加惊人，预计是FAST可采集数据量的数十倍。海量天文数据收集、存储和分析处理，将极大地推动着天文观测技术和理论研究的发展。
然而，脉冲星数据处理作为脉冲星科学后续物理特性研究的基础，脉冲星数据量从过去GB、TB量级跃升至现代PB量级，大规模脉冲星观测数据(PB量级)的分析处理已成为计算机、天文学界共同的挑战，已经制约着射电脉冲星科学的发展。因此，已经面临无法使用传统、常用的软件技术及工具在特定时间内完成获取、管理及处理的数据集合。传统模式无法满足多种类型的海量数据的处理，特别是深层次的分析处理而导致的无法满足脉冲星数据处理对自动化、智能化管理要求的问题。
发明内容
针对上述现有技术中的不足之处，本发明旨在提供一种应用于大规模射电脉冲星巡天项目的数据处理中，对大规模射电脉冲星巡天数据文件处理任务进行合理统筹规划，通过综合利用计算资源、GPU或CPU技术、内存计算技术、数据库技术、网络通信技术、WEB技术，并优化数据传输以及利用内存计算技术，减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，最后，将计算结果持久化至所述数据库节点和非结构化结果存储节点的大规模数据处理计算加速系统。有效解决大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行等的问题。
为解决上述技术问题，本发明提供的一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，所述并行计算节点的数量为n个；
所述共享数据源存储节点主要用于存储不同批次巡天数据源，也即被加速处理的数据原文件，本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件，其文件格式通常是射电天文学界公认的FITS(Flexible Image Transport System)，它专门为在不同平台之间交换数据而设计；
所述任务控制节点用于构建计算任务队列，接收各并行计算节点发送的注册和任务请求，依据请求参数给各所述并行计算节点分配计算任务，同时，回收各所述并行计算节点计算后的结果数据，最后，将各所述并行计算节点的结构化结果数据写入数据库节点存储，而将非结构化结果数据写入非结构化数据存储节点存储；
所述并行计算节点用于根据节点计算能力，并行化地向任务控制节点发送注册信息，向任务控制节点请求计算任务，更加请求到的任务参数，直接从所述共享数据源存储节点获取相应的数据原文件(FITS数据文件)进行计算，并将计算后的结果数据发送给所述任务控制节点，同时，并行计算节点的数量和单个节点的硬件配置是可弹性伸缩扩展的，即根据用户资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；
所述数据库节点用于记录共享数据源节点中数据原文件(FITS文件)的元数据信息、并行计算节点数据、任务跟踪进度数据及脉冲星候选体数据；
所述非结构化数据存储节点用于存储非结构化数据，包括脉冲星候选体图片及计算过程中间数据文本；
所述WEB节点用于链接数据库节点和非结构化数据存储节点，可视化的将结果数据库中数据、非结构化数据进行展示，方便科研人员图形界面检索、分析及分享计算数据的结果。
其中，所述任务控制节点根据计算业务需求，构建计算任务队列，接收各并行计算节点的注册和计算任务请求，并将注册信息保存至数据库，接收并行计算节点的计算任务请求，依据请求信息给各所述并行计算节点分配计算任务，回收各所述并行计算节点计算后的结果数据，并将结果数据中结构化结果数据存入数据库节点，将非结构化数据写入非结构化数据存储节点。
其中，所述任务控制节点包括至少一个CPU或GPU硬件设备及内存设备；
所述CPU硬件设备用于接收各所述分布式并行计算节点的注册及计算任务请求，包括根据各所述并行计算节点的计算任务请求，为其分配具体计算任务，还用于分别发送任务参数给各所述并行计算节点，所述任务参数包含各所述并行计算节点需要计算的所述数据原文件及文件地址信息；
所述GPU硬件设备用于接收各所述并行计算节点计算后的结构化和非结构化结果，包括，接收各所述计算节点内所有GPU设备计算后的结果，将计算后的结果通知给所述任务控制节点内的其他GPU设备；
所述内存设备用于接收和保存各计算节点返回的结构化和非结构化计算结果数据。
其中，所述并行计算节点包括至少一个CPU设备和多个GPU设备，计算节点的数量和单节点内的CPU、GPU及内存设备是可弹性伸缩扩展的，即根据用户资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；
所述CPU设备用于根据所获取到的计算任务从所述数据源共享存储节点读取相应的所述数据原文件(FITS数据文件)，还包括接收所述任务控制节点的CPU发送的各种命令参数，根据所述命令参数从所述数据源共享存储节点读取相应的所述数据文件分配给所述并行计算节点内各GPU；
所述GPU设备用于计算相应的所述数据文件，并发送计算后的数据结果给所述任务控制节点，还包括读取所述CPU设备分配的数据文件进行计算加速，并将计算后的结果发送给所述任务控制节点的GPU设备。
其中，所述并行计算节点的GPU设备读取所述CPU分配的数据原文件进行计算是指依次读取任务队列中各相应的数据原文件，对所读取的数据文件进行数据计算，并读取下一数据原文件以及发送上一个已处理完毕的数据原文件的计算结果。
其中，所述并行计算节点的数据计算是指计算节点每读取一个原数据文件(FITS文件)后，对该数据原文件开展，去除干扰、消除色散、傅里叶变换、周期搜索、数据折叠和生成候选体图，并将数据结果返回至任务控制节点。
其中，所述数据结果是指由原数据文计算而得的结果数据，包括，源文件头文件信息、候选体信息、干扰信号信息、色散信息等；最后，由任务控制节点将数据结果存入数据存储节点，而非结构化数据存入非结构化数据节点保存。
其中，所述结果数据中非结构化数据包括候选体图片及pfd数据文件，上述结果数据将通过WEB节点进行在线可视化检索、展示、分析和分享。
其中，所述WEB节点获取数据库节点中数据和非结构化数据节点中数据进行在线展示，为操作人员在候选体识别和筛选过程中提供可视化的检索、分析和分享应用。
本发明的有益效果：本发明解决了现有技术中大规模数据处理系统和方法受限于计算资源不足、网络带宽及系统内存性能的影响，无法满足大规模数据处理需求的技术问题，特别是无法满足现代射电天文领域中大规模脉冲星巡天项目数据处理任务。该大规模数据处理计算加速系统方法对大规模射电脉冲星巡天数据文件处理任务进行合理统筹规划，建立任务队列机制，通过综合利用计算资源、GPU或CPU技术、内存计算技术、数据库技术、网络通信技术、WEB技术，优化数据传输以及利用内存计算技术，减少内存与磁盘的交换读写次数，使得各计算节点负载均衡，最后，将计算结果数据持久化至所述数据库节点和非结构化结果存储节点。有效解决大规模脉冲星数据处理技术中因计算资源稀缺、计算方式不并行等的问题。
附图说明
图1为本发明实施例提供的大规模数据处理计算加速系统的拓扑结构示意图；
图2为本发明实施例提供的大规模数据处理计算加速系统实施例的加速流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例1
如图1-2所示，本发明的一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，包括，共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，进行通信和数据交换，所述并行计算节点的数量为n个；
所述共享数据源存储节点主要用于存储不同批次巡天项目观测数据源，也即被加速处理的数据原文件集；本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件。其文件格式通常是射电天文学界公认的FITS(Flexible Image TransportSystem)，它专门为在不同平台之间交换数据而设计；
所述任务控制节点用于构建计算任务队列，接收各并行计算节点发送的注册和任务请求，依据请求参数给各所述并行计算节点分配计算任务；同时，回收各所述并行计算节点计算后的结果数据，最后，将各所述并行计算节点的结构化结果数据写入数据库节点存储，而将非结构化结果数据写入非结构化数据存储节点存储；
所述并行计算节点用于根据节点计算能力，并行化地向任务控制节点发送注册信息，以及向任务控制节点请求计算任务；节点根据请求到的计算任务参数，直接从所述共享数据源存储节点获取相应的数据原文件(FITS数据文件)进行计算，并将计算后的结果数据发送给所述任务控制节点。这里所述并行计算节点的数量和单个节点的硬件配置是可弹性伸缩扩展的，即根据用户计算资源的有限性，计算节点的数目及计算能力可依据用户实际工作需要进行弹性扩展；
所述数据库节点用于记录共享数据源节点中数据原文件(FITS文件)的元数据信息、并行计算节点数据、任务跟踪进度数据及脉冲星候选体、已知脉冲星数据；
所述非结构化数据存储节点用于存储非结构化数据，包括脉冲星候选体图片及计算过程中间数据文本；
所述WEB节点用于链接数据库节点和非结构化数据存储节点，将结果数据库中数据、非结构化数据进行可视化的展示，方便科研人员通过图形界面检索、分析及分享计算数据的结果。
进一步的，所述任务控制节点根据计算业务需求，构建计算任务队列，接收各并行计算节点的注册和计算任务请求，并将注册信息保存至数据库，接收并行计算节点的计算任务请求；依据请求信息给各所述并行计算节点分配计算任务，回收各所述并行计算节点计算后的结果数据，并将结果数据中结构化结果数据存入数据库节点，将非结构化数据写入非结构化数据存储节点。
进一步的，所述任务控制节点包括至少一个CPU或GPU硬件设备及内存设备；
所述CPU硬件设备用于接收各所述分布式并行计算节点的注册及计算任务请求，包括根据各所述并行计算节点的计算任务请求，为其分配具体计算任务，还用于分别发送任务参数给各所述并行计算节点，所述任务参数包含各所述并行计算节点需要计算的所述数据原文件及文件地址信息；
所述GPU硬件设备用于接收各所述并行计算节点计算后的结构化和非结构化结果。包括接收各所述计算节点内所有GPU设备计算后的结果，将计算后的结果通知给所述任务控制节点内的其他GPU设备；
所述内存设备用于接收和保存各计算节点返回的结构化和非结构化计算结果数据。
进一步的，所述并行计算节点包括，至少一个CPU设备和多个GPU设备，计算节点的数量和单节点内的CPU、GPU及内存设备是可弹性伸缩扩展的，即根据用户计算资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；
所述CPU设备用于根据所获取到的计算任务从所述数据源共享存储节点读取相应的所述数据原文件(FITS数据文件)，还包括接收所述任务控制节点的CPU发送的各种命令参数，根据所述命令参数从所述数据源共享存储节点读取相应的所述数据文件分配给所述并行计算节点内各GPU；
所述GPU设备用于计算相应的所述数据文件并发送计算后的结果给所述任务控制节点，还包括读取所述CPU设备分配的数据文件进行计算加速，并将计算后的结果发送给所述任务控制节点的GPU设备。
进一步的，所述并行计算节点的GPU设备读取所述CPU分配的数据原文件进行计算是指依次读取任务列表中各相应的数据原文件，对所读取的数据文件进行数据计算，并读取下数据原文件以及发送上已处理完毕的数据原文件的计算结果。
进一步的，所述并行计算节点的数据计算是指计算节点每读取数据文件后，对该数据原文件开展去除干扰、消除色散、傅里叶变换、周期搜索、数据折叠和生成候选体图，并将数据结果返回至任务控制节点。
进一步的，所述数据结果是指由原数据文计算而得的结果数据，包括，源文件头文件信息、候选体信息、干扰信息、色散信息等。最后，由任务控制节点将数据结果存入数据存储节点，而非结构化数据存入非结构化数据节点保存。
进一步的，所述结果数据中非结构化数据包括候选体图片及pfd文件，上述结果数据将通过WEB节点进行在线可视化检索、展示、分析和分享。
更进一步的，所述WEB节点获取数据库节点中数据和非结构化数据节点中数据进行在线展示，为操作人员在候选体识别、筛选、认证过程中提供可视化的检索、分析和分享应用服务。
实施例2
如图1-图2所述，本发明的一种大规模数据处理计算加速系统，所述共享数据源存储节点包括n个巡天观测数据原文件，有3个计算节点，如果第一个计算节点可以同时处理4个观测数据文件的计算任务，第二个计算节点可以处理8个观测数据文件的计算任务，第三个计算节点可以处理16个观测数据文件的计算任务，则可将共享数据源存储节点中的所有数据文件划分为4个计算机节点，则CPU设备分别发送命令参数给这3个计算节点的CPU设备。其中给第一个计算节点的命令参数包括处理4个观测数据文件和对应的地址，给第二个计算节点的命令参数包括处理8个观测数据文件和对应的地址，给第三个计算节点的命令参数包括处理16个观测数据文件和对应的地址；
所述GPU设备用于接收各所述并行计算节点计算后的结果，包括接收各所述节点内所有GPU设备的计算结果，将计算后的结果发送给所述任务控制节点；
具体地，所述任务控制节点中有多个GPU，所述GPU的一端与所述CPU相连，所述GPU的另一端与一个计算节点的多个GPU相连，用于接收各并行计算节点内所有GPU计算后的结果，并将该计算后的结果通知给任务控制节点内的其他GPU，以便及时地了解各并行计算节点的负载均衡情况。
进一步地，所述各并行计算节点computing-node包括至少一个CPU和多个GPU；
所述计算节点的CPU用于根据所获取由任务队列得到的计算任务参数，从所述共享数据源存储节点读取相应的所述数据原文件(FITS文件)，具体包括，接收所述任务控制节点task-node的CPU发送的命令参数信息，根据所述命令参数信息从所述共享数据源存储节点data-source-node读取相应的所述数据原文件分配给所述计算节点computing-node内部各GPU；
具体的，各所述并行计算节点computing-node的CPU接收到任务控制节点task-node发送的命令参数，配置到各计算节点computing-node需要计算的数据原文件的数量、文件地址等信息，并从所述共享数据源存储节点data-source-node读取相应的所述数据原文件分配给各GPU。为了更清楚的描述本实施例实施过程，现举例如下：假设有需要参与计算的数据源包括100000个数据原文件(巡天观测数据FITS原文件)，现在有50个并行计算节点computing-node可用，一个GPU设备可并行处理1000个数据原文件的话，如果每个计算节点computing-node都有4个的GPU设备，则这个50个计算节点computing-node分配的计算任务一样，可以都是4000个数据原文件；但如果每个计算节点computing-node中的GPU设备数量并不完全一致。例如：第一个计算节点computing-node有4个GPU设备，第二个计算节点computing-node有4个GPU设备，第二个计算节点computing-node有5个GPU设备；第一个计算节点computing-node分配的计算任务可以是4000个数据原文件；第二个计算节点computing-node分配的计算任务可以是4000个数据原文件；第三个计算节点computing-node分配的计算任务可以是5000个数据块；当然，具体可根据实际情况加以调整，以便合理统筹规划，但并不以此为限。
所述GPU用于所述数据原文件(FITS文件)的计算加速，并发送计算后的结果数据给所述任务控制节点task-node，这包括读取所述CPU分配的数据源文件进行计算，并将计算后的结果数据发送给所述任务控制节点task-node的GPU；
具体的，各所述计算节点computing-node的多个GPU读取所述CPU分配的数据原文件进行计算，可设置一定数量的数据原文件跟GPU的计算能力相匹配。可选的，所述多个型号相同的GPU，这样可以提高节点计算的并行度；也可是多个型号不全相同的GPU的合理组合，可提高单个计算节点computing-node的计算能力；GPU在计算过程中，中间计算过程并不直接写入本地磁盘，而是一直保存在内存中，因此，这对每个计算节点需要配备足够容量的内存资源。最后将最终结果直接发送给所述任务控制节点computing-node，由于没有中间频繁的I/O读写操作，从而达到数据处理加速的效果。
进一步地，所述并行计算节点computing-node的GPU读取所述CPU分配的数据原文件进行计算是指依次读取各相应的数据原文件，每读取一个数据原文件后，对所读取的数据原文件进行计算，并读取下一个数据原文件，以及发送上一个基本数据块的计算结果；
具体的，计算节点computing-node的多个GPU在读取所述CPU分配的数据文件进行计算时，依次读取各任务队列中相应的数据原文件，假设需要计算N个数据文件，GPU设备对第m个数据文件进行计算，并读取第m+1个数据文件，以及发送第m-1个数据文件的计算结果给任务控制节点；这样计算与传输异步，从而缩短计算时间，提高了系统的整体的运行效率和计算设备的利用率。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括，ROM、RAM、磁碟或者光盘各种可以存储程序代码的介质。

Claims (10)

1.一种大规模数据处理计算加速系统，应用于大规模射电脉冲星巡天数据计算加速处理，其特征在于；包括共享数据源存储节点、任务控制节点、并行计算节点、数据库节点、非结构化结果数据存储节点及WEB节点，所述共享数据源存储节点、数据库节点、任务控制节点、并行计算节点、非结构化结果数据存储节点和WEB节点之间通过高速网络相互连通，所述并行计算节点的数量为n个；
所述共享数据源存储节点主要用于存储不同批次巡天项目数据源，也即被加速处理的数据原文件，本系统所指数据原文件是指射电脉冲星巡天项目采集到的数据原始文件，其文件格式通常是射电天文学界公认的FITS(Flexible Image Transport System)，它专门为在不同平台之间交换数据而设计；
所述任务控制节点用于构建计算任务队列，接收各并行计算节点发送的注册和任务请求，依据请求参数给各所述并行计算节点分配计算任务，同时，回收各所述并行计算节点计算后的结果数据，最后，将各所述并行计算节点的结构化结果数据写入数据库节点存储，而将非结构化结果数据写入非结构化数据存储节点存储；
所述并行计算节点用于根据节点计算能力，并行化地向任务控制节点发送注册信息，向任务控制节点请求计算任务，更加请求到的任务参数，直接从所述共享数据源存储节点获取相应的数据原文件(FITS数据文件)进行计算，并将计算后的结果数据发送给所述任务控制节点，同时，并行计算节点的数量和单个节点的硬件配置是可弹性伸缩扩展的，即根据用户资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；
所述数据库节点用于记录共享数据源节点中数据原文件(FITS文件)的元数据信息、并行计算节点数据、任务跟踪进度数据及脉冲星候选体数据；
所述非结构化数据存储节点用于存储非结构化数据，包括脉冲星候选体图片及计算过程中间数据文本；
所述WEB节点用于链接数据库节点和非结构化数据存储节点，将结果数据库中数据、非结构化数据进行可视化展示，方便科研人员图形通过图形界面检索、分析和分享计算数据结果。
2.如权利要求1所述的一种大规模数据处理计算加速系统，其特征在于：所述任务控制节点根据计算业务需求，构建计算任务队列，接收各并行计算节点的注册和计算任务请求，并将注册信息保存至数据库，接收并行计算节点的计算任务请求，依据请求信息给各所述并行计算节点分配计算任务，回收各所述并行计算节点计算后的结果数据，并将结果数据中结构化结果数据存入数据库节点，将非结构化数据存入非结构化数据存储节点。
3.如权利要求2所述的一种大规模数据处理计算加速系统，其特征在于：所述任务控制节点包括至少一个中央处理器(Central Processing Unit，简称CPU)或图形处理器(Graphics Processing Unit，简称GPU)硬件设备及内存(Memory)设备；
所述中央处理器CPU硬件设备用于接收各所述并行计算节点的注册及计算任务请求，包括根据各所述并行计算节点的计算任务请求，为其分配具体计算任务，还用于分别发送任务参数给各所述并行计算节点，所述任务参数包含各所述并行计算节点需要计算的所述数据原文件及文件地址信息；
所述图形处理器GPU硬件设备用于接收各所述并行计算节点计算后的结构化和非结构化结果，包括接收各所述计算节点内所有GPU设备计算后的结果，将计算后的结果通知给所述任务控制节点内的其他GPU设备；
所述内存Memory设备用于接收和保存各计算节点返回的结构化和非结构化计算结果数据。
4.如权利要求3所述的一种大规模数据处理计算加速系统，其特征在于：所述并行计算节点包括至少一个CPU设备、多个GPU设备，计算节点的数量和单节点内的CPU、GPU和内存设备是可弹性伸缩扩展的，即根据用户计算资源的有限性，计算节点的数目及能力可依据用户实际工作需要进行弹性扩展；
所述CPU设备用于根据所获取到的计算任务从所述数据源共享存储节点读取相应的所述数据原文件(FITS数据文件)，还包括接收所述任务控制节点的CPU发送的各种命令参数，根据所述命令参数从所述数据源共享存储节点读取相应的所述数据文件分配给所述并行计算节点内各GPU；
所述GPU设备用于计算相应的所述数据文件并发送计算后的结果给所述任务控制节点，还包括读取所述CPU设备分配的数据文件进行计算加速，并将计算后的结果发送给所述任务控制节点的GPU设备。
5.如权利要求4所述的一种大规模数据处理计算加速系统，其特征在于：所述并行计算节点的GPU设备读取所述CPU分配的数据原文件进行计算是指依次读取任务列表中各相应的数据原文件，对所读取的数据文件进行数据计算，并读取下数据原文件以及发送上已处理完毕的数据原文件的计算结果。
6.如权利要求5所述的一种大规模数据处理计算加速系统，其特征在于：所述并行计算节点的数据计算是指计算节点每读取数据文件后，对该数据原文件开展去除干扰、消除色散、傅里叶变换、周期搜索、数据折叠和生成候选体图，并将数据结果返回至任务控制节点。
7.如权利要求6所述的一种大规模数据处理计算加速系统，其特征在于：所述数据结果是指由原数据文计算而得的结果数据，包括，源文件头文件信息、候选体信息、干扰信息、色散信息，最后，由任务控制节点将数据结果存入数据存储节点，而非结构化数据存入非结构化数据节点保存。
8.如权利要求7所述的一种大规模数据处理计算加速系统，其特征在于：所述结果数据中非结构化数据包括候选体图片及pfd文件，上述结果数据将通过WEB节点进行在线可视化检索、展示、分析和分享。
9.如权利要求8所述的一种大规模数据处理计算加速系统，其特征在于：所述WEB节点获取数据库节点中数据和非结构化数据节点中数据进行在线展示，为操作人员在候选体识别和筛选过程中提供可视化的检索、分析和分享应用。
10.如上述权利要求1～9所述的一种大规模数据处理计算加速系统，其特征在于：所述共享数据源存储节点存储所有需要处理的数据包，所述数据包由多个基本数据块组成；所述任务控制节点给各所述并行计算节点分配计算任务，接收各所述并行计算节点计算后的结果；各所述并行计算节点根据所分配的计算任务从所述共享数据源存储节点读取相应的基本数据块进行计算，发送计算后的结果给所述任务控制节点。
CN201810355569.8A 2018-04-19 2018-04-19 一种大规模数据处理计算加速系统 Pending CN108763299A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810355569.8A CN108763299A (zh) 2018-04-19 2018-04-19 一种大规模数据处理计算加速系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810355569.8A CN108763299A (zh) 2018-04-19 2018-04-19 一种大规模数据处理计算加速系统

Publications (1)

Publication Number Publication Date
CN108763299A true CN108763299A (zh) 2018-11-06

Family

ID=64011231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810355569.8A Pending CN108763299A (zh) 2018-04-19 2018-04-19 一种大规模数据处理计算加速系统

Country Status (1)

Country Link
CN (1) CN108763299A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046040A (zh) * 2019-04-09 2019-07-23 厦门网宿有限公司 分布式任务处理方法及系统和存储介质
CN110837426A (zh) * 2019-11-06 2020-02-25 腾讯科技（深圳）有限公司 消息处理方法、装置及系统、存储介质
CN111292222A (zh) * 2020-01-22 2020-06-16 中国科学院新疆天文台 一种脉冲星消色散装置及方法
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN113111202A (zh) * 2021-04-30 2021-07-13 贵州大学 一种巡天数据的天图系统
CN114661637A (zh) * 2022-02-28 2022-06-24 中国科学院上海天文台 针对射电天文数据密集型科学运算的数据处理系统及方法
CN116302209A (zh) * 2023-05-15 2023-06-23 阿里云计算有限公司 应用进程加速启动的方法、分布式系统、节点和存储介质
WO2023134588A1 (zh) * 2022-01-12 2023-07-20 华为技术有限公司 计算系统、方法、装置及加速设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198097A (zh) * 2013-03-11 2013-07-10 中国科学院计算机网络信息中心 一种基于分布式文件系统的海量地学数据并行处理方法
US20130227244A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Workload-aware distributed data processing apparatus and method for processing large data based on hardware acceleration
CN105159610A (zh) * 2015-09-01 2015-12-16 浪潮(北京)电子信息产业有限公司 大规模数据处理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130227244A1 (en) * 2012-02-27 2013-08-29 Samsung Electronics Co., Ltd. Workload-aware distributed data processing apparatus and method for processing large data based on hardware acceleration
CN103198097A (zh) * 2013-03-11 2013-07-10 中国科学院计算机网络信息中心 一种基于分布式文件系统的海量地学数据并行处理方法
CN105159610A (zh) * 2015-09-01 2015-12-16 浪潮(北京)电子信息产业有限公司 大规模数据处理系统及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046040A (zh) * 2019-04-09 2019-07-23 厦门网宿有限公司 分布式任务处理方法及系统和存储介质
CN110046040B (zh) * 2019-04-09 2021-11-16 厦门网宿有限公司 分布式任务处理方法及系统和存储介质
CN110837426A (zh) * 2019-11-06 2020-02-25 腾讯科技（深圳）有限公司 消息处理方法、装置及系统、存储介质
CN110837426B (zh) * 2019-11-06 2024-01-30 腾讯科技（深圳）有限公司 消息处理方法、装置及系统、存储介质
CN111292222A (zh) * 2020-01-22 2020-06-16 中国科学院新疆天文台 一种脉冲星消色散装置及方法
CN111292222B (zh) * 2020-01-22 2023-05-12 中国科学院新疆天文台 一种脉冲星消色散装置及方法
CN111753997A (zh) * 2020-06-28 2020-10-09 北京百度网讯科技有限公司 分布式训练方法、系统、设备及存储介质
CN113111202A (zh) * 2021-04-30 2021-07-13 贵州大学 一种巡天数据的天图系统
WO2023134588A1 (zh) * 2022-01-12 2023-07-20 华为技术有限公司 计算系统、方法、装置及加速设备
CN114661637A (zh) * 2022-02-28 2022-06-24 中国科学院上海天文台 针对射电天文数据密集型科学运算的数据处理系统及方法
CN116302209A (zh) * 2023-05-15 2023-06-23 阿里云计算有限公司 应用进程加速启动的方法、分布式系统、节点和存储介质
CN116302209B (zh) * 2023-05-15 2023-08-04 阿里云计算有限公司 应用进程加速启动的方法、分布式系统、节点和存储介质

Similar Documents

Publication Publication Date Title
CN108763299A (zh) 一种大规模数据处理计算加速系统
Huerta et al. Enabling real-time multi-messenger astrophysics discoveries with deep learning
Fortier et al. Computer systems performance evaluation and prediction
CN105159610B (zh) 大规模数据处理系统及方法
CN110520857A (zh) 使用虚拟化数据迭代器对神经网络进行数据处理性能增强
Pouchard Revisiting the data lifecycle with big data curation
Horton et al. Setting the stage for data science: integration of data management skills in introductory and second courses in statistics
Krupa et al. GPU coprocessors as a service for deep learning inference in high energy physics
Bivand Exploratory spatial data analysis
CN109241187A (zh) 基于Kafka消息队列的MongoDB日志采集和分析系统
Rizvi et al. Lessons learned and cost analysis of hosting a full stack Open Data Cube (ODC) application on the Amazon Web Services (AWS)
Vernardos et al. Adventures in the microlensing cloud: Large datasets, eResearch tools, and GPUs
CN103843384A (zh) 基于地理定位的负载平衡
Horton et al. Taking a chance in the classroom: Setting the stage for data science: Integration of data management skills in introductory and second courses in statistics
Lee et al. DataNet: An emerging cyberinfrastructure for sharing, reusing and preserving digital data for scientific discovery and learning
Khan et al. Web performance evaluation of high volume streaming data visualization
Klimentov Exascale Data Processing in Heterogeneous Distributed Computing Infrastructure for Applications in High Energy Physics
Ulmer et al. Extending composable data services into smartnics
CN110555008B (zh) 一种发电机综合诊断与状态评估云平台
CN113836235A (zh) 基于数据中台的数据处理方法及其相关设备
Ho et al. Multi-agent simulation on multiple GPUs
Vohl et al. Collaborative visual analytics of radio surveys in the Big Data era
United States. President's Information Technology Advisory Committee Computational Science: Ensuring America's Competitiveness
Alzaidi et al. Application-Based Benchmarking on Redis and MongoDB for Trip Planning using GTFS Data
Tang Cartographic Mapping Driven by High-Performance Computing: A Review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106