CN113190511B - 基于众核集群的大数据并发调度及加速处理方法 - Google Patents

基于众核集群的大数据并发调度及加速处理方法 Download PDF

Info

Publication number
CN113190511B
CN113190511B CN202110430909.0A CN202110430909A CN113190511B CN 113190511 B CN113190511 B CN 113190511B CN 202110430909 A CN202110430909 A CN 202110430909A CN 113190511 B CN113190511 B CN 113190511B
Authority
CN
China
Prior art keywords
data
ocean
task
scheduling
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110430909.0A
Other languages
English (en)
Other versions
CN113190511A (zh
Inventor
王勇
周生辉
刘圆圆
魏志强
贾东宁
桂琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Marine Science And Technology Center
Ocean University of China
Original Assignee
Ocean University of China
Qingdao National Laboratory for Marine Science and Technology Development Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ocean University of China, Qingdao National Laboratory for Marine Science and Technology Development Center filed Critical Ocean University of China
Priority to CN202110430909.0A priority Critical patent/CN113190511B/zh
Publication of CN113190511A publication Critical patent/CN113190511A/zh
Application granted granted Critical
Publication of CN113190511B publication Critical patent/CN113190511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于众核集群的大数据并发调度及加速处理方法。所述基于众核集群的大数据并发调度及加速处理方法包括：获取海洋数据文件；拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。

Description

基于众核集群的大数据并发调度及加速处理方法
技术领域
本发明涉及并行处理技术领域，具体涉及一种基于众核集群的大数据并发调度及加速处理方法以及海洋数据文件并行处理系统。
背景技术
海洋数值模拟是以现实海洋为基本物理背景,以高性能计算机为载体,按照物理规律,建立数学模型,从而对海洋状态(包括海温、盐度、海流、海浪、潮汐等要素)进行模拟,参数化、定量化地描述海洋的具体状况。随着计算机计算能力的飞速提升,海洋数值模拟近年来得到了极大的发展,逐渐成为海洋大数据的重要来源。其中CESM是众多海洋数值模系统中的佼佼者，其产生的数据量巨大，以数T的数量计算。对后续的的应用处理上比较困难。为解决模式系统产生大量数据无法及时处理的问题，从而发明本系统方法，以达到数千万数量级的并行数据处理系统能力。
CESM是由美国国家大气中心于2010年发布的新一代地球系统模式，是目前最先进、使用最广泛的地球系统模式之一。CESM利用耦合器协同大气、海洋、陆面、海冰等分量模式进行气候模拟。
发明内容
本发明的目的在于提供一种基于众核集群的大数据并发调度及加速处理方法，来克服或至少减轻现有技术的至少一个上述缺陷。
本发明的一个方面，提供一种基于众核集群的大数据并发调度及加速处理方法，所述基于众核集群的大数据并发调度及加速处理方法包括：
获取海洋数据文件；
拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；
通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。
可选地，所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：
根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件。
可选地，所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件。
可选地，所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；
调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点。
可选地，所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：
调度节点获取此次任务的计算任务空闲节点的数量；
调度节点获取需要加速处理的海洋数据子文件的信息；
调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；
所述调度节点为每个计算任务空闲节点分配至少一个任务；
每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。
可选地，每个所述计算任务空闲节点包括主核以及至少两个从核，每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理包括：
每个计算任务空闲节点的主核根据自己的ID号，自调度节点处所述获取对应的任务文件；
每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理。
可选地，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括一维数据；
所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据所述一维数据的长度对所述一维数据进行划分，从而形成多段一维数据分段；
每个从核获取一段一维数据分段进行处理。
可选地，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括二维数据，所述二维数据包括行数据以及列数据；
所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据所述一维数据的行数据对所述二维数据进行划分，从而形成多段二维数据分段；
每个从核获取一段二维数据分段进行处理。
本申请还提供了一种海洋数据文件并行处理系统，所述海洋数据文件并行处理系统包括：
海洋数据文件获取模块，所述海洋数据文件获取模块用于获取海洋数据文件；
拆分模块，所述拆分模块用于拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；
并行系统，所述并行系统用于对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。
可选地，所述并行系统包括至少两个以上计算任务空闲节点。
有益效果
通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。
附图说明
图1为本发明第一实施例的基于众核集群的大数据并发调度及加速处理方法的流程示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请保护范围的限制。
图1为本发明第一实施例的基于众核集群的大数据并发调度及加速处理方法的流程示意图。
如图1所示的基于众核集群的大数据并发调度及加速处理方法包括：
步骤1：获取海洋数据文件；
步骤2：拆分海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；
步骤3：通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。
通过采用本申请的基于众核集群的大数据并发调度及加速处理方法能够根据需要更改获取到的时空数据文件的分辨率以及时间步长，并且计算速度快。
在本实施例中，拆分海洋数据文件，从而获得至少两个海洋数据子文件包括：
根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件。
具体地，通过MPI并行的方式把一系列的比较大的NC文件，根据球面八分体剖分网格、变量名称，深度信息及时间信息进行海洋数据的拆分一个个比较小的NC文件，形成按网格块的时空数据。其中每一块的数据，根据其元数据信息进行命名，命名规范格式如下：
(变量名称，维度起始，经度起始，时刻信息，深度信息)。
在本实施例中，通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件。
由于模式生成的数据通常都是固定分辨率的，而且时间步长也是固定。因而拆分成一个个比较小的NC文件所产生的数据在时间和空间上都是固定，而在上层应用进行展示时，可能会需要不同的时空分辨率的数据。
因此，需要根据已有的时空数据进行并行加速处理，插值生成高分辨率或低分辨率的时空数据。在此过程中，分别实现了固定式和动态两种调度方法。
在本实施例中，并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；
调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点。
在本实施例中，文件信息包括：文件名称，需要差分的倍速等等，以及其他的一些算法，如：旋转算法，统计数据大小算法等等。
在本实施例中，并行系统包括调度节点以及至少两个计算任务空闲节点，并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：
调度节点获取此次任务的计算任务空闲节点的数量；
调度节点获取需要加速处理的海洋数据子文件的信息；
调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，任务群中包括多个任务；
调度节点为每个计算任务空闲节点分配至少一个任务；
每个计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。
在本实施例中，自适应调度方式是指：
一个调度节点读取所有的需要加速处理的海洋数据文件(例如，NC文件)路径，通过MPI点对点的方式分发给各个计算任务节点。每个计算任务节点完成处理任务后，给调度节点发送完成任务信息，调度节点把该计算节点加入到调度队列中。这样调度节点从计算空闲任务节点获取可用计算节点，给其发送计算任务，直到完成所有计算。
在本实施例中，固定式调度方式是指：
在执行并行处理任务之前，首先需要确定此次任务总计算任务空闲节点点数，然后通过工具preSplitTask，把总的预处任务文件列表，根据计算任务空闲节点平均进行拆分对数量的任务列表(即文件)。
在固定式调度方式中，在本实施例中，每个计算任务空闲节点包括主核以及至少两个从核，每个计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理包括：
每个计算任务空闲节点的主核根据自己的ID号，自调度节点处获取对应的任务文件；
每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理。
在本实施例中，每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括一维数据；
每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据一维数据的长度对一维数据进行划分，从而形成多段一维数据分段；
每个从核获取一段一维数据分段进行处理。
举例来说，计一维数组为arr，长度为N，从核编号从0开始到(M-1)，共M个从核，则每个从核需要处理数据大小为N/M,第i个从核处理数据的开始为i*N/M。
在主核中同时启动M从核阵列之后，M个从核根据从核编号i，根据公式i*N/M，获取需要处理的arr中的数据起始地址及长度，从核使用DMA操作从主核内核中加载需要处理的数据，然后进行加速算法的处理。处理完成之后，在通过DMA操作把处理完成的数据输出到主核的内存中去。
在本实施例中，每个计算任务空闲节点的主核自调度节点处获取对应的任务文件包括二维数据，二维数据包括行数据以及列数据；
每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据一维数据的行数据对所述二维数据进行划分，从而形成多段二维数据分段；
每个从核获取一段二维数据分段进行处理。
举例来说，计二维数组为arr，宽为W,高为H，从核编号从0开始到M-1，共M个从核。采用按照高度划分的思想把二维数据平均分配到M从核中进行加速处理。则每个从核需要处理数据行数为H/M,第i个从核处理数据行号起始为i*H/M。
在主核中同时启动M从核阵列之后，M个从核根据从核编号i，根据公式i*N/M，获取需要处理的arr中的数据起始地址及长度，从核使用DMA操作从主核内核中加载需要处理的数据，然后进行加速算法的处理。处理完成之后，在通过DMA操作把处理完成的数据输出到主核的内存中去。
本申请还提供了一种海洋数据文件并行处理系统，所述海洋数据文件并行处理系统包括海洋数据文件获取模块，拆分模块以及并行系统，海洋数据文件获取模块用于获取海洋数据文件；拆分模块用于拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；并行系统用于对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长。
在本实施例中，并行系统包括至少两个以上计算任务空闲节点。
本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。第一、第二等词语用来标识名称，而不标识任何特定的顺序。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述基于众核集群的大数据并发调度及加速处理方法包括：
获取海洋数据文件；
拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；
通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长；所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：
根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件；所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；
调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：
调度节点获取此次任务的计算任务空闲节点的数量；
调度节点获取需要加速处理的海洋数据子文件的信息；
调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；
所述调度节点为每个计算任务空闲节点分配至少一个任务；
每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。
2.如权利要求1所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，每个所述计算任务空闲节点包括主核以及至少两个从核，每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理包括：
每个计算任务空闲节点的主核根据自己的ID号，自调度节点处所述获取对应的任务文件；
每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理。
3.如权利要求2所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括一维数据；
所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据所述一维数据的长度对所述一维数据进行划分，从而形成多段一维数据分段；
每个从核获取一段一维数据分段进行处理。
4.如权利要求3所述的基于众核集群的大数据并发调度及加速处理方法，其特征在于，所述每个计算任务空闲节点的主核自调度节点处所述获取对应的任务文件包括二维数据，所述二维数据包括行数据以及列数据；
所述每个计算任务空闲节点的从核自其对应的主核处获取需要处理的数据并对所述数据进行处理包括：
根据所述一维数据的行数据对所述二维数据进行划分，从而形成多段二维数据分段；
每个从核获取一段二维数据分段进行处理。
5.一种海洋数据文件并行处理系统，其特征在于，所述海洋数据文件并行处理系统包括：
海洋数据文件获取模块，所述海洋数据文件获取模块用于获取海洋数据文件；
拆分模块，所述拆分模块用于拆分所述海洋数据文件，从而获得至少两个海洋数据子文件，其中，各个海洋数据子文件具有相同的分辨率以及时间步长；
并行系统，所述并行系统用于对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件，所述时空数据文件具有与所述海洋数据子文件不同的分辨率以及时间步长；所述并行系统包括至少两个以上计算任务空闲节点；
所述拆分所述海洋数据文件，从而获得至少两个海洋数据子文件包括：
根据球面八分体剖分网格、变量名称、深度信息及时间信息对所述海洋数据文件进行拆分，从而获得至少两个海洋数据子文件；所述通过并行系统对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
并行系统通过自适应调度方式和/或固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述通过自适应调度方式对每个海洋数据子文件进行并行处理，从而获得至少一个时空数据文件包括：
调度节点获取各个海洋数据子文件中需要加速处理的海洋数据子文件的信息；
调度节点通过MPI点对点的方式将需要处理的海洋数据子文件的信息分发给各个计算任务空闲节点；所述并行系统包括调度节点以及至少两个计算任务空闲节点，所述并行系统通过固定式调度方式对每个海洋数据子文件进行并行加速处理，从而获得至少一个时空数据文件包括：
调度节点获取此次任务的计算任务空闲节点的数量；
调度节点获取需要加速处理的海洋数据子文件的信息；
调度节点根据需要加速处理的海洋数据子文件的信息生成任务群，所述任务群中包括多个任务；
所述调度节点为每个计算任务空闲节点分配至少一个任务；
每个所述计算任务空闲节点根据任务对需要加速处理的海洋数据子文件进行处理。
CN202110430909.0A 2021-04-21 2021-04-21 基于众核集群的大数据并发调度及加速处理方法 Active CN113190511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110430909.0A CN113190511B (zh) 2021-04-21 2021-04-21 基于众核集群的大数据并发调度及加速处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110430909.0A CN113190511B (zh) 2021-04-21 2021-04-21 基于众核集群的大数据并发调度及加速处理方法

Publications (2)

Publication Number Publication Date
CN113190511A CN113190511A (zh) 2021-07-30
CN113190511B true CN113190511B (zh) 2022-09-13

Family

ID=76977892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110430909.0A Active CN113190511B (zh) 2021-04-21 2021-04-21 基于众核集群的大数据并发调度及加速处理方法

Country Status (1)

Country Link
CN (1) CN113190511B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231642A (zh) * 2007-08-27 2008-07-30 中国测绘科学研究院 时空数据库管理方法及其系统
CN102044087A (zh) * 2009-10-21 2011-05-04 吴立新 一种基于sdog的三维地球系统格网的构建方法
CN104967619A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机系统有限公司 文件推送方法、装置和系统
CN105205174A (zh) * 2015-10-14 2015-12-30 北京百度网讯科技有限公司 用于分布式系统的文件处理方法和装置
CN105869048A (zh) * 2016-03-28 2016-08-17 中国建设银行股份有限公司 一种数据处理方法及系统
CN106095583A (zh) * 2016-06-20 2016-11-09 国家海洋局第海洋研究所 基于新神威处理器的主从核协同计算编程框架
CN112347118A (zh) * 2021-01-08 2021-02-09 阿里云计算有限公司 数据存储、查询与生成方法、数据库引擎及存储介质
CN112463739A (zh) * 2019-09-09 2021-03-09 山东省计算中心（国家超级计算济南中心） 基于海洋模式roms的数据处理方法及系统
CN112612777A (zh) * 2020-12-24 2021-04-06 浙江大学 一种基于MySQL数据库的海洋数据管理与可视化系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231642A (zh) * 2007-08-27 2008-07-30 中国测绘科学研究院 时空数据库管理方法及其系统
CN102044087A (zh) * 2009-10-21 2011-05-04 吴立新 一种基于sdog的三维地球系统格网的构建方法
CN104967619A (zh) * 2015-06-17 2015-10-07 深圳市腾讯计算机系统有限公司 文件推送方法、装置和系统
CN105205174A (zh) * 2015-10-14 2015-12-30 北京百度网讯科技有限公司 用于分布式系统的文件处理方法和装置
CN105869048A (zh) * 2016-03-28 2016-08-17 中国建设银行股份有限公司 一种数据处理方法及系统
CN106095583A (zh) * 2016-06-20 2016-11-09 国家海洋局第海洋研究所 基于新神威处理器的主从核协同计算编程框架
CN112463739A (zh) * 2019-09-09 2021-03-09 山东省计算中心（国家超级计算济南中心） 基于海洋模式roms的数据处理方法及系统
CN112612777A (zh) * 2020-12-24 2021-04-06 浙江大学 一种基于MySQL数据库的海洋数据管理与可视化系统和方法
CN112347118A (zh) * 2021-01-08 2021-02-09 阿里云计算有限公司 数据存储、查询与生成方法、数据库引擎及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于"神威.太湖之光"的区域海洋模式并行优化;吴琦等;《计算机研究与发展》;20191231;全文 *

Also Published As

Publication number Publication date
CN113190511A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN104091301A (zh) 一种基于MapReduce的瓦片金字塔并行构建方法
JP2022550730A (ja) 高速なスパースニューラルネットワーク
US11481994B2 (en) Method and apparatus for extracting image data in parallel from multiple convolution windows, device, and computer-readable storage medium
CN111738276A (zh) 基于多核卷积神经网络的图像处理方法、装置及设备
CN115794414B (zh) 基于并行计算的卫星对地通视分析方法、装置和设备
CN112115226B (zh) 地图渲染方法和地图渲染装置
CN112614207B (zh) 等值线绘制方法、装置和设备
CN118193914A (zh) 面向分布式平台的lu分解方法、装置、设备及存储介质
CN113190511B (zh) 基于众核集群的大数据并发调度及加速处理方法
CN111831425B (zh) 一种数据处理方法、装置及设备
Lei et al. Stream model-based orthorectification in a GPU cluster environment
CN113626547B (zh) 一种货运行业地图矢量切片方法、装置、存储介质及终端
CN113344765B (zh) 一种频域天文图像目标检测方法及系统
CN108960203A (zh) 一种基于fpga异构计算的车辆检测方法
CN111737347B (zh) 在Spark平台顺序切分数据的方法及装置
CN114968182A (zh) 用于存算一体芯片的算子拆分方法、控制方法和装置
CN114116208A (zh) 一种基于gpu的短波辐射传输模式三维加速方法
CN108595455B (zh) 一种空间数据坐标转换方法及装置
CN109901164B (zh) 一种合成孔径雷达的分布式后向投影成像方法
Chen Analysis of Data Parallelism Methods with Deep Neural Network
Shrestha et al. Multi-level domain-decomposition strategy for solving the eikonal equation with the fast-sweeping method
CN113671502B (zh) 一种合成孔径雷达的分布式压缩感知并行成像方法
CN111949676B (zh) 基于星载网格化区域标注的区域特征属性生成方法及系统
CN112632208B (zh) 一种交通流轨迹变形方法及装置
Gourbesville Decision Support Systems and Hydroinformatics Solutions: Needs and Gaps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: No. 238 Songling Road, Laoshan District, Qingdao City, Shandong Province

Patentee after: OCEAN University OF CHINA

Country or region after: China

Patentee after: Qingdao Marine Science and Technology Center

Address before: 266100 Shandong Province, Qingdao city Laoshan District Songling Road No. 238

Patentee before: OCEAN University OF CHINA

Country or region before: China

Patentee before: QINGDAO NATIONAL LABORATORY FOR MARINE SCIENCE AND TECHNOLOGY DEVELOPMENT CENTER

CP03 Change of name, title or address