CN115268800A - 基于计算路由重定向的数据处理方法及数据存储系统 - Google Patents

基于计算路由重定向的数据处理方法及数据存储系统 Download PDF

Info

Publication number
CN115268800A
CN115268800A CN202211202907.7A CN202211202907A CN115268800A CN 115268800 A CN115268800 A CN 115268800A CN 202211202907 A CN202211202907 A CN 202211202907A CN 115268800 A CN115268800 A CN 115268800A
Authority
CN
China
Prior art keywords
data
distributed storage
calculation
storage node
computation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211202907.7A
Other languages
English (en)
Other versions
CN115268800B (zh
Inventor
曾博远
黄虹兵
陈海洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Original Assignee
Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hantang Cloud Distributed Storage Technology Co ltd filed Critical Sichuan Hantang Cloud Distributed Storage Technology Co ltd
Priority to CN202211202907.7A priority Critical patent/CN115268800B/zh
Publication of CN115268800A publication Critical patent/CN115268800A/zh
Application granted granted Critical
Publication of CN115268800B publication Critical patent/CN115268800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G06F11/327—Alarm or error message display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Abstract

本发明公开了基于计算路由重定向的数据处理方法及数据存储系统，包括如下步骤：获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算权重，根据数据计算权重大小，生成计算序列；根据计算序列对应的分布式存储节点，将计算任务路由至分布式存储节点进行计算任务执行，得到中间数据，直到所有的计算数据计算完成，得到中间数据分布式存储节点序列；根据中间数据计算权重，从大到小生成中间数据计算序列；根据中间数据计算序列，直到所有的中间数据计算完成，得到结果数据分布式存储节点序列，完成计算数据的处理与存储。通过本发明，可以实现超大规模数据集的分布式计算。

Description

基于计算路由重定向的数据处理方法及数据存储系统
技术领域
本发明涉及数据处理领域，具体是基于计算路由重定向的数据处理方法及数据存储系统。
背景技术
随着半导体器件的尺寸减小、硅晶工艺的日益完善，当今芯片的制造使得能在更小尺寸的芯片基底上集成更多的用于运算的二极管，伴随着移动互联网的日益发展，大规模的个人数据被创造出来，基于这个社会趋势，针对大数据和大算力时代，能够使用高效的算法将计算资源恰到好处的使用，让计算集群针对某些问题计算的算力能够形成一到两个数量级的效率提升。例如在复杂无规律的数据处理问题中，由于数据集的规模巨大，使得数据集中的数据不能被完全集中在一台存储设备，而是会分布式存储于数台或者数十台的存储设备。
因此，一旦涉及到数据之间的关系运算特别是其中的某些数据经过分析后需要和数据集的其他数据再整合计算的场景，如何能够提升集群的运算负载，让集群算力在硬件资源不变的情况下获得数据处理的提升，如何更好的调度有限的计算资源去应付庞大和海量的数据资源，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，提供基于计算路由重定向的数据处理方法，包括如下步骤：
步骤一，获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算权重，根据数据计算权重大小，生成计算序列；
步骤二，根据计算序列对应的分布式存储节点，将计算任务路由至分布式存储节点进行计算任务执行，得到中间数据，根据中间数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将中间数据存储到访问延迟最小的分布式存储节点，直到所有的计算数据计算完成，得到中间数据分布式存储节点序列；
步骤三，根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，根据中间数据计算权重，从大到小生成中间数据计算序列；
步骤四，根据中间数据计算序列，将计算任务路由至中间数据计算序列对应的分布式存储节点继续进行计算任务执行，得到结果数据，根据结果数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将结果数据存储到访问延迟最小的分布式存储节点，直到所有的中间数据计算完成，得到结果数据分布式存储节点序列，完成计算数据的处理与存储。
进一步的，所述的获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算优先权重，包括：
在待计算数据的分布式存储节点集合中，随机选取一个分布式存储节点，作为初始计算节点，将计算任务路由至初始计算节点；
分别获取待计算数据的分布式存储节点集合中其余各分布式存储节点与初始计算节点之间的访问延迟，以及其余各分布式存储节点各自的计算性能，根据访问延迟与计算性能分别得到其余各分布式存储节点的数据计算权重，所述的数据计算权重，采用如下计算公式：
Figure DEST_PATH_IMAGE001
其中的计算性能为分布式存储节点为单位时间内处理的数据量。
进一步的，所述的根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，采用如下计算公式：
Figure 563527DEST_PATH_IMAGE002
根据中间数据计算权重的大小，从大到小生成中间数据计算序列。
根据基于计算路由重定向的数据处理方法的基于计算路由重定向的数据存储系统，包括数据处理模块、分布式存储模块、分布式存储管理模块、通信装置、计算性能采集模块；
其中的分布式存储模块用于存储相关的数据；
所述的分布式存储管理模块用于对分布式存储模块进行状态监控，包括故障监控、存储状态监控；
所述的计算性能采集模块用于采集各个分布式存储模块的计算性能。
优选的，所述的分布式存储模块包括分布式存储装置、存储信息采集装置；所述的分布式存储装置、存储信息采集装置分别与所述的数据处理模块连接。
优选的，所述的分布式存储管理模块包括分布式存储状态检测装置、报警装置、故障检测装置；所述的分布式存储状态检测装置、报警装置、故障检测装置分别与所述的数据处理模块连接。
优选的，所述的分布式存储状态检测装置包括访问延迟信息采集装置、数据传输信息采集装置；所述的访问延迟信息采集装置、数据传输信息采集装置分别与所述的数据处理模块连接。
优选的，所述的故障检测装置包括温度采集装置；所述的温度采集装置与所述的数据处理模块连接。
优选的，计算性能采集模块用于计算分布式存储节点的计算性能。
本发明的有益效果是：通过本发明所提供的技术方案，可以实现超大规模数据集甚至是单数据的大容量数据的分布式计算，并且可以在不浪费集群计算资源的情况下将集群计算能力发挥到最大值。
附图说明
图1为基于计算路由重定向的数据处理方法的流程示意图；
图2为基于计算路由重定向的数据存储系统的原理示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
为了使本发明的目的，技术方案及优点更加清楚明白，结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且，术语“包括”，“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程，方法，物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程，方法，物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程，方法，物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示，基于计算路由重定向的数据处理方法，包括如下步骤：
步骤一，获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算权重，根据数据计算权重大小，生成计算序列；
步骤二，根据计算序列对应的分布式存储节点，将计算任务路由至分布式存储节点进行计算任务执行，得到中间数据，根据中间数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将中间数据存储到访问延迟最小的分布式存储节点，直到所有的计算数据计算完成，得到中间数据分布式存储节点序列；
步骤三，根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，根据中间数据计算权重，从大到小生成中间数据计算序列；
步骤四，根据中间数据计算序列，将计算任务路由至中间数据计算序列对应的分布式存储节点继续进行计算任务执行，得到结果数据，根据结果数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将结果数据存储到访问延迟最小的分布式存储节点，直到所有的中间数据计算完成，得到结果数据分布式存储节点序列，完成计算数据的处理与存储。
所述的获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算优先权重，包括：
在待计算数据的分布式存储节点集合中，随机选取一个分布式存储节点，作为初始计算节点，将计算任务路由至初始计算节点；
分别获取待计算数据的分布式存储节点集合中其余各分布式存储节点与初始计算节点之间的访问延迟，以及其余各分布式存储节点各自的计算性能，根据访问延迟与计算性能分别得到其余各分布式存储节点的数据计算权重，所述的数据计算权重，采用如下计算公式：
Figure 693157DEST_PATH_IMAGE001
其中的计算性能为分布式存储节点为单位时间内处理的数据量。还包括，若存在数据计算权重相同的分布式存储节点，则访问延迟小的排在访问延迟大的前面。
所述的根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，采用如下计算公式：
Figure 976371DEST_PATH_IMAGE002
根据中间数据计算权重的大小，从大到小生成中间数据计算序列。
如图2所示，基于计算路由重定向的数据处理方法的基于计算路由重定向的数据存储系统，其特征在于，包括数据处理模块、分布式存储模块、分布式存储管理模块、通信装置、计算性能采集模块；
其中的分布式存储模块用于存储相关的数据；
所述的分布式存储管理模块用于对分布式存储模块进行状态监控，包括故障监控、存储状态监控；
所述的计算性能采集模块用于采集各个分布式存储模块的计算性能。
所述的分布式存储模块包括分布式存储装置、存储信息采集装置；所述的分布式存储装置、存储信息采集装置分别与所述的数据处理模块连接。
其中的分布式存储装置用于进行数据的分布式存储，所述的存储信息采集装置用于采集数据存储的存入分布式存储装置的速率和分布式存储装置存储空间的占用状态。
所述的分布式存储管理模块包括分布式存储状态检测装置、报警装置、故障检测装置；所述的分布式存储状态检测装置、报警装置、故障检测装置分别与所述的数据处理模块连接。
所述的分布式存储状态检测装置包括访问延迟信息采集装置、数据传输信息采集装置；所述的访问延迟信息采集装置、数据传输信息采集装置分别与所述的数据处理模块连接。
所述的访问延迟信息采集装置用于采集访问分布式存储节点的延迟时间信息，所述的故障检测装置用于检测分布式存储装置是否发生故障，包括访问延迟故障以及存储故障；所述的存储故障包括数据写入速率低于设定写入速率下限值。
所述的故障检测装置包括温度采集装置；所述的温度采集装置与所述的数据处理模块连接。计算性能采集模块用于计算分布式存储节点的计算性能。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.基于计算路由重定向的数据处理方法，其特征在于，包括如下步骤：
步骤一，获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算权重，根据数据计算权重大小，生成计算序列；
步骤二，根据计算序列对应的分布式存储节点，将计算任务路由至分布式存储节点进行计算任务执行，得到中间数据，根据中间数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将中间数据存储到访问延迟最小的分布式存储节点，直到所有的计算数据计算完成，得到中间数据分布式存储节点序列；
步骤三，根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，根据中间数据计算权重，从大到小生成中间数据计算序列；
步骤四，根据中间数据计算序列，将计算任务路由至中间数据计算序列对应的分布式存储节点继续进行计算任务执行，得到结果数据，根据结果数据所在的分布式存储节点与其它分布式存储节点的访问延迟，将结果数据存储到访问延迟最小的分布式存储节点，直到所有的中间数据计算完成，得到结果数据分布式存储节点序列，完成计算数据的处理与存储。
2.根据权利要求1所述的基于计算路由重定向的数据处理方法，其特征在于，所述的获取存储计算任务中待计算数据的分布式存储节点集合，根据各分布式存储节点的访问延迟以及计算性能，得到数据计算优先权重，包括：
在待计算数据的分布式存储节点集合中，随机选取一个分布式存储节点，作为初始计算节点，将计算任务路由至初始计算节点；
分别获取待计算数据的分布式存储节点集合中其余各分布式存储节点与初始计算节点之间的访问延迟，以及其余各分布式存储节点各自的计算性能，根据访问延迟与计算性能分别得到其余各分布式存储节点的数据计算权重，所述的数据计算权重，采用如下计算公式：
Figure 64449DEST_PATH_IMAGE001
其中的计算性能为分布式存储节点为单位时间内处理的数据量。
3.根据权利要求2所述的基于计算路由重定向的数据处理方法，其特征在于，所述的根据中间数据分布式存储节点序列中各个分布式存储节点的计算性能，分别得到各个分布式存储节点的中间数据计算权重，采用如下计算公式：
Figure 716011DEST_PATH_IMAGE002
根据中间数据计算权重的大小，从大到小生成中间数据计算序列。
4.应用权利要求1-3任一所述的基于计算路由重定向的数据处理方法的基于计算路由重定向的数据存储系统，其特征在于，包括数据处理模块、分布式存储模块、分布式存储管理模块、通信装置、计算性能采集模块；
其中的分布式存储模块用于存储相关的数据；
所述的分布式存储管理模块用于对分布式存储模块进行状态监控，包括故障监控、存储状态监控；
所述的计算性能采集模块用于采集各个分布式存储模块的计算性能。
5.根据权利要求4所述的基于计算路由重定向的数据存储系统，其特征在于，所述的分布式存储模块包括分布式存储装置、存储信息采集装置；所述的分布式存储装置、存储信息采集装置分别与所述的数据处理模块连接。
6.根据权利要求5所述的基于计算路由重定向的数据存储系统，其特征在于，所述的分布式存储管理模块包括分布式存储状态检测装置、报警装置、故障检测装置；所述的分布式存储状态检测装置、报警装置、故障检测装置分别与所述的数据处理模块连接。
7.根据权利要求6所述的基于计算路由重定向的数据存储系统，其特征在于，所述的分布式存储状态检测装置包括访问延迟信息采集装置、数据传输信息采集装置；所述的访问延迟信息采集装置、数据传输信息采集装置分别与所述的数据处理模块连接。
8.根据权利要求6所述的基于计算路由重定向的数据存储系统，其特征在于，所述的故障检测装置包括温度采集装置；所述的温度采集装置与所述的数据处理模块连接。
9.根据权利要求4所述的基于计算路由重定向的数据存储系统，其特征在于，计算性能采集模块用于计算分布式存储节点的计算性能。
CN202211202907.7A 2022-09-29 2022-09-29 基于计算路由重定向的数据处理方法及数据存储系统 Active CN115268800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211202907.7A CN115268800B (zh) 2022-09-29 2022-09-29 基于计算路由重定向的数据处理方法及数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211202907.7A CN115268800B (zh) 2022-09-29 2022-09-29 基于计算路由重定向的数据处理方法及数据存储系统

Publications (2)

Publication Number Publication Date
CN115268800A true CN115268800A (zh) 2022-11-01
CN115268800B CN115268800B (zh) 2022-12-20

Family

ID=83757996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211202907.7A Active CN115268800B (zh) 2022-09-29 2022-09-29 基于计算路由重定向的数据处理方法及数据存储系统

Country Status (1)

Country Link
CN (1) CN115268800B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236848A1 (en) * 2002-06-21 2003-12-25 Steven Neiman System and method for caching results
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存系统
US20120197959A1 (en) * 2011-01-28 2012-08-02 Oracle International Corporation Processing pattern framework for dispatching and executing tasks in a distributed computing grid
CN102763086A (zh) * 2012-01-18 2012-10-31 华为技术有限公司 分布式计算任务处理系统和任务处理方法
US20150248253A1 (en) * 2012-09-13 2015-09-03 Hyosung Itx Co., Ltd Intelligent Distributed Storage Service System and Method
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及系统
US20170329635A1 (en) * 2016-05-13 2017-11-16 University Of Utah Research Foundation Systems and methods for distributed computing
US20190272201A1 (en) * 2017-02-28 2019-09-05 Hitachi, Ltd. Distributed database system and resource management method for distributed database system
US20200210243A1 (en) * 2019-01-02 2020-07-02 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system
CN113377868A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种基于分布式kv数据库的离线存储系统
CN114756383A (zh) * 2022-06-15 2022-07-15 苏州浪潮智能科技有限公司 一种分布式计算方法、系统、设备及存储介质
CN115048225A (zh) * 2022-08-15 2022-09-13 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的分布式调度方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236848A1 (en) * 2002-06-21 2003-12-25 Steven Neiman System and method for caching results
CN1852318A (zh) * 2006-04-19 2006-10-25 华中科技大学 适用于对象网络存储的分布式多级缓存系统
US20120197959A1 (en) * 2011-01-28 2012-08-02 Oracle International Corporation Processing pattern framework for dispatching and executing tasks in a distributed computing grid
CN102763086A (zh) * 2012-01-18 2012-10-31 华为技术有限公司 分布式计算任务处理系统和任务处理方法
US20150248253A1 (en) * 2012-09-13 2015-09-03 Hyosung Itx Co., Ltd Intelligent Distributed Storage Service System and Method
US20170329635A1 (en) * 2016-05-13 2017-11-16 University Of Utah Research Foundation Systems and methods for distributed computing
US20190272201A1 (en) * 2017-02-28 2019-09-05 Hitachi, Ltd. Distributed database system and resource management method for distributed database system
CN107329982A (zh) * 2017-06-01 2017-11-07 华南理工大学 一种基于分布式列式存储的大数据并行计算方法及系统
US20200210243A1 (en) * 2019-01-02 2020-07-02 Alibaba Group Holding Limited System and method for offloading computation to storage nodes in distributed system
CN113377868A (zh) * 2021-06-16 2021-09-10 浪潮卓数大数据产业发展有限公司 一种基于分布式kv数据库的离线存储系统
CN114756383A (zh) * 2022-06-15 2022-07-15 苏州浪潮智能科技有限公司 一种分布式计算方法、系统、设备及存储介质
CN115048225A (zh) * 2022-08-15 2022-09-13 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的分布式调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石琎: "云计算环境下分布存储与并行计算的协同性研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN115268800B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN112988398B (zh) 一种微服务动态伸缩及迁移方法和装置
US7444459B2 (en) Methods and systems for load balancing of virtual machines in clustered processors using storage related load information
EP2879055B1 (en) System and method facilitating performance prediction of multi-threaded application in presence of resource bottlenecks
US10909018B2 (en) System and method for end-to-end application root cause recommendation
US20200159622A1 (en) Rule based failure addressing
US20050021831A1 (en) Determining placement of distributed application onto distributed resource infrastructure
US7277960B2 (en) Incorporating constraints and preferences for determining placement of distributed application onto distributed resource infrastructure
CN106130960A (zh) 盗号行为的判断系统、负载调度方法和装置
CN113220534A (zh) 集群多维度异常监控方法、装置、设备及存储介质
CN111158892B (zh) 一种任务队列生成方法、装置及设备
CN115373888A (zh) 故障定位方法、装置、电子设备和存储介质
CN115268800B (zh) 基于计算路由重定向的数据处理方法及数据存储系统
CN114124942B (zh) 核心网资源调度方法、装置及电子设备
CN116136792A (zh) 一种数据库的计算资源扩缩方法、装置、设备及存储介质
CN111858656A (zh) 一种基于分布式架构的静态数据的查询方法和设备
US8275865B2 (en) Methods, systems and computer program products for selecting among alert conditions for resource management systems
CN115914404A (zh) 集群流量管理方法、装置、计算机设备和存储介质
CN105204945A (zh) 一种在大数据背景下的负载平衡装置
CN111934932B (zh) 一种互联网架构评价方法及装置
CN114153646A (zh) 一种运维故障处置方法、装置及存储介质、处理器
US10178681B2 (en) Systematic approach to power throttling for equipment protection in data centers or other locations
CN114035906A (zh) 虚拟机迁移方法、装置、电子设备及存储介质
CN110290165B (zh) 网络主机间通信负载调控方法、电子装置及可读存储介质
Zhu et al. Optimal bandwidth allocation for web crawler systems
CN113282624B (zh) 规则匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant