CN112631771B - 一种大数据系统的并行处理方法 - Google Patents

一种大数据系统的并行处理方法 Download PDF

Info

Publication number
CN112631771B
CN112631771B CN202011509568.8A CN202011509568A CN112631771B CN 112631771 B CN112631771 B CN 112631771B CN 202011509568 A CN202011509568 A CN 202011509568A CN 112631771 B CN112631771 B CN 112631771B
Authority
CN
China
Prior art keywords
data
preprocessing
storage server
subprogram
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011509568.8A
Other languages
English (en)
Other versions
CN112631771A (zh
Inventor
马春荃
涂俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hesi Information Technology Co Ltd
Original Assignee
Beijing Hesi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hesi Information Technology Co Ltd filed Critical Beijing Hesi Information Technology Co Ltd
Priority to CN202011509568.8A priority Critical patent/CN112631771B/zh
Publication of CN112631771A publication Critical patent/CN112631771A/zh
Application granted granted Critical
Publication of CN112631771B publication Critical patent/CN112631771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种大数据系统的并行处理方法，该方法将数据处理过程分成预处理和主处理两部分，由存储服务器执行部分数据预处理工作，从而实现了存储服务器集群和数据处理服务器的并行计算，提高了数据处理效率，提高了系统资源利用率。

Description

一种大数据系统的并行处理方法
【技术领域】
本发明属于计算机领域，尤其涉及一种大数据系统的并行处理方法。
【背景技术】
随着互联网(尤其是移动互联网)的快速发展，海量的数据信息产生了大数据的概念，通过对大数据的统计、分析、处理，可以获得许多宏观意义上的结果，也可以对个体总结出一定的统计规律或长期规律。
为了存储海量的数据，大数据系统通常都具有存储服务器集群，即每个存储服务器存储一部分数据，并对外提供数据的读写接口，也可以对数据进行一些简单处理。而大数据系统如果需要对数据进行分析处理，则可以由处理服务器执行相应的数据处理程序，大数据系统中通常也包括多个处理服务器，每个处理服务器可以执行一个或多个数据处理程序，不同的数据处理程序可以执行不同的数据处理方法。
数据处理程序运行后，从存储服务器集群读取需要的数据，然后进行预定的数据处理，得到处理结果。由于数据量大，数据处理程序的处理任务实际上很繁重，而处理服务器可能同时运行多个不同的数据处理程序，对处理服务器的压力也较大。为了提高处理效率，降低处理服务器压力，就需要增加处理服务器的数量，或者提高处理服务器的性能，而这都需要较大的成本。
【发明内容】
为了解决现有技术中的上述问题，本发明提供了一种大数据系统的并行处理方法。
本发明采用的技术方案具体如下：
一种大数据系统的并行处理方法，包括以下步骤：
步骤100：将数据处理过程划分为两个子过程：预处理子过程和主处理子过程，并编写相应的数据处理程序，该数据处理程序相应地包括两个子程序：预处理子程序和主处理子程序；
步骤200：数据处理服务器选择存储服务器，将所述预处理子程序发送给所述存储服务器；
步骤300：所述数据处理服务器运行所述数据处理程序，所述存储服务器运行所述预处理子程序，并通过所述预处理子程序与所述数据处理服务器建立预处理连接；
步骤400：所述存储服务器定时计算自身的负载比例；
步骤500：所述存储服务器根据自身当前的负载比例，确定执行预处理的数据比例；
步骤600：所述存储服务器读取数据时，根据所述执行预处理的数据比例，判断是否可以对读取的数据进行预处理，如果可以，则调用相应的预处理子程序对该读取的数据进行预处理，否则直接返回读取的数据；
步骤700：当预处理子程序被调用时，对收到的数据进行数据预处理，将预处理后的数据通过预处理连接返回给相应的数据处理服务器。
进一步地，所述步骤500中，所述存储服务器根据自身当前的负载比例的取值范围，来确定执行预处理的数据比例，包括如下步骤：
步骤510：如果负载比例大于第一阈值T1，则所述数据比例为0；
步骤520：如果负载比例小于第二阈值T2，则所述数据比例为100％；
步骤530：如果负载比例在第一阈值T1和第二阈值T2之间，则所述数据比例DP通过如下公式计算：
DP＝1-(ServerLoad-T2)/(T1-T2)
其中ServerLoad是所述存储服务器的负载比例，0＜T2＜T1<1。
进一步地，所述步骤200中，数据处理服务器选择存储服务器集群中的所有存储服务器以发送所述预处理子程序。
进一步地，所述步骤200中，数据处理服务器基于预先估计的数据分布情况，选择部分存储服务器以发送预处理子程序。
进一步地，所述预处理子程序在建立预处理连接后，在未被调用的情况下，进入休眠状态。
进一步地，所述步骤400中，所述存储服务器统计过去一段时间内的数据吞吐量Data，设所述一段时间内数据吞吐量的上限阈值为maxdata，则所述负载比例ServerLoad＝Data/maxdata。
进一步地，所述数据处理服务器接收原始数据或经过存储服务器预处理的数据；对于原始数据，所述数据处理服务器上的数据处理程序调用预处理子程序进行预处理，然后调用主处理子程序进行主处理；对于经过存储服务器预处理的数据，数据处理程序直接调用主处理子程序进行主处理。
进一步地，所述第一阈值为80％。
进一步地，所述第二阈值为20％。
本发明还提供了一种大数据系统，包括数据处理服务器和多个存储服务器，所述数据处理服务器和存储服务器用于完成上述方法。
本发明的有益效果是：实现了存储服务器集群和数据处理服务器的并行计算，提高了数据处理效率，提高了系统资源利用率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明所涉及的大数据系统部件的逻辑结构图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，其示出了本发明方法所涉及的大数据系统部件的逻辑结构图，图中示出的只是与本发明相关的系统部件，大数据系统中与本发明无关的系统部件已经略去。
本发明主要涉及的是存储服务器和数据处理服务器，如附图1所示，在大数据系统中，存储服务器实际上是多个服务器组成的服务器集群，每个存储服务器都具有数据库，用于存储大数据系统中的一部分数据。存储服务器通过内部网络接收数据的读写指令，根据所述数据读写指令访问数据库；如果是读指令，则根据读指令访问数据库，返回读取结果；如果是写指令，则将写指令中的数据写入数据库。
数据处理服务器用于执行一个或多个数据处理程序，数据处理程序用于对大数据系统中的数据进行统计、分析等数据处理，得到相应的数据处理结果，本发明对具体的数据处理不作限制，本领域技术人员可以明白，本发明的方法可以适用于各种数据处理。每个数据处理程序可以完成不同的数据处理，实现不同的数据处理需求。数据处理程序可以通过内部网络向存储服务器发送数据读指令，从存储服务器读取数据，从而完成相应的数据处理。
需要说明的是，虽然附图1中只示出了一个数据处理服务器，但是实际系统中可以有多个数据处理服务器，不同的数据处理服务器可以执行不同的数据处理程序。因此，在同一时间，可能有多个数据处理程序在多个数据处理服务器上并行执行，并行访问所述存储服务器集群。
基于上述系统结构，下面详细介绍本发明方法的流程。
步骤100：将数据处理过程划分为两个子过程：预处理子过程和主处理子过程，并编写相应的数据处理程序，该数据处理程序相应地包括两个子程序：预处理子程序和主处理子程序。
通常而言，数据处理程序的主要流程是将数据从存储服务器的数据库中读出，然后对其执行相应的数据处理过程。从数据库中直接读取的数据通常是原始数据，即按照数据库的输出格式得到的数据。而对于原始数据，数据处理程序常常需要进行一定的数据预处理过程，例如将数据按照预定的格式重组，或者去除冗余的数据，或者按照预定标准进行数据清洗，等等。在完成预处理之后，针对预处理后的数据，再执行核心的数据统计、分析等主处理过程。
预处理过程和主处理过程通常是独立的，因此可以事先进行划分，从而可以将一个数据处理过程划分为预处理子过程和主处理子过程。与此相应的，数据处理程序也可以编写成包括预处理子程序和主处理子程序两部分，优选的，预处理子程序可以包括一个预处理函数，用于执行预处理子过程，主处理子程序也可以包括一个主处理函数，用于执行主处理子过程。
预处理子程序和主处理子程序可以被编译为独立程序，或者被编译为可被调用的API。本发明不对子程序的具体实现形式进行限制，只要其可以被服务器执行即可。
步骤200：数据处理服务器选择存储服务器，将所述预处理子程序发送给所述存储服务器。
如前所述，大数据系统包括存储服务器集群，根据本发明的一个实施例，数据处理服务器可以选择集群中的所有存储服务器以发送预处理子程序。根据本发明的另一个实施例，数据处理服务器也可以基于预先估计的数据分布情况，选择部分存储服务器以发送预处理子程序。
步骤300：所述数据处理服务器运行所述数据处理程序，所述存储服务器运行所述预处理子程序，并通过所述预处理子程序与所述数据处理服务器建立连接。
具体的，每个接收到所述预处理子程序的存储服务器，可以直接运行所述预处理子程序，所述预处理子程序的第一工作是建立与数据处理服务器的连接，(实质上是预处理子程序和数据处理服务器上的数据处理程序之间建立了通信连接)，该连接后续用于预处理子程序向所述数据处理程序发送预处理后的数据，因此该连接也可称为预处理连接。
在建立连接后，预处理子程序可以进入休眠状态，等待存储服务器唤醒，以避免占用存储服务器的资源。
步骤400：所述存储服务器定时计算自身的负载比例ServerLoad。
所述负载比例体现了所述存储服务器的负载，以百分数来表示。由于存储服务器的主要工作是读写数据，因此可以使用存储服务器的数据吞吐量来衡量其负载。具体的，存储服务器可以计算过去一段时间内的数据吞吐量，即对该存储服务器的数据库的读取数据量和写入数据量之和，设该数据吞吐量为Data，则负载比例ServerLoad＝Data/maxdata，其中maxdata是预先定义的上限阈值，用于表示存储服务器的最大数据吞吐量。
举例而言，存储服务器可以每隔1分钟计算一次负载比例，当需要计算负载比例时，存储服务器统计过去1分钟内的数据吞吐量，根据预先定义的1分钟内的最大数据吞吐量，存储服务器就可以通过上述计算公式计算出负载比例。
在上述例子中，存储服务器计算负载比例的时间间隔和统计数据吞吐量的时间段是一致的，都是1分钟。但是本发明不限于此，这两个时间也可以不相同。
步骤500：所述存储服务器根据自身当前的负载比例，确定执行预处理的数据比例。
如前所述，存储服务器执行的主要工作是数据读写，其负载比例反映了其数据读写的负载，而数据预处理工作在存储服务器上的优先级比数据读写低，因此需要根据负载比例来调整数据预处理的工作量。
所述预处理的数据比例指的是该存储服务器执行预处理的数据量在该存储服务器所读写的数据量中所占的比例。例如，假设执行预处理的数据比例为10％，如果数据量以数据库中的数据记录为单位，则每读写10个数据记录，允许对其中的一个数据记录进行预处理。
由于存储服务器的负载比例是定时计算和更新的，因此所述数据比例也相应地定时进行调整。
步骤600：所述存储服务器读取数据时，根据所述预处理的数据比例，判断是否可以对读取的数据进行预处理，如果可以，则调用相应的预处理子程序对该读取的数据进行预处理，否则直接返回读取的数据。
具体的，判断读取的数据是否可以进行预处理有两个前提条件：1.读取该数据的数据处理程序具有相应的预处理子程序，并且已经将该预处理子程序上传到该存储服务器；2.读取的数据落入了所述数据比例的允许范围内。
举例而言，假设预处理的数据比例为10％，则每读写10个数据记录，则存储服务器获得一个数据记录的预处理权，由此存储服务器可以积累数据记录的预处理权。在具有预处理权的情况下，当读取一个数据记录时，存储服务器判断自身是否具有与该数据记录对应的预处理子程序，如果有则调用该预处理子程序进行数据预处理，然后将预处理权减一。当然，上述例子只是本发明的一个具体实施例，本领域技术人员也可以采用其他具体方法来实现步骤600。
步骤700：当预处理子程序被调用时，对收到的数据进行数据预处理，将预处理后的数据通过预处理连接返回给相应的数据处理服务器。
具体的，存储服务器调用预处理子程序，将需要预处理的数据作为调用参数传给预处理子程序，预处理子程序接收所述需要预处理的数据，对其进行相应的预处理，并通过步骤300建立的连接直接返回给数据处理服务器。
预处理子程序在完成预处理工作后，可以进入休眠状态，等待存储服务器的下一次调用。
从数据处理服务器的角度看，其发送数据读取请求，所读取的数据有两个返回路径，第一个是正常读取数据的返回路径，从该路径返回的数据都是原始数据，第二个是通过步骤300建立的一个或多个预处理连接，从预处理连接上返回的数据都是经过存储服务器预处理的数据。这样数据处理服务器可以很容易区分两种数据，从而可以进行相应的后续处理。
对于原始数据，数据处理服务器上的数据处理程序需要自己调用预处理子程序进行预处理，然后调用主处理子程序进行主处理；对于经过存储服务器预处理的数据，数据处理程序可以直接调用主处理子程序进行主处理。
进一步地，本发明还提出了一种确定执行预处理的数据比例的具体方法，即所述存储服务器根据自身当前的负载比例的取值范围，来确定执行预处理的数据比例，包括如下步骤：
步骤510：如果负载比例大于第一阈值T1，则所述数据比例为0。
所述第一阈值可以预先设置，例如设置为80％，当负载比例大于第一阈值时，可以认为该存储服务器负载过大，此时起不再执行数据预处理的工作。
步骤520：如果负载比例小于第二阈值T2，则所述数据比例为100％。
所述第二阈值也可以预先设置，例如设置为20％，当负载比例小于第二阈值时，可以认为该存储服务器负载较小，计算能力空闲，则可以全面执行预处理的工作。第一阈值和第二阈值的设置满足0＜T2＜T1<1。
步骤530：如果负载比例在第一阈值T1和第二阈值T2之间，则所述数据比例DP通过如下公式计算：
DP＝1-(ServerLoad-T2)/(T1-T2)
其中ServerLoad是所述存储服务器的负载比例，通过负载比例动态计算所述数据比例，可以充分利用存储服务器的资源进行并行处理。
基于上述方法，本发明在大数据系统中利用了存储服务器的资源进行数据预处理，实现了存储服务器集群和数据处理服务器的并行计算，提高了数据处理效率，提高了系统资源利用率。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (9)

1.一种大数据系统的并行处理方法，其特征在于，包括以下步骤：
步骤100：将数据处理过程划分为两个子过程：预处理子过程和主处理子过程，并编写相应的数据处理程序，该数据处理程序相应地包括两个子程序：预处理子程序和主处理子程序；
步骤200：数据处理服务器选择存储服务器，将所述预处理子程序发送给所述存储服务器；
步骤300：所述数据处理服务器运行所述数据处理程序，所述存储服务器运行所述预处理子程序，并通过所述预处理子程序与所述数据处理服务器建立预处理连接；
步骤400：所述存储服务器定时计算自身的负载比例；
步骤500：所述存储服务器根据自身当前的负载比例，确定执行预处理的数据比例；
步骤600：所述存储服务器读取数据时，根据所述执行预处理的数据比例，判断是否可以对读取的数据进行预处理，如果可以，则调用相应的预处理子程序对该读取的数据进行预处理，否则通过正常读取数据的返回路径返回读取的数据，所述返回路径与预处理连接不同；
步骤700：当预处理子程序被调用时，对收到的数据进行数据预处理，将预处理后的数据通过预处理连接返回给相应的数据处理服务器；
所述步骤500中，所述存储服务器根据自身当前的负载比例的取值范围，来确定执行预处理的数据比例，包括如下步骤：
步骤510：如果负载比例大于第一阈值T1，则所述数据比例为0；
步骤520：如果负载比例小于第二阈值T2，则所述数据比例为100％；
步骤530：如果负载比例在第一阈值T1和第二阈值T2之间，则所述数据比例DP通过如下公式计算：
DP＝1-(ServerLoad-T2)/(T1-T2)
其中ServerLoad是所述存储服务器的负载比例，0＜T2＜T1<1。
2.根据权利要求1所述的方法，其特征在于，所述步骤200中，数据处理服务器选择存储服务器集群中的所有存储服务器以发送所述预处理子程序。
3.根据权利要求1所述的方法，其特征在于，所述步骤200中，数据处理服务器基于预先估计的数据分布情况，选择部分存储服务器以发送预处理子程序。
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述预处理子程序在建立预处理连接后，在未被调用的情况下，进入休眠状态。
5.根据权利要求1-3任意一项所述的方法，其特征在于，所述步骤400中，所述存储服务器统计过去一段时间内的数据吞吐量Data，设所述一段时间内数据吞吐量的上限阈值为maxdata，则所述负载比例ServerLoad＝Data/maxdata。
6.根据权利要求1所述的方法，其特征在于，所述数据处理服务器接收原始数据或经过存储服务器预处理的数据；对于原始数据，所述数据处理服务器上的数据处理程序调用预处理子程序进行预处理，然后调用主处理子程序进行主处理；对于经过存储服务器预处理的数据，数据处理程序直接调用主处理子程序进行主处理。
7.根据权利要求1所述的方法，其特征在于，所述第一阈值为80％。
8.根据权利要求1所述的方法，其特征在于，所述第二阈值为20％。
9.一种大数据系统，其特征在于，包括数据处理服务器和多个存储服务器，所述数据处理服务器和存储服务器用于完成权利要求1-8任意一项所述的方法。
CN202011509568.8A 2020-12-18 2020-12-18 一种大数据系统的并行处理方法 Active CN112631771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509568.8A CN112631771B (zh) 2020-12-18 2020-12-18 一种大数据系统的并行处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509568.8A CN112631771B (zh) 2020-12-18 2020-12-18 一种大数据系统的并行处理方法

Publications (2)

Publication Number Publication Date
CN112631771A CN112631771A (zh) 2021-04-09
CN112631771B true CN112631771B (zh) 2021-11-16

Family

ID=75317558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509568.8A Active CN112631771B (zh) 2020-12-18 2020-12-18 一种大数据系统的并行处理方法

Country Status (1)

Country Link
CN (1) CN112631771B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253714B (zh) * 2021-12-07 2024-04-12 四川新网银行股份有限公司 一种基于阻塞队列的多线程数据处理的方法、系统及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336808A (zh) * 2013-06-25 2013-10-02 中国科学院信息工程研究所 一种基于bsp模型的实时图数据处理系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210162B1 (en) * 2010-03-29 2019-02-19 Carbonite, Inc. Log file management
CN201698407U (zh) * 2010-07-16 2011-01-05 中国工商银行股份有限公司 一种基于银行业务的软件性能分析系统
CN102937964B (zh) * 2012-09-28 2015-02-11 无锡江南计算技术研究所 基于分布式系统的智能数据服务方法
GB2509977A (en) * 2013-01-22 2014-07-23 Ibm Packet pre-processing unit which checks received packet validity and redundancy
CN103226467B (zh) * 2013-05-23 2015-09-30 中国人民解放军国防科学技术大学 数据并行处理方法、系统及负载均衡调度器
CN103546566A (zh) * 2013-10-28 2014-01-29 珠海许继芝电网自动化有限公司 基于分布式存储与计算的配电网运行数据处理方法及系统
CN108833519A (zh) * 2018-06-05 2018-11-16 福建十方融汇科技有限公司 一种存储集群方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336808A (zh) * 2013-06-25 2013-10-02 中国科学院信息工程研究所 一种基于bsp模型的实时图数据处理系统及方法

Also Published As

Publication number Publication date
CN112631771A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
US20170097850A1 (en) Finding resource bottlenecks with low-frequency sampled data
CN108197176A (zh) 基于分布式集群架构的核心银行数据处理方法及其系统
CN107257363B (zh) 一种响应请求端请求的方法及系统
CN108196959B (zh) Etl系统的资源管理方法及装置
WO2020042503A1 (zh) 风控系统的验证方法、装置、设备及存储介质
CN113157411B (zh) 一种基于Celery的可靠可配置任务系统及装置
CN112631771B (zh) 一种大数据系统的并行处理方法
CN112882818A (zh) 任务动态调整方法、装置以及设备
CN101256484A (zh) 用于确定调用至少一个应用程序的频率的方法和设备
CN110046093A (zh) 接口测试方法、装置、计算机设备和存储介质
CN113641487A (zh) 一种大数据平台sql任务执行引擎智能自动切换的方法
JP3844933B2 (ja) データベースサーバ処理方法
CN113641674B (zh) 一种自适应全局序号发生方法和装置
CN116501468A (zh) 批量作业处理方法、装置及电子设备
CN115840649A (zh) 划分容量块式虚拟资源分配方法及装置、存储介质和终端
CN115309638A (zh) 协助模型优化的方法及装置
CN113590357A (zh) 连接池的调整方法、装置、计算机设备及存储介质
CN114168439A (zh) 一种集群内服务的压测控制方法、装置、存储介质及终端
CN113505017A (zh) 一种问题排查方法、装置、存储介质和设备
US8881156B2 (en) Apportioning summarized metrics based on unsummarized metrics in a computing system
CN112860532A (zh) 性能测试方法、装置、设备及介质、程序产品
CN111290897A (zh) 异步存储测试方法、电子装置、计算机设备及存储介质
CN113282405B (zh) 一种负载调整的优化方法及终端
CN116842299B (zh) 动态数据访问风险控制系统与方法
CN117762760B (zh) 服务器的硬件性能测试分数获取方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ma Chunchuo

Inventor after: Tu Jun

Inventor before: Tu Jun

GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211103

Address after: 100089 room 2201, 22 / F, building 1, courtyard 1, Danling street, Haidian District, Beijing

Applicant after: BEIJING HESI INFORMATION TECHNOLOGY Co.,Ltd.

Address before: Room 053, 8 commercial building, 266 Fengyi street, Suzhou Industrial Park, Jiangsu Province 215000

Applicant before: Jiangsu Kangrong Technology Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Parallel Processing Method for Big Data System

Effective date of registration: 20221210

Granted publication date: 20211116

Pledgee: Xiamen International Bank Co.,Ltd. Beijing Branch

Pledgor: BEIJING HESI INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000824