CN111309458A - 一种多节点任务异步协同处理方法 - Google Patents
一种多节点任务异步协同处理方法 Download PDFInfo
- Publication number
- CN111309458A CN111309458A CN201910628209.5A CN201910628209A CN111309458A CN 111309458 A CN111309458 A CN 111309458A CN 201910628209 A CN201910628209 A CN 201910628209A CN 111309458 A CN111309458 A CN 111309458A
- Authority
- CN
- China
- Prior art keywords
- asynchronous
- epoll
- thread
- pipeline
- socket
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 40
- 238000012544 monitoring process Methods 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000007726 management method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 239000003795 chemical substances by application Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 241000272525 Anas platyrhynchos Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- CZBZUDVBLSSABA-UHFFFAOYSA-N butylated hydroxyanisole Chemical compound COC1=CC=C(O)C(C(C)(C)C)=C1.COC1=CC=C(O)C=C1C(C)(C)C CZBZUDVBLSSABA-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种多节点任务异步协同处理方法，包括：多任务拆分并发处理；多线程并行处理；异步控制管理机制；针对私有云平台集群服务的特点，建立代码分析任务拆分、多节点并行处理、异步控制管理机制，形成多节点的任务协同处理能力，通过本发明，能够加快实现代码组成分析过程，使集群结构更加清晰，更容易理解。
Description
技术领域
本发明涉及信息安全领域，尤其涉及一种多节点任务异步协同处理方法。
背景技术
随着信息化的发展，软件的复杂程度也逐渐增加，代码审计时需要进行组成分析的软件代码数据量十分庞大。为保证匹配识别准确度，存储的开源代码、第三方动态库、安全漏洞数据等知识需要全覆盖，用于识别匹配的知识库数据量达到6TBit以上。一般的个人电脑计算速度较慢，常规服务器无法提供大规模并行计算能力，一般的硬盘也难以满足多节点同时吞吐数据的要求，为了保证软件代码组成分析系统代码搜索匹配效率，项目采用具备服务器集群横向扩展能力的私有云计算平台。通过增加计算机或虚拟机来近乎线性地提高代码分析计算能力和海量代码数据存储能力，实现多节点的高并发处理，使代码搜索匹配效率随节点线性增加。
现阶段本领域的软件已有的成果是美国Black duck(黑鸭软件)，但并没有公开核心技术预处理过程与匹配方式。
Black duck是一款成熟软件，来自美国，这套软件在美国律师事务所、知识产权局、企业审计部门、软件承包商等单位广泛应用，并应用到其他国家的大型软件公司和企业审计单位。图1为Black duck架构的结构示意图。
Black duck是一款对源代码进行扫描、审计和代码管理的软件工具。软件分别有protex、Codecenter、和Export三个产品组成。其中：
Protex用于代码扫描、审计和管理，能够清楚的发现源代码中开源代码的使用情况，帮助用户清楚的了解已有代码中存在的风险(确认license 合规性/知识产权风险)。
Coed Center用于帮助用户在软件开发生命周期中寻找和管理使用有效的开源代码，并能够提示开源代码中是否存在安全漏洞问题。
Export能够帮助用户发现源代码中是否含有受到出口管制的加密算法。
HUB：支持二进制开源代码扫描，可以精确到开源代码的片段级扫描。
目前，Black duck已经成熟应用，占有源代码分析的全球主要用户群，但是由于美国贸易限制，这款软件的开源代码库不对中国销售，只能通过上传源代码文件或二进制文件，使用软件的在线检测服务进行软件组成扫描分析，存在保密和安全的问题，这对军用软件是不允许的，因此军用软件无法采用这套软件的服务进行代码组成分析。Black duck没有公开如何匹配方式、互联网上查询到相关的资料。
发明内容
为加快任务处理速度，本发明针对任务进行拆分，划分子任务，并将子任务进行分发，进行并行处理的方法。本发明的任务拆分并发处理机制由主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker) 组成。本发明的多线程并行处理技术使用线程池的方式，减少了计算节点开销，加快了分析速度。
根据本发明的一方面，提供了一种多任务并发处理方法，所述方法包括：采用多进程的模型对多代码分析处理任务进行拆分处理，创建子进程完成任务处理，如状态监控数据查询，备份或恢复进度查询，日志查询等。通过基于I/O多路复用的模型处理多任务的请求，可以达到高效的并发处理效果。项目采用的多进程模型和Epoll模型具体实现。
更具体地，在所述多节点任务异步协同处理方法中：多任务并发处理技术包括：由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信。流程如图3所示。
更具体地，在所述多节点任务异步协同处理方法中：使用多线程并行处理技术包括：采用多线程的方式来并行计算代码分析摘要信息和传输数据，为了避免系统过度消耗内存或线程“切换过度”，采用线程池 (ThreadPool)的模式来执行任务。在程序启动时，创建线程池，并初始化一定数量的工作线程(WorkerThead)。
更具体地，在所述多节点任务异步协同处理方法中：任务并行处理中，启动备份或恢复任务时，主线程首先将磁盘进行分块处理，根据分块的大小、偏移量等信息创建出请求接口任务，任务的数量跟磁盘分块的数量是一致的。将任务插入到请求队列中，工作线程获取接口任务，执行任务计算分块的摘要值。工作线程执行后的结果也是由主线程来管理。同样，传输数据时，也是由主线程将数据块信息封装成任务，工作线程取出任务执行，主线程管理结果。工作模式如图5所示。
更具体地，在所述多节点任务异步协同处理方法中：异步控制管理机制中，项目采用的异步控制机制采用基于epoll调用的单线程异步事件触发机制来实现各类IO的高效并发，如下图所示：
异步事件框架在主控线程中运行epoll系统调用，并由epoll调用监听循环网络、磁盘以及管道连接事件，可读事件和可写事件。为提高系统并发性和吞吐量，元数据管理模块内部采用线程池异步处理不同链接不同业务逻辑下执行的数据库操作，线程池工作流程图如图6所示。。
ThreadPoolDispatcher是Agent的派生类，主要负责线程池任务下发以及执行结果的接收和返回。ThreadPool类负责线程池维护，任务调度等工作。EventHandlerThread是Thread派生类，其包裹有Linux线程实体，是具体业务的执行单元，而ThreadpoolWorkItem派生类则指定线程具体执行的内容。当元数据服务器监听到其他模块发起的相关操作请求，调用线程池进行处理操作的流程基本相同，元数据服务器上各个对象时序图如图 7所示。。
由此可见，本发明至少具备以下多处关键的发明点：1、多任务拆分并发处理方法；2、线程池多线程并行处理技术方法；3、异步控制管理机制。
附图说明
以下将结合附图对本发明的实施方案进行描述，其中：
图1为根据本发明背景技术中Black duck架构的结构示意图。
图2为根据本发明实施方案示出的多节点任务异步协同处理流程图示意图。
图3为根据本发明实施方案示出的多节点任务异步协同处理方法的管理节点主进程工作流程示意图。
图4为根据本发明实施方案示出的多节点任务异步协同处理方法的线程池工作模型示意图。
图5为根据本发明实施方案示出的多节点任务异步协同处理方法的并行处理工作模式示意图。
图6为根据本发明实施方案示出的多节点任务异步协同处理方法的异步控制管理机制流程示意图。
图7为根据本发明实施方案示出的多节点任务异步协同处理方法的异步处理流程示意图。
图8为根据本发明实施方案示出的多节点任务异步协同处理方法的异步调用时序图。
具体实施方式
下面将参照附图对本发明的多节点任务异步协同处理的实施方案进行详细说明。
为了克服上述技术问题，本发明通过如下的技术方案来实现：多任务拆分并发处理技术，所述方法包括：由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信。主进程工作流程如下图3，具体步骤如下：
①主进程初始化，创建命令管道fifo，创建Heartbeat子进程，主进程关闭管道写端，子进程关闭管道写端。
②调用epoll_create()函数创建epoll文件句柄epollfd。
③创建socket，绑定端口50000，将监听描述符linstenfd加入epollfd 中。
④调用epoll_wait()函数等待事件到来。
⑤如果是有新连接到来，调用accept()函数接受连接，设置新套接字连接事件为EPOLLIN，只监听可读事件，将新连接加入epollfd中。
⑥如果是socket有可读数据，创建worker子进程，子进程继承主进程的socket连接，主进程关闭该socket，从epoll中移出该socket描述符。子进程读取socket数据，进行业务逻辑处理。
⑦如果是管道描述符有数据可读，则表示心跳模块向管理模块汇报了系统故障，需要进行故障处理，创建worker子进程，子进程调用故障处理函数handleBreakdown()。
接着，继续对本发明的多线程并行处理技术的具体流程进行进一步的说明。
在所述多节点任务异步协同处理方法中：
使用多线程并行处理技术包括：程序启动时，我们就创建线程池，并初始化一定数量的工作线程(WorkerThead)，如图4所示，线程池包含以下几个部分：
线程池管理器(Thread Pool)：用于启动、停用和管理工作线程；
工作线程(WorkThread)：线程池中执行任务的线程；
请求接口(WorkerRequest)：创建请求对象，工作线程调度执行；
请求队列(RequestQueue)：存放请求，以供工作线程获取；
结果队列(ResuItQueue)：存储工作线程执行后的结果。
在所述多节点任务异步协同处理方法中：
使用异步控制管理机制包括：项目采用的异步控制机制采用基于epoll 调用的单线程异步事件触发机制来实现各类IO的高效并发，如图6所示。
异步事件框架在主控线程中运行epoll系统调用，并由epoll调用监听循环网络、磁盘以及管道连接事件，可读事件和可写事件。为提高系统并发性和吞吐量，元数据管理模块内部采用线程池异步处理不同链接不同业务逻辑下执行的数据库操作，线程池工作流程图如图7所示。
ThreadPoolDisparcher是Agent的派生类，主要负责线程池任务下发以及执行结果的接收和返回。ThreadPool类负责线程池维护，任务调度等工作。EventHandlerThread是Thread派生类，其包裹有Linux线程实体，是具体业务的执行单元，而ThreadpoolWorkItem派生类则指定线程具体执行的内容。当元数据服务器监听到其他模块发起的相关操作请求，调用线程池进行处理操作的流程基本相同，元数据服务器上各个对象时序图如图8 所示。
TCPListenAgent是Agent的派生类，在元数据管理服务器上不同的端口都有不同的派生类负责监听来自系统中不同模块的请求，比如 ClientListenAgent负责监听来自客户端的请求，DSListenAgent负责监听来自系统管理模块的请求。当具体的ListenAgent接收新的连接时，其会生成对应的业务Agent对象负责处理此次连接请求。在此之后，业务Agent对象会根据发送到元数据服务器上的命令字字段生
成线程池中完成具体业务的ThreadPoolWorkItem派生类对象，并通过ThreadPool-Dispatcher对象的postRequest方法将ThreadPoolWorkItem的指针写入与ThreadPool通信的管道中。ThreadPool中的EventHandlerThread 从管道中读取ThreadPoolWorkItem对象，并按ThreadPoolWorkItem基类定义的接口依次调用preProcee，process，postProcess三个方法，完成具体操作。
与此同时，ThreadPoolDispatcher自身也维护一根管道，用于把线程池中的任务将结果写回上层业务Agent。ThreadPoolDispatcher将此管道的读端注册到Epoll，ThreadPool中的线程工作结束后把ThreadPoolWorkItem 派生类对象指针写入此管道。当管道的可读事件发生时， ThreadPoolDispatcher读取任务结果，并调用processResult回调函数，处理操作结果。
综上，与传统的单个文件匹配的方式，本发明的多节点任务异步协同处理方法能够更合理的使用集群，提高匹配效率。
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (3)
1.一种项目多节点任务异步协同处理方法，其特征在于，所述方法包括：
采用多进程的模型对多代码分析处理任务进行拆分处理；
通过基于I/O多路复用的模型处理多任务的请求；
由一个主进程(Master)、一个心跳进程(Heartbeat)和多个工作进程(worker)组成。Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信；
采用多线程的方式来并行计算代码分析摘要信息和传输数据；
采用线程池(ThreadPool)的模式来执行任务；
项目采用的异步控制机制采用基于epoll调用的单线程异步事件触发机制来实现各类IO的高效并发。
2.如权利要求1所述的项目多节点任务异步协同处理方法，其特征在于：
使用Master进程监控和管理其他进程，负责处理网络事件。主进程与Heartbeat子进程通过管道来通信包括：
主进程初始化，创建命令管道fifo，创建Heartbeat子进程，主进程关闭管道写端，子进程关闭管道写端。调用epoll_create()函数创建epoll文件句柄epollfd。创建socket，绑定端口50000，将监听描述符linstenfd加入epollfd中。调用epoll_wait()函数等待事件到来。如果是有新连接到来，调用accept()函数接受连接，设置新套接字连接事件为EPOLLIN，只监听可读事件，将新连接加入epollfd中。如果是socket有可读数据，创建worker子进程，子进程继承主进程的socket连接，主进程关闭该socket，从epoll中移出该socket描述符。子进程读取socket数据，进行业务逻辑处理。如果是管道描述符有数据可读，则表示心跳模块向管理模块汇报了系统故障，需要进行故障处理，创建worker子进程，子进程调用故障处理函数handleBreakdown()。
3.如权利要求1所述的项目多节点任务异步协同处理方法，其特征在于：
使用采用的异步控制机制采用基于epoll调用的单线程异步事件触发机制来实现各类IO的高效并发包括：
异步事件框架在主控线程中运行epoll系统调用，并由epoll调用监听循环网络、磁盘以及管道连接事件，可读事件和可写事件。为提高系统并发性和吞吐量，元数据管理模块内部采用线程池异步处理不同链接不同业务逻辑下执行的数据库操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628209.5A CN111309458A (zh) | 2019-07-12 | 2019-07-12 | 一种多节点任务异步协同处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910628209.5A CN111309458A (zh) | 2019-07-12 | 2019-07-12 | 一种多节点任务异步协同处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111309458A true CN111309458A (zh) | 2020-06-19 |
Family
ID=71156166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910628209.5A Pending CN111309458A (zh) | 2019-07-12 | 2019-07-12 | 一种多节点任务异步协同处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111309458A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813530A (zh) * | 2020-08-12 | 2020-10-23 | 中国工商银行股份有限公司 | 数据处理的方法、装置、计算设备和介质 |
| CN112583664A (zh) * | 2020-12-08 | 2021-03-30 | 广东荣文科技集团有限公司 | 数据处理方法及相关装置 |
| CN113422842A (zh) * | 2021-08-20 | 2021-09-21 | 国网江西省电力有限公司供电服务管理中心 | 一种考虑网络负载的分布式电力用电信息数据采集系统 |
| CN114356446A (zh) * | 2021-12-27 | 2022-04-15 | 湖北天融信网络安全技术有限公司 | 一种进程间事件的处理方法、装置、设备以及存储介质 |
| CN115118612A (zh) * | 2022-05-12 | 2022-09-27 | 曙光信息产业股份有限公司 | 资源配额管理方法、装置、计算机设备和存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040148605A1 (en) * | 2003-01-28 | 2004-07-29 | Samsung Electronics Co., Ltd. | Distributed processing system and method using virtual machine |
| CN101256505A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 基于io事件通知机制的单进程内容服务器装置及方法 |
| CN102274045A (zh) * | 2011-05-27 | 2011-12-14 | 华南理工大学 | 一种并行的实时医学超声宽景成像方法 |
| CN102835974A (zh) * | 2012-08-23 | 2012-12-26 | 华南理工大学 | 基于并行计算机的医学超声三维成像方法 |
| CN104133724A (zh) * | 2014-04-03 | 2014-11-05 | 腾讯科技（深圳）有限公司 | 并发任务调度方法及装置 |
| CN106325980A (zh) * | 2015-06-30 | 2017-01-11 | 中国石油化工股份有限公司 | 一种多线程并发系统 |
| CN106534118A (zh) * | 2016-11-11 | 2017-03-22 | 济南浪潮高新科技投资发展有限公司 | 一种高性能ip‑sm‑gw系统的实现方法 |
-
2019
- 2019-07-12 CN CN201910628209.5A patent/CN111309458A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040148605A1 (en) * | 2003-01-28 | 2004-07-29 | Samsung Electronics Co., Ltd. | Distributed processing system and method using virtual machine |
| CN101256505A (zh) * | 2007-03-02 | 2008-09-03 | 中国科学院声学研究所 | 基于io事件通知机制的单进程内容服务器装置及方法 |
| CN102274045A (zh) * | 2011-05-27 | 2011-12-14 | 华南理工大学 | 一种并行的实时医学超声宽景成像方法 |
| CN102835974A (zh) * | 2012-08-23 | 2012-12-26 | 华南理工大学 | 基于并行计算机的医学超声三维成像方法 |
| CN104133724A (zh) * | 2014-04-03 | 2014-11-05 | 腾讯科技（深圳）有限公司 | 并发任务调度方法及装置 |
| CN106325980A (zh) * | 2015-06-30 | 2017-01-11 | 中国石油化工股份有限公司 | 一种多线程并发系统 |
| CN106534118A (zh) * | 2016-11-11 | 2017-03-22 | 济南浪潮高新科技投资发展有限公司 | 一种高性能ip‑sm‑gw系统的实现方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111813530A (zh) * | 2020-08-12 | 2020-10-23 | 中国工商银行股份有限公司 | 数据处理的方法、装置、计算设备和介质 |
| CN111813530B (zh) * | 2020-08-12 | 2024-04-19 | 中国工商银行股份有限公司 | 数据处理的方法、装置、计算设备和介质 |
| CN112583664A (zh) * | 2020-12-08 | 2021-03-30 | 广东荣文科技集团有限公司 | 数据处理方法及相关装置 |
| CN113422842A (zh) * | 2021-08-20 | 2021-09-21 | 国网江西省电力有限公司供电服务管理中心 | 一种考虑网络负载的分布式电力用电信息数据采集系统 |
| CN114356446A (zh) * | 2021-12-27 | 2022-04-15 | 湖北天融信网络安全技术有限公司 | 一种进程间事件的处理方法、装置、设备以及存储介质 |
| CN114356446B (zh) * | 2021-12-27 | 2023-08-22 | 湖北天融信网络安全技术有限公司 | 一种进程间事件的处理方法、装置、设备以及存储介质 |
| CN115118612A (zh) * | 2022-05-12 | 2022-09-27 | 曙光信息产业股份有限公司 | 资源配额管理方法、装置、计算机设备和存储介质 |
| CN115118612B (zh) * | 2022-05-12 | 2024-06-04 | 曙光信息产业股份有限公司 | 资源配额管理方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111309458A (zh) | 一种多节点任务异步协同处理方法 | |
| EP1839152B1 (en) | Predictive method for managing, logging or replaying non-deterministic operations within the execution of an application process | |
| US8904361B2 (en) | Non-intrusive method for logging of internal events within an application process, and system implementing this method | |
| US7613597B2 (en) | Non-intrusive method for simulation or replay of external events related to an application process, and a system implementing said method | |
| Warneke et al. | Exploiting dynamic resource allocation for efficient parallel data processing in the cloud | |
| US8321454B2 (en) | Double map reduce distributed computing framework | |
| CN103365702B (zh) | IaaS云环境下轻量级虚拟机进程追踪系统和方法 | |
| US20060167950A1 (en) | Method for the management, logging or replay of the execution of an application process | |
| EP1839153B1 (en) | Non- intrusive method for replaying internal events in an application process, and system implementing this method | |
| US7840940B2 (en) | Semantic management method for logging or replaying non-deterministic operations within the execution of an application process | |
| US7568131B2 (en) | Non-intrusive method for logging external events related to an application process, and a system implementing said method | |
| US20180165177A1 (en) | Debugging distributed web service requests | |
| Kumar et al. | Amber: a debuggable dataflow system based on the actor model | |
| Ye et al. | vHadoop: A scalable Hadoop virtual cluster platform for MapReduce-based parallel machine learning with performance consideration | |
| Di Sanzo et al. | A flexible framework for accurate simulation of cloud in-memory data stores | |
| CN108228330A (zh) | 一种串行化的多进程任务调度方法和装置 | |
| Lu et al. | Assessing MapReduce for internet computing: a comparison of Hadoop and BitDew-MapReduce | |
| Camilli et al. | CTL model checking in the cloud using mapreduce | |
| US20050114834A1 (en) | Grid-enabled ANT compatible with both stand-alone and grid-based computing systems | |
| Daoud et al. | Performance analysis of distributed storage clusters based on kernel and userspace traces | |
| Yang et al. | G‐BLAST: a Grid‐based solution for mpiBLAST on computational Grids | |
| US11720348B2 (en) | Computing node allocation based on build process specifications in continuous integration environments | |
| Orton et al. | Refactoring traces to identify concurrency improvements | |
| CN113553098A (zh) | Flink SQL作业的提交方法、装置及计算机设备 | |
| Jiang et al. | HTDcr: a job execution framework for high-throughput computing on supercomputers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 102209 southeast, 6th floor, block B, national power investment Central Research Institute, South District, future science city, Changping District, Beijing Applicant after: BEIJING KEYWARE Co.,Ltd. Address before: 102208 key technology on the fourth floor of the production building of the second Pinzi Bona group, Huilongguan, Changping District, Beijing Applicant before: BEIJING KEYWARE Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200619 |
|
| WD01 | Invention patent application deemed withdrawn after publication |