CN108845878A - 基于无服务器计算的大数据处理方法及装置 - Google Patents

基于无服务器计算的大数据处理方法及装置 Download PDF

Info

Publication number
CN108845878A
CN108845878A CN201810428815.8A CN201810428815A CN108845878A CN 108845878 A CN108845878 A CN 108845878A CN 201810428815 A CN201810428815 A CN 201810428815A CN 108845878 A CN108845878 A CN 108845878A
Authority
CN
China
Prior art keywords
data processing
cluster
module
resource
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810428815.8A
Other languages
English (en)
Inventor
张功萱
翟昕宇
王希冀
周秀敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201810428815.8A priority Critical patent/CN108845878A/zh
Publication of CN108845878A publication Critical patent/CN108845878A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明公开一种能提供高弹性、细粒度、高效率的云计算服务的基于无服务器计算的大数据处理方法及装置。方法包括如下步骤：(10)任务发布：用户上传所需要进行处理的数据集和算法代码文件；(20)作业调度：根据系统环境配置，对集群资源进行调度，自动分配计算处理单元；(30)数据处理：调取算法文件和相应数据集，执行数据运算；(40)集群监管：对于集群资源动态情况、数据处理运行情况进行实时监控。装置包括任务发布模块(1)、作业调度模块(2)、数据处理模块(3)和集群监管模块(4)，所述作业调度模块(2)一端与任务发布模块(1)相连，另一端分别与数据处理模块(3)和集群监管模块(4)相连。

Description

基于无服务器计算的大数据处理方法及装置
技术领域
本发明属于大数据处理领域，特别是一种能提供高弹性、细粒度、高效率的云计算服务的基于无服务器计算的大数据处理方法及装置。
背景技术
自2006年Amazon Web Service发布的第一个云服务S3开始，存储、计算等IT基础设施的能力纷纷以服务的方式提供给用户，相继出现了SaaS(软件即服务)、IaaS(基础设施即服务)、PaaS(平台即服务)等不同形态的云服务。在这个过程中，Serverless(无服务器化)的趋势越来越明显。IaaS将真实的物理机变成了虚拟机，PaaS进一步将虚拟机变成了包含基础设施的中间件服务，而SaaS将中间件服务扩展到更为基础的后端能力。这些是云计算解决效率和成本的重要体现。但当前云计算服务的抽象粒度大多在服务器级别，要管理和使用这些云计算资源仍然有不小的门槛和成本。
目前用户在使用传统的大数据处理服务时，需要首先根据业务情况选择相应规格的服务器，接着进行对服务器网络和操作系统的配置，然后再在服务群中部署安装与数据处理任务有关的组件。与此同时还面临着负载均衡、配置升级等一系列有关服务器运维技术方面的需求。等上述流程结束后，用户方能提交任务需求来获取平台的数据处理服务。此外，传统的大数据处理服务基于C/S架构，需要在服务器上长期维持相应的进程来处理用户发来的请求。在技术层面，需要用户考虑如何守护进程，如何降故障时产生的影响等等。因此，这就要求用户在使用传统的大数据处理服务时，既要具备数据处理等业务能力，还要具备一定的服务器运维能力。
上述现有技术对大数据的处理存在的问题是：
1、在使用大数据处理服务时，经常会面临业务突增的情况，这就要求服务器必须拓展硬件能力来应对业务高峰，即使高峰时间仅占整个运行时间的10％。这就需要用户自行搭建资源伸缩机制和负载均衡，耗时较多。
2、传统的大数据处理服务主要以服务器作为基础的硬件管理单元，一般以月或年为周期长期运行，而在此期间与数据处理相关的组件待机等待调用，资源利用率低，维护成本高，还需要用户解决服务器宕机等一系列底层系统的问题。
3、当多个用户对于系统环境有不同的要求时，需要进行服务器扩容操作，自行重复新建物理环境、配置运行环境等流程，消耗大量人力物力。
发明内容
本发明的目的在于提供一种基于无服务器计算的大数据处理方法及装置，能提供高弹性、细粒度、高效率的云计算服务。
实现本发明目的的技术方案为：
一种基于无服务器计算的大数据处理方法，包括如下步骤：
(10)任务发布：用户通过浏览器访问数据处理平台入口页面，上传所需要进行处理的数据集和算法代码文件；
(20)作业调度：分别将接收的数据集和代码文件发送至底层存储模块和集群管理节点资源文件夹中；同时，根据用户所需的系统环境配置，通过对集群资源进行调度，自动分配计算处理单元；
(30)数据处理：分布式计算处理单元同集群管理节点与底层存储模块进行通信，调取算法文件和相应数据集，执行运算处理并保存结果；
(40)集群监管：集群管理节点对于集群资源动态情况、数据处理运行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中。
实现本发明另一目的的技术方案为：
一种基于无服务器计算的大数据处理装置，包括：
任务发布模块(1)，用于向用户提供大数据处理平台的Web访问入口实现从上传所需要进行处理的数据集和算法代码文件，到实时监控数据处理工作状态和获取返回结果的全生命周期管理；
作业调度模块(2)，用于接收所述任务发布模块(1)提交的用户任务请求信息和数据集并保存至底层存储系统中，同时会根据用户所需的配置，通过对集群资源进行调度，自动创建和分配分布式计算处理单元及高速数据访问通道，从而构建符合用户需求的数据处理模块；还用于对平台数据处理模块的实时监控和宕机保护，以及对集群中基础资源服务的创建和扩展管理；
数据处理模块(3)，用于分布式计算处理单元同集群管理节点与底层存储系统进行通信，调取用户提交的算法文件和相应数据集，进行数据处理并保存执行结果；还用于记录数据处理过程中产生的日志信息并保存反馈至集群管理节点；
集群监管模块(4)，用于执行所述作业调度模块下发的命令，根据用户需求构建用于对集群网络资源、计算资源和存储资源进行管理的服务；还用于对于集群的资源动态情况、数据处理执行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中；
所述作业调度模块(2)一端与任务发布模块(1)相连，另一端分别与数据处理模块(3)和集群监管模块(4)相连。
本发明与现有技术相比，其显著优点为：
1.用户可以利用无服务器计算架构的弹性扩展特性，快速构建新的计算能力来满足当前需求。
2.在Serverless无服务器计算架构中，平台将计算资源作为服务的形式而不是以服务器的形式提供给用户，并通过细粒化的管理，使用户能够快速地调动和使用海量计算资源。同时，通过业务事件来触发对资源的调用，当业务完成后，资源能够自动进行释放，有效地节省了成本，提高了资源利用率。
3.实现了用户业务与集群大数据处理平台的隔离。用户无需关心开发过程的具体细节，不再运维任何云主机和操作系统，只需要提交算法执行文件和数据集，发布任务后即可实施监控处理运行情况并获取返回结果。所有配置和应用生命周期管理的工作都由系统自动负责，从而保证开发者无需再为云服务器中的各类虚拟资源分神，使其能够专注于核心业务的开发，节省了大量的时间和人力成本
综上，通过本发明与现有技术的对比，可以看出所提出的基于无服务器计算的大数据处理方法及装置能够自动化地完成用户提交的数据处理任务，并且最大限度减少了用户在管理服务器上所花费的工作和精力，更具备通用性、高效性和易用性的特点。
附图说明
图1为本发明基于无服务器计算的大数据处理方法的主流程图。
图2为图1中作业调度步骤的流程图。
图3为图1中数据处理步骤的流程图。
图4为本发明基于无服务器计算的大数据处理装置的结构框图。
图中的附图标记含义如下：
1－任务发布模块，2－作业调度模块，3－数据处理模块，4－集群监管模块，
10－任务发布，20－作业调度，30－数据处理，40－集群监管，
21－数据保存，22－构建数据处理模块，23－资源监控，
31－系统通信，32－数据处理，33－过程保存。
具体实施方式
如图1所示，本发明基于无服务器计算的大数据处理方法，包括如下步骤：
(10)任务发布：用户通过浏览器访问数据处理平台入口页面，上传所需要进行处理的数据集和算法代码文件；
(20)作业调度：分别将接收的数据集和代码文件发送至底层存储模块和集群管理节点资源文件夹中；同时，根据用户所需的系统环境配置，通过对集群资源进行调度，自动分配计算处理单元；
如图2所示，所述(20)作业调度步骤包括：
(21)数据保存：接收用户任务请求信息和数据集，并保存至底层存储系统中；
(22)构建数据处理模块：根据用户所需的配置，通过对集群资源的调度自动创建和分配分布式计算处理单元及高速数据访问通道，构建符合用户需求的数据处理模块；
(23)资源监控：对数据处理模块进行实时监控和宕机保护，同时负责集群中基础资源服务的创建和扩展管理。
(30)数据处理：分布式计算处理单元同集群管理节点与底层存储模块进行通信，调取算法文件和相应数据集，执行运算处理并保存结果；
如图3所示，所述(30)数据处理步骤包括：
(31)系统通信：分布式计算处理单元同集群管理节点与底层存储系统进行通信；
(32)数据处理：调取用户提交的算法文件和相应数据集，进行数据处理并保存执行结果；
(33)过程保存：记录数据处理过程中产生的日志信息并保存反馈至集群管理节点。
(40)集群监管：集群管理节点对于集群资源动态情况、数据处理运行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中。
如图4所示，本发明基于无服务器计算的大数据处理装置，包括：
任务发布模块1，用于向用户提供大数据处理平台的Web访问入口实现从上传所需要进行处理的数据集和算法代码文件，到实时监控数据处理工作状态和获取返回结果的全生命周期管理；
作业调度模块2，用于接收所述任务发布模块1)提交的用户任务请求信息和数据集并保存至底层存储系统中，同时会根据用户所需的配置，通过对集群资源进行调度，自动创建和分配分布式计算处理单元及高速数据访问通道，从而构建符合用户需求的数据处理模块；还用于对平台数据处理模块的实时监控和宕机保护，以及对集群中基础资源服务的创建和扩展管理；
数据处理模块3，用于分布式计算处理单元同集群管理节点与底层存储系统进行通信，调取用户提交的算法文件和相应数据集，进行数据处理并保存执行结果；还用于记录数据处理过程中产生的日志信息并保存反馈至集群管理节点；
集群监管模块4，用于执行所述作业调度模块下发的命令，根据用户需求构建用于对集群网络资源、计算资源和存储资源进行管理的服务；还用于对于集群的资源动态情况、数据处理执行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中；
所述作业调度模块2一端与任务发布模块1相连，另一端分别与数据处理模块3和集群监管模块4相连。
优选地，所述任务发布模块1包括用户访问平台的Web界面。
优选地，所述作业调度模块2包括Docker Swarm容器管理工具。
优选地，所述数据处理模块3包括Spark分布式计算引擎和Alluxio数据访问高速通道。
优选地，所述集群监管模块4包括服务器集群基础设施资源、集群管理平台Openstack和集群监控管理工具。
由于本发明采用了基于无服务器计算的大数据处理方法及装置，
用户在面对数据处理业务时，只需要通过访问所述任务发布模块1提供的Web界面，将业务需求进行提交，然后等待返回计算结果即可。用户不必再运维任何的云主机和操作系统，所有物理环境和运行环境的配置和资源生命周期的管理工作都由所述作业调度模块2以及集群监管模块4自动负责。通过所述任务发布模块，将用户的业务与集群大数据处理平台进行隔离，保证用户无需再为云服务器中的各类虚拟资源分神，大大缩短了用户处理业务需求的时间。
另外，所述(20)作业调度步骤的实现基于Docker容器化服务，集群中的资源被封装在容器内并以服务的形式提供给用户。所述作业调度模块2在接收到用户的业务请求时会触发对集群资源的调用，根据业务的需求量分配所提供的资源上限。并在业务处理完成后，自动地对资源进行释放，有效节省了成本，提高资源利用率。借助于所述作业调度模块中的Docker Swarm容器管理工具，对资源进行了更加细粒化的管理，使用户能够快速地调动和使用海量计算资源。
同时，所述作业调度模块2具有良好的弹性扩展特性，在面对突增的数据处理业务需求时，会自动地向所述集群监管模块4下发资源调度命令，从而快速构建新的计算能力来保证所述30数据处理步骤的的稳定运行。
总之，本发明的基于无服务器计算的大数据处理方法及装置，能够自动化地完成用户提交的数据处理任务，并且最大限度减少了用户在管理服务器上所花费的工作和精力，相比于传统的大数据处理服务而言更具备通用性、高效性和易用性的特点。

Claims (8)

1.一种基于无服务器计算的大数据处理方法，其特征在于，包括如下步骤：
(10)任务发布：用户通过浏览器访问数据处理平台入口页面，上传所需要进行处理的数据集和算法代码文件；
(20)作业调度：分别将接收的数据集和代码文件发送至底层存储模块和集群管理节点资源文件夹中；同时，根据用户所需的系统环境配置，通过对集群资源进行调度，自动分配计算处理单元；
(30)数据处理：分布式计算处理单元同集群管理节点与底层存储模块进行通信，调取算法文件和相应数据集，执行运算处理并保存结果；
(40)集群监管：集群管理节点对于集群资源动态情况、数据处理运行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中。
2.根据权利要求1所述的大数据处理方法，其特征在于，所述(20)作业调度步骤包括：
(21)数据保存：接收用户任务请求信息和数据集，并保存至底层存储系统中；
(22)构建数据处理模块：根据用户所需的配置，通过对集群资源的调度自动创建和分配分布式计算处理单元及高速数据访问通道，构建符合用户需求的数据处理模块；
(23)资源监控：对数据处理模块进行实时监控和宕机保护，同时负责集群中基础资源服务的创建和扩展管理。
3.根据权利要求1所述的大数据处理方法，其特征在于，所述(30)数据处理步骤包括：
(31)系统通信：分布式计算处理单元同集群管理节点与底层存储系统进行通信；
(32)数据处理：调取用户提交的算法文件和相应数据集，进行数据处理并保存执行结果；
(33)过程保存：记录数据处理过程中产生的日志信息并保存反馈至集群管理节点。
4.一种基于无服务器计算的大数据处理装置，其特征在于，包括：
任务发布模块(1)，用于向用户提供大数据处理平台的Web访问入口实现从上传所需要进行处理的数据集和算法代码文件，到实时监控数据处理工作状态和获取返回结果的全生命周期管理；
作业调度模块(2)，用于接收所述任务发布模块(1)提交的用户任务请求信息和数据集并保存至底层存储系统中，同时会根据用户所需的配置，通过对集群资源进行调度，自动创建和分配分布式计算处理单元及高速数据访问通道，从而构建符合用户需求的数据处理模块；还用于对平台数据处理模块的实时监控和宕机保护，以及对集群中基础资源服务的创建和扩展管理；
数据处理模块(3)，用于分布式计算处理单元同集群管理节点与底层存储系统进行通信，调取用户提交的算法文件和相应数据集，进行数据处理并保存执行结果；还用于记录数据处理过程中产生的日志信息并保存反馈至集群管理节点；
集群监管模块(4)，用于执行所述作业调度模块下发的命令，根据用户需求构建用于对集群网络资源、计算资源和存储资源进行管理的服务；还用于对于集群的资源动态情况、数据处理执行情况进行实时监控和日志记录，并反馈至任务发布模块Web界面中；
所述作业调度模块(2)一端与任务发布模块(1)相连，另一端分别与数据处理模块(3)和集群监管模块(4)相连。
5.根据权利要求4所述的大数据处理装置，其特征在于，所述任务发布模块(1)包括用户访问平台的Web界面。
6.根据权利要求4所述的大数据处理装置，其特征在于，所述作业调度模块(2)包括Docker Swarm容器管理工具。
7.根据权利要求4所述的大数据处理装置，其特征在于，所述数据处理模块(3)包括Spark分布式计算引擎和Alluxio数据访问高速通道。
8.根据权利要求4所述的大数据处理装置，其特征在于：
所述集群监管模块(4)包括服务器集群基础设施资源、集群管理平台Openstack和集群监控管理工具。
CN201810428815.8A 2018-05-08 2018-05-08 基于无服务器计算的大数据处理方法及装置 Withdrawn CN108845878A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810428815.8A CN108845878A (zh) 2018-05-08 2018-05-08 基于无服务器计算的大数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810428815.8A CN108845878A (zh) 2018-05-08 2018-05-08 基于无服务器计算的大数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN108845878A true CN108845878A (zh) 2018-11-20

Family

ID=64212777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810428815.8A Withdrawn CN108845878A (zh) 2018-05-08 2018-05-08 基于无服务器计算的大数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108845878A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558674A (zh) * 2018-11-28 2019-04-02 北京超萌国际文化有限公司 销量预测及其模型训练方法、装置
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器
CN109783194A (zh) * 2018-12-29 2019-05-21 广东万云信息科技有限公司 国防动员平台的处理方法、装置、设备和存储介质
CN110704177A (zh) * 2019-09-04 2020-01-17 金蝶软件（中国）有限公司 计算任务处理方法、装置、计算机设备和存储介质
CN110837408A (zh) * 2019-09-16 2020-02-25 中国科学院软件研究所 一种基于资源缓存的高性能无服务器计算方法及系统
CN111082972A (zh) * 2019-11-26 2020-04-28 北京杰思安全科技有限公司 基于分布式集群实现弹性扩展的方法及分布式集群架构
CN111212116A (zh) * 2019-12-24 2020-05-29 湖南舜康信息技术有限公司 一种基于容器云的高性能计算集群创建方法和系统
CN111240819A (zh) * 2020-01-10 2020-06-05 山东浪潮通软信息科技有限公司 一种调度任务的发布系统及方法
CN111309291A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 一种模块化嵌入式软件架构及其定制方法、定制系统
WO2020124901A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Mechanism to reduce serverless function startup latency
CN111625195A (zh) * 2020-05-26 2020-09-04 北京百度网讯科技有限公司 用于服务器扩容的方法及装置
CN112948088A (zh) * 2021-03-17 2021-06-11 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN113055126A (zh) * 2021-03-09 2021-06-29 华夏云融航空科技有限公司 一种飞行数据译码方法、装置及终端设备
CN113051044A (zh) * 2021-04-20 2021-06-29 中国工商银行股份有限公司 一种基于无服务架构的分布式事务处理方法及装置
CN113268362A (zh) * 2021-05-24 2021-08-17 平安普惠企业管理有限公司 基于无服务器平台的运维方法、装置、设备及存储介质
CN113282377A (zh) * 2021-07-23 2021-08-20 阿里云计算有限公司 无服务器架构下的代码加载方法、设备、系统及存储介质
CN113434291A (zh) * 2021-06-25 2021-09-24 湖北央中巨石信息技术有限公司 一种具有用于基于通道的实时调度优化方法
CN115202882A (zh) * 2022-07-26 2022-10-18 上海中汇亿达金融信息技术有限公司 分布式应用架构和该架构的执行方法
CN116887357A (zh) * 2023-09-08 2023-10-13 山东海博科技信息系统股份有限公司 基于人工智能的计算平台管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156296A (zh) * 2014-08-01 2014-11-19 浪潮(北京)电子信息产业有限公司 智能监控大规模数据中心集群计算节点的系统和方法
CN104506620A (zh) * 2014-12-23 2015-04-08 西安电子科技大学 一种可扩展的自动化计算服务平台及其构建方法
CN107066319A (zh) * 2017-01-17 2017-08-18 北京国电通网络技术有限公司 一种面向异构资源的多维调度系统
CN107943555A (zh) * 2017-10-17 2018-04-20 华南理工大学 一种云计算环境下的大数据存储和处理平台及处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156296A (zh) * 2014-08-01 2014-11-19 浪潮(北京)电子信息产业有限公司 智能监控大规模数据中心集群计算节点的系统和方法
CN104506620A (zh) * 2014-12-23 2015-04-08 西安电子科技大学 一种可扩展的自动化计算服务平台及其构建方法
CN107066319A (zh) * 2017-01-17 2017-08-18 北京国电通网络技术有限公司 一种面向异构资源的多维调度系统
CN107943555A (zh) * 2017-10-17 2018-04-20 华南理工大学 一种云计算环境下的大数据存储和处理平台及处理方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558674A (zh) * 2018-11-28 2019-04-02 北京超萌国际文化有限公司 销量预测及其模型训练方法、装置
US11658939B2 (en) 2018-12-21 2023-05-23 Huawei Cloud Computing Technologies Co., Ltd. Mechanism to reduce serverless function startup latency
CN113614697B (zh) * 2018-12-21 2023-10-13 华为云计算技术有限公司 减少无服务器函数启动延迟的机制
CN113614697A (zh) * 2018-12-21 2021-11-05 华为技术有限公司 减少无服务器函数启动延迟的机制
WO2020124901A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Mechanism to reduce serverless function startup latency
US12028320B2 (en) 2018-12-21 2024-07-02 Huawei Cloud Computing Technologies Co., Ltd. Mechanism to reduce serverless function startup latency
CN109656782A (zh) * 2018-12-24 2019-04-19 成都四方伟业软件股份有限公司 可视化调度监控方法、装置及服务器
CN109783194A (zh) * 2018-12-29 2019-05-21 广东万云信息科技有限公司 国防动员平台的处理方法、装置、设备和存储介质
CN110704177A (zh) * 2019-09-04 2020-01-17 金蝶软件（中国）有限公司 计算任务处理方法、装置、计算机设备和存储介质
CN110704177B (zh) * 2019-09-04 2022-06-10 金蝶软件（中国）有限公司 计算任务处理方法、装置、计算机设备和存储介质
CN110837408A (zh) * 2019-09-16 2020-02-25 中国科学院软件研究所 一种基于资源缓存的高性能无服务器计算方法及系统
CN111082972A (zh) * 2019-11-26 2020-04-28 北京杰思安全科技有限公司 基于分布式集群实现弹性扩展的方法及分布式集群架构
CN111082972B (zh) * 2019-11-26 2022-08-05 北京杰思安全科技有限公司 基于分布式集群实现弹性扩展的方法及分布式集群架构
CN111212116A (zh) * 2019-12-24 2020-05-29 湖南舜康信息技术有限公司 一种基于容器云的高性能计算集群创建方法和系统
CN111240819A (zh) * 2020-01-10 2020-06-05 山东浪潮通软信息科技有限公司 一种调度任务的发布系统及方法
CN111309291A (zh) * 2020-01-19 2020-06-19 北京航空航天大学 一种模块化嵌入式软件架构及其定制方法、定制系统
CN111625195A (zh) * 2020-05-26 2020-09-04 北京百度网讯科技有限公司 用于服务器扩容的方法及装置
CN111625195B (zh) * 2020-05-26 2023-11-07 北京百度网讯科技有限公司 用于服务器扩容的方法及装置
CN113055126A (zh) * 2021-03-09 2021-06-29 华夏云融航空科技有限公司 一种飞行数据译码方法、装置及终端设备
CN112948088A (zh) * 2021-03-17 2021-06-11 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN112948088B (zh) * 2021-03-17 2022-10-04 北京理工大学 一种云计算平台中的云工作流智能管理与调度系统
CN113051044A (zh) * 2021-04-20 2021-06-29 中国工商银行股份有限公司 一种基于无服务架构的分布式事务处理方法及装置
CN113268362A (zh) * 2021-05-24 2021-08-17 平安普惠企业管理有限公司 基于无服务器平台的运维方法、装置、设备及存储介质
CN113434291A (zh) * 2021-06-25 2021-09-24 湖北央中巨石信息技术有限公司 一种具有用于基于通道的实时调度优化方法
CN113282377A (zh) * 2021-07-23 2021-08-20 阿里云计算有限公司 无服务器架构下的代码加载方法、设备、系统及存储介质
CN115202882A (zh) * 2022-07-26 2022-10-18 上海中汇亿达金融信息技术有限公司 分布式应用架构和该架构的执行方法
CN115202882B (zh) * 2022-07-26 2023-11-03 上海中汇亿达金融信息技术有限公司 分布式应用架构和该架构的执行方法
CN116887357A (zh) * 2023-09-08 2023-10-13 山东海博科技信息系统股份有限公司 基于人工智能的计算平台管理系统
CN116887357B (zh) * 2023-09-08 2023-12-19 山东海博科技信息系统股份有限公司 基于人工智能的计算平台管理系统

Similar Documents

Publication Publication Date Title
CN108845878A (zh) 基于无服务器计算的大数据处理方法及装置
Coutinho et al. Elasticity in cloud computing: a survey
Wu et al. Energy and migration cost-aware dynamic virtual machine consolidation in heterogeneous cloud datacenters
US11455189B2 (en) Task scheduling simulation system
CN103152393B (zh) 一种云计算的计费方法和计费系统
CN110047014B (zh) 一种基于负荷曲线和历史电量的用户电量数据修复方法
CN111459641B (zh) 一种跨机房的任务调度和任务处理的方法及装置
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
CN105049268A (zh) 分布式计算资源分配系统和任务处理方法
CN103092698A (zh) 云计算应用自动部署系统及方法
CN105978960A (zh) 一种基于海量视频结构化处理的云调度系统及方法
CN105094982A (zh) 一种多星遥感数据处理系统
CN104112049B (zh) 基于P2P构架的MapReduce任务跨数据中心调度系统及方法
CN109614227A (zh) 任务资源调配方法、装置、电子设备及计算机可读介质
CN109981702A (zh) 一种文件存储方法及系统
Wu et al. Dynamically adjusting scale of a kubernetes cluster under qos guarantee
Liu et al. Service resource management in edge computing based on microservices
CN114490049A (zh) 在容器化边缘计算中自动分配资源的方法及系统
Sindhu Multi-objective PSO based task scheduling-a load balancing approach in cloud
Mampage et al. A deep reinforcement learning based algorithm for time and cost optimized scaling of serverless applications
CN107203256A (zh) 一种网络功能虚拟化场景下的节能分配方法与装置
CN108334410A (zh) 一种分布式应用程序客户端轻量化方法以及计算机设备
CN112860442A (zh) 资源配额调整方法、装置、计算机设备和存储介质
Cao et al. Online cost-rejection rate scheduling for resource requests in hybrid clouds
CN115543582A (zh) 超算算力网络统一调度方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181120