CN104516969A - 一种云计算平台下数据与计算密集型处理系统 - Google Patents

一种云计算平台下数据与计算密集型处理系统 Download PDF

Info

Publication number
CN104516969A
CN104516969A CN201410821806.7A CN201410821806A CN104516969A CN 104516969 A CN104516969 A CN 104516969A CN 201410821806 A CN201410821806 A CN 201410821806A CN 104516969 A CN104516969 A CN 104516969A
Authority
CN
China
Prior art keywords
module
data
file
computation
cloud computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410821806.7A
Other languages
English (en)
Inventor
祝峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201410821806.7A priority Critical patent/CN104516969A/zh
Publication of CN104516969A publication Critical patent/CN104516969A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/461—Saving or restoring of program or task context
    • G06F9/463—Program control block organisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5017—Task decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出了一种云计算平台下数据与计算密集型处理系统。该系统包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。计算作业文件生成模块1将数据的处理按照作业的方式进行执行；并行计算控制模块2用于分配系统计算资源并控制作业执行，使得系统达到最小的耦合性；文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件；出错处理模块4用于保证作业长时间运行时能够无缝的运行，防止程序运行时突然终止。本系统能够满足数据与计算密集型处理，同时保证了系统具有较好的鲁棒性和安全性，具有较强的工程应用价值。

Description

一种云计算平台下数据与计算密集型处理系统
技术领域
本发明涉及一种数据与计算处理系统，属于云计算技术领域，特别的涉及一种云计算平台下数据与计算密集型处理系统。
背景技术
如何使用尽可能低的成本完成数据与计算双重密集型任务的计算是许多行业面临的问题之一，如石油勘探中的地震资料处理通常具有数据量大、计算复杂度高、计算效率要求高等特点。超级计算机无疑能为该类计算提供有效的解决方案，但成本过高，而普通的单台计算机的计算能力又不足以完成此类任务。将大型计算任务分配给网络中的多台计算机共同完成，是完成数据与计算双重密集型任务的有效途径之一。
近年来出现的云计算技术能够为数据与计算双重密集型任务的完成处理提供系统的解决方案。云计算是一种基于网络互连的计算系统，这个系统具有很强的伸缩性和可定制性，向上层的用户提供计算服务。云计算系统大量廉价的服务器集群为系统提供硬件基础设施，采用应用程序与底层服务协作开发，最大限度地利用资源，通过多个廉价的服务器之间的冗余，使软件获得高可用性，达到分布式计算的两个重要目标，即可扩展性和高可用性。
目前云计算数据与计算处理系统中存在一些缺陷，对于公有云而言，各个大公司已经致力于深层次开发，而对于私有云系统而言，目前市场中还比较少，目前大多数云计算系统都是面向公有云的，但现有的许多数据和计算双重密集型任务往往仅使用公司或组织内部的硬件与系统资源，这些资源通常是一般互联网用户访问不到的。
针对以上缺点，有必要设计出一种云计算平台系统，满足数据与计算密集型处理的同时，保证系统具有较好的鲁棒性和安全性，并成为了一种新的技术需求。
发明内容
(一)要解决的技术问题
为了解决现有技术存在的上述问题，本发明提出了一种云计算平台下数据与计算密集型处理系统。该系统包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。计算作业文件生成模块1将数据的处理按照作业的方式进行执行，用户通过系统提供的配置接口来配置作业中各个模块的信息，并生成作业配置文件，系统根据作业配置文件进行计算作业文件生成。并行计算控制模块2用于分配系统计算资源并控制作业执行，作业与作业之间的运行不会使用相同的计算节点，使得系统达到最小的耦合性，在数据量很大的计算任务中，使得各个任务彼此独立，增强了系统的稳定性。文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件。文件管理模块3负责将这个文件发送至所要达到的目的模块，并等待作业结束。出错处理模块4用于保证作业长时间运行时能够无缝的运行，防止程序运行时突然终止。在处理模块运行期间，控制进程将周期性地向各个模块发送检测报文，保证当某一个计算节点发生异常的时候，控制进程将重新分配一个计算节点，并将同这个计算节点相关的输入输出接口模块信息重新配置。
(二)技术方案
根据本发明的一个方面，提供了一种云计算平台下数据与计算密集型处理系统。本发明包括计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。
优选的，所述计算作业文件生成模块1将数据的处理按照作业的方式进行执行。
进一步的，所述计算作业是用户通过系统提供的配置接口来配置作业中各个模块的信息，并生成作业配置文件，系统根据作业配置文件进行计算作业文件生成。
进一步的，所述作业由很多的功能模块组成，每一个功能模块都是用户编写的处理模块，由一个独立的进程运行，代表作业的一个处理步骤。
可选的，如果两个模块的入口是相同的文件，则这两个模块是并行处理、相互独立。
优选的，所述并行计算控制模块2用于分配系统计算资源并控制作业执行。
进一步的，所述分配系统计算资源是在计算节点分配完模块之后，阻止在其上分配其他计算模块的请求，在作业运行期间，一个作业所占有的计算资源将完全由这个作业独享。
进一步的，所述作业运行期间，作业与作业之间的运行不会使用相同的计算节点，系统具有最小的耦合性。
进一步的，每个计算作业的计算步骤在作业运行之后将不会产生变动，每个步骤之间都没有细分和聚合关系。
优选的，所述并行计算控制模块2中计算作业并行处理方法包括如下步骤：
S101：获取作业处理文件；
S102：获取集群系统可用计算节点数量；
S103：选择空闲节点运行控制进程；
S104：分配各个模块至计算节点；
S105：设置各个模块输入输出信息；
S106：屏蔽已分配模块的节点接受分配新消息；
S107：在已分配模块的计算节点上启动相应进程；
S108：控制进程向第一个计算节点发送开始消息；
S109：控制进程开始等待消息；
S110：判断节点出错信息，当出现错误时，执行S111，否则执行S201；
S111：重新寻找空闲计算节点；
S112：分配模块启动作业运行；
S201：判断是否表示作业进度文件，若判断正确，则执行S202，否则执行S301；
S202：获取作业的进度标示；
S203：获取各个计算模块状态信息；
S204：保存各个计算模块结果文件；
S301：判断是否作业结束；
S302：获取作业输出结果。
优选的，所述文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件。
进一步的，所述的临时文件是一个模块计算产生的输出模块，同时也是后续模块的输入文件。
进一步的，文件管理模块3将所述文件发送至所要达到的目的模块，并等待作业结束。
优选的，所述出错处理模块4用于保证作业长时间运行时能够无缝的运行，防止程序运行时突然终止。
优选的，在处理模块运行期间，控制进程将周期性地向各个模块发送检测报文，采用ping实现。
进一步的，当某一个计算节点发生异常的时候，控制进程将重新分配一个计算节点，并将同这个计算节点相关的输入输出接口模块信息重新配置。
(三)有益效果
从上述技术方案可以看出，本发明提出的云计算平台下数据与计算密集型处理系统能够产生积极的有益效果，该系统能够满足数据与计算密集型处理，同时保证了系统具有较好的鲁棒性和安全性，具有较强的工程应用价值。
附图说明
图1显示了现有技术中云计算平台原理示意图；
图2显示了本发明数据与计算密集型处理系统原理示意图；
图3显示了本发明数据与计算密集型处理系统模块关系示意图；
图4显示了本发明优选实施例的计算作业并行处理方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1显示了现有技术中云计算平台原理示意图。
如图1所示，现有技术中云计算平台主要分为三个层次：显示层、中间件层、基础设施层。三个层次紧密相连，显示层主要面向最终的用户，用于为终端用户提供用户服务和资源配置。中间件层是云计算的计算核心层，主要提供并行处理和应用服务器。为了处理海量的数据，需要利用众多的主机进行高效的并行计算，基础设施层提供文件存储和数据库检索功能。基础设施层主要包括以下四种功能：
1)硬件资源的虚拟化。通过虚拟化X86资源，可以实现物理上资源和用户完全隔绝，降低服务器的配置成本。
2)分布式存储。为了存放海量的数据，并保证这些数据的可管理性，Google的GFS文件系统是一个经典的实现。
3)数据库技术。根据云计算的特点而优化的关系型数据库技术和非关系型数据库。
4)管理层。主要负责管理用户账户等信息。在私有云环境下，单个数据单元的大小和计算量都要比公有云计算系统要高，出于管理的方便和对效率的追求，公有云计算系统的许多部分是可以精简甚至不需要的。
图2显示了本发明数据与计算密集型处理系统原理示意图。
如图2所示，本发明数据与计算密集型处理系统包括集群系统、数据预处理模块、并行处理和文件管理。集群系统为整个数据与计算密集型处理系统提供硬件资源和软件运行环境，资料处理的程序开发者通过系统提供的接口配置文件、编写处理程序。数据预处理模块为即将执行计算作业的数据进行预处理，使其符合文件管理的格式要求和并行计算操作。为了使用户得到直观的计算模型，将文件操作提交给文件管理模块完成。当用户在运行作业时，文件管理和并行计算会产生一个作业控制模块，并负责维护每个文件的信息，使所述文件在完成接收数据之后可以自动地转发数据至目的模块所在的计算机节点中。
开发者首先通过数据与计算密集型处理系统提供的接口生成处理任务所需要的作业文件，并编写作业中各个步骤的处理程序，然后系统在集群上为作业分配计算资源并配置文件信息，最后由系统自身的一个作业控制进程发起作业开始运行的信号，在处理的过程中和处理结束后对这次作业产生的文件进行管理。
图3显示了本发明数据与计算密集型处理系统模块关系示意图。
如图3所示，本发明数据与计算密集型处理系统包括四个模块：计算作业文件生成模块1、并行计算控制模块2、文件管理模块3和出错处理模块4。
计算作业文件生成模块1将数据的处理按照作业的方式进行执行。用户通过系统提供的配置接口来配置作业中各个模块的信息，并生成作业配置文件，系统根据作业配置文件进行计算作业文件生成。作业由很多的功能模块组成，每一个功能模块都是用户编写的处理模块，由一个独立的进程运行，代表作业的一个处理步骤。用进出口来表示模块之间处理的先后关系。一个模块输入的数据叫进口，一个模块输出的数据叫出口。在整个数据与计算密集型处理系统中，进口和出口都是由文件构成的。如果一个模块的入口需要其他模块的出口文件，则这两个模块是先后顺序，它们之间是相互依赖的；如果两个模块的入口是相同的文件，则这两个模块是并行处理、相互独立的。通过平台接口，用户可以将这些处理模块进行任意的组合，用户完成模块的配置后，通过计算作业文件生成模块1生成相对应的作业处理文件。
并行计算控制模块2用于分配系统计算资源并控制作业执行。云计算环境下，数据与计算密集型处理系统将每个模块放在单独的机器上运行，省去底层虚拟资源的需要，使系统的实现更加精简。计算节点分配完模块之后，阻止在其上分配其他计算模块的请求，在作业运行期间，一个作业所占有的计算资源将完全由这个作业独享。作业与作业之间的运行不会使用相同的计算节点，使得系统达到最小的耦合性，在数据量很大的计算任务中，使得各个任务彼此独立，增强了系统的稳定性。每个计算作业的计算步骤在作业运行之后将不会产生变动，每个步骤之间都没有明显的细分和聚合关系。在作业文件中，一个模块代表着计算任务中的一个步骤，使得计算的业务逻辑和平台的底层资源分配有着紧密的联系，方便开发者得到直观的业务计算模型。
文件管理模块3用于维护作业的输入输出文件及运行时产生的临时文件。所述的临时文件通常是一个模块计算产生的输出模块，同时也是后续模块的输入文件。一个作业计算完成时，可能需要对中间的临时文件进行存档或删除。因此需要对文件进行管理。一个中间产生的临时文件，需要记录其产生的来源模块，发送至所要的目的模块以及作业处理的进度信息。文件管理模块3负责将这个文件发送至所要达到的目的模块，并等待作业结束。当作业结束时，将文件发送至目标模块，并保存。通过文件管理模块3，数据与计算密集型处理系统可以将每一个步骤的结果保存起来，方便用户进行系统的调试和扩展。文件管理将文件的操作进行了很好的隐藏，方便使用者进行程序开发。
出错处理模块4用于保证作业长时间运行时能够无缝的运行，防止程序运行时突然终止。云计算平台最大的特点是可扩展性和鲁棒性，出错处理是云计算平台中一个重要的组成部分。在集群系统构成的云计算环境中，每个计算节点都有可能发生宕机的情况。但是作业往往需要长时间运行，需要无缝地实现作业的运行，因此需要一套防止程序终止的机制。本发明数据与计算密集型处理系统中，每个处理模块在分配至计算节点的时候都分配了出口信息。在处理模块运行期间，控制进程将周期性地向各个模块发送检测报文，采用ping实现，当某一个计算节点发生异常的时候，控制进程将重新分配一个计算节点，并将同这个计算节点相关的输入输出接口模块信息重新配置。文件管理模块每次总会将最后运行成功的步骤文件发送至控制进程，因此控制进程可以根据运行的流程步骤重新配置这些文件，恢复处理流程。出错处理模块4中针对每一个计算节点只运行一个处理模块，一个作业的崩溃不会影响另外一个作业的运行，同时由于计算节点在分配了处理模块之后就不再接收其他分配模块的请求，这种方式也很好地解除了系统的耦合性，使系统出错时造成的代价最小。
图4显示了本发明优选实施例的计算作业并行处理方法流程图。
如图4所示，本发明优选实施例的计算作业并行处理方法中主要分为如下步骤：
S101：获取作业处理文件；
S102：获取集群系统可用计算节点数量；
S103：选择空闲节点运行控制进程；
S104：分配各个模块至计算节点；
S105：设置各个模块输入输出信息；
S106：屏蔽已分配模块的节点接受分配新消息；
S107：在已分配模块的计算节点上启动相应进程；
S108：控制进程向第一个计算节点发送开始消息；
S109：控制进程开始等待消息；
S110：判断节点出错信息，当出现错误时，执行S111，否则执行S201；
S111：重新寻找空闲计算节点；
S112：分配模块启动作业运行；
S201：判断是否表示作业进度文件，若判断正确，则执行S202，否则执行S301；
S202：获取作业的进度标示；
S203：获取各个计算模块状态信息；
S204：保存各个计算模块结果文件；
S301：判断是否作业结束；
S302：获取作业输出结果。
通过以上步骤，本发明数据与计算密集型处理系统实现计算作业的并行处理。
综上所述，本发明提出了一种云计算平台下数据与计算密集型处理系统。该系统能够满足数据与计算密集型处理，同时保证了系统具有较好的鲁棒性和安全性，具有较强的工程应用价值。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种云计算平台下数据与计算密集型处理系统，包括：计算作业文件生成模块(1)、并行计算控制模块(2)、文件管理模块(3)和出错处理模块(4)，其特征在于：
所述计算作业文件生成模块(1)将数据的处理按照作业的方式进行执行；
所述并行计算控制模块(2)用于分配系统计算资源并控制作业执行；
所述文件管理模块(3)用于维护作业的输入输出文件及运行时产生的临时文件；
所述出错处理模块(4)用于保证作业长时间运行时能够无缝的运行，防止程序运行时突然终止。
2.根据权利要求1所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述计算作业是用户通过系统提供的配置接口来配置作业中各个模块的信息，并生成作业配置文件，系统根据作业配置文件进行计算作业文件生成。
3.根据权利要求2所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述作业是由很多的功能模块组成，每一个功能模块都是用户编写的处理模块，由一个独立的进程运行，代表作业的一个处理步骤。
4.根据权利要求1所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述分配系统计算资源是在计算节点分配完模块之后，阻止在其上分配其他计算模块的请求，在作业运行期间，一个作业所占有的计算资源将完全由这个作业独享。
5.根据权利要求4所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述作业运行期间，作业与作业之间的运行不会使用相同的计算节点，系统具有最小的耦合性，并采用计算作业并行处理方法。
6.根据权利要求5所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述计算作业并行处理方法包括如下步骤：
S101：获取作业处理文件；
S102：获取集群系统可用计算节点数量；
S103：选择空闲节点运行控制进程；
S104：分配各个模块至计算节点；
S105：设置各个模块输入输出信息；
S106：屏蔽已分配模块的节点接受分配新消息；
S107：在已分配模块的计算节点上启动相应进程；
S108：控制进程向第一个计算节点发送开始消息；
S109：控制进程开始等待消息；
S110：判断节点出错信息，当出现错误时，执行S111，否则执行S201；
S111：重新寻找空闲计算节点；
S112：分配模块启动作业运行；
S201：判断是否表示作业进度文件，若判断正确，则执行S202，否则执行S301；
S202：获取作业的进度标示；
S203：获取各个计算模块状态信息；
S204：保存各个计算模块结果文件；
S301：判断是否作业结束；
S302：获取作业输出结果。
7.根据权利要求1所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述文件管理模块(3)中的临时文件是一个模块计算产生的输出模块，同时也是后续模块的输入文件。
8.根据权利要求1所述的云计算平台下数据与计算密集型处理系统，其特征在于：所述出错处理模块(4)在处理模块运行期间，控制进程将周期性地向各个模块发送检测报文，并采用ping实现。
CN201410821806.7A 2014-12-25 2014-12-25 一种云计算平台下数据与计算密集型处理系统 Pending CN104516969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410821806.7A CN104516969A (zh) 2014-12-25 2014-12-25 一种云计算平台下数据与计算密集型处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410821806.7A CN104516969A (zh) 2014-12-25 2014-12-25 一种云计算平台下数据与计算密集型处理系统

Publications (1)

Publication Number Publication Date
CN104516969A true CN104516969A (zh) 2015-04-15

Family

ID=52792268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410821806.7A Pending CN104516969A (zh) 2014-12-25 2014-12-25 一种云计算平台下数据与计算密集型处理系统

Country Status (1)

Country Link
CN (1) CN104516969A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391256A (zh) * 2017-07-03 2017-11-24 南京南瑞继保电气有限公司 一种基于云计算技术的继电保护定值整定计算架构及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理系统
CN102857531A (zh) * 2011-07-01 2013-01-02 云联（北京）信息技术有限公司 一种基于云计算的远程交互式系统
US20130006648A1 (en) * 2011-06-29 2013-01-03 International Business Machines Corporation Migrating Computing Environment Entitlement Contracts Between a Seller and a Buyer
CN103283209A (zh) * 2011-04-18 2013-09-04 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
US20140006708A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Secure access to shared storage resources
US20140173326A1 (en) * 2012-12-19 2014-06-19 International Business Machines Corporation Write Performance in Fault-Tolerant Clustered Storage Systems

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681899A (zh) * 2011-03-14 2012-09-19 金剑 云计算服务平台的虚拟计算资源动态管理系统
CN103283209A (zh) * 2011-04-18 2013-09-04 北京新媒传信科技有限公司 一种应用服务平台系统及其实现方法
US20130006648A1 (en) * 2011-06-29 2013-01-03 International Business Machines Corporation Migrating Computing Environment Entitlement Contracts Between a Seller and a Buyer
CN102857531A (zh) * 2011-07-01 2013-01-02 云联（北京）信息技术有限公司 一种基于云计算的远程交互式系统
US20140006708A1 (en) * 2012-06-28 2014-01-02 International Business Machines Corporation Secure access to shared storage resources
US20140173326A1 (en) * 2012-12-19 2014-06-19 International Business Machines Corporation Write Performance in Fault-Tolerant Clustered Storage Systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨志豪等: "一种适应数据与计算密集型任务的私有云系统实现研究", 《计算机应用研究》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391256A (zh) * 2017-07-03 2017-11-24 南京南瑞继保电气有限公司 一种基于云计算技术的继电保护定值整定计算架构及方法

Similar Documents

Publication Publication Date Title
Xu et al. Dynamic resource provisioning for workflow scheduling under uncertainty in edge computing environment
CN107066319B (zh) 一种面向异构资源的多维调度系统
CN109445802B (zh) 基于容器的私有化Paas平台及其发布应用的方法
CN103064742A (zh) 一种hadoop集群的自动部署系统及方法
US10038753B2 (en) Network-independent programming model for online processing in distributed systems
CN105183554A (zh) 高性能计算与云计算混合计算系统及其资源管理方法
CN102546839B (zh) 面向大规模网络的高效、可靠的软件分发方法
CN103124299A (zh) 一种异构环境下的分布式块级别存储系统
CN110837418A (zh) 一种基于容器的高并发web系统及实现方法
CN104102949A (zh) 一种分布式工作流装置及其处理工作流的方法
CN110113406B (zh) 基于分布式的计算服务集群系统
US10761869B2 (en) Cloud platform construction method and cloud platform storing image files in storage backend cluster according to image file type
CN103618762A (zh) 一种基于aop的企业服务总线状态预处理系统及方法
CN102711139A (zh) 一种数据流量统计方法及终端
CN110727950A (zh) 一种分布式协同计算系统和协同处理方法
CN112231108A (zh) 任务处理方法、装置、计算机可读存储介质及服务器
CN102915255A (zh) 用于大规模数据集并行运算的云计算服务系统和方法
Lin et al. Research on building an innovative electric power marketing business application system based on cloud computing and microservices architecture technologies
CN113342893A (zh) 基于区块链的节点同步方法、装置、存储介质及服务器
CN104516969A (zh) 一种云计算平台下数据与计算密集型处理系统
CN105825332A (zh) 基于云计算的电能计量监测平台及其方法
WO2022016969A1 (zh) 一种数据处理方法及装置
CN103677994A (zh) 分布式数据处理系统、设备及方法
CN203301534U (zh) 基于云架构的虚拟机管理平台
KR101542605B1 (ko) 온톨로지 매칭의 시멘틱 이질성 병렬 처리 장치 및 처리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150415

RJ01 Rejection of invention patent application after publication