CN109286661A - 一种企业级PaaS平台自动化部署的数据处理方法 - Google Patents

一种企业级PaaS平台自动化部署的数据处理方法 Download PDF

Info

Publication number
CN109286661A
CN109286661A CN201810992542.XA CN201810992542A CN109286661A CN 109286661 A CN109286661 A CN 109286661A CN 201810992542 A CN201810992542 A CN 201810992542A CN 109286661 A CN109286661 A CN 109286661A
Authority
CN
China
Prior art keywords
cluster
result
data
paas platform
enterprise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810992542.XA
Other languages
English (en)
Inventor
高静
马壮业
罗家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Heng Electrical Information Polytron Technologies Inc
Original Assignee
Guangdong Heng Electrical Information Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Heng Electrical Information Polytron Technologies Inc filed Critical Guangdong Heng Electrical Information Polytron Technologies Inc
Priority to CN201810992542.XA priority Critical patent/CN109286661A/zh
Publication of CN109286661A publication Critical patent/CN109286661A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/51—Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种企业级PaaS平台自动化部署的数据处理方法，包括以下步骤：S1：PaaS平台服务器将集群创建参数加载到处理系统；S2：处理系统集群创建参数处理为以或以链接方式与相对应的数据记录产生连接耦合；S3：进行分布统计，得出分布式处理集群；S4：得出分布统计结果；S5：得出负载均衡的分区结果；S6：将所述分区结果配制到拓扑结构中的每台计算服务器；S7：得出各个分区的局部处理结果，并将其暂存；S8：根据处理系统的修正映射表修正全部分区的局部处理结果，合并得出全局处理结果；S9：PaaS平台服务器将数据处理结果提供给所述企业用户。本发明提高了并行集群系统的设备利用率、降低了全局计算时间，提高数据处理效率。

Description

一种企业级PaaS平台自动化部署的数据处理方法
技术领域
本发明涉及PaaS平台技术领域，具体为一种企业级PaaS平台自动化部署的数据处理方法。
背景技术
PaaS平台把应用服务的运行和开发环境作为一种服务提供的商业模式。通过网络进行程序提供的服务称之为SaaS(Software as a Service)，而云计算时代相应的服务器平台或者开发环境作为服务进行提供就成为了PaaS(Platform as a Service)。
所谓PaaS实际上是指将软件研发的平台(计世资讯定义为业务基础平台)作为一种服务，以SaaS的模式提交给用户。因此，PaaS也是SaaS模式的一种应用。但是，PaaS的出现可以加快SaaS的发展，尤其是加快SaaS应用的开发速度。
随着企业PaaS平台的发展，越来越多、越来越大的应用部署在企业PaaS平台上，由于数据产生的自动化进步，越来越多的应用要求将这些数量持续增长的数据流持久化保存下来，并进行后续的查询分析和数据挖掘，这对PaaS平台的海量数据的管理提出了严峻的挑战。
因此，我们提出一种企业级PaaS平台自动化部署的数据处理方法。
发明内容
本发明的目的在于提供一种企业级PaaS平台自动化部署的数据处理方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种企业级PaaS平台自动化部署的数据处理方法，包括以下步骤：
S1：PaaS平台服务器接收企业用户输入的集群创建参数，并将集群创建参数加载到处理系统；
S2：处理系统将文本格式的集群创建参数处理为以每一条数据记录的文本格式，将非文本格式的集群创建参数处理为以链接方式与相对应的数据记录产生连接耦合；
S3：对经过S2处理后的集群创建参数进行分布统计，得出分布式处理集群；
S4：根据分布处理集群的分布状况，得出分布统计结果；
S5：根据所述分布统计结果，得出负载均衡的分区结果；
S6：将所述分区结果配制到拓扑结构中的每台计算服务器；
S7：PaaS平台服务器将用于分析数据的脚本传输给所述计算服务器，通过所述拓扑结构中的每台计算服务器分别进行数据处理，得出各个分区的局部处理结果，并将其暂存；
S8：根据处理系统的修正映射表修正全部分区的局部处理结果，合并得出全局处理结果；
S9：PaaS平台服务器将数据处理结果提供给所述企业用户。
优选的，所述S4中的集群分布状况处理步骤如下：
1)：根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境；
2)：根据所述集群创建参数中的节点的数量，复制1)所生成的虚拟机，生成所需数量的虚拟机；
3)：设置虚拟机之间的无密码通信；
4)：设置分布式处理集群中的控制节点和计算节点。
优选的，所述处理系统中设定一个定时器。
优选的，所述处理系统中中还包括监控机制，以实现动态扩展
优选的，所述S1中的集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小。
优选的，所述S3处理后的数据进行分布统计还包括：
1)：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；
2)：利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定。
优选的，所述S5中得出负载均衡的分区结果还包括所述计算服务器利用数学模型计算出每个所述原子空间的计算量分布情况，并据此作为权重值，计算出负载均衡的分区建议结果。
与现有技术相比，本发明的有益效果是：本发明提供的一种企业级PaaS平台自动化部署的数据处理方法，能实现有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间，能够解决企业级PaaS平台的海量数据的处理问题，提高数据处理效率。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
一种企业级PaaS平台自动化部署的数据处理方法，包括以下步骤：
S1：PaaS平台服务器接收企业用户输入的集群创建参数，并将集群创建参数加载到处理系统；
S2：处理系统将文本格式的集群创建参数处理为以每一条数据记录的文本格式，将非文本格式的集群创建参数处理为以链接方式与相对应的数据记录产生连接耦合；
S3：对经过S2处理后的集群创建参数进行分布统计，得出分布式处理集群；
S4：根据分布处理集群的分布状况，得出分布统计结果；
S5：根据所述分布统计结果，得出负载均衡的分区结果；
S6：将所述分区结果配制到拓扑结构中的每台计算服务器；
S7：PaaS平台服务器将用于分析数据的脚本传输给所述计算服务器，通过所述拓扑结构中的每台计算服务器分别进行数据处理，得出各个分区的局部处理结果，并将其暂存；
S8：根据处理系统的修正映射表修正全部分区的局部处理结果，合并得出全局处理结果；
S9：PaaS平台服务器将数据处理结果提供给所述企业用户。
具体的，所述S4中的集群分布状况处理步骤如下：
1)：根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境；
2)：根据所述集群创建参数中的节点的数量，复制1)所生成的虚拟机，生成所需数量的虚拟机；
3)：设置虚拟机之间的无密码通信；
4)：设置分布式处理集群中的控制节点和计算节点。
具体的，所述处理系统中设定一个定时器。
具体的，所述处理系统中中还包括监控机制，以实现动态扩展
具体的，所述S1中的集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小。
具体的，所述S3处理后的数据进行分布统计还包括：
1)：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；
2)：利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定。
具体的，所述S5中得出负载均衡的分区结果还包括所述计算服务器利用数学模型计算出每个所述原子空间的计算量分布情况，并据此作为权重值，计算出负载均衡的分区建议结果。
综上所述：本发明提供的一种企业级PaaS平台自动化部署的数据处理方法，能实现有效平均分配每一台并行处理器的处理计算负荷，提高了并行集群系统的设备利用率、降低了全局计算时间，能够解决企业级PaaS平台的海量数据的处理问题，提高数据处理效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种企业级PaaS平台自动化部署的数据处理方法，其特征在于，包括以下步骤：
S1：PaaS平台服务器接收企业用户输入的集群创建参数，并将集群创建参数加载到处理系统；
S2：处理系统将文本格式的集群创建参数处理为以每一条数据记录的文本格式，将非文本格式的集群创建参数处理为以链接方式与相对应的数据记录产生连接耦合；
S3：对经过S2处理后的集群创建参数进行分布统计，得出分布式处理集群；
S4：根据分布处理集群的分布状况，得出分布统计结果；
S5：根据所述分布统计结果，得出负载均衡的分区结果；
S6：将所述分区结果配制到拓扑结构中的每台计算服务器；
S7：PaaS平台服务器将用于分析数据的脚本传输给所述计算服务器，通过所述拓扑结构中的每台计算服务器分别进行数据处理，得出各个分区的局部处理结果，并将其暂存；
S8：根据处理系统的修正映射表修正全部分区的局部处理结果，合并得出全局处理结果；
S9：PaaS平台服务器将数据处理结果提供给所述企业用户。
2.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述S4中的集群分布状况处理步骤如下：
1)：根据所述集群创建参数，通过虚拟化技术生成一台虚拟机，并配置所述虚拟机的运行环境；
2)：根据所述集群创建参数中的节点的数量，复制1)所生成的虚拟机，生成所需数量的虚拟机；
3)：设置虚拟机之间的无密码通信；
4)：设置分布式处理集群中的控制节点和计算节点。
3.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述处理系统中设定一个定时器。
4.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述处理系统中中还包括监控机制，以实现动态扩展
5.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述S1中的集群创建参数包括待创建的分布式处理集群的节点的数量、节点的内存大小和节点的存储空间大小。
6.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述S3处理后的数据进行分布统计还包括：
1)：按照预设的空间格栅大小，将全局数据空间分解为多个格栅，作为原子空间；
2)：利用并行处理系统，并行统计每个所述原子空间内的数据量及局部分布，将统计结果存为统计文件，并在统计过程中对输入数据进行校验，清洗掉不符合处理规范的数据，按照数据处理的需求和算法对所述原子空间的大小进行设定。
7.根据权利要求1所述的一种企业级PaaS平台自动化部署的数据处理方法，其特征在于：所述S5中得出负载均衡的分区结果还包括所述计算服务器利用数学模型计算出每个所述原子空间的计算量分布情况，并据此作为权重值，计算出负载均衡的分区建议结果。
CN201810992542.XA 2018-08-29 2018-08-29 一种企业级PaaS平台自动化部署的数据处理方法 Pending CN109286661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810992542.XA CN109286661A (zh) 2018-08-29 2018-08-29 一种企业级PaaS平台自动化部署的数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810992542.XA CN109286661A (zh) 2018-08-29 2018-08-29 一种企业级PaaS平台自动化部署的数据处理方法

Publications (1)

Publication Number Publication Date
CN109286661A true CN109286661A (zh) 2019-01-29

Family

ID=65184139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810992542.XA Pending CN109286661A (zh) 2018-08-29 2018-08-29 一种企业级PaaS平台自动化部署的数据处理方法

Country Status (1)

Country Link
CN (1) CN109286661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479140A (zh) * 2020-03-27 2020-07-31 深圳市酷开网络科技有限公司 数据采集方法、设备、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866286A (zh) * 2010-04-26 2010-10-20 中国科学院深圳先进技术研究院 一种基于语义关联的PaaS协同系统和方法
CN103312788A (zh) * 2013-05-17 2013-09-18 南京邮电大学 端管云协同的汽车网络黑匣子系统
US20140006354A1 (en) * 2010-05-03 2014-01-02 Panzura, Inc. Executing a cloud command for a distributed filesystem
CN103942253A (zh) * 2014-03-18 2014-07-23 深圳市房地产评估发展中心 一种负载均衡的空间数据处理方法和系统
CN105100168A (zh) * 2014-05-21 2015-11-25 北京大学 一种基于应用执行单元的PaaS请求分发机制

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866286A (zh) * 2010-04-26 2010-10-20 中国科学院深圳先进技术研究院 一种基于语义关联的PaaS协同系统和方法
US20140006354A1 (en) * 2010-05-03 2014-01-02 Panzura, Inc. Executing a cloud command for a distributed filesystem
CN103312788A (zh) * 2013-05-17 2013-09-18 南京邮电大学 端管云协同的汽车网络黑匣子系统
CN103942253A (zh) * 2014-03-18 2014-07-23 深圳市房地产评估发展中心 一种负载均衡的空间数据处理方法和系统
CN105100168A (zh) * 2014-05-21 2015-11-25 北京大学 一种基于应用执行单元的PaaS请求分发机制

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479140A (zh) * 2020-03-27 2020-07-31 深圳市酷开网络科技有限公司 数据采集方法、设备、计算机设备和存储介质
CN111479140B (zh) * 2020-03-27 2022-07-05 深圳市酷开网络科技股份有限公司 数据采集方法、设备、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
WO2017036244A1 (zh) 配电网数字仿真系统
CN104541247B (zh) 用于调整云计算系统的系统和方法
CN107729138B (zh) 一种高性能分布式矢量空间数据的分析方法和装置
CN108810115B (zh) 一种适用于分布式数据库的负载均衡方法、装置及服务器
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN103607466B (zh) 一种基于云计算的广域多级分布式并行电网分析方法
CN101794993B (zh) 基于mpi的电网仿真实时并行计算平台及应用
CN109325008A (zh) 面向消息中间件的跨域数据同步方法与系统
CN111371616B (zh) 一种面向numa架构服务器的虚拟网络功能链部署方法和系统
CN106168993B (zh) 电网实时仿真分析系统
CN107193627A (zh) 一种基于虚拟化技术的仿真场景创建方法和装置
CN105069702B (zh) 一种电网集成信息处理方法
CN105553732B (zh) 一种分布式网络模拟方法及系统
Abbasi et al. Online server and workload management for joint optimization of electricity cost and carbon footprint across data centers
CN109960579A (zh) 一种调整业务容器的方法及装置
CN106502856B (zh) 一种信息处理方法及装置
Reuter et al. Cost efficiency under mixed serverless and serverful deployments
CN109286661A (zh) 一种企业级PaaS平台自动化部署的数据处理方法
CN106990913B (zh) 一种大规模流式集合数据的分布式处理方法
CN110290206A (zh) 一种用于网吧环境的分布式计算系统及方法
Quaglia et al. Grain sensitive event scheduling in time warp parallel discrete event simulation
CN109688068A (zh) 基于大数据分析的网络负载均衡方法和装置
CN115543582A (zh) 超算算力网络统一调度方法、系统及设备
Xie et al. Modeling traffic of big data platform for large scale datacenter networks
CN106033211B (zh) 一种控制涂胶机台胶头清洗的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129

RJ01 Rejection of invention patent application after publication