CN109151000A - 一种云平台并行通信的系统及方法 - Google Patents

一种云平台并行通信的系统及方法 Download PDF

Info

Publication number
CN109151000A
CN109151000A CN201810865940.5A CN201810865940A CN109151000A CN 109151000 A CN109151000 A CN 109151000A CN 201810865940 A CN201810865940 A CN 201810865940A CN 109151000 A CN109151000 A CN 109151000A
Authority
CN
China
Prior art keywords
data
cloud platform
different
processor
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810865940.5A
Other languages
English (en)
Inventor
江柳
李锋
段安婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Topology Lu Chuan New Mstar Technology Ltd
Original Assignee
Changsha Topology Lu Chuan New Mstar Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Topology Lu Chuan New Mstar Technology Ltd filed Critical Changsha Topology Lu Chuan New Mstar Technology Ltd
Priority to CN201810865940.5A priority Critical patent/CN109151000A/zh
Publication of CN109151000A publication Critical patent/CN109151000A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments

Abstract

本发明公开了一种云平台并行通信的系统及方法，包括：存储处理器可执行指令的存储器；和处理器执行处理器可执行指令以使系统：接收至少一个与来自至少一个数据源的数据集有关的数据表；接收多个维度，多个维度用于分析数据集的数据；通过第一并行化过程将多个维度组合成多个不同的簇，每个簇是不同维度的分组；将多个不同的集群中的每个集群发送到云平台；通过第二并行化过程将所述至少一个数据表划分为多个不同的数据块；和将多个不同的数据块中的每一个传输到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所传输的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。

Description

一种云平台并行通信的系统及方法
技术领域
本发明涉及云计算技术领域，具体而言，涉及一种云平台并行通信的系统及方法。
背景技术
企业软件系统接收，生成和存储与企业的许多方面相关的数据。与企业相关的数据文件的大小可能相对较大-几千兆字节。在一些上下文中，一些应用和服务可以通过因特网或云计算架构中的其他大型网络(例如，WAN或MAN)(例如，平台即服务，PaaS)来递送。在可能需要在实体，系统和平台之间传输大型文件的情况下，传输大文件可能是耗时的并且可能容易出错，因为传输的文件很大。随着云平台的不断发展，如何实现云平台的数据传输速度的提升，是未来普及应用云平台进行的技术瓶颈。
发明内容
本发明提出了一种云平台并行通信的系统，包括：存储处理器可执行指令的存储器；和处理器执行处理器可执行指令以使系统：接收至少一个与来自至少一个数据源的数据集有关的数据表；接收多个维度，多个维度用于分析数据集的数据；通过第一并行化过程将多个维度组合成多个不同的簇，每个簇是不同维度的分组；将多个不同的集群中的每个集群发送到云平台；通过第二并行化过程将所述至少一个数据表划分为多个不同的数据块；和将多个不同的数据块中的每一个传输到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所传输的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。
所述的系统，所述至少一个数据表包括所述数据集的度量。
所述的系统，所述集群通过消息发送到所述云平台。
所述的系统，通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台。
所述的系统，所述多个不同的数据块通过所述第二并行化过程至少部分地并且彼此独立地传输到所述云平台。
所述的系统，其中所述处理器还能够执行所述处理器可执行指令以使所述系统：
确定多个不同簇的最佳数量；
确定多个不同数据块的最佳数量；和
至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间。
所述的系统，基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
一种云平台并行通信的方法，包括：
处理器接收至少一个与来自至少一个数据源的数据集有关的数据表；
处理器接收多个维度，所述多个维度用于分析数据集的数据；
处理器通过第一并行化处理将多个维度组合成多个不同的簇，每个簇是不同维度的分组；
将多个不同集群中的每个集群发送到云平台；
处理器通过第二并行化处理将所述至少一个数据表划分为多个不同的数据块；和
将多个不同的数据块中的每一个发送到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所发送的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。
所述的方法，所述至少一个数据表包括所述数据集的度量；通过消息将所述集群发送到所述云平台；通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台；通过第二并行化过程，至少部分地并且彼此独立地将所述多个不同的数据块同时发送到云平台。
所述的方法，还包括：
处理器确定多个不同簇的最佳数量；
处理器确定多个不同数据块的最佳数量；和
处理器基于至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间；基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
附图说明
从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
图1是本发明的云平台并行通信的方法示意图。
具体实施方式
为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。
本发明提出了一种云平台并行通信的系统，包括：存储处理器可执行指令的存储器；和处理器执行处理器可执行指令以使系统：接收至少一个与来自至少一个数据源的数据集有关的数据表；接收多个维度，多个维度用于分析数据集的数据；通过第一并行化过程将多个维度组合成多个不同的簇，每个簇是不同维度的分组；将多个不同的集群中的每个集群发送到云平台；通过第二并行化过程将所述至少一个数据表划分为多个不同的数据块；和将多个不同的数据块中的每一个传输到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所传输的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。
所述的系统，所述至少一个数据表包括所述数据集的度量。
所述的系统，所述集群通过消息发送到所述云平台。
所述的系统，通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台。
所述的系统，所述多个不同的数据块通过所述第二并行化过程至少部分地并且彼此独立地传输到所述云平台。
所述的系统，其中所述处理器还能够执行所述处理器可执行指令以使所述系统：
确定多个不同簇的最佳数量；
确定多个不同数据块的最佳数量；和
至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间。
所述的系统，基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
如图1所示，为本发明一种云平台并行通信的方法的示意图，包括：
处理器接收至少一个与来自至少一个数据源的数据集有关的数据表；
处理器接收多个维度，所述多个维度用于分析数据集的数据；
处理器通过第一并行化处理将多个维度组合成多个不同的簇，每个簇是不同维度的分组；
将多个不同集群中的每个集群发送到云平台；
处理器通过第二并行化处理将所述至少一个数据表划分为多个不同的数据块；和
将多个不同的数据块中的每一个发送到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所发送的多个的组合生成数据模型。不同的簇和发送的多个不同的数据块。
所述的方法，所述至少一个数据表包括所述数据集的度量；通过消息将所述集群发送到所述云平台；通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台；通过第二并行化过程，至少部分地并且彼此独立地将所述多个不同的数据块同时发送到云平台。
所述的方法，还包括：
处理器确定多个不同簇的最佳数量；
处理器确定多个不同数据块的最佳数量；和
处理器基于至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间；基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (10)

1.一种云平台并行通信的系统，其特征在于，包括：存储处理器可执行指令的存储器；和处理器执行处理器可执行指令以使系统：接收至少一个与来自至少一个数据源的数据集有关的数据表；接收多个维度，多个维度用于分析数据集的数据；通过第一并行化过程将多个维度组合成多个不同的簇，每个簇是不同维度的分组；将多个不同的集群中的每个集群发送到云平台；通过第二并行化过程将所述至少一个数据表划分为多个不同的数据块；和将多个不同的数据块中的每一个传输到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所传输的多个的组合生成数据模型。
2.如权利要求1所述的系统，其特征在于，所述至少一个数据表包括所述数据集的度量。
3.如权利要求1所述的系统，其特征在于，所述集群通过消息发送到所述云平台。
4.如权利要求3所述的系统，其特征在于，通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台。
5.如权利要求1所述的系统，其特征在于，所述多个不同的数据块通过所述第二并行化过程至少部分地并且彼此独立地传输到所述云平台。
6.如权利要求1所述的系统，其特征在于，其中所述处理器还能够执行所述处理器可执行指令以使所述系统：
确定多个不同簇的最佳数量；
确定多个不同数据块的最佳数量；和
至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间。
7.如权利要求6所述的系统，其特征在于，基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
8.一种云平台并行通信的方法，其特征在于，包括：
处理器接收至少一个与来自至少一个数据源的数据集有关的数据表；
处理器接收多个维度，所述多个维度用于分析数据集的数据；
处理器通过第一并行化处理将多个维度组合成多个不同的簇，每个簇是不同维度的分组；
将多个不同集群中的每个集群发送到云平台；
处理器通过第二并行化处理将所述至少一个数据表划分为多个不同的数据块；和
将多个不同的数据块中的每一个发送到云平台，并行地并且独立于云平台的多个不同集群的传输，云平台基于所发送的多个的组合生成数据模型。
9.如权利要求8所述的方法，其特征在于，所述至少一个数据表包括所述数据集的度量；通过消息将所述集群发送到所述云平台；通过所述第一并行化过程，至少部分地将所述多个消息传输到所述云平台；通过第二并行化过程，至少部分地并且彼此独立地将所述多个不同的数据块同时发送到云平台。
10.如权利要求8所述的方法，其特征在于，还包括：
处理器确定多个不同簇的最佳数量；
处理器确定多个不同数据块的最佳数量；和
处理器基于至少部分地基于所确定的多个不同簇的最佳数量和所确定的多个不同数据块的最佳数量来确定生成数据模型的最小时间；基于生成数据模型的最小时间受到失败概率小于阈值，最小成功数据模型创建时间及其组合中的至少一个的约束。
CN201810865940.5A 2018-08-01 2018-08-01 一种云平台并行通信的系统及方法 Withdrawn CN109151000A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810865940.5A CN109151000A (zh) 2018-08-01 2018-08-01 一种云平台并行通信的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810865940.5A CN109151000A (zh) 2018-08-01 2018-08-01 一种云平台并行通信的系统及方法

Publications (1)

Publication Number Publication Date
CN109151000A true CN109151000A (zh) 2019-01-04

Family

ID=64799560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810865940.5A Withdrawn CN109151000A (zh) 2018-08-01 2018-08-01 一种云平台并行通信的系统及方法

Country Status (1)

Country Link
CN (1) CN109151000A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819616A (zh) * 2011-12-28 2012-12-12 中华电信股份有限公司 云端线上即时多维度分析系统与方法
US20140122896A1 (en) * 2012-10-31 2014-05-01 Inventec Corporation Data encryption method
CN105357317A (zh) * 2015-12-07 2016-02-24 金蝶软件（中国）有限公司 一种基于多客户端轮循排队的数据上传方法及系统
CN106844703A (zh) * 2017-02-04 2017-06-13 中国人民大学 一种面向数据库一体机的内存数据仓库查询处理实现方法
CN107944284A (zh) * 2017-11-23 2018-04-20 国网浙江省电力公司电力科学研究院 一种企业数据内部安全管控的方法及系统
CN107992503A (zh) * 2016-10-26 2018-05-04 微软技术许可有限责任公司 数据分析中的查询处理

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102819616A (zh) * 2011-12-28 2012-12-12 中华电信股份有限公司 云端线上即时多维度分析系统与方法
US20140122896A1 (en) * 2012-10-31 2014-05-01 Inventec Corporation Data encryption method
CN105357317A (zh) * 2015-12-07 2016-02-24 金蝶软件（中国）有限公司 一种基于多客户端轮循排队的数据上传方法及系统
CN107992503A (zh) * 2016-10-26 2018-05-04 微软技术许可有限责任公司 数据分析中的查询处理
CN106844703A (zh) * 2017-02-04 2017-06-13 中国人民大学 一种面向数据库一体机的内存数据仓库查询处理实现方法
CN107944284A (zh) * 2017-11-23 2018-04-20 国网浙江省电力公司电力科学研究院 一种企业数据内部安全管控的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨士龙: ""基于HBase企业季报可信数据仓库构建与OLAP查询分析"", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Similar Documents

Publication Publication Date Title
CN109213600B (zh) 一种基于ai云的gpu资源调度方法和装置
US20190034465A1 (en) Blockchain logging of data from multiple systems
CN111324445A (zh) 一种任务调度模拟系统
US8381230B2 (en) Message passing with queues and channels
CN108304918B (zh) 一种数据并行的深度学习的参数交换方法和系统
CN108563808A (zh) 基于fpga的异构可重构图计算加速器系统的设计方法
US20120166447A1 (en) Filtering queried data on data stores
US20120102003A1 (en) Parallel data redundancy removal
CN103927338A (zh) 日志信息入库处理方法和装置
JP2011170774A (ja) 決定木生成装置、決定木生成方法、及びプログラム
DiMarco et al. Performance impact of dynamic parallelism on different clustering algorithms
CN105095299A (zh) 图片抓取方法和系统
US8869155B2 (en) Increasing parallel program performance for irregular memory access problems with virtual data partitioning and hierarchical collectives
CN105491078A (zh) Soa系统中的数据处理方法及装置、soa系统
CN107391402A (zh) 一种数据运算方法、装置及一种数据运算卡
CN110955390B (zh) 数据处理方法、装置、电子设备和存储介质
CN106874067A (zh) 基于轻量级虚拟机的并行计算方法、装置及系统
CN107992358A (zh) 一种适用于核外图处理系统的异步io执行方法及系统
US20110246582A1 (en) Message Passing with Queues and Channels
CN108334532B (zh) 一种基于Spark的Eclat并行化方法、系统及装置
CN106796587B (zh) 用于验证分析结果的方法和系统
CN111324731B (zh) 对语料库的词语进行嵌入的计算机实施方法
CN109151000A (zh) 一种云平台并行通信的系统及方法
CN109800184A (zh) 针对小块输入的缓存方法、系统、装置及可存储介质
Körner et al. Distributed model checking using ProB

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190104