CN112398904A - 一种基于公有云的数据发送方法 - Google Patents

一种基于公有云的数据发送方法 Download PDF

Info

Publication number
CN112398904A
CN112398904A CN202011018299.5A CN202011018299A CN112398904A CN 112398904 A CN112398904 A CN 112398904A CN 202011018299 A CN202011018299 A CN 202011018299A CN 112398904 A CN112398904 A CN 112398904A
Authority
CN
China
Prior art keywords
task queue
task
data
sending
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011018299.5A
Other languages
English (en)
Inventor
骞巍
刘莎莎
孙继洋
孙晶莹
施俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PowerChina Resources Ltd
Original Assignee
PowerChina Resources Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PowerChina Resources Ltd filed Critical PowerChina Resources Ltd
Priority to CN202011018299.5A priority Critical patent/CN112398904A/zh
Publication of CN112398904A publication Critical patent/CN112398904A/zh
Priority to CN202110897186.5A priority patent/CN113472896B/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/104Peer-to-peer [P2P] networks
    • H04L67/1074Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078Resource delivery mechanisms

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开一种基于公有云的数据发送方法,获取数据的发送任务;将发送任务进行拆分,得到发送子任务;确定发送子任务对应的任务队列;通过任务队列执行发送子任务,以便将数据发送至公有云上。本发明提供的方法,将任务拆分成子任务,确定发送子任务对应的任务队列之后,通过任务队列执行发送子任务,以便将数据发送至公有云上,实现了任务通过多个队列发送至公有云。

Description

一种基于公有云的数据发送方法
技术领域
本发明涉及云技术,尤其涉及一种基于公有云的数据发送方法。
背景技术
在2017年至2018年间,云服务市场发生了巨大的变化。企业机构从低风险地尝试使用云转向全面、大规模地使用云。云项目已进入到数据中心的核心,彻底的云迁移成为普遍现象。
公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过Internet使用,公有云的核心属性是共享资源服务。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题,本发明提供一种基于公有云的数据发送方法。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
一种基于公有云的数据发送方法,包括:
S1、获取数据的发送任务;
S2、将所述发送任务进行拆分,得到发送子任务;
S3、确定所述发送子任务对应的任务队列;
S4、通过所述任务队列执行所述发送子任务,以便将所述数据发送至公有云上。
可选地,所述步骤S2包括:
S2-1、获取所述数据的大小、任务队列属性;
S2-2、根据所述数据的大小、任务队列属性对所述数据进行拆分;
S2-3、拆分后的每一个子数据对应一个发送子任务。
可选地,所述任务队列属性包括:任务队列数量,各任务队列对应的资源数量,预设时间段内各任务队列的最大发送延迟和最小发送延迟,当前各任务队列中任务数量,当前各任务队列的资源使用量。
可选地,所述步骤S2-2包括:
S2-2-1、计算各任务队列的资源占用率=当前各任务队列的资源使用量/各任务队列对应的资源数量;
S2-2-2、计算各任务队列的执行度=(1-各任务队列的资源占用率)*当前各任务队列中任务数量*(1+预设时间段内各任务队列的最大发送延迟)*W/预设时间段内各任务队列的最小发送延迟,其中,W为预设的任务最小资源占用率;
S2-2-3、根据各任务队列的执行度和所述数据的大小,确定理想拆分数量;
S2-2-4、根据理想拆分数量和所述任务队列数量之间的关系,对所述数据进行拆分。
可选地,所述步骤S2-2-3包括:
S2-2-3-1,确定执行度均值
Figure BDA0002699838610000021
S2-2-3-2,确定数据拆分块标准值
Figure BDA0002699838610000022
S2-2-3-3,若D0=0,则理想拆分数量=1,否则,根据D0确定理想拆分数量;
其中,N为任务队列总数量,i为任务队列标识,Ai为第i个任务队列的执行度,Cmin为min{各任务队列对应的资源数量-当前各任务队列的资源使用量},min{}为求最小值函数,q为预设的数据块的最小值,D为所述数据的大小。
可选地,所述步骤S2-2-3-3包括:
Figure BDA0002699838610000031
其中,
Figure BDA0002699838610000032
为上取整运算符。
可选地,所述步骤S2-2-3-3包括:
Figure BDA0002699838610000033
其中,
Figure BDA0002699838610000034
Figure BDA0002699838610000035
为上取整运算符。
可选地,所述步骤S2-2-4包括:
若理想拆分数量大于所述任务队列数量,则将所述数据拆分成所述任务队列数量个子数据;
若理想拆分数量不大于所述任务队列数量,则将所述数据拆分成所述理想拆分数量个子数据。
可选地,所述步骤S3包括:
S3-1-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量;
S3-1-2,按各任务队列的剩余资源从高到低选择D1个任务队列作为发送子任务对应的任务队列,其中D1为发送子任务数量。
可选地,若发送子任务数量D1小于任务队列总数量,则所述步骤S3包括:
S3-2-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量;
S3-2-2,按各任务队列的剩余资源从高到低排列,得到第一序列{Xu},其中u为第一序列中元素标识;
S3-2-3,按各发送子任务所对应的发送数据大小从高到低排列,得到第二序列{Yv},其中v为第二序列中元素标识;
S3-2-4,从第一个元素开始,依次选择第二序列中的一个元素Yj,若第一序列中存在满足预设关系的元素,则将标号最小的满足预设关系的元素作为Y1对应的任务队列;若第一序列中不存在满足预设关系的元素,则将标号最小,且未对应第一序列中的任何元素的元素作为Yj对应的任务队列;
其中,所述预设关系为满足Yj的发送资源需求,且未对应第一序列中的任何元素。
(三)有益效果
本发明的方法将任务拆分成子任务,确定发送子任务对应的任务队列之后,通过任务队列执行发送子任务,以便将数据发送至公有云上,实现了任务通过多个队列发送至公有云。
附图说明
图1为本发明一实施例提供的基于公有云的数据发送方法的流程示意图。
具体实施方式
为了更好地解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
公有云通常指第三方提供商为用户提供的能够使用的云,公有云一般可通过Internet使用,公有云的核心属性是共享资源服务。本发明提供一种基于公有云的数据发送方法,将任务拆分成子任务,确定发送子任务对应的任务队列之后,通过任务队列执行发送子任务,以便将数据发送至公有云上,实现了任务通过多个队列发送至公有云。
参见图1,本实施例提供的方法如下:
S1、获取数据的发送任务。
其中,发送任务所需要发送的数据是待传输至公有云上进行存储的数据。此数据可以为用户输入的,也可以为主动采集的,本实施例不对待传输数据的获取方式以及内容进行限定。
发送任务为发送数据的任务,该任务可以为用户输入的发送请求,也可以是根据用户输入的发送请求得到的发送命令,发送信令等。
S2、将发送任务进行拆分,得到发送子任务。
本步骤会将发送数据的任务进行拆分,得到多个子任务,由子任务将数据发送至公有云。
本步骤的实现过程如下:
S2-1、获取数据的大小、任务队列属性。
其中,数据为需要通过发送任务发送至公有云的数据。
任务队列属性包括:任务队列数量,各任务队列对应的资源数量,预设时间段内各任务队列的最大发送延迟和最小发送延迟,当前各任务队列中任务数量,当前各任务队列的资源使用量。
任务队列为当前已有的任务队列,如Spark任务队列、Flink任务队列及ELK任务队列,其分别对应预定数量的Spark连接池、Flink连接池及ELK连接池,连接池用于执行待执行任务时连接对应的执行资源;每种类型的任务队列均包括多个待执行任务,每个待执行任务匹配有任务过期时间、不同的优先级以及一些执行参数。
S2-2、根据数据的大小、任务队列属性对数据进行拆分。
具体的,S2-2执行过程如下:
S2-2-1、计算各任务队列的资源占用率=当前各任务队列的资源使用量/各任务队列对应的资源数量。
S2-2-2、计算各任务队列的执行度=(1-各任务队列的资源占用率)*当前各任务队列中任务数量*(1+预设时间段内各任务队列的最大发送延迟)*W/预设时间段内各任务队列的最小发送延迟,其中,W为预设的任务最小资源占用率。
S2-2-3、根据各任务队列的执行度和数据的大小,确定理想拆分数量。
S2-2-3的实现方案为:
S2-2-3-1,确定执行度均值
Figure BDA0002699838610000061
S2-2-3-2,确定数据拆分块标准值
Figure BDA0002699838610000062
S2-2-3-3,若D0=0,则理想拆分数量=1,否则,根据D0确定理想拆分数量。
其中,N为任务队列总数量,i为任务队列标识,Ai为第i个任务队列的执行度,Cmin为min{各任务队列对应的资源数量-当前各任务队列的资源使用量},min{}为求最小值函数,q为预设的数据块的最小值,D为数据的大小。
具体的,
Figure BDA0002699838610000063
或者,
Figure BDA0002699838610000064
其中,
Figure BDA0002699838610000065
为上取整运算符,
Figure BDA0002699838610000066
S2-2-4、根据理想拆分数量和任务队列数量之间的关系,对数据进行拆分。
具体的,若理想拆分数量大于任务队列数量,则将数据拆分成任务队列数量个子数据。若理想拆分数量不大于任务队列数量,则将数据拆分成理想拆分数量个子数据。
本实施例提供的方案,基于当前队列的资源使用情况确定数据的理想拆分数量,通过理想拆分数量或任务队列数量进行数据拆分后,可以保证当前队列的资源可以更加符合拆分后的数据传输需求,保证了数据的高效传输。
S2-3、拆分后的每一个子数据对应一个发送子任务。
S3、确定发送子任务对应的任务队列。
本步骤实现方案为:
S3-1-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量。
S3-1-2,按各任务队列的剩余资源从高到低选择D1个任务队列作为发送子任务对应的任务队列,其中D1为发送子任务数量。
若发送子任务数量D1小于任务队列总数量,步骤S3的实现方案除上述方案外,还可以通过下述方案实现。
S3-2-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量。
S3-2-2,按各任务队列的剩余资源从高到低排列,得到第一序列{Xu},其中u为第一序列中元素标识。
S3-2-3,按各发送子任务所对应的发送数据大小从高到低排列,得到第二序列{Yv},其中v为第二序列中元素标识。
S3-2-4,从第一个元素开始,依次选择第二序列中的一个元素Yj,若第一序列中存在满足预设关系的元素,则将标号最小的满足预设关系的元素作为Y1对应的任务队列。若第一序列中不存在满足预设关系的元素,则将标号最小,且未对应第一序列中的任何元素的元素作为Yj对应的任务队列。
其中,预设关系为满足Yj的发送资源需求,且未对应第一序列中的任何元素。
S4、通过任务队列执行发送子任务,以便将数据发送至公有云上。
本实施例提供的方案可以根据当前队列的资源使用情况动态的对数据进行拆分及传输,提升了数据传输速率及质量。
本实施例将任务拆分成子任务,确定发送子任务对应的任务队列之后,通过任务队列执行发送子任务,以便将数据发送至公有云上,实现了任务通过多个队列发送至公有云。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是,在权利要求中,不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中,这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用,仅是为了表述方便,而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外,需要说明的是,在本说明书的描述中,术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述,是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例,但本领域的技术人员在得知了基本创造性概念后,则可对这些实施例作出另外的变更和修改。所以,权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于公有云的数据发送方法,其特征在于,包括:
S1、获取数据的发送任务;
S2、将所述发送任务进行拆分,得到发送子任务;
S3、确定所述发送子任务对应的任务队列;
S4、通过所述任务队列执行所述发送子任务,以便将所述数据发送至公有云上。
2.根据权利要求1所述的方法,其特征在于,所述步骤S2包括:
S2-1、获取所述数据的大小、任务队列属性;
S2-2、根据所述数据的大小、任务队列属性对所述数据进行拆分;
S2-3、拆分后的每一个子数据对应一个发送子任务。
3.根据权利要求2所述的方法,其特征在于,所述任务队列属性包括:任务队列数量,各任务队列对应的资源数量,预设时间段内各任务队列的最大发送延迟和最小发送延迟,当前各任务队列中任务数量,当前各任务队列的资源使用量。
4.根据权利要求3所述的方法,其特征在于,所述步骤S2-2包括:
S2-2-1、计算各任务队列的资源占用率=当前各任务队列的资源使用量/各任务队列对应的资源数量;
S2-2-2、计算各任务队列的执行度=(1-各任务队列的资源占用率)*当前各任务队列中任务数量*(1+预设时间段内各任务队列的最大发送延迟)*W/预设时间段内各任务队列的最小发送延迟,其中,W为预设的任务最小资源占用率;
S2-2-3、根据各任务队列的执行度和所述数据的大小,确定理想拆分数量;
S2-2-4、根据理想拆分数量和所述任务队列数量之间的关系,对所述数据进行拆分。
5.根据权利要求4所述的方法,其特征在于,所述步骤S2-2-3包括:
S2-2-3-1,确定执行度均值
Figure FDA0002699838600000021
S2-2-3-2,确定数据拆分块标准值
Figure FDA0002699838600000022
S2-2-3-3,若D0=0,则理想拆分数量=1,否则,根据D0确定理想拆分数量;
其中,N为任务队列总数量,i为任务队列标识,Ai为第i个任务队列的执行度,Cmin为min{各任务队列对应的资源数量-当前各任务队列的资源使用量},min{}为求最小值函数,q为预设的数据块的最小值,D为所述数据的大小。
6.根据权利要求5所述的方法,其特征在于,所述步骤S2-2-3-3包括:
Figure FDA0002699838600000023
其中,
Figure FDA0002699838600000024
为上取整运算符。
7.根据权利要求5所述的方法,其特征在于,所述步骤S2-2-3-3包括:
Figure FDA0002699838600000025
其中,
Figure FDA0002699838600000026
Figure FDA0002699838600000027
为上取整运算符。
8.根据权利要求4所述的方法,其特征在于,所述步骤S2-2-4包括:
若理想拆分数量大于所述任务队列数量,则将所述数据拆分成所述任务队列数量个子数据;
若理想拆分数量不大于所述任务队列数量,则将所述数据拆分成所述理想拆分数量个子数据。
9.根据权利要求1所述的方法,其特征在于,所述步骤S3包括:
S3-1-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量;
S3-1-2,按各任务队列的剩余资源从高到低选择D1个任务队列作为发送子任务对应的任务队列,其中D1为发送子任务数量。
10.根据权利要求1所述的方法,其特征在于,若发送子任务数量D1小于任务队列总数量,则所述步骤S3包括:
S3-2-1,确定各任务队列的剩余资源=各任务队列对应的资源数量-当前各任务队列的资源使用量;
S3-2-2,按各任务队列的剩余资源从高到低排列,得到第一序列{Xu},其中u为第一序列中元素标识;
S3-2-3,按各发送子任务所对应的发送数据大小从高到低排列,得到第二序列{Yv},其中v为第二序列中元素标识;
S3-2-4,从第一个元素开始,依次选择第二序列中的一个元素Yj,若第一序列中存在满足预设关系的元素,则将标号最小的满足预设关系的元素作为Y1对应的任务队列;若第一序列中不存在满足预设关系的元素,则将标号最小,且未对应第一序列中的任何元素的元素作为Yj对应的任务队列;
其中,所述预设关系为满足Yj的发送资源需求,且未对应第一序列中的任何元素。
CN202011018299.5A 2020-09-24 2020-09-24 一种基于公有云的数据发送方法 Withdrawn CN112398904A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011018299.5A CN112398904A (zh) 2020-09-24 2020-09-24 一种基于公有云的数据发送方法
CN202110897186.5A CN113472896B (zh) 2020-09-24 2021-08-05 一种基于公有云的数据发送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018299.5A CN112398904A (zh) 2020-09-24 2020-09-24 一种基于公有云的数据发送方法

Publications (1)

Publication Number Publication Date
CN112398904A true CN112398904A (zh) 2021-02-23

Family

ID=74597103

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011018299.5A Withdrawn CN112398904A (zh) 2020-09-24 2020-09-24 一种基于公有云的数据发送方法
CN202110897186.5A Active CN113472896B (zh) 2020-09-24 2021-08-05 一种基于公有云的数据发送方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110897186.5A Active CN113472896B (zh) 2020-09-24 2021-08-05 一种基于公有云的数据发送方法

Country Status (1)

Country Link
CN (2) CN112398904A (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043017B2 (en) * 2013-04-15 2018-08-07 Paul Lewis Systems and methods for jurisdiction independent data storage in a multi-vendor cloud environment
TW201721474A (zh) * 2015-12-09 2017-06-16 群暉科技股份有限公司 檔案上傳方法、檔案下載方法及相關的伺服器
CN107528914B (zh) * 2017-09-12 2020-05-12 电子科技大学 数据分片的资源征用调度方法
CN108830724B (zh) * 2018-04-12 2023-04-14 平安科技(深圳)有限公司 一种资源数据包处理方法及终端设备
CN108900434A (zh) * 2018-07-18 2018-11-27 北京木瓜移动科技股份有限公司 数据收集分发方法及装置
US11249857B2 (en) * 2018-10-19 2022-02-15 Netapp, Inc. Methods for managing clusters of a storage system using a cloud resident orchestrator and devices thereof
CN109542608B (zh) * 2018-11-30 2022-03-04 北京仿真中心 一种基于混合排队网络的云仿真任务调度方法
CN111131450B (zh) * 2019-12-23 2022-06-21 北京奇艺世纪科技有限公司 文件上传方法、重组方法及装置
CN111414334B (zh) * 2020-02-21 2024-04-05 平安科技(深圳)有限公司 基于云技术的文件分片上传方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113472896B (zh) 2023-10-27
CN113472896A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
WO2021115480A1 (zh) 联邦学习方法、装置、设备和存储介质
US10558498B2 (en) Method for scheduling data flow task and apparatus
CN106371918B (zh) 任务集群调度管理方法及装置
US20150363229A1 (en) Resolving task dependencies in task queues for improved resource management
CN110209484B (zh) 基于多云和安全映射的可信云任务调度系统及方法
US9853906B2 (en) Network prioritization based on node-level attributes
CN110769278A (zh) 一种分布式视频转码方法及系统
CN110659123B (zh) 一种基于消息的分布式任务分发调度方法及装置
US20070234364A1 (en) Post-processing phase in a distributed computing system
US11314545B2 (en) Predicting transaction outcome based on artifacts in a transaction processing environment
CN110781180B (zh) 一种数据筛选方法和数据筛选装置
CN106610870B (zh) 一种处理节点数量调整方法及装置
CN109491775B (zh) 一种用于边缘计算环境下的任务处理与调度方法
CN111800447A (zh) 云游戏的服务器调度方法、装置及可读存储介质
CN109388501B (zh) 基于人脸识别请求的通信匹配方法、装置、设备及介质
CN105550025A (zh) 分布式基础设施即服务(IaaS)调度方法及系统
CN113472896B (zh) 一种基于公有云的数据发送方法
CN111049900B (zh) 一种物联网流计算调度方法、装置和电子设备
CN113411354B (zh) 一种基于公有云的数据传输方法
CN112667368A (zh) 一种任务数据处理方法和装置
CN109857563A (zh) 任务执行方法、装置和任务执行系统
CN113821313B (zh) 一种任务调度方法、装置及电子设备
US9887928B2 (en) System and method for identifying performance characteristics in asynchronous networks
CN108900865A (zh) 服务器、转码任务的调度方法及执行方法
CN112491066B (zh) 负载均衡方法、装置、系统、目标负载均衡设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210223