CN107172142A - 一种加速云计算数据中心查询的数据调度方法 - Google Patents
一种加速云计算数据中心查询的数据调度方法 Download PDFInfo
- Publication number
- CN107172142A CN107172142A CN201710333025.7A CN201710333025A CN107172142A CN 107172142 A CN107172142 A CN 107172142A CN 201710333025 A CN201710333025 A CN 201710333025A CN 107172142 A CN107172142 A CN 107172142A
- Authority
- CN
- China
- Prior art keywords
- data
- site
- cost
- transmitted
- bottleneck
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明涉及一种加速云计算数据中心查询的数据调度方法,在靠近数据的数据中心存储数据可以大大减小带宽的消耗,减少数据传输对引起的查询响应的延迟,不必建立一个存储量极大,对计算性能要求很高的中心数据中心;不论哪个数据中心是瓶颈网点,带宽很小,都可以确保数据查询的反应时间较小;根据存储成本选择数据中心,可以在兼顾查询反应时间的情况下使数据的存储成本较低。
Description
技术领域
本发明涉及一种加速云计算数据中心查询的数据调度方法,属于分布式计算和云计算技术领域。
背景技术
21世纪初,互联网发展迅速,计算机技术在各个行业广泛使用。随着互联网的迅猛发展,信息量也快速增加,网站等业务系统所需要处理的业务量快速增长。为了快速处理大幅增加的信息量,使信息得到及时的反馈,并使用信息为自身服务,云计算应运而生。
云计算是由分布式计算、并行处理、网格计算发展来的,是一种新兴的计算模型。云计算的计算能力强大,应用范围广泛,它不仅提供传统意义的IT资源和应用服务,而且将支持包括IT、通信、电视、移动和物联网等一切互联网技术融合后的资源使用和业务应用。云计算发展的关键技术主要有统一交换构架、统一虚拟化和统一计算系统。
云计算模式具有许多优点:超大规模,虚拟化,通用型,廉价等。但是云计算也存在一些不足,现有的网络带宽、存储数据的可靠性和安全性,是目前限制云计算技术进一步发展的关键因素。随着云计算的发展,数据中心建立在各个位置,在云计算数据中心进行数据分析变成了一个重要工作。分析内容包括查询用户日志来选择广告投放策略,查询网络日志探测Dos攻击,查询系统日志建立错误预测模型等等。为了使查询能够得到较快的响应,数据的放置方法便显得尤为重要。
目前,在云计算数据中心对数据进行分析主要是通过把各个数据中心的数据传输到一个数据中心,所有的查询任务也发送到这个数据中心进行处理,但由于各个线路带宽的不同,数据传输的速度也不同,带宽很小的线路会大大延长数据的传输速度,从而使数据查询的反应时间很大。这种数据放置方法,同时还会造成大量带宽的消耗,极大的增加了查询的成本。除此之外,对于隐私的保护也使得在一个数据中心放置数据的方法不能长久发展。
发明内容
本发明所要解决的技术问题是提供一种能够有效降低数据存储成本,提高数据传输效率的加速云计算数据中心查询的数据调度方法。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种加速云计算数据中心查询的数据调度方法,用于针对瓶颈网点上的放置数据进行调度,其中,获取云计算数据中心Dk<O或Uk<O的各个网点,作为瓶颈网点,k∈{1,…,K},K表示云计算数据中心中网点的数量,Dk表示第k个网点的下载速度,Uk表示第k个网点的上传速度,O表示预设云计算数据中心传输数据最小带宽值;针对各个瓶颈网点,分别执行如下调度方法:
步骤A.获取云计算数据中心Dk>O'且Uk>O'的各个网点,作为各个待选网点,然后进入步骤B,其中,O'表示预设云计算数据中心待接收数据网点的最小带宽值;
步骤B.分别获得各个待选网点的数据存储成本,并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本,针对该各个数据存储成本分别所对应的待选网点,构建待传输网点集合S,然后进入步骤C;
步骤C.从待传输网点集合S中随机取出一个网点,作为待传输网点,并从待传输网点集合S中删除该待传输网点,并获取该待传输网点的放置数据的大小,以及初始化m为预设移动数据量大小,然后进入步骤D;
步骤D.若m≤该待传输网点的放置数据的大小,则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t1,然后进入步骤E;若m>该待传输网点的放置数据的大小,则进入步骤F;
步骤E.待经过预设t0时长,获得或更新基于步骤D中假设数据移动后所对应的查询时间t2,判断t2是否小于t1,是则采用(m+预设移动数据增量)针对m进行更新,并返回步骤D;否则将t1作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间,并记录最小查询时间所对应的移动数据大小,然后进入步骤F;
步骤F.判断待传输网点集合S中是否存在网点,是则返回步骤C;否则进入步骤G;
步骤G.针对各个最小查询时间,获得其中最小值所对应的待传输网点和移动数据大小,将该待传输网点作为目标网点,将该移动数据大小作为目标移动数据大小,由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。
作为本发明的一种优选技术方案,所述步骤B中,根据如下公式:
costq=nq*(cost'q+cost”q)+xq*cost”'q
分别获得各个待选网点的数据存储成本costq,其中,q∈{1,…,Q},Q表示待选网点的数量,costq表示各个待选网点中第q个待选网点数据存储成本,cost'q表示各个待选网点中第q个待选网点存储数据的单位成本,cost”q表示各个待选网点中第q个待选网点的单位传输成本,cost”'q表示各个待选网点中第q个待选网点的数据请求成本,nq表示各个待选网点中第q个待选网点所需的数据存储量,xq表示各个待选网点中第q个待选网点的请求次数。
作为本发明的一种优选技术方案,所述步骤D中,所述瓶颈网点中最高优先级数据集,根据如下过程获得:
首先分别针对瓶颈网点中的各个数据集,获得数据集的查询q,对数据集的查询次数c,数据集所引起中间数据传输延迟的改善j,数据集移动所引起最大查询时间的减少t',以及数据集移动所需的成本cost;然后分别针对瓶颈网点中的各个数据集,获得各个数据集的价值,并根据数据集价值与数据集移动所需成本的比值,获得各个数据集的得分,根据得分由高到低的顺序,排列各个数据集优先级由高至低。
作为本发明的一种优选技术方案,所述步骤E中的预设移动数据增量为10MB。
本发明所述一种加速云计算数据中心查询的数据调度方法采用以上技术方案与现有技术相比,具有以下技术效果:本发明所设计加速云计算数据中心查询的数据调度方法,在靠近数据的数据中心存储数据可以大大减小带宽的消耗,减少数据传输对引起的查询响应的延迟,不必建立一个存储量极大,对计算性能要求很高的中心数据中心;不论哪个数据中心是瓶颈网点,带宽很小,都可以确保数据查询的反应时间较小;根据存储成本选择数据中心,可以在兼顾查询反应时间的情况下使数据的存储成本较低。
附图说明
图1是本发明所设计加速云计算数据中心查询的数据调度方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
在云计算数据中心进行数据查询时,往往是把所有数据传输到一个数据中心,查询任务也是发送到这个数据中心进行处理,使用目前的数据中心间的分析框架进行分析,由于这些框架在有些带宽相对较小的线路下不能很好的工作,查询的反应时间较长;与此同时,把数据传输到一个数据中心进行处理,会消耗很大的带宽。针对这些问题,本发明提出了一种基于云计算数据中心的数据放置方法。
本发明所设计一种加速云计算数据中心查询的数据调度方法,在应用时可以降低对单个数据中心的存储容量和计算能力的要求;在目前的数据分析框架下可以减少任务查询的反应时间,减少对网络带宽的消耗,同时降低数据存储的成本。其原理是把数据放到附近的数据中心进行存储,在考虑数据中心存储成本的情况下,根据网点带宽大小和查询任务的特点来改变数据放置的位置,最终选择存储价格合适的数据查询时间最小的数据中心即网点。
如图1所示,本发明设计了一种加速云计算数据中心查询的数据调度方法,用于针对瓶颈网点上的放置数据进行调度,其中,获取云计算数据中心Dk<O或Uk<O的各个网点,作为瓶颈网点,k∈{1,…,K},K表示云计算数据中心中网点的数量,Dk表示第k个网点的下载速度,Uk表示第k个网点的上传速度,O表示预设云计算数据中心传输数据最小带宽值;实际应用中,针对各个瓶颈网点,分别具体执行如下调度方法:
步骤A.获取云计算数据中心Dk>O'且Uk>O'的各个网点,作为各个待选网点,然后进入步骤B,其中,O'表示预设云计算数据中心待接收数据网点的最小带宽值。
步骤B.根据如下公式:
costq=nq*(cost'q+cost”q)+xq*cost”'q
分别获得各个待选网点的数据存储成本costq,其中,q∈{1,…,Q},Q表示待选网点的数量,costq表示各个待选网点中第q个待选网点数据存储成本,cost'q表示各个待选网点中第q个待选网点存储数据的单位成本,cost”q表示各个待选网点中第q个待选网点的单位传输成本,cost”'q表示各个待选网点中第q个待选网点的数据请求成本,nq表示各个待选网点中第q个待选网点所需的数据存储量,xq表示各个待选网点中第q个待选网点的请求次数,并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本,针对该各个数据存储成本分别所对应的待选网点,构建待传输网点集合S,然后进入步骤C。
步骤C.从待传输网点集合S中随机取出一个网点,作为待传输网点,并从待传输网点集合S中删除该待传输网点,并获取该待传输网点的放置数据的大小,以及初始化m为预设移动数据量大小,然后进入步骤D。
步骤D.若m≤该待传输网点的放置数据的大小,则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t1,然后进入步骤E;若m>该待传输网点的放置数据的大小,则进入步骤F。
其中步骤D中,所述瓶颈网点中最高优先级数据集,根据如下过程获得:
首先分别针对瓶颈网点中的各个数据集,获得数据集的查询q,对数据集的查询次数c,数据集所引起中间数据传输延迟的改善j,数据集移动所引起最大查询时间的减少t',以及数据集移动所需的成本cost;然后分别针对瓶颈网点中的各个数据集,获得各个数据集的价值,并根据数据集价值与数据集移动所需成本的比值,获得各个数据集的得分,根据得分由高到低的顺序,排列各个数据集优先级由高至低。
步骤E.待经过预设t0时长,获得或更新基于步骤D中假设数据移动后所对应的查询时间t2,判断t2是否小于t1,是则采用(m+预设移动数据增量)针对m进行更新,并返回步骤D;否则将t1作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间,并记录最小查询时间所对应的移动数据大小,然后进入步骤F,实际应用中,针对预设移动数据增量,具体设计采用10MB作为移动数据增量。
步骤F.判断待传输网点集合S中是否存在网点,是则返回步骤C;否则进入步骤G。
步骤G.针对各个最小查询时间,获得其中最小值所对应的待传输网点和移动数据大小,将该待传输网点作为目标网点,将该移动数据大小作为目标移动数据大小,由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。
上述技术方案所设计加速云计算数据中心查询的数据调度方法,在靠近数据的数据中心存储数据可以大大减小带宽的消耗,减少数据传输对引起的查询响应的延迟,不必建立一个存储量极大,对计算性能要求很高的中心数据中心;不论哪个数据中心是瓶颈网点,带宽很小,都可以确保数据查询的反应时间较小;根据存储成本选择数据中心,可以在兼顾查询反应时间的情况下使数据的存储成本较低。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (4)
1.一种加速云计算数据中心查询的数据调度方法,用于针对瓶颈网点上的放置数据进行调度,其中,获取云计算数据中心Dk<O或Uk<O的各个网点,作为瓶颈网点,k∈{1,…,K},K表示云计算数据中心中网点的数量,Dk表示第k个网点的下载速度,Uk表示第k个网点的上传速度,O表示预设云计算数据中心传输数据最小带宽值;其特征在于,针对各个瓶颈网点,分别执行如下调度方法:
步骤A.获取云计算数据中心Dk>O'且Uk>O'的各个网点,作为各个待选网点,然后进入步骤B,其中,O'表示预设云计算数据中心待接收数据网点的最小带宽值;
步骤B.分别获得各个待选网点的数据存储成本,并进一步获得低于预设网点数据存储成本阈值的各个数据存储成本,针对该各个数据存储成本分别所对应的待选网点,构建待传输网点集合S,然后进入步骤C;
步骤C.从待传输网点集合S中随机取出一个网点,作为待传输网点,并从待传输网点集合S中删除该待传输网点,并获取该待传输网点的放置数据的大小,以及初始化m为预设移动数据量大小,然后进入步骤D;
步骤D.若m≤该待传输网点的放置数据的大小,则获取或更新假设由瓶颈网点中最高优先级数据集中移出m大小的数据至该待传输网点后所对应的查询时间t1,然后进入步骤E;若m>该待传输网点的放置数据的大小,则进入步骤F;
步骤E.待经过预设t0时长,获得或更新基于步骤D中假设数据移动后所对应的查询时间t2,判断t2是否小于t1,是则采用(m+预设移动数据增量)针对m进行更新,并返回步骤D;否则将t1作为瓶颈网点向该待传输网点移动数据后所对应的最小查询时间,并记录最小查询时间所对应的移动数据大小,然后进入步骤F;
步骤F.判断待传输网点集合S中是否存在网点,是则返回步骤C;否则进入步骤G;
步骤G.针对各个最小查询时间,获得其中最小值所对应的待传输网点和移动数据大小,将该待传输网点作为目标网点,将该移动数据大小作为目标移动数据大小,由瓶颈网点中最高优先数据集中移出目标移动数据大小的数据至该目标网点。
2.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法,其特征在于,所述步骤B中,根据如下公式:
costq=nq*(cost'q+cost”q)+xq*cost″′q
分别获得各个待选网点的数据存储成本costq,其中,q∈{1,…,Q},Q表示待选网点的数量,costq表示各个待选网点中第q个待选网点数据存储成本,cost'q表示各个待选网点中第q个待选网点存储数据的单位成本,cost″q表示各个待选网点中第q个待选网点的单位传输成本,cost″′q表示各个待选网点中第q个待选网点的数据请求成本,nq表示各个待选网点中第q个待选网点所需的数据存储量,xq表示各个待选网点中第q个待选网点的请求次数。
3.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法,其特征在于,所述步骤D中,所述瓶颈网点中最高优先级数据集,根据如下过程获得:
首先分别针对瓶颈网点中的各个数据集,获得数据集的查询q,对数据集的查询次数c,数据集所引起中间数据传输延迟的改善j,数据集移动所引起最大查询时间的减少t',以及数据集移动所需的成本cost;然后分别针对瓶颈网点中的各个数据集,获得各个数据集的价值,并根据数据集价值与数据集移动所需成本的比值,获得各个数据集的得分,根据得分由高到低的顺序,排列各个数据集优先级由高至低。
4.根据权利要求1所述一种加速云计算数据中心查询的数据调度方法,其特征在于,所述步骤E中的预设移动数据增量为10MB。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333025.7A CN107172142B (zh) | 2017-05-12 | 2017-05-12 | 一种加速云计算数据中心查询的数据调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710333025.7A CN107172142B (zh) | 2017-05-12 | 2017-05-12 | 一种加速云计算数据中心查询的数据调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107172142A true CN107172142A (zh) | 2017-09-15 |
CN107172142B CN107172142B (zh) | 2019-08-06 |
Family
ID=59815884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710333025.7A Active CN107172142B (zh) | 2017-05-12 | 2017-05-12 | 一种加速云计算数据中心查询的数据调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107172142B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664328A (zh) * | 2018-04-02 | 2018-10-16 | 上海交通大学 | 一种加速式感知的高效用计算架构优化方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120221696A1 (en) * | 2011-02-28 | 2012-08-30 | James Michael Ferris | Systems and methods for generating a selection of cloud data distribution service from alternative providers for staging data to host clouds |
CN104731574A (zh) * | 2013-12-19 | 2015-06-24 | 国际商业机器公司 | 用于识别多级工作流处理中的资源瓶颈的方法和系统 |
CN106549782A (zh) * | 2015-09-18 | 2017-03-29 | 中兴通讯股份有限公司 | 一种数据中心内关联流的带宽调度方法及装置 |
-
2017
- 2017-05-12 CN CN201710333025.7A patent/CN107172142B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120221696A1 (en) * | 2011-02-28 | 2012-08-30 | James Michael Ferris | Systems and methods for generating a selection of cloud data distribution service from alternative providers for staging data to host clouds |
CN104731574A (zh) * | 2013-12-19 | 2015-06-24 | 国际商业机器公司 | 用于识别多级工作流处理中的资源瓶颈的方法和系统 |
CN106549782A (zh) * | 2015-09-18 | 2017-03-29 | 中兴通讯股份有限公司 | 一种数据中心内关联流的带宽调度方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108664328A (zh) * | 2018-04-02 | 2018-10-16 | 上海交通大学 | 一种加速式感知的高效用计算架构优化方法 |
CN108664328B (zh) * | 2018-04-02 | 2021-08-17 | 上海交通大学 | 一种加速式感知的高效用计算架构优化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107172142B (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Digital twin empowered content caching in social-aware vehicular edge networks | |
CN107871164B (zh) | 一种雾计算环境个性化深度学习方法 | |
KR102110592B1 (ko) | IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 방법 및 시스템 | |
Xiao et al. | EdgeABC: An architecture for task offloading and resource allocation in the Internet of Things | |
US11062047B2 (en) | System and method for distributed computation using heterogeneous computing nodes | |
CN113435472A (zh) | 车载算力网络用户需求预测方法、系统、设备、介质 | |
CN103067524A (zh) | 一种基于云计算环境的蚁群优化计算资源分配方法 | |
CN105656999B (zh) | 一种移动云计算环境中能耗优化的合作任务迁移方法 | |
CN103595780A (zh) | 基于消重的云计算资源调度方法 | |
CN101652750A (zh) | 数据处理装置、分散处理系统、数据处理方法及数据处理程序 | |
Zhang et al. | A reinforcement learning based task offloading scheme for vehicular edge computing network | |
Lohitha et al. | Integrated publish/subscribe and push-pull method for cloud based IoT framework for real time data processing | |
Tang et al. | Layer dependency-aware learning scheduling algorithms for containers in mobile edge computing | |
Liu et al. | Hastening stream offloading of inference via multi-exit dnns in mobile edge computing | |
Strelkovskaya et al. | Different extrapolation methods in Problems of Forecasting | |
Hao et al. | A risk-sensitive task offloading strategy for edge computing in industrial Internet of Things | |
CN114968402A (zh) | 边缘计算任务处理方法、装置及电子设备 | |
Wang et al. | Task arrival based energy efficient optimization in smart-IoT data center | |
Yang et al. | Multi-agent reinforcement learning based file caching strategy in mobile edge computing | |
CN109981372A (zh) | 基于边缘计算的流式大数据处理方法及系统 | |
CN104468710A (zh) | 一种混合大数据处理系统及处理方法 | |
CN107172142A (zh) | 一种加速云计算数据中心查询的数据调度方法 | |
CN105407383A (zh) | 一种多版本视频点播流媒体服务器集群资源预测方法 | |
CN102073548A (zh) | 一种任务的执行方法及系统 | |
Zhang et al. | A locally distributed mobile computing framework for DNN based android applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20201009 Address after: 810, 8 / F, Huizhi building, 28 ningshuang Road, Yuhuatai District, Nanjing, Jiangsu Province 210000 Patentee after: Nanjing biff Network Technology Co., Ltd Address before: Nanjing City, Jiangsu province 210023 Yuen Road No. 9 Patentee before: NANJING University OF POSTS AND TELECOMMUNICATIONS |