CN109510739A - 一种应用于数据中心的数据传输方法 - Google Patents

一种应用于数据中心的数据传输方法 Download PDF

Info

Publication number
CN109510739A
CN109510739A CN201811602972.2A CN201811602972A CN109510739A CN 109510739 A CN109510739 A CN 109510739A CN 201811602972 A CN201811602972 A CN 201811602972A CN 109510739 A CN109510739 A CN 109510739A
Authority
CN
China
Prior art keywords
data
storage control
control unit
nonvolatile memory
data transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811602972.2A
Other languages
English (en)
Inventor
景蔚亮
陈邦明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinchu Integrated Circuit Co Ltd
Original Assignee
Shanghai Xinchu Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinchu Integrated Circuit Co Ltd filed Critical Shanghai Xinchu Integrated Circuit Co Ltd
Priority to CN201811602972.2A priority Critical patent/CN109510739A/zh
Publication of CN109510739A publication Critical patent/CN109510739A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Abstract

本发明提供一种应用于数据中心的数据传输方法，涉及数据传输技术领域，所述数据中心内设置一非易失性存储器网络，所述非易失性存储器网络中包括一存储控制单元；所述存储控制单元记录预设的一时间段内，用户对所述非易失性存储器网络进行操作时的数据传输情况，并根据所述数据传输情况确认对所述非易失性存储器网络进行操作的高峰时段；所述存储控制单元提取所述高峰时段内进行传输的数据，并加入一数据集合中；所述存储控制单元对所述数据集合中的若干数据进行两两对比分析，并根据分析结果，将数据差异小于一预设阈值的数据作为数据对进行保存。本发明的有益效果是有效提高数据传输速率的同时降低数据传输功耗。

Description

一种应用于数据中心的数据传输方法
技术领域
本发明涉及数据传输技术领域，尤其涉及一种应用于数据中心的数据传输方法。
背景技术
数据中心，作为互联网行业的基础服务体系，是承载云计算与未来业务发展的重要载体。随着网络建设的不断发展，数据中心现已成为当今全球经济的基石。正是有了这些数据中心的长期运营，才使得我们得以能够顺利的迁移、存储、分析和处理个人和商业生活中的海量数据信息。但随着数据流量的增长以及大规模数据中心的建设，其同时也带来了一定的负面影响，数据量的爆炸式增长，导致由数据交换和传输所造成的能源消耗也在不断增加，大容量的数据传输占用大量的输入输出数据端口，并且需要提供更高的带宽值。
大量用户请求大容量数据时，容易造成输入输出接口的拥堵及数据传输的延迟，严重的影响了用户的体验。分析这些大容量数据会发现其中有部分数据存在相同数据内容的部分，这样，当同时请求这些数据时，相同数据的部分就会被传输了两次。重复的传输浪费了传输带宽，提高了传输数据时的能量消耗。而且大量重复的数据内容存储在数据中心的非易失性存储单元之中，造成了存储空间的浪费。
发明内容
针对现有技术中存在的问题，本发明提供一种应用于数据中心的数据传输方法，所述数据中心内设置一非易失性存储器网络，所述非易失性存储器网络中包括一存储控制单元；
所述数据传输方法具体包括以下步骤：
步骤S1，所述存储控制单元记录预设的一时间段内，用户对所述非易失性存储器网络进行操作时的数据传输情况，并根据所述数据传输情况确认对所述非易失性存储器网络进行操作的高峰时段；
步骤S2，所述存储控制单元提取所述高峰时段内进行传输的数据，并加入一数据集合中；
步骤S3，所述存储控制单元对所述数据集合中的若干数据进行两两对比分析，并根据分析结果，将数据差异小于一预设阈值的数据作为数据对进行保存。
优选的，所述步骤S1中，所述存储控制单元通过对所述非易失性存储器网络的输入输出接口进行监控的方式，将所述输入输出接口的吞吐量高于一预设的吞吐量阈值的时段作为所述高峰时段，和/或将所述输入输出接口的数据传输量高于一预设的传输量阈值的时段作为所述高峰时段。
优选的，所述步骤S3中具体包括：
步骤S31，获取所述数据集合中参与对比的第一数据以及第二数据；
步骤S32，计算得到所述第一数据和所述第二数据之间的数据内容差值比率；
步骤S33，判断所述数据内容差值比率是否小于所述预设阈值：
若是，则整合所述第一数据和所述第二数据形成一数据对并进行保存；
若否，则分别保存所述第一数据和所述第二数据；
重复所述步骤S31-S33，直至所述数据集合中的所有数据均已两两对比完毕为止。
优选的，于所述数据对中，包括有所述第一数据或者所述第二数据，以及所述第一数据和所述第二数据之间的数据内容差值。
优选的，所述步骤S32中，所述数据内容差值比率的计算方法如下：
X＝(A-B)/A
其中，X用于表示所述数据内容差值比率；
A用于表示所述第一数据；
B用于表示所述第二数据；
所述第一数据的数据内容大于所述第二数据的数据内容。
优选的，所述存储控制单元还用于对所述非易失性存储器网络进行存储控制；
在所述存储控制单元处于空间时段时，执行所述步骤S3。
优选的，所述非易失性存储器网络包括固态硬盘，和/或机械硬盘，和/或三维相变存储器，和/或三维阻抗随机存储器，和/或三维磁性随机存储器。
上述技术方案具有如下优点或有益效果：有效提高数据传输速率的同时降低数据传输功耗。
附图说明
图1为本发明的较佳的实施例中，一种应用于数据中心的数据传输方法的流程示意图；
图2为本发明的较佳的实施例中，非易失性存储器网络进行操作的高峰时段的示意图；
图3为本发明的较佳的实施例中，存储控制单元进行数据处理的流程示意图；
图4为本发明的一个较佳的实施例中，数据A与数据B的关系示意图；
图5为本发明的另一个较佳的实施例中，数据A与数据B的关系示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种应用于数据中心的数据传输方法，数据中心内设置一非易失性存储器网络，非易失性存储器网络中包括一存储控制单元；
如图1所示，数据传输方法具体包括以下步骤：
步骤S1，存储控制单元记录预设的一时间段内，用户对非易失性存储器网络进行操作时的数据传输情况，并根据数据传输情况确认对非易失性存储器网络进行操作的高峰时段；
步骤S2，存储控制单元提取高峰时段内进行传输的数据，并加入一数据集合中；
步骤S3，存储控制单元对数据集合中的若干数据进行两两对比分析，并根据分析结果，将数据差异小于一预设阈值的数据作为数据对进行保存。
具体地，本实施例中，预设的一时间段为用户根据数据中心的具体需求自行设定，可设定为一周、一月或一年等。用户对非易失性存储器网络进行操作包括用户登录数据中心和用户使用数据中心的操作。
本发明的较佳的实施例中，步骤S1中，存储控制单元通过对非易失性存储器网络的输入输出接口进行监控的方式，如图2所示，将输入输出接口的吞吐量高于一预设的吞吐量阈值的时段作为高峰时段，和/或将输入输出接口的数据传输量高于一预设的传输量阈值的时段作为高峰时段。
本发明的较佳的实施例中，如图3所示，步骤S3中具体包括：
步骤S31，获取数据集合中参与对比的第一数据以及第二数据；
步骤S32，计算得到第一数据和第二数据之间的数据内容差值比率；
步骤S33，判断数据内容差值比率是否小于预设阈值：
若是，则整合第一数据和第二数据形成一数据对并进行保存；
若否，则分别保存第一数据和第二数据；
重复步骤S31-S33，直至数据集合中的所有数据均已两两对比完毕为止。
本发明的较佳的实施例中，于数据对中，包括有第一数据或者第二数据，以及第一数据和第二数据之间的数据内容差值。
本发明的较佳的实施例中，步骤S32中，数据内容差值比率的计算方法如下：
X＝(A-B)/A
其中，X用于表示数据内容差值比率；
A用于表示第一数据；
B用于表示第二数据；
第一数据的数据内容大于第二数据的数据内容。
本发明的较佳的实施例中，存储控制单元还用于对非易失性存储器网络进行存储控制；
在存储控制单元处于空间时段时，执行步骤S3。
本发明的较佳的实施例中，非易失性存储器网络包括固态硬盘，和/或机械硬盘，和/或三维相变存储器，和/或三维阻抗随机存储器，和/或三维磁性随机存储器。
本发明的一个较佳的实施例中，如图4所示，数据A中的数据内容包含于数据B中的数据内容，计算得到数据A与数据B之间的数据内容差值比率，若数据内容差值比率小于预设阈值，则将数据A，以及数据B与数据A的数据内容的差值作为一数据对进行保存。
下一次需要同时传输数据A和数据B时，只需要传输数据A，以及数据B与数据A中的数据内容的差值，这样避免了重复传输两次数据A中的数据内容，有效提高数据传输效率的同时降低数据传输功耗。
本发明的另一个较佳的实施例中，如图5所示，数据A与数据B包含同样的数据内容C，分别计算数据A与数据C之间的数据内容差值比率，以及数据B与数据C之间的数据内容差值比率：
若数据A与数据C之间的数据内容差值比率小于预设阈值，和/或数据B与数据C之间的数据内容差值比率小于预设阈值，则将数据C，数据A与数据C的数据内容的差值，以及数据B与数据C的数据内容的差值分别进行保存；
下一次需要同时传输数据A和数据B时，只需要传输数据C、数据A与数据C中包含的数据内容的差值及数据B与数据C中包含的数据内容的差值，这样避免了重复传输两次数据C中的数据内容，有效提高数据传输效率的同时降低数据传输功耗。
本发明的另一个较佳的实施例中，本发明的数据传输方法同样可以应用于虚拟存储网络架构中。虚拟网络架构包含高速缓存层和大容量存储层，现需要将大容量存储层中存储的四个容量大于一太字节的数据传输至高速缓存层，四个大容量数据分别为数据Q、数据W、数据E及数据R，其中，数据W中包含数据Q与数据S的全部数据内容，数据R包含数据E与数据D的全部数据内容，具体地，本实施例中：
用户一请求调用数据Q及数据E时，则将数据Q及数据E传输至高速缓冲层；此时，用户二请求调用数据W及数据R，则只需要再将数据S及数据D传输至高速缓冲层，这样避免了重复传输两次数据Q及数据E中的数据内容，有效提高数据传输速率的同时降低数据传输功耗。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (7)

1.一种应用于数据中心的数据传输方法，其特征在于，所述数据中心内设置一非易失性存储器网络，所述非易失性存储器网络中包括一存储控制单元；
所述数据传输方法具体包括以下步骤：
步骤S1，所述存储控制单元记录预设的一时间段内，用户对所述非易失性存储器网络进行操作时的数据传输情况，并根据所述数据传输情况确认对所述非易失性存储器网络进行操作的高峰时段；
步骤S2，所述存储控制单元提取所述高峰时段内进行传输的数据，并加入一数据集合中；
步骤S3，所述存储控制单元对所述数据集合中的若干数据进行两两对比分析，并根据分析结果，将数据差异小于一预设阈值的数据作为数据对进行保存。
2.根据权利要求1所述的数据传输方法，其特征在于，所述步骤S1中，所述存储控制单元通过对所述非易失性存储器网络的输入输出接口进行监控的方式，将所述输入输出接口的吞吐量高于一预设的吞吐量阈值的时段作为所述高峰时段，和/或将所述输入输出接口的数据传输量高于一预设的传输量阈值的时段作为所述高峰时段。
3.根据权利要求1所述的数据传输方法，其特征在于，所述步骤S3中具体包括：
步骤S31，获取所述数据集合中参与对比的第一数据以及第二数据；
步骤S32，计算得到所述第一数据和所述第二数据之间的数据内容差值比率；
步骤S33，判断所述数据内容差值比率是否小于所述预设阈值：
若是，则整合所述第一数据和所述第二数据形成一数据对并进行保存；
若否，则分别保存所述第一数据和所述第二数据；
重复所述步骤S31-S33，直至所述数据集合中的所有数据均已两两对比完毕为止。
4.根据权利要求3所述的数据传输方法，其特征在于，于所述数据对中，包括有所述第一数据或者所述第二数据，以及所述第一数据和所述第二数据之间的数据内容差值。
5.根据权利要求3所述的数据传输方法，其特征在于，所述步骤S32中，所述数据内容差值比率的计算方法如下：
X＝(A-B)/A
其中，X用于表示所述数据内容差值比率；
A用于表示所述第一数据；
B用于表示所述第二数据；
所述第一数据的数据内容大于所述第二数据的数据内容。
6.据权利要求1所述的数据传输方法，其特征在于，所述存储控制单元还用于对所述非易失性存储器网络进行存储控制；
在所述存储控制单元处于空间时段时，执行所述步骤S3。
7.根据权利要求1所述的数据传输方法，其特征在于，所述非易失性存储器网络包括固态硬盘，和/或机械硬盘，和/或三维相变存储器，和/或三维阻抗随机存储器，和/或三维磁性随机存储器。
CN201811602972.2A 2018-12-26 2018-12-26 一种应用于数据中心的数据传输方法 Pending CN109510739A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811602972.2A CN109510739A (zh) 2018-12-26 2018-12-26 一种应用于数据中心的数据传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811602972.2A CN109510739A (zh) 2018-12-26 2018-12-26 一种应用于数据中心的数据传输方法

Publications (1)

Publication Number Publication Date
CN109510739A true CN109510739A (zh) 2019-03-22

Family

ID=65755428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811602972.2A Pending CN109510739A (zh) 2018-12-26 2018-12-26 一种应用于数据中心的数据传输方法

Country Status (1)

Country Link
CN (1) CN109510739A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103024013A (zh) * 2012-12-03 2013-04-03 百度在线网络技术（北京）有限公司 差异化的传输方法、系统和装置
CN103730155A (zh) * 2012-10-10 2014-04-16 华为技术有限公司 数据写入方法及装置
CN105407321A (zh) * 2015-11-12 2016-03-16 中国科学院遥感与数字地球研究所 一种监控数据处理方法及系统
CN106873908A (zh) * 2017-01-17 2017-06-20 北京联想核芯科技有限公司 数据存储方法及装置
CN108833531A (zh) * 2018-06-12 2018-11-16 合肥工业大学 一种基于数据中心能耗和网络能耗的数据放置方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103730155A (zh) * 2012-10-10 2014-04-16 华为技术有限公司 数据写入方法及装置
CN103024013A (zh) * 2012-12-03 2013-04-03 百度在线网络技术（北京）有限公司 差异化的传输方法、系统和装置
CN105407321A (zh) * 2015-11-12 2016-03-16 中国科学院遥感与数字地球研究所 一种监控数据处理方法及系统
CN106873908A (zh) * 2017-01-17 2017-06-20 北京联想核芯科技有限公司 数据存储方法及装置
CN108833531A (zh) * 2018-06-12 2018-11-16 合肥工业大学 一种基于数据中心能耗和网络能耗的数据放置方法

Similar Documents

Publication Publication Date Title
Li et al. Battery-friendly relay selection scheme for prolonging the lifetimes of sensor nodes in the Internet of Things
CN106793031B (zh) 基于集合竞优算法的智能手机能耗优化方法
CN105138667B (zh) 一种考虑时延约束的社会网络初始关键节点选取方法
EP4131078A1 (en) Random greedy algorithm-based horizontal federated gradient boosted tree optimization method
Hao et al. Time efficient federated learning with semi-asynchronous communication
Sun et al. Edge computing-enabled internet of vehicles: Towards federated learning empowered scheduling
CN104461551A (zh) 基于数据并行处理的大数据处理系统
CN104504147A (zh) 一种数据库集群的资源协调方法、装置及系统
CN110119408B (zh) 地理空间实时流数据下移动对象连续查询方法
CN105243098A (zh) 人脸图像的聚类方法及装置
CN103118102A (zh) 一种在云计算环境下空间数据访问规律的统计与控制系统及方法
CN102685222B (zh) 一种用于电力系统的云存储资源管理装置
CN201804331U (zh) 一种基于协处理器的重复数据删除系统
CN109510739A (zh) 一种应用于数据中心的数据传输方法
CN110753101B (zh) 边缘计算中低能耗的计算结点选择和计算任务分配方法
CN109451029A (zh) 一种分布式对象存储的数据缓存方法、装置、设备及介质
CN108736084A (zh) 充电方法和终端
CN105407383A (zh) 一种多版本视频点播流媒体服务器集群资源预测方法
CN110730232B (zh) 边缘计算中高能效的计算结点选择和计算任务分配方法
CN105517049A (zh) 一种无线中继节点工作量的分配方法
CN106504169A (zh) 一种基于流处理的内涝数据处理系统及其处理方法
CN109361422B (zh) 广域物联网中扩频因子调整方法及装置
Yang et al. An energy-efficient scheme for multirelay cooperative networks with energy harvesting
CN102724687A (zh) 无线网络利用率的获取方法和网管设备
CN112866079B (zh) 基于物联网的定期报文传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322

RJ01 Rejection of invention patent application after publication