CN103516812A - 一种加速云存储内部数据传输的方法 - Google Patents

一种加速云存储内部数据传输的方法 Download PDF

Info

Publication number
CN103516812A
CN103516812A CN201310494915.8A CN201310494915A CN103516812A CN 103516812 A CN103516812 A CN 103516812A CN 201310494915 A CN201310494915 A CN 201310494915A CN 103516812 A CN103516812 A CN 103516812A
Authority
CN
China
Prior art keywords
data
transmission
storage
write
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310494915.8A
Other languages
English (en)
Inventor
孙磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201310494915.8A priority Critical patent/CN103516812A/zh
Publication of CN103516812A publication Critical patent/CN103516812A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及计算机存储系统领域，公开了一种加速云存储内部数据传输的方法，将数据从服务器通过网络传输到存储，其中数据在服务器传输前先写入缓存模块暂存，再由传输控制模块启动传输，当数据到达存储端后，先让数据存入缓存，然后再将数据慢慢写入存储。采用本发明技术，传输速率比传统架构会有大幅度的跃升，满足对响应延迟苛刻的用户；降低了存储直接面对服务器的读写压力，有利于保护存储，延长存储使用寿命。

Description

一种加速云存储内部数据传输的方法
技术领域
    本发明涉及计算机存储系统领域，具体涉及一种加速云存储内部数据传输的方法。
技术背景
目前存储系统的接口传输速率越来越快,网卡从千兆发展到万兆,再发展到现在的4万兆,也就是目前的存储主机端口的速率已高达4000MB,但是存储内部的控制器性能却远没有达到这个数值. 如图1所示,传统的数据传输方式，服务器和存储通过网络进行直连，数据由服务器直接写入存储；这就造成了虽然接口的速率在不断提升,但是存储的性能却没有相应的提升。
发明内容
本发明要解决的技术问题是：云存储内部数据传输加速。
本发明所采用的技术方案为：一种加速云存储内部数据传输的方法，将数据从服务器通过网络传输到存储，其中数据在服务器传输前先写入缓存模块暂存，再由传输控制模块启动传输，当数据到达存储端后，先让数据存入缓存，然后再将数据慢慢写入存储。
为了提高传输效率，数据在服务器传输前先写入缓存模块暂存，等到积攒的一定容量后，再由传输控制模块启动传输。
所述数据传输处理步骤为：
Figure 582292DEST_PATH_IMAGE001
服务器数据准备传输；
Figure 293633DEST_PATH_IMAGE002
传输数据写入服务器缓存模块，并返回写入完成指令；
Figure 874788DEST_PATH_IMAGE003
传输控制模块在数据写入缓存模块积攒到一定容量后，触发传输启动；
Figure 147637DEST_PATH_IMAGE004
数据到达存储端后，写入存储端缓存模块；
Figure 142138DEST_PATH_IMAGE005
数据从缓存模块写入存储。  
所述缓存模块大小根据网络带宽设定。
所述数据在缓存模块的积攒到一定容量根据网络带宽设定。
一种加速云存储内部数据传输的网卡，包括传输模块，其中在网卡上加装缓存模块和传输控制模块，其中所述缓存加装在传输模块前。
整个加速的过程体现在服务器端，服务器写入数据的时候，不再以写入存储为数据写入完成的信号，而是以服务器写入本地缓存模块，即按写入完毕处理，这将大大加速数据的传输速度，同时由于两端都增加了缓存模块，也大大增加的传输链路的带宽使用率，同时可以随着主机接口的速率不同，来实施调整传输带宽并将带宽写满。
本发明的有益效果为：采用本发明技术，传输速率比传统架构会有大幅度的跃升，满足对响应延迟苛刻的用户；降低了存储直接面对服务器的读写压力，有利于保护存储，延长存储使用寿命。
附图说明
图1为传统数据传输方式示意图；
图2为本发明数据传输方式示意图；
图3为数据处理流程图；
附图标记说明：1、服务器，2、存储，3、缓存模块。
具体实施方式
下面参照附图，结合实施例对本发明详细说明。
实施例1：
一种加速云存储内部数据传输的方法，将数据从服务器1通过网络传输到存储2，其中数据在服务器传输前先写入缓存模块3暂存，再由传输控制模块启动传输，当数据到达存储端后，先让数据存入缓存模块3，然后再将数据慢慢写入存储2。
实施例2：
在实施例1的基础上，本实施例为了提高传输效率，数据在服务器传输前先写入缓存模块暂存3，等到积攒的一定容量后，再由传输控制模块启动传输。
实施例3：
在实施例2的基础上，本实施例所述数据传输处理步骤为：
Figure 158635DEST_PATH_IMAGE001
服务器数据准备传输；
传输数据写入服务器缓存模块3，并返回写入完成指令；
Figure 808020DEST_PATH_IMAGE003
传输控制模块在数据写入缓存模块3积攒到一定容量后，触发传输启动；
Figure 961921DEST_PATH_IMAGE004
数据到达存储端后，写入存储端缓存模块3；
数据从缓存模块写入存储2。
实施例4：
一种加速云存储内部数据传输的网卡，包括传输模块，可以在网卡上加装缓存模块3和传输控制模块来实现，所述缓存模块3要加在传输模块前，并增加写入确认指令，以实现写入缓存模块就完成整个写入动作；
在存储端是采用同样的带缓存模块3的网卡，只不过不再需要写入确认指令，此处的缓存模块的作用主要是确保数据能够快速的接收下来不至于堵塞，从而影响加速效果。

Claims (6)

1.一种加速云存储内部数据传输的方法，将数据从服务器通过网络传输到存储，其特征在于：数据在服务器传输前先写入缓存模块暂存，再由传输控制模块启动传输，当数据到达存储端后，先让数据存入缓存，然后再将数据慢慢写入存储。
2.根据权利要求1所述的一种加速云存储内部数据传输的方法，其特征在于：数据在服务器传输前先写入缓存模块暂存，等到积攒的一定容量后，再由传输控制模块启动传输。
3.根据权利要求2所述的一种加速云存储内部数据传输的方法，其特征在于：所述数据处理步骤为：
Figure 2013104949158100001DEST_PATH_IMAGE001
服务器数据准备传输；
Figure 682064DEST_PATH_IMAGE002
传输数据写入服务器缓存模块，并返回写入完成指令；
传输控制模块在数据写入缓存模块积攒到一定容量后，触发传输启动；
Figure 973106DEST_PATH_IMAGE004
数据到达存储端后，写入存储端缓存模块；
Figure 2013104949158100001DEST_PATH_IMAGE005
数据从缓存模块写入存储。
4.根据权利要求1、2或3所述的一种加速云存储内部数据传输的方法，其特征在于：所述缓存模块大小根据网络带宽设定。
5.根据权利要求2或3所述的一种加速云存储内部数据传输的方法，其特征在于：所述数据在缓存模块的积攒到的一定容量根据网络带宽设定。
6.一种加速云存储内部数据传输的网卡，包括传输模块，其特征在于:在网卡上加装缓存模块和传输控制模块，其中所述缓存加装在传输模块前。
CN201310494915.8A 2013-10-22 2013-10-22 一种加速云存储内部数据传输的方法 Pending CN103516812A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310494915.8A CN103516812A (zh) 2013-10-22 2013-10-22 一种加速云存储内部数据传输的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310494915.8A CN103516812A (zh) 2013-10-22 2013-10-22 一种加速云存储内部数据传输的方法

Publications (1)

Publication Number Publication Date
CN103516812A true CN103516812A (zh) 2014-01-15

Family

ID=49898829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310494915.8A Pending CN103516812A (zh) 2013-10-22 2013-10-22 一种加速云存储内部数据传输的方法

Country Status (1)

Country Link
CN (1) CN103516812A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965793A (zh) * 2014-09-26 2015-10-07 浙江大华技术股份有限公司 一种云存储数据节点装置
CN107025591A (zh) * 2017-03-21 2017-08-08 天津数集科技有限公司 数据交易平台
CN111258705A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 用于检测云硬盘输入输出io邻位干扰的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件系统的文件写入系统和方法
CN101277244A (zh) * 2008-05-08 2008-10-01 广东蓝鸽科技有限公司 Atm同步以太网及其收发数据的方法
US20090319731A1 (en) * 2006-11-07 2009-12-24 Kirihata Yasuhiro Data processing control method, information processing apparatus, and data processing control system
CN101788960A (zh) * 2010-03-12 2010-07-28 浪潮电子信息产业股份有限公司 一种保护存储缓存数据的方法
CN102842342A (zh) * 2011-06-20 2012-12-26 鸿富锦精密工业（深圳）有限公司 数据存储测试系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090319731A1 (en) * 2006-11-07 2009-12-24 Kirihata Yasuhiro Data processing control method, information processing apparatus, and data processing control system
CN101149755A (zh) * 2007-10-25 2008-03-26 中国科学院计算技术研究所 一种分布式文件系统的文件写入系统和方法
CN101277244A (zh) * 2008-05-08 2008-10-01 广东蓝鸽科技有限公司 Atm同步以太网及其收发数据的方法
CN101788960A (zh) * 2010-03-12 2010-07-28 浪潮电子信息产业股份有限公司 一种保护存储缓存数据的方法
CN102842342A (zh) * 2011-06-20 2012-12-26 鸿富锦精密工业（深圳）有限公司 数据存储测试系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965793A (zh) * 2014-09-26 2015-10-07 浙江大华技术股份有限公司 一种云存储数据节点装置
CN107025591A (zh) * 2017-03-21 2017-08-08 天津数集科技有限公司 数据交易平台
CN111258705A (zh) * 2018-11-30 2020-06-09 华为技术有限公司 用于检测云硬盘输入输出io邻位干扰的方法和装置
CN111258705B (zh) * 2018-11-30 2023-12-08 华为技术有限公司 用于检测云硬盘输入输出io邻位干扰的方法和装置

Similar Documents

Publication Publication Date Title
US10635348B2 (en) Storage system and method for storage control
US8041854B2 (en) Steering data units to a consumer
CN105426127A (zh) 一种分布式集群系统的文件存储方法及装置
CN103064807A (zh) 多通道直接存储器存取控制器
WO2008039386A3 (en) Accelerated data transfer using common prior data segments
CN102724314B (zh) 一种基于元数据管理的分布式缓存客户端
CN104731794A (zh) 一种冷热数据分片挖掘存储方法
CN105589664A (zh) 虚拟存储高速传输方法
CN103516812A (zh) 一种加速云存储内部数据传输的方法
CN103559017A (zh) 基于gpu异构计算平台的字符串匹配方法及系统
CN109117386A (zh) 一种网络远程读写二级存储的系统及方法
CN104536816A (zh) 提高虚拟机迁移效率的方法
CN104317754B (zh) 面向异构计算系统的跨步数据传输优化方法
CN103064749B (zh) 一种进程间通信方法
CN102184141A (zh) 检查点数据的存储方法和装置
CN103500147A (zh) 一种嵌入分层存储的pb级集群存储系统的方法
CN103338156A (zh) 一种基于线程池的命名管道服务器并发通信方法
CN104915153A (zh) 一种基于scst的双控缓存同步设计方法
CN102750342B (zh) 一种集群文件系统数据一致性的方法
CN105446895A (zh) 一种存储系统非同源数据运行时io去重的方法及系统
CN205263797U (zh) 一种采用固态硬盘ssd作为二级缓存的存储器
CN103984569A (zh) 一种hba卡加速方法
CN109783034B (zh) 一种提升磁盘阵列处理效率的方法及其系统
CN103631726B (zh) 一种串接流式计算节点的文件处理方法及装置
CN102495710B (zh) 一种处理数据只读访问请求的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20140115