CN103516812A - 一种加速云存储内部数据传输的方法 - Google Patents
一种加速云存储内部数据传输的方法 Download PDFInfo
- Publication number
- CN103516812A CN103516812A CN201310494915.8A CN201310494915A CN103516812A CN 103516812 A CN103516812 A CN 103516812A CN 201310494915 A CN201310494915 A CN 201310494915A CN 103516812 A CN103516812 A CN 103516812A
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- storage
- write
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
本发明涉及计算机存储系统领域,公开了一种加速云存储内部数据传输的方法,将数据从服务器通过网络传输到存储,其中数据在服务器传输前先写入缓存模块暂存,再由传输控制模块启动传输,当数据到达存储端后,先让数据存入缓存,然后再将数据慢慢写入存储。采用本发明技术,传输速率比传统架构会有大幅度的跃升,满足对响应延迟苛刻的用户;降低了存储直接面对服务器的读写压力,有利于保护存储,延长存储使用寿命。
Description
技术领域
本发明涉及计算机存储系统领域,具体涉及一种加速云存储内部数据传输的方法。
技术背景
目前存储系统的接口传输速率越来越快,网卡从千兆发展到万兆,再发展到现在的4万兆,也就是目前的存储主机端口的速率已高达4000MB,但是存储内部的控制器性能却远没有达到这个数值. 如图1所示,传统的数据传输方式,服务器和存储通过网络进行直连,数据由服务器直接写入存储;这就造成了虽然接口的速率在不断提升,但是存储的性能却没有相应的提升。
发明内容
本发明要解决的技术问题是:云存储内部数据传输加速。
本发明所采用的技术方案为:一种加速云存储内部数据传输的方法,将数据从服务器通过网络传输到存储,其中数据在服务器传输前先写入缓存模块暂存,再由传输控制模块启动传输,当数据到达存储端后,先让数据存入缓存,然后再将数据慢慢写入存储。
为了提高传输效率,数据在服务器传输前先写入缓存模块暂存,等到积攒的一定容量后,再由传输控制模块启动传输。
所述数据传输处理步骤为:
所述缓存模块大小根据网络带宽设定。
所述数据在缓存模块的积攒到一定容量根据网络带宽设定。
一种加速云存储内部数据传输的网卡,包括传输模块,其中在网卡上加装缓存模块和传输控制模块,其中所述缓存加装在传输模块前。
整个加速的过程体现在服务器端,服务器写入数据的时候,不再以写入存储为数据写入完成的信号,而是以服务器写入本地缓存模块,即按写入完毕处理,这将大大加速数据的传输速度,同时由于两端都增加了缓存模块,也大大增加的传输链路的带宽使用率,同时可以随着主机接口的速率不同,来实施调整传输带宽并将带宽写满。
本发明的有益效果为:采用本发明技术,传输速率比传统架构会有大幅度的跃升,满足对响应延迟苛刻的用户;降低了存储直接面对服务器的读写压力,有利于保护存储,延长存储使用寿命。
附图说明
图1为传统数据传输方式示意图;
图2为本发明数据传输方式示意图;
图3为数据处理流程图;
附图标记说明:1、服务器,2、存储,3、缓存模块。
具体实施方式
下面参照附图,结合实施例对本发明详细说明。
实施例1:
一种加速云存储内部数据传输的方法,将数据从服务器1通过网络传输到存储2,其中数据在服务器传输前先写入缓存模块3暂存,再由传输控制模块启动传输,当数据到达存储端后,先让数据存入缓存模块3,然后再将数据慢慢写入存储2。
实施例2:
在实施例1的基础上,本实施例为了提高传输效率,数据在服务器传输前先写入缓存模块暂存3,等到积攒的一定容量后,再由传输控制模块启动传输。
实施例3:
在实施例2的基础上,本实施例所述数据传输处理步骤为:
传输数据写入服务器缓存模块3,并返回写入完成指令;
数据从缓存模块写入存储2。
实施例4:
一种加速云存储内部数据传输的网卡,包括传输模块,可以在网卡上加装缓存模块3和传输控制模块来实现,所述缓存模块3要加在传输模块前,并增加写入确认指令,以实现写入缓存模块就完成整个写入动作;
在存储端是采用同样的带缓存模块3的网卡,只不过不再需要写入确认指令,此处的缓存模块的作用主要是确保数据能够快速的接收下来不至于堵塞,从而影响加速效果。
Claims (6)
1.一种加速云存储内部数据传输的方法,将数据从服务器通过网络传输到存储,其特征在于:数据在服务器传输前先写入缓存模块暂存,再由传输控制模块启动传输,当数据到达存储端后,先让数据存入缓存,然后再将数据慢慢写入存储。
2.根据权利要求1所述的一种加速云存储内部数据传输的方法,其特征在于:数据在服务器传输前先写入缓存模块暂存,等到积攒的一定容量后,再由传输控制模块启动传输。
4.根据权利要求1、2或3所述的一种加速云存储内部数据传输的方法,其特征在于:所述缓存模块大小根据网络带宽设定。
5.根据权利要求2或3所述的一种加速云存储内部数据传输的方法,其特征在于:所述数据在缓存模块的积攒到的一定容量根据网络带宽设定。
6.一种加速云存储内部数据传输的网卡,包括传输模块,其特征在于:在网卡上加装缓存模块和传输控制模块,其中所述缓存加装在传输模块前。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310494915.8A CN103516812A (zh) | 2013-10-22 | 2013-10-22 | 一种加速云存储内部数据传输的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310494915.8A CN103516812A (zh) | 2013-10-22 | 2013-10-22 | 一种加速云存储内部数据传输的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103516812A true CN103516812A (zh) | 2014-01-15 |
Family
ID=49898829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310494915.8A Pending CN103516812A (zh) | 2013-10-22 | 2013-10-22 | 一种加速云存储内部数据传输的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103516812A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965793A (zh) * | 2014-09-26 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种云存储数据节点装置 |
CN107025591A (zh) * | 2017-03-21 | 2017-08-08 | 天津数集科技有限公司 | 数据交易平台 |
CN111258705A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 用于检测云硬盘输入输出io邻位干扰的方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101149755A (zh) * | 2007-10-25 | 2008-03-26 | 中国科学院计算技术研究所 | 一种分布式文件系统的文件写入系统和方法 |
CN101277244A (zh) * | 2008-05-08 | 2008-10-01 | 广东蓝鸽科技有限公司 | Atm同步以太网及其收发数据的方法 |
US20090319731A1 (en) * | 2006-11-07 | 2009-12-24 | Kirihata Yasuhiro | Data processing control method, information processing apparatus, and data processing control system |
CN101788960A (zh) * | 2010-03-12 | 2010-07-28 | 浪潮电子信息产业股份有限公司 | 一种保护存储缓存数据的方法 |
CN102842342A (zh) * | 2011-06-20 | 2012-12-26 | 鸿富锦精密工业(深圳)有限公司 | 数据存储测试系统及方法 |
-
2013
- 2013-10-22 CN CN201310494915.8A patent/CN103516812A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090319731A1 (en) * | 2006-11-07 | 2009-12-24 | Kirihata Yasuhiro | Data processing control method, information processing apparatus, and data processing control system |
CN101149755A (zh) * | 2007-10-25 | 2008-03-26 | 中国科学院计算技术研究所 | 一种分布式文件系统的文件写入系统和方法 |
CN101277244A (zh) * | 2008-05-08 | 2008-10-01 | 广东蓝鸽科技有限公司 | Atm同步以太网及其收发数据的方法 |
CN101788960A (zh) * | 2010-03-12 | 2010-07-28 | 浪潮电子信息产业股份有限公司 | 一种保护存储缓存数据的方法 |
CN102842342A (zh) * | 2011-06-20 | 2012-12-26 | 鸿富锦精密工业(深圳)有限公司 | 数据存储测试系统及方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104965793A (zh) * | 2014-09-26 | 2015-10-07 | 浙江大华技术股份有限公司 | 一种云存储数据节点装置 |
CN107025591A (zh) * | 2017-03-21 | 2017-08-08 | 天津数集科技有限公司 | 数据交易平台 |
CN111258705A (zh) * | 2018-11-30 | 2020-06-09 | 华为技术有限公司 | 用于检测云硬盘输入输出io邻位干扰的方法和装置 |
CN111258705B (zh) * | 2018-11-30 | 2023-12-08 | 华为技术有限公司 | 用于检测云硬盘输入输出io邻位干扰的方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10635348B2 (en) | Storage system and method for storage control | |
CN107094186B (zh) | 一种分布式存储系统的纠删码优化方法 | |
US9921955B1 (en) | Flash write amplification reduction | |
CN104657366B (zh) | 海量日志写入数据库的方法、装置和日志容灾系统 | |
CN103856567A (zh) | 基于Hadoop分布式文件系统的小文件存储方法 | |
WO2012111905A3 (ko) | 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법 | |
CN102541779A (zh) | 一种提高多数据缓冲区dma效率的系统和方法 | |
US8688868B2 (en) | Steering data units to a consumer | |
CN105426127A (zh) | 一种分布式集群系统的文件存储方法及装置 | |
WO2008039386A3 (en) | Accelerated data transfer using common prior data segments | |
CN102195874A (zh) | 数据分组的预提取 | |
CN104731794A (zh) | 一种冷热数据分片挖掘存储方法 | |
CN103559017A (zh) | 基于gpu异构计算平台的字符串匹配方法及系统 | |
CN105589664A (zh) | 虚拟存储高速传输方法 | |
CN109117386A (zh) | 一种网络远程读写二级存储的系统及方法 | |
CN103516812A (zh) | 一种加速云存储内部数据传输的方法 | |
CN104536816A (zh) | 提高虚拟机迁移效率的方法 | |
CN104317754B (zh) | 面向异构计算系统的跨步数据传输优化方法 | |
CN103064749B (zh) | 一种进程间通信方法 | |
CN104915153A (zh) | 一种基于scst的双控缓存同步设计方法 | |
CN107517266A (zh) | 一种基于分布式缓存的即时通讯方法 | |
CN102184141A (zh) | 检查点数据的存储方法和装置 | |
CN103338156A (zh) | 一种基于线程池的命名管道服务器并发通信方法 | |
CN103984569A (zh) | 一种hba卡加速方法 | |
CN105446895A (zh) | 一种存储系统非同源数据运行时io去重的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140115 |