CN104202259B - 一种服务器动态资源重构的sas传输性能加速方法 - Google Patents
一种服务器动态资源重构的sas传输性能加速方法 Download PDFInfo
- Publication number
- CN104202259B CN104202259B CN201410496606.9A CN201410496606A CN104202259B CN 104202259 B CN104202259 B CN 104202259B CN 201410496606 A CN201410496606 A CN 201410496606A CN 104202259 B CN104202259 B CN 104202259B
- Authority
- CN
- China
- Prior art keywords
- data
- sas
- transmission
- dynamic
- reconfiguration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 17
- 230000001133 acceleration Effects 0.000 title abstract description 3
- 238000004891 communication Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000013500 data storage Methods 0.000 claims abstract description 4
- 238000012546 transfer Methods 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000001934 delay Effects 0.000 claims description 5
- 238000007726 management method Methods 0.000 claims description 5
- 238000012856 packing Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 239000004744 fabric Substances 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000013461 design Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
Landscapes
- Bus Control (AREA)
Abstract
本发明提供一种服务器动态资源重构的SAS传输性能加速方法,属于计算机通信领域,本发明通过建立SAS动态传输重构单元,通过PCIE总线连接到CPU;将SAS动态传输重构单元通过LPC总线连接到主板上的南桥PCH芯片,服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,同时启动数据抓包处理,分析读写比例及数据的大小,并且将单位时间内的数据量做统计,根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,同时根据数据传输的时延情况,建立数据传输缓存空间,实现最优的SAS传输重构单元;调整优化驱动层的发包参数,达到最优的数据传输路径。
Description
技术领域
本发明涉及计算机通信领域,具体是利用一种服务器动态资源重构的SAS传输性能加速方法,来解决当前在服务器系统中,服务器SAS扩展卡的数据传输性能逐渐成为系统性能的瓶颈的问题。
背景技术
当今的服务器系统的性能要求越来越高,服务器主板的输入输出数据的吞吐量越来越大,数据吞吐包含本地存储数据的传输和对外网络数据传输。服务器主板设计有2-6根PCIE总线的插槽,用以扩展相应的存储或网络子卡;对于一个标配的服务器系统,上述两类子卡是必不可少的,服务器的传输性能也主要体现在两类子卡上,不断的进行数据存储与向外界提供运算数据,服务器扩展卡的数据传输性能工作直接影响服务器系统的性能,并逐渐成为系统性能的瓶颈。为了保证当前服务器系统的工作高效及稳定性,实现服务器系统资源重构的SAS传输性能加速,对于服务器系统的存储性能提升起着至关重要的作用。
当前对服务器系统SAS数据传输高效性,逐渐成为影响服务器性能的关键因素。当前存在的问题是服务器系统通用化设计,硬件及驱动均考虑最广泛的应用环境,随着用户数据环境的差异,对于数据的使用也产生了各种不同的需求,当需要减小CPU的写入时间时,其要求的能够提供足够的缓存空间,实现数据到缓冲处理,即CPU不用考虑硬盘的速度,直接将数据写入缓存,由缓存将数据转存到硬盘,提升CPU的性能。当需要大数据块存储处理时,其要求的能够提供足够的数据IO低时延传输能力,实现数据到硬盘的直连通道。当存储数据为小单位数据块时,其要求的能够提供数据整合处理能力,实现数据的压缩处理,提升效率。当前服务器系统固定通用化设计,对于定制化的用户环境难以发挥出性能优势,甚至会导致系统应用的异常退出。由于该固定化的设计模式,针对特定的应用环境,系统的SAS数据运行性能出现较大的波动,影响系统的运行稳定性。无法实现服务器系统的高性价比需求,系统没有具体的优势应用环境;随着对服务器系统高性能、低成本要求不断增加,如何实现服务器主板系统的高效、可靠、低成本SAS传输设计尤为重要,并成为决定服务器性价比竞争的关键要素之一。
发明内容
针对当前服务器系统实际运行过程中遇到的上述问题,结合动态资源重构等关键因素,通过深入分析,我们总结了一种服务器动态资源重构的SAS传输性能加速方法。
本发明是以资源调度理论支撑点,具体是利用一种服务器动态资源重构的SAS传输性能加速方法,来解决当前在服务器系统中,服务器SAS扩展卡的数据传输性能逐渐成为系统性能的瓶颈的问题。为了保证当前服务器系统的工作高效及稳定性,实现服务器系统资源重构的SAS传输性能加速,对于服务器系统的存储性能提升起着至关重要的作用。本方法保证了服务器系统SAS传输高效运行,实现服务器主板存储系统的可靠性、安全性设计,对于服务器系统的性能提升具有重要意义,具体发明内容可以分为如下几个方面:
①建立SAS动态传输重构单元,并通过PCIE总线连接到CPU,实现主数据通讯路径。
②将SAS动态传输重构单元通过LPC总线连接到主板上的南桥PCH芯片,实现重构管理数据的通讯路径。
③服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,同时启动数据抓包处理,分析读写比例及数据的大小,并且将单位时间内的数据量做统计,获取当前SAS数据传输的统计规律。
④根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,同时根据数据传输的时延情况,建立数据传输缓存空间,实现最优的SAS传输重构单元。
⑤根据具体的数据统计规律生成的SAS动态传输重构单元,通过上述的LPC总线向操作系统提供硬件配置信息,调整优化驱动层的发包参数,达到最优的数据传输路径。
建立SAS动态传输重构单元,并通过PCIE总线连接到CPU,实现主数据通讯路径。SAS动态传输重构单元采用具备PCIE硬核的FPGA实现,采用PCIE2.0 X8带宽的总线与CPUPCIE控制器相连,实际传输数据的带宽根据传输数据量的大小决定,当数据带宽小于20GT/s时,由PCIE2.0 X8带宽自动降低为PCIE2.0 X4带宽,关闭多余的X4带宽,实现整个重构单元的低功耗。
将SAS动态传输重构单元通过LPC总线连接到主板上的南桥PCH芯片,实现重构管理数据的通讯路径,为防止南桥PCH芯片LPC总线的其他传输数据的影响,此处LPC总线需要通过数据选择开关连接到主板上的南桥PCH芯片,即SAS动态传输重构单元与南桥需要通讯时,由主动通讯发起端告知数据的选择开关,来打开两者之间的LPC总线通路。
服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,即SAS数据不经任何处理直接传输到对应硬盘中;同时启动数据抓包处理,将传输路径上的每一个数据包,进行协议解码分析,通过SAS数据包的格式分析,分析得出读写比例及数据的大小,并且将十分钟内的数据量做统计,获取单位时间内数据分布,进而获取当前SAS数据传输的统计规律。
根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,即根据数据块的大小,将数据分配到对应存储介质的数据条带上,即对于大于64MB的数据块,采用128KB的数据介质条带,对于大于32MB小于64MB的数据块,采用64KB的数据介质条带,对于小于32MB的数据块,采用32KB的数据介质条带,实现数据的条带化分配;同时根据数据传输的时延情况,建立数据传输缓存空间,传输时延在20ns以上时,采用512MB的缓存空间,实现最优的SAS传输重构单元。
根据具体的数据统计规律生成的SAS动态传输重构单元,通过上述的LPC总线向操作系统提供硬件配置信息,调整优化驱动层的发包参数,包括数据包的大小、封装形式,达到最优的数据传输路径。LPC总线作为重构管理数据的通讯路径,还可以实现从操作系统向SAS动态传输重构单元的主动参数设置,实现客制化的资源动态重构。
为了保证当前服务器系统的工作高效及稳定性,实现服务器系统资源重构的SAS传输性能加速,对于服务器系统的存储性能提升起着至关重要的作用。本方法保证了服务器系统SAS传输高效运行,实现服务器主板存储系统的可靠性、安全性设计,对于服务器系统的性能提升具有重要意义。
附图说明
附图1是本发明的实施流程图。
具体实施方式
下面对本发明的内容进行更加详细的阐述:
①建立SAS动态传输重构单元,SAS动态传输重构单元采用具备PCIE硬核的FPGA实现,采用PCIE2.0 X8带宽的总线与CPU PCIE控制器相连,实现主数据通讯路径。
②将SAS动态传输重构单元通过LPC总线,经过数据选择开关,连接到主板上的南桥PCH芯片,实现重构管理数据的通讯路径。
③服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,同时启动数据抓包处理,分析读写比例及数据的大小,并且将单位时间内的数据量做统计,获取当前SAS数据传输的统计规律。
④根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,同时根据数据传输的时延情况,建立数据传输缓存空间,实现最优的SAS传输重构单元。
⑤根据具体的数据统计规律生成的SAS动态传输重构单元,通过上述的LPC总线向操作系统提供硬件配置信息,调整优化驱动层的发包参数,达到最优的数据传输路径。
经过上面详细的实施,我们可以很方便的实现服务器SAS存储系统无故障运行,不仅达到了可靠性要求,而且实现SAS传输自适应要求,实现服务器SAS系统的可靠性、稳定性,实现高性价比系统扩展。
Claims (6)
1.一种服务器动态资源重构的SAS传输性能加速方法,其特征在于分为如下几个方面:
①建立SAS动态传输重构单元,并通过PCIE总线连接到CPU,实现主数据通讯路径;
②将SAS动态传输重构单元通过LPC总线连接到主板上的南桥PCH芯片,实现重构管理数据的通讯路径;
③服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,同时启动数据抓包处理,分析读写比例及数据的大小,并且将单位时间内的数据量做统计,获取当前SAS数据传输的统计规律;
④根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,同时根据数据传输的时延情况,建立数据传输缓存空间,实现最优的SAS传输重构单元;
⑤根据具体的数据统计规律生成的SAS动态传输重构单元,通过上述的LPC总线向操作系统提供硬件配置信息,调整优化驱动层的发包参数,达到最优的数据传输路径。
2.根据权利要求1所述的方法,其特征在于建立SAS动态传输重构单元,并通过PCIE总线连接到CPU,实现主数据通讯路径;SAS动态传输重构单元采用具备PCIE硬核的FPGA实现,采用PCIE2.0 X8带宽的总线与CPU PCIE控制器相连,实际传输数据的带宽根据传输数据量的大小决定,当数据带宽小于20GT/s时,由PCIE2.0 X8带宽自动降低为PCIE2.0 X4带宽,关闭多余的X4带宽,实现整个重构单元的低功耗。
3.根据权利要求1所述的方法,其特征在于将SAS动态传输重构单元通过LPC总线连接到主板上的南桥PCH芯片,实现重构管理数据的通讯路径,为防止南桥PCH芯片LPC总线的其他传输数据的影响,此处LPC总线需要通过数据选择开关连接到主板上的南桥PCH芯片,即SAS动态传输重构单元与南桥需要通讯时,由主动通讯发起端告知数据的选择开关,来打开两者之间的LPC总线通路。
4.根据权利要求1所述的方法,其特征在于服务器运行过程中,SAS动态传输重构单元首先初始化为直连模式,即SAS数据不经任何处理直接传输到对应硬盘中;同时启动数据抓包处理,将传输路径上的每一个数据包,进行协议解码分析,通过SAS数据包的格式分析,分析得出读写比例及数据的大小,并且将十分钟内的数据量做统计,获取单位时间内数据分布,进而获取当前SAS数据传输的统计规律。
5.根据权利要求1所述的方法,其特征在于根据获取的当前SAS数据传输的统计规律,进行传输单元的自动重构,进行数据存储自动条带化,即根据数据块的大小,将数据分配到对应存储介质的数据条带上,即对于大于64MB的数据块,采用128KB的数据介质条带,对于大于32MB小于64MB的数据块,采用64KB的数据介质条带,对于小于32MB的数据块,采用32KB的数据介质条带,实现数据的条带化分配;同时根据数据传输的时延情况,建立数据传输缓存空间,传输时延在20ns以上时,采用512MB的缓存空间,实现最优的SAS传输重构单元。
6.根据权利要求1所述的方法,其特征在于根据具体的数据统计规律生成的SAS动态传输重构单元,通过上述的LPC总线向操作系统提供硬件配置信息,调整优化驱动层的发包参数,包括数据包的大小、封装形式,达到最优的数据传输路径;LPC总线作为重构管理数据的通讯路径,还可以实现从操作系统向SAS动态传输重构单元的主动参数设置,实现客制化的资源动态重构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410496606.9A CN104202259B (zh) | 2014-09-25 | 2014-09-25 | 一种服务器动态资源重构的sas传输性能加速方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410496606.9A CN104202259B (zh) | 2014-09-25 | 2014-09-25 | 一种服务器动态资源重构的sas传输性能加速方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104202259A CN104202259A (zh) | 2014-12-10 |
CN104202259B true CN104202259B (zh) | 2017-10-27 |
Family
ID=52087489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410496606.9A Active CN104202259B (zh) | 2014-09-25 | 2014-09-25 | 一种服务器动态资源重构的sas传输性能加速方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104202259B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105224496B (zh) * | 2015-09-08 | 2018-05-01 | 浪潮(北京)电子信息产业有限公司 | 一种动态可重构系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530257A (zh) * | 2013-10-18 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种动态自适应传输路径优化sas信号质量的方法 |
CN103984569A (zh) * | 2014-04-30 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种hba卡加速方法 |
-
2014
- 2014-09-25 CN CN201410496606.9A patent/CN104202259B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103530257A (zh) * | 2013-10-18 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种动态自适应传输路径优化sas信号质量的方法 |
CN103984569A (zh) * | 2014-04-30 | 2014-08-13 | 浪潮电子信息产业股份有限公司 | 一种hba卡加速方法 |
Non-Patent Citations (2)
Title |
---|
串行连接的SCSI(SAS);Rachelle Trent;《世界电子元器件》;20040630(第6期);全文 * |
动态可重构技术研究综述;彭晓明;《计算机工程与设计》;20121231(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN104202259A (zh) | 2014-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Nicolae | High throughput data-compression for cloud storage | |
US20160132541A1 (en) | Efficient implementations for mapreduce systems | |
MX2012005934A (es) | Disco de estado solido (ssd) multi-interfaz, metodo de procesamiento y sistema del mismo. | |
CN103425538B (zh) | 进程通讯方法及系统 | |
Zhang et al. | Application-aware and software-defined SSD scheme for tencent large-scale storage system | |
CN101902504A (zh) | 航空电子全双工交换式以太网网卡及其集成化方法 | |
CN108334557B (zh) | 一种聚合数据分析方法、装置、存储介质及电子设备 | |
CN103150427A (zh) | 一种基于ssd硬盘缓存加速与备份的raid设计方法 | |
CN112562121A (zh) | 一种基于srio协议的存储数据和快速下载方法 | |
CN103517085B (zh) | 一种基于视频解码设计实现远程服务器管理的方法 | |
CN102404201B (zh) | 一种实现Lustre并行文件系统最大带宽的方法 | |
CN109298839A (zh) | 基于pis的存储装置控制器、存储装置、系统及方法 | |
CN104202259B (zh) | 一种服务器动态资源重构的sas传输性能加速方法 | |
CN105045761B (zh) | 一种数据中心的高速并行处理架构 | |
CN104038314B (zh) | 一种新型的安监联网动态数据实时传输系统及方法 | |
CN116185499B (zh) | 寄存器数据传输方法、寄存器缓存模块、智能设备和介质 | |
CN104915153A (zh) | 一种基于scst的双控缓存同步设计方法 | |
CN115221070B (zh) | 基于NVMe盘的片上系统诊断方法 | |
CN107332654B (zh) | 一种基于fpga的多板卡阵列并行解密装置及其方法 | |
CN112800001B (zh) | 一种基于arm平台架构的高性能物联网硬件平台及方法 | |
CN209044575U (zh) | 基于pis的存储装置控制器、存储装置及系统 | |
CN106357527A (zh) | 一种低功耗嵌入式云网关 | |
CN103986744B (zh) | 基于吞吐量的文件并行传输方法 | |
Li et al. | An energy-efficient data transfer strategy with link rate control for Cloud | |
CN103984646A (zh) | 一种基于pcie数据传输的存储系统设计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |