CN103984646A - 一种基于pcie数据传输的存储系统设计方法 - Google Patents
一种基于pcie数据传输的存储系统设计方法 Download PDFInfo
- Publication number
- CN103984646A CN103984646A CN201410246211.3A CN201410246211A CN103984646A CN 103984646 A CN103984646 A CN 103984646A CN 201410246211 A CN201410246211 A CN 201410246211A CN 103984646 A CN103984646 A CN 103984646A
- Authority
- CN
- China
- Prior art keywords
- pcie
- data
- address
- virtual
- tunnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于PCIE数据传输的存储系统设计方法，其内容包括：将服务器主板的CPUPCIE2.0接口引出作为数据交换通道，每16个PCIE通道作为一组对应一个物理地址端口使用；将这16个PCIE传输通道信号进行四路分支，并分别对应四个虚拟地址形成虚拟PCIE地址通道；将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器将PCIE协议直接进行解码，并将数据直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，并将数据直接放到虚拟PCIE地址通道中，实现整个PCIE链路的高速、低延迟的数据传输。
Description
技术领域
本发明涉及计算机通信领域，具体地说是一种基于PCIE数据传输的存储系统设计方法。
背景技术
当今的服务器存储系统对传输性能的设计要求越来越高，存储系统作为数据的存取中枢，承担着系统运算数据读取与提供数据服务的功能，服务器存储系统的传输性能即单位时间内的读写数据量体现整个系统的对外数据服务能力，用户不断的将数据写入存储系统，又源源不断的将数据从存储系统中取出，目前服务器系统的存储系统设计只能尽可能满足主流硬盘读写速度的规格需求，当用户需要大量高速即时数据时，存储系统的传输性能瓶颈问题随之而来，这就需要从根本上加快存储子系统的高性能更新设计。
当前服务器存储系统对于数据的高速存储需求、存储系统单位时间内的读写数据量，已逐渐成为影响服务器存储的运算性能关键因素。当前的通常做法是采用SAS控制器连接硬盘的方式，即PCIE首先转变为SAS协议，然后再连接到SAS硬盘上去，由于SAS的传输速度及PCIE到SAS协议的转换均需要时间延迟，导致存储系统的数据读写性能受到极大影响，该方式存在CPU与硬盘之间的SAS协议转换，传输效率不高。这种存数数据的传输方式，无法实现数据的高速传输需求；随着对服务器系统数据高速传输要求不断增加，为了保证服务器系统的稳定运行，在实际操作运行过程中，实现存储系统的高速可控设计尤为重要，并成为决定服务器存储系统性能的关键要素之一。
发明内容
针对当前服务器存储系统传输设计过程中遇到的上述问题，本发明提出了一种基于PCIE数据传输的存储系统设计方法。
本发明所述一种基于PCIE数据传输的存储系统设计方法，解决上述技术问题采用的技术方案如下：该基于PCIE数据传输的存储系统设计方法，结合协议解码、协议转换等关键电气因素，通过深入分析，实现了当前服务器存储系统在高速数据的读写过程中高速传输、低延迟的需求；该基于PCIE数据传输的存储系统设计方法的主要内容包括：
①将每个服务器主板的CPU PCIE2.0 接口引出，作为数据交换通道使用，每16个PCIE通道作为一组，16个传输通道的信号作为一个物理地址端口使用；
②将每一个物理地址端口对应的16个PCIE传输通道信号进行四路分支，并采用四个虚拟地址与分支对应，即每4个PCIE传输通道信号对应一个虚拟地址，形成虚拟PCIE地址通道；
③将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器接受PCIE的虚拟地址，并将地址保存，建立与虚拟通道对应的点对点传输路径；
④存储FLASH控制器将PCIE协议直接进行解码，并将数据直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，并将数据直接放到虚拟PCIE地址通道中，实现整个PCIE链路的数据传输。
本发明所述一种基于PCIE数据传输的存储系统设计方法具有的有益效果：
本发明所述基于PCIE数据传输的存储系统设计方法，解决了当前服务器存储系统在高速数据的读写过程中，无法实现数据的高速传输、低延迟需求的问题；保证了服务器存储系统的高效率、低成本，提高了服务器存储系统可靠性、稳定性，对于服务器存储系统的高性能提升具有重要的意义。
附图说明
附图1为基于PCIE数据传输的存储系统设计方法的实施流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的一种基于PCIE数据传输的存储系统设计方法进行详细说明。
本发明所述基于PCIE数据传输的存储系统设计方法，结合协议解码、协议转换等关键电气因素，通过深入分析，实现了当前服务器存储系统在高速数据的读写过程中高速传输、低延迟的需求，该基于PCIE数据传输的存储系统设计方法的主要内容包括：
①将每个服务器主板的CPU PCIE2.0 接口引出，作为数据交换通道使用，每16个PCIE通道作为一组，16个传输通道的信号作为一个物理地址端口使用；
②将每一个物理地址端口对应的16个PCIE传输通道信号进行四路分支，并采用四个虚拟地址与分支对应，即每4个PCIE传输通道信号对应一个虚拟地址，形成虚拟PCIE地址通道；
③将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器接受PCIE的虚拟地址，并将地址保存，建立与虚拟通道对应的点对点传输路径；
④存储FLASH控制器将PCIE协议直接进行解码，并将数据直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，并将数据直接放到虚拟PCIE地址通道中，实现整个PCIE链路的数据传输。
实施例：
下面通过一个实施例对本发明所述基于PCIE数据传输的存储系统设计方法的优点和设计内容，进行详细说明：
本实施中，将每个服务器主板的CPU PCIE2.0 接口引出，作为数据交换通道使用，在每个PCIE通道上增加隔直电容，即将直流电平的浮动消除；每16个PCIE通道作为一组，16个传输通道的信号作为一个物理地址端口使用，在系统驱动端将每16个传输通道作为一个整体使用，采用共同的物理地址，作为一个PCIE设备，实现操作系统的简化管理；
此外，将每一个物理地址端口对应的16个PCIE传输通道信号进行四路分支，即每4个PCIE传输通道信号作为一个虚拟通道，PCIE传输通道信号的分取方法为从小到大的顺序、依次计数的四个为一组；采用高速FPGA芯片建立PCIE的虚拟通道被控制端，并采用四个虚拟地址寄存器与四个分支通道对应，即每4个PCIE传输通道信号对应一个虚拟地址，形成虚拟PCIE地址通道，CPU与PCIE的虚拟通道被控制端通过虚拟地址标示通讯；
同时，将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器建立PCIE控制寄存器，需要对4个PCIE通道进行数据的处理，其收到PCIE的虚拟地址后，并将地址保存在内部寄存器中，建立与虚拟通道被控制端相对应的点对点独立传输路径，存储FLASH控制器采用Cyclone FPGA芯片实现；
本实施例中，存储FLASH控制器将PCIE协议直接进行解码，将PCIE通道上的有效数据信息保存在程序堆栈中，根据先进先出的堆栈设置方法，将数据根据FLASH地址空间的顺序，直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，同时进行数据的校验生成，并将数据及校验位直接放到虚拟PCIE地址通道中，进行整个PCIE链路的数据容错稳定传输。
附图1为本发明所述基于PCIE数据传输的存储系统设计方法的实施流程图，如附图1所示，该存储系统设计方法的实施流程如下：
①研发工程师将每个服务器主板的CPU PCIE2.0 接口以每16个PCIE通道作为一组引出，作为数据交换通道使用，并在CPU资源分配中将16个传输通道的信号作为一个物理地址端口使用；
②采用高速FPGA芯片建立PCIE的虚拟通道被控制端，并采用四个虚拟地址寄存器与四个分支通道对应，形成虚拟PCIE地址通道；
③采用Cyclone FPGA芯片建立存储FLASH控制器，将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器接受PCIE的虚拟地址，并将地址保存，建立与虚拟通道对应的点对点传输路径。
④存储FLASH控制器将PCIE协议进行解码，并将数据直接分配存储到FLASH颗粒中；或将FLASH中的数据进行PCIE编码，并将数据直接放到虚拟PCIE地址通道中，实现整个PCIE链路的数据传输。
经过上面详细的实施过程，本发明所述基于PCIE数据传输的存储系统设计方法，能够方便的实现服务器存储系统的高速通道设计，不仅达到了传输性能的要求，而且实现低成本、低延迟要求，实现服务器存储系统的可靠性、稳定性。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的权利要求书的且任何所属技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。
Claims (6)
1.一种基于PCIE数据传输的存储系统设计方法,其特征在于,该基于PCIE数据传输的存储系统设计方法，结合协议解码、协议转换关键电气因素，其主要内容包括：
①将每个服务器主板的CPU PCIE2.0 接口引出，作为数据交换通道使用，每16个PCIE通道作为一组，16个传输通道的信号作为一个物理地址端口使用；
②将每一个物理地址端口对应的16个PCIE传输通道信号进行四路分支，并采用四个虚拟地址与分支对应，即每4个PCIE传输通道信号对应一个虚拟地址，形成虚拟PCIE地址通道；
③将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器接受PCIE的虚拟地址，并将地址保存，建立与虚拟通道对应的点对点传输路径；
④存储FLASH控制器将PCIE协议直接进行解码，并将数据直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，并将数据直接放到虚拟PCIE地址通道中，进行整个PCIE链路的数据传输。
2. 根据权利要求1所述的一种基于PCIE数据传输的存储系统设计方法，其特征在于，将每个服务器主板的CPU PCIE2.0 接口引出，作为数据交换通道使用，在每个PCIE通道上增加隔直电容。
3.根据权利要求1所述的一种基于PCIE数据传输的存储系统设计方法，其特征在于，将每一个物理地址端口对应的16个PCIE传输通道信号进行四路分支，并采用四个虚拟地址与分支对应，即每4个PCIE传输通道信号作为一个虚拟通道，PCIE传输通道信号的分取方法为从小到大的顺序、依次计数的四个为一组。
4.根据权利要求3所述的一种基于PCIE数据传输的存储系统设计方法，其特征在于，采用高速FPGA芯片建立PCIE的虚拟通道被控制端，并采用四个虚拟地址寄存器与四个分支通道对应，即每4个PCIE传输通道信号对应一个虚拟地址，形成虚拟PCIE地址通道，CPU与PCIE的虚拟通道被控制端通过虚拟地址标示通讯。
5.根据权利要求4所述的一种基于PCIE数据传输的存储系统设计方法，其特征在于，采用Cyclone FPGA芯片建立存储FLASH控制器，将虚拟PCIE地址通道连接至存储FLASH控制器的输入端，存储FLASH控制器建立PCIE控制寄存器，需要对4个PCIE通道进行数据的处理，其收到PCIE的虚拟地址后，并将地址保存在内部寄存器中，建立与虚拟通道被控制端相对应的点对点独立传输路径。
6.根据权利要求5所述的一种基于PCIE数据传输的存储系统设计方法，其特征在于，存储FLASH控制器将PCIE协议直接进行解码，将PCIE通道上的有效数据信息保存在程序堆栈中，根据先进先出的堆栈设置方法，将数据根据FLASH地址空间的顺序，直接分配存储到FLASH颗粒中；读取操作时，存储FLASH控制器将FLASH中的数据进行PCIE编码，同时进行数据的校验生成，并将数据及校验位直接放到虚拟PCIE地址通道中，进行整个PCIE链路的数据容错稳定传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410246211.3A CN103984646B (zh) | 2014-06-05 | 2014-06-05 | 一种基于pcie数据传输的存储系统设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410246211.3A CN103984646B (zh) | 2014-06-05 | 2014-06-05 | 一种基于pcie数据传输的存储系统设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103984646A true CN103984646A (zh) | 2014-08-13 |
| CN103984646B CN103984646B (zh) | 2018-01-02 |
Family
ID=51276632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410246211.3A Active CN103984646B (zh) | 2014-06-05 | 2014-06-05 | 一种基于pcie数据传输的存储系统设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103984646B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912307A (zh) * | 2016-04-27 | 2016-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种Flash控制器数据处理方法及装置 |
| CN109165177A (zh) * | 2018-09-21 | 2019-01-08 | 郑州云海信息技术有限公司 | 一种pcie接口的通信方法及相关装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101165663A (zh) * | 2006-10-17 | 2008-04-23 | 国际商业机器公司 | 使用高速缓存的地址转换与i/o适配器进行通信的装置、方法 |
| US20090144508A1 (en) * | 2007-12-03 | 2009-06-04 | Freimuth Douglas M | PCI Express Address Translation Services Invalidation Synchronization with TCE Invalidation |
| CN202383569U (zh) * | 2011-12-31 | 2012-08-15 | 深圳市信步科技有限公司 | 一种具有多功能、可扩展的pcie接口装置的主板 |
| CN103309623A (zh) * | 2012-03-05 | 2013-09-18 | 国际商业机器公司 | 使用混和控制器管理存储装置的方法和系统 |
-
2014
- 2014-06-05 CN CN201410246211.3A patent/CN103984646B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101165663A (zh) * | 2006-10-17 | 2008-04-23 | 国际商业机器公司 | 使用高速缓存的地址转换与i/o适配器进行通信的装置、方法 |
| US20090144508A1 (en) * | 2007-12-03 | 2009-06-04 | Freimuth Douglas M | PCI Express Address Translation Services Invalidation Synchronization with TCE Invalidation |
| CN202383569U (zh) * | 2011-12-31 | 2012-08-15 | 深圳市信步科技有限公司 | 一种具有多功能、可扩展的pcie接口装置的主板 |
| CN103309623A (zh) * | 2012-03-05 | 2013-09-18 | 国际商业机器公司 | 使用混和控制器管理存储装置的方法和系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912307A (zh) * | 2016-04-27 | 2016-08-31 | 浪潮(北京)电子信息产业有限公司 | 一种Flash控制器数据处理方法及装置 |
| CN105912307B (zh) * | 2016-04-27 | 2018-09-07 | 浪潮(北京)电子信息产业有限公司 | 一种Flash控制器数据处理方法及装置 |
| CN109165177A (zh) * | 2018-09-21 | 2019-01-08 | 郑州云海信息技术有限公司 | 一种pcie接口的通信方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103984646B (zh) | 2018-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11068170B2 (en) | Multi-tier scheme for logical storage management | |
| US10318164B2 (en) | Programmable input/output (PIO) engine interface architecture with direct memory access (DMA) for multi-tagging scheme for storage devices | |
| US11029853B2 (en) | Dynamic segment allocation for write requests by a storage system | |
| US10334334B2 (en) | Storage sled and techniques for a data center | |
| CN103336745B (zh) | 一种基于ssd缓存的fc hba及其设计方法 | |
| US9565269B2 (en) | Non-volatile memory express over ethernet | |
| CN101710270B (zh) | 一种基于闪存的高速大容量存储器及芯片数据管理方法 | |
| CN103885909A (zh) | 基于原生PCIe接口的SSD控制器及其控制方法 | |
| WO2014169015A1 (en) | Multiprocessor system with independent direct access to bulk solid state memory resources | |
| CN103873559A (zh) | 一种高速存储的数据库一体机 | |
| CN103517085B (zh) | 一种基于视频解码设计实现远程服务器管理的方法 | |
| US20150370716A1 (en) | System and Method to Enable Dynamic Changes to Virtual Disk Stripe Element Sizes on a Storage Controller | |
| WO2016029524A1 (zh) | 一种用于闪存的网络存储设备及其处理方法 | |
| US8364879B2 (en) | Hierarchical to physical memory mapped input/output translation | |
| CN103294407B (zh) | 存储装置和数据读写方法 | |
| CN103984646A (zh) | 一种基于pcie数据传输的存储系统设计方法 | |
| CN102236625A (zh) | 一种可同时进行读写操作的多通道NANDflash控制器 | |
| CN115079936A (zh) | 一种数据写入方法及装置 | |
| CN104615565A (zh) | 一种传输速率达到12Gb的SAS卡装置 | |
| CN103984569A (zh) | 一种hba卡加速方法 | |
| US8316169B2 (en) | Physical to hierarchical bus translation | |
| CN103207762A (zh) | 存储虚拟化系统 | |
| US20110252170A1 (en) | Hierarchical to physical bus translation | |
| JP6244233B2 (ja) | 集積回路および記憶デバイス | |
| CN104202259B (zh) | 一种服务器动态资源重构的sas传输性能加速方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |