CN103543961B - 一种基于PCIe的存储扩展系统及存储扩展方法 - Google Patents

Abstract

本发明公开了一种基于PCIe的存储扩展系统及方法，该系统包括主存储设备和至少一个存储扩展设备，主存储设备还包括主控制模块和主PCIe交换模块，存储扩展设备还包括扩展控制模块和扩展PCIe交换模块，主存储设备和存储扩展设备之间通过PCIe接口实现级联。本发明的存储扩展方法通过主存储设备或存储扩展设备主动唤醒待机的存储扩展设备，并配置该存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率实现存储容量的扩展。本发明的系统和方法，简单易行，可大规模扩展存储容量，并且不受容量限制；通过配置指令配置链路带宽，可有效提高链路宽度，支持存储扩展设备智能唤醒，符合节能设计宗旨。

Description

一种基于PCIe的存储扩展系统及存储扩展方法

技术领域

本发明涉及数据存储技术领域，尤其涉及进行存储容量扩展的一种基于PCIe的存储扩展系统及其进行存储扩展的方法。

背景技术

在这个数据爆炸性增长的时代，随着企业的发展，服务器硬盘空间满了是个很普遍的现象，对中小企业来说，采用DAS（Direct Attached Storage）直接附加存储、网络连接式存储（NAS）、存储区域网（SAN）或是购置新的大容量硬盘都是常用的扩展存储空间的方法。随着接口技术的发展，串行数据通信接口SATA、外置串行数据通信接口Esata、通用串行总线USB、串行小型计算机系统接口SAS、串行RapidIO接口等方兴未艾，为存储空间的扩展带来了很多的解决方案。快捷外设互联标准PCIe（Peripheral Component InterconnectExpress）更是以其高速的传输速率获得了市场的认可，PCIe3.0可达单向12GB/s的传输速率，十分惊人。所以通过PCIe可以满足未来高速存储器件的数据传输要求，通过PCIe协议将多个设备进行板间互联从而进行数据转发已是大势所趋。

然而现有技术的解决方案都是通过连接扩展存储卡来解决存储空间的扩展问题，如申请号为201110281666.5的中国发明专利申请，公开了一种固态硬盘扩展装置，包括固态硬盘、扩展卡及线缆连接器，固态硬盘的第一板体上的存储设备接口连接主板上的存储设备接口及主控芯片，主控芯片连接第一存储芯片及第一连接器，第一板体的底边上设有若干与主控芯片、第一存储芯片及第一连接器连接的第一电源引脚及若干第一接地引脚，扩展卡的第二板体上的第二存储芯片连接第二连接器，第二板体的底边上设有若干与存储芯片及第二连接器连接的第二电源引脚及若干第二接地引脚，线缆连接器包括线缆及与第一连接器连接的第三连接器及与第二连接器连接的第四连接器。可见只是在固态硬盘的基础上连接一个扩展卡，进行了存储空间的扩充，可以扩充的存储空间有限。

虽然PCIe交换技术可以将主存储设备的PCIe端口增加，从而可以更多的连接扩展卡以更大的扩展存储空间，但是在数据量巨大的场合，仍然不能满足存储空间的要求。

发明内容

本发明的目的是解决现有技术扩展的存储空间有限的问题，提出一种基于PCIe的存储扩展系统及存储扩展方法，能够不受限制的扩展存储容量。

为了实现上述目的，本发明的技术方案如下：

一种基于PCIe的存储扩展系统，包括主存储设备和至少一个存储扩展设备，所述主存储设备包括主控制模块和主PCIe交换模块，其中：

主控制模块，用于在本地的存储容量达到一定的阈值后，或根据存储扩展设备上报的存储状态信息，发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒所述发送待机信号的存储扩展设备，并发送配置指令配置该存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率；

主PCIe交换模块，带有一个第一PCIe接口，和至少一个第二PCIe接口，所述主PCIe交换模块通过第一PCIe接口与主控制模块连接，通过第二PCIe接口与下级存储扩展设备相连；

所述存储扩展设备包括扩展控制模块和扩展PCIe交换模块，其中：

扩展控制模块，用于接收检测信号，若处于待机状态则反馈待机信号，接收唤醒信号被唤醒，并接收配置指令，配置所述扩展PCIe交换模块上与主存储设备间的PCIe通信链路数目以及传输速率，实现存储容量的扩展；还用于在本地的存储容量达到一定的阈值后，向所述主控制模块上报存储状态信息；

扩展PCIe交换模块，包括一个第一PCIe接口和至少一个第二PCIe接口，该第一PCIe接口与上级设备的第二PCIe接口相连，该第二PCIe接口用于连接所述扩展控制模块，以及下级存储扩展设备。

进一步地，所述主控制模块设置有至少一个主中央处理器CPU，所述扩展控制模块亦设置有中央处理器CPU。单个CPU可以连接的PCIe设备的数量是固定的，通过在扩展存储设备上设置CPU可以无限制扩展接入的存储扩展设备数量，进而扩展整个系统的存储容量。

进一步地，所述扩展控制模块还用于在本地的存储容量达到一定的阈值后，向所述主控制模块上报存储状态信息后，判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，如果是则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒所述发送待机信号的存储扩展设备，并发送配置指令配置该存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率。存储扩展设备在主存储设备忙时，可以主动发起存储扩展，可以进一步降低主控制模块的负担，快速的完成存储的扩展。

进一步地，所述判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，是判断持续上报存储状态信息的次数达到一定的阈值，或持续上报存储状态信息的时间达到一定的阈值。

进一步地，所述发送检测信号检测是否有接入的处于待机状态的存储扩展设备，首先检测同级存储扩展设备是否有接入的处于待机状态的存储扩展设备，如果没有收到反馈的待机信号，则再检测下级存储扩展设备是否有接入的处于待机状态的存储扩展设备。通过这种方式，使存储扩展设备逐级扩展。

本发明同时提出了一种基于PCIe的存储扩展方法，用于在包括主存储设备和至少一个存储扩展设备的存储扩展系统中进行存储扩展，所述存储扩展设备通过PCIe连接与主存储设备级联，包括步骤：

1）、当前工作状态的存储扩展设备的存储容量达到一定的阈值时，上报存储状态信息到主存储设备；

2）、主存储设备接收存储状态信息，在本地的存储容量达到一定的阈值后，或根据存储扩展设备上报的存储状态信息，发送检测信号检测是否有接入的处于待机状态的存储扩展设备；

3）、待机状态的存储扩展设备响应检测信号，发送待机信号；

4）、主存储设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

5）、被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

进一步地，当前工作状态的存储扩展设备的存储容量达到一定的阈值时，上报存储状态信息到主存储设备后，还包括步骤：

判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，如果是则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，否则不操作；

待机状态的存储扩展设备响应检测信号，发送待机信号；

发送检测信号的存储扩展设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

进一步地，所述判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，是判断持续上报存储状态信息的次数达到一定的阈值，或持续上报存储状态信息的时间达到一定的阈值。

进一步地，所述发送检测信号检测是否有接入的处于待机状态的存储扩展设备，首先检测同级存储扩展设备是否有接入的处于待机状态的存储扩展设备，如果没有收到反馈的待机信号，则再检测下级存储扩展设备是否有接入的处于待机状态的存储扩展设备。

进一步地，所述存储状态信息、检测信号、待机信号、唤醒信号和配置指令是通过带内中断的方式发送的。PCIe接口对主存储设备与存储扩展设备间的控制信号均进行透传，无须逐级发送，实现存储扩展更加快捷。

本发明提出的一种基于PCIe的存储扩展系统及方法，通过PCIe接口将存储扩展设备与主存储设备进行级联，其中存储扩展设备设置有扩展控制模块，扩展控制模块设置有中央处理器CPU，可以不受限制地扩展存储容量，支持存储扩展设备进行存储的扩展，增加了系统的稳定性。并且所有PCIe接口对控制信号进行透传，无须先向下级存储设备下发控制信号，再由下级存储设备转发这样的逐级转发，只需要通过带内中断方式直接下发到所要控制的存储扩展设备即可。本发明存储扩展简单易行，可大规模扩展存储容量，并且不受容量限制；通过配置指令配置链路带宽，可有效提高链路宽度，支持存储扩展设备智能唤醒，符合节能设计宗旨。

附图说明

图1为本发明存储扩展系统的结构示意图；

图2为本发明存储扩展设备的结构示意图；

图3为本发明存储扩展方法流程图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例以PCIe接口为例，对本发明存储扩展装置进行进一步的说明。本实施例存储扩展系统如图1所示，包括一个主存储设备，以及至少一个存储扩展设备。当主存储设备存储容量不足时，可以通过级联方式接入存储扩展设备，与主存储设备组成大容量存储扩展系统，满足大数据存储的需求。

主存储设备包括带有至少一个PCIe接口的主控制模块，以及主PCIe交换模块和存储磁盘。

其中主控制模块设置有至少一个主中央处理器CPU，该CPU支持PCIe，主控制模块在主存储设备的存储磁盘存储容量达到一定的阈值后，发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒该反馈待机信号的存储扩展设备，并下发配置指令，通过配置存储扩展设备上的扩展PCIe交换模块来配置主存储设备与该存储扩展设备间的PCIe通信链路数目以及传输速率，从而实现存储容量的扩展。主控制模块还可以在主存储设备的存储磁盘存储容量达到一定的阈值后，进行自动告警，尤其在主存储设备没有连接存储扩展设备的情况下，这种告警就显得尤为重要。因为通过告警的方式可以通知相关人员尽快地链接存储扩展设备。实际上，如果在没有连接存储扩展设备的情况下，在存储容量达到最大容量的90%或者其他阈值时，就可以发出告警信息，提醒管理人员采取必要的措施。这样可以防止待存储的数据丢失。

主PCIe交换模块带有一个第一PCIe接口，也称为上行PCIe接口，和至少一个第二PCIe接口，也称为下行PCIe接口，主PCIe交换模块用来实现PCIe接口的扩展；存储磁盘是用来存储数据的磁盘。如图1所示，主PCIe交换模块通过第一PCIe接口与主控制模块的PCIe接口连接；主PCIe交换模块通过第二PCIe接口与本地的存储磁盘以及下级存储扩展设备相连。

需要说明的是，主存储设备通过主PCIe交换模块的第二PCIe接口，还可以接其他外设，例如网络摄像机，网络摄像机摄制的视频数据接入主存储设备，并被存储在存储磁盘中，当主存储设备存储磁盘的存储容量不足时，就需要进行存储容量的扩展。

本实施例存储扩展设备内部结构示意图如图2所示，包括扩展控制模块，扩展PCIe交换模块和存储磁盘，其中扩展PCIe交换模块包括一个第一PCIe接口和至少一个第二PCIe接口。该第一PCIe接口与上级PCIe接口相连，该第二PCIe接口用于连接本地存储磁盘和扩展控制模块，以及下级存储扩展设备。

本实施例存储扩展系统采用级联的方式实现存储容量的扩展，将与主存储设备级联的存储扩展设备称为二级存储扩展设备，将与二级存储扩展设备相连的下级存储扩展设备称为三级存储扩展设备，依次类推。

如图1所示，二级存储扩展设备的第一PCIe接口与主存储扩展设备的第二PCIe接口相连，其第二PCIe接口与三级存储扩展设备的第一PCIe接口连接实现级联。

具体地，PCIe接口之间通过高速信号传输连接器和配套线缆进行连接，高速信号传输连接器的一部分管脚用于连接PCIe信号线，其余的管脚做控制信号线使用，为控制信号的透传打下基础。另外高速信号传输连接器再通过配套线缆进行传输，不受传输距离限制。

扩展控制模块包括一个支持PCIe的单核中央处理器CPU，采用单核CPU是因为这里对CPU的性能不做过高的要求，在存储扩展设备中使用该CPU的主要目的是为了增加PCIe连接数量。PCIe连接数量即单个CPU可以连接的PCIe设备的数量（Bar Number）是固定的，通常一个CPU的Bar Number为256个。即对于单CPU的设备来说，如果PCIe交换模块与其他设备的连接占用4个PCIe连接数的话，其还可以最多接驳252路存储扩展设备。对于主存储设备来说，252路的接驳数量在很多情况下并不能满足要求，所以如果通过在存储扩展设备上设置CPU，其扩展控制模块中的CPU又可以向下扩展接入252路下级PCIe存储扩展设备。这样，总的存储容量就能大大地提高，因此本实施例可以不受限制地扩展存储容量。

扩展控制模块在本地的存储磁盘存储容量达到一定的阈值后，会上报存储状态信息到主存储设备的主控制模块，主控制模块在收到存储扩展设备上报的存储状态信息后，则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令配置被唤醒的存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率；扩展控制模块在上报存储状态信息后会判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，判断条件可以是持续上报的次数达到一定的阈值，比如连续上报5次，或持续上报的时间达到一定的阈值，比如连续10秒持续存储容量达到一定的阈值，则认为上报的存储状态信息没有被处理，这时认为主控制模块没有响应，也许处于忙碌状态，则扩展控制模块发送检测信号检测是否有同级或下级的待机的存储扩展设备，如果有则发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令配置被唤醒的存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率。

当唤醒存储扩展设备后，主控存储设备或存储扩展设备会自动关闭存储容量告警，并提示用户接入存储扩展设备后的存储续航能力。

以下以图1所示实施例来对本发明的存储扩展装置的工作原理进行详细说明：

如图1所示，本实施例不仅在主存储设备中设置有存储磁盘用来存储数据，还设置了二级存储扩展设备和三级存储扩展设备，二级存储扩展设备和三级存储扩展设备均设置有本地的存储磁盘。主存储设备的主控制模块在本地的存储磁盘存储容量达到一定的阈值后，则开始检测是否有下级的待机的存储扩展设备，如果有则唤醒下级的存储扩展设备，用下级的存储扩展设备来存储数据。例如二级的存储扩展设备被唤醒并进行工作。二级存储设备的扩展控制模块同样在本地的存储磁盘存储容量达到一定的阈值后，上报存储状态信息（包括已经存满的信息）。主控制模块接收上报的存储状态信息后，如果有空闲则会进行处理，即开始检测是否有下级（第二级或者第二级以下级别的存储控制设备）的待机的存储扩展设备，如果有则唤醒下级的存储扩展设备，并发送相关配置指令，以使该下级的存储扩展设备进行数据存储；如果主控制模块处于忙碌状态，则二级存储扩展设备的扩展控制模块判断本地的存储磁盘是否仍然作为存储设备被用来存储新数据，若是就发起检测是否有同级的待机的存储扩展设备，如果有则发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令配置被唤醒的存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率；如果检测同级的存储扩展设备时没有收到反馈的待机信号，则继续检测下级存储扩展设备，依此类推。

二级存储扩展设备主动发起检测是否有同级或下级的待机的存储扩展设备，是在主控制模块忙碌的状态下才发起的，通常是主动上报存储状态信息后，判断本地的存储磁盘是否仍然作为存储设备被用来存储新数据，如果持续上报的次数达到一定的阈值，比如连续上报5次，或持续上报的时间达到一定的阈值，比如连续10秒持续存储容量达到一定的阈值，则认为上报的存储状态信息没有被处理，主控制模块没有响应，也许处于忙碌状态，本二级存储扩展设备还是被用来存储数据，则主动发起检测。本发明不限于采用哪种判断方法，通过存储扩展设备上的扩展控制模块这种主动发起检测，将可以进一步降低主控制模块的负担，快速的完成存储的扩展。

需要说明的是，本实施例中PCIe接口对主存储设备与存储扩展设备间的控制信号均进行透传，包括存储状态信息、检测信号、待机信号、唤醒信号和配置指令。主存储设备通过带内中断方式来控制各级存储扩展设备，如检测信号、待机信号、唤醒信号和配置指令，无须先向下级存储设备下发控制信号，再由下级存储设备转发这样的逐级转发，只需要通过带内中断方式直接下发到所要控制的存储扩展设备即可。存储扩展设备上报的存储状态信息也是一样处理，存储扩展设备之间的控制信号息也依次类推。

扩展控制模块设置的单核CPU，还可以用于配置磁盘阵列，每一级的存储扩展设备都可以单独做磁盘阵列RAID（Redundant Arrays of Inexpensive Disks），也可以与上一级的设备组网做RAID，这样可以减少整体系统做RAID的时间，可以大幅提高整个系统的性能。并且各存储扩展设备间的数据交换，无需将所有数据都汇总到主存储设备由主存储设备做数据交换，这样可以大大的降低主存储设备的数据处理负担。

如图3所示，采用上述存储扩展系统进行存储扩展的方法包括步骤：

步骤S1、当前工作状态的存储扩展设备的存储容量达到一定的阈值时，上报存储状态信息到主存储设备；

步骤S2、主存储设备接收存储状态信息，在本地的存储容量达到一定的阈值后，或根据存储扩展设备上报的存储状态信息，发送检测信号检测是否有接入的处于待机状态的存储扩展设备；

步骤S3、待机状态的存储扩展设备响应检测信号，发送待机信号；

步骤S4、主存储设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

步骤S5、被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

主存储设备在存储容量达到一定的阈值后，则会检测下面连接的存储扩展设备，接入本实施例存储扩展系统的存储扩展设备默认的情况下是处于待机状态，主存储设备唤醒存储扩展设备，被唤醒的存储扩展设备则作为当前工作状态的存储设备被用来存储数据。

如果该存储扩展设备的存储容量又达到一定的阈值，则存储扩展设备上报自己的存储状态信息。一般情况下，主存储设备收到存储状态信息后，就又发起检测，并找到待机的存储扩展设备来唤醒。但是当主存储设备忙碌或有其他故障时，没有及时处理，这时候该存储扩展设备还是被用来作为存储设备，新数据被不断写入，因此，本实施例的存储扩展方法，在当前工作状态的存储扩展设备的存储容量达到一定的阈值时，上报存储状态信息到主存储设备后，还包括步骤：

判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，如果是则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，否则不操作；

待机状态的存储扩展设备响应检测信号，发送待机信号；

发送检测信号的存储扩展设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

这样即使在主存储设备的CPU忙碌时，也能通过存储扩展设备来实现下级的存储设备扩展，系统稳定性更好。

主存储设备可根据实际存储数据量的大小，在唤醒存储扩展设备时，发出配置指令来配置存储扩展设备上的PCIe交换模块来配置主存储设备与存储扩展设备间的PCIe通信(上行)链路数目(PCIe x1/x2/x4/x8/x16)以及传输速率(2.5Gbps(PCIe Gen1)、5.0Gbps(PCIe Gen2)、8.0Gbps(PCIe Gen3))来实现存储扩展设备的增加。可以在存储速率和存储容量间，根据实际需求做出匹配。这样的配置方法，针对性的对当前用来做存储的存储扩展设备的通信链路进行配置，可以有效提高链路带宽。

具体地，主控制模块或者扩展控制模块还可以将存储磁盘设置为磁盘阵列，或设置本地及其下级存储扩展设备所有的存储磁盘为磁盘阵列。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于PCIe的存储扩展系统，包括主存储设备和至少一个存储扩展设备，其特征在于，所述主存储设备包括主控制模块和主PCIe交换模块，其中：

主控制模块，用于在本地的存储容量达到一定的阈值后，或根据存储扩展设备上报的存储状态信息，发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒所述发送待机信号的存储扩展设备，并发送配置指令配置该存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率；

主PCIe交换模块，带有一个第一PCIe接口，和至少一个第二PCIe接口，所述主PCIe交换模块通过第一PCIe接口与主控制模块连接，通过第二PCIe接口与下级存储扩展设备相连；

所述存储扩展设备包括扩展控制模块和扩展PCIe交换模块，其中：

扩展控制模块，用于接收检测信号，若处于待机状态则反馈待机信号，接收唤醒信号被唤醒，并接收配置指令，配置所述扩展PCIe交换模块上与主存储设备间的PCIe通信链路数目以及传输速率，实现存储容量的扩展；还用于在本地的存储容量达到一定的阈值后，向所述主控制模块上报存储状态信息；

扩展PCIe交换模块，包括一个第一PCIe接口和至少一个第二PCIe接口，该第一PCIe接口与上级设备的第二PCIe接口相连，该第二PCIe接口用于连接所述扩展控制模块，以及下级存储扩展设备。

2.根据权利要求1所述的存储扩展系统，其特征在于，所述主控制模块设置有至少一个主中央处理器CPU，所述扩展控制模块亦设置有中央处理器CPU。

3.根据权利要求2所述的存储扩展系统，其特征在于，所述扩展控制模块还用于在本地的存储容量达到一定的阈值后，向所述主控制模块上报存储状态信息后，判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，如果是则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，当收到处于待机状态的存储扩展设备反馈的待机信号后，发送唤醒指令唤醒所述发送待机信号的存储扩展设备，并发送配置指令配置该存储扩展设备与主存储设备间的PCIe通信链路数目以及传输速率。

4.根据权利要求3所述的存储扩展系统，其特征在于，所述判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，是判断持续上报存储状态信息的次数达到一定的阈值，或持续上报存储状态信息的时间达到一定的阈值。

5.根据权利要求3所述的存储扩展系统，其特征在于，所述发送检测信号检测是否有接入的处于待机状态的存储扩展设备，首先检测同级存储扩展设备是否有接入的处于待机状态的存储扩展设备，如果没有收到反馈的待机信号，则再检测下级存储扩展设备是否有接入的处于待机状态的存储扩展设备。

6.一种基于PCIe的存储扩展方法，用于在包括主存储设备和至少一个存储扩展设备的存储扩展系统中进行存储扩展，所述存储扩展设备通过PCIe连接与主存储设备级联，其特征在于，包括步骤：

1)、当前工作状态的存储扩展设备，在自身的存储容量达到一定的阈值时，上报存储状态信息到主存储设备；主存储设备根据上报的存储状态信息，发送检测信号检测是否有接入的处于待机状态的存储扩展设备；或者主存储设备在本地的存储容量达到一定的阈值后，发送检测信号检测是否有接入的处于待机状态的存储扩展设备；

2)、待机状态的存储扩展设备响应检测信号，发送待机信号；

3)、主存储设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

4)、被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

7.根据权利要求6所述的存储扩展方法，其特征在于，当前工作状态的存储扩展设备的存储容量达到一定的阈值时，上报存储状态信息到主存储设备后，还包括步骤：

判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，如果是则发送检测信号检测是否有接入的处于待机状态的存储扩展设备，否则不操作；

待机状态的存储扩展设备响应检测信号，发送待机信号；

发送检测信号的存储扩展设备接收待机信号，发送唤醒指令唤醒发送待机信号的存储扩展设备，并发送配置指令；

被唤醒的存储扩展设备接收配置指令，配置与主存储设备间的PCIe通信链路数目以及传输速率。

8.根据权利要求7所述的存储扩展方法，其特征在于，所述判断本存储扩展设备是否仍然作为存储设备被用来存储新数据，是判断持续上报存储状态信息的次数达到一定的阈值，或持续上报存储状态信息的时间达到一定的阈值。

9.根据权利要求7所述的存储扩展方法，其特征在于，所述发送检测信号检测是否有接入的处于待机状态的存储扩展设备，包括步骤：

首先检测同级存储扩展设备是否有接入的处于待机状态的存储扩展设备，如果没有收到反馈的待机信号，则再检测下级存储扩展设备是否有接入的处于待机状态的存储扩展设备。

10.根据权利要求6-9任一权利要求所述的存储扩展方法，其特征在于，所述存储状态信息、检测信号、待机信号、唤醒信号和配置指令是通过带内中断的方式发送的。