CN105549911A - Nvram的数据传输方法和装置 - Google Patents

Abstract

本发明提供了一种NVRAM的数据传输方法和装置，属于计算机技术领域。所述方法包括：接收数据；根据数据的数据量判断是否达到传输条件；若达到传输条件，则将数据传输至NVRAM。所述装置包括：接收模块、判断模块、传输模块。本发明接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM。本发明在对大量的并发小块数据进行写操作时，减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

Description

NVRAM的数据传输方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及NVRAM的数据传输方法和装置。

背景技术

存储系统通常以“写回”的方式处理写操作：存储系统将数据存储在缓存后，立即应答写操作的发起者，然后在后台将缓存中的数据回刷到磁盘中。为了应对存储服务器异常宕机造成缓存中数据丢失的风险，会基于非易失性随机访问设备处理写操作：存储系统将数据存储在缓存中，并将缓存中的数据同步到非易失性随机访问设备后再应答写操作的发起者，然后在后台将非易失性随机访问设备中的数据回刷到磁盘中，数据写入磁盘结束后回收该数据占用的非易失性随机访问设备中的空间。此种方式下，基于非易失性随机访问设备的数据传输方法的执行效率直接影响数据写操作的处理效率。

NVRAM(Non-VolatileRandomAccessMemory，非易失性随机访问存储器)是一种常用非易失性随机访问设备。NVRAM进行数据传输时，对每一个数据，均通过PCIe(PeripheralComponentInterfaceExpress，总线和接口标准)接口，以DMA(DirectMemoryAccess，直接内存存取)的方式实现数据传输。数据传输过程包括：数据传输准备阶段和数据传输执行阶段。其中，数据传输准备阶段用于进行协议交互等数据传输前的准备工作。数据传输准备阶段会占用一定时间(如15微秒-20微秒)，对于不大于1M(兆)小块数据，数据传输准备阶段的延迟在整个数据传输过程中占有较大比例。

在处理大量的并发小块数据写操作时，由于对每个小块数据均执行数据传输准备阶段和数据传输执行阶段，造成大量时间耗费在各小块数据的数据传输准备阶段。

发明内容

为解决上述问题，本发明实施例提出了一种NVRAM的数据传输方法和装置。

一方面，本发明实施例提供了一种非易失性随机访问存储器NVRAM的数据传输方法，包括：

接收数据；

根据所述数据的数据量判断是否达到传输条件；

若达到传输条件，则将所述数据传输至NVRAM。

可选地，所述根据所述数据的数据量判断是否达到传输条件，包括：

当所述数据的数据量大于1兆M时，判断达到传输条件；

当所述数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当所述数据的数据量与所述数据总量的和大于1M时，判断达到传输条件，所述数据传输列表中存放接收到，但未传输至NVRAM的数据；

或者，

当所述数据的数据量不大于1M时，确定所述数据的第一接收时间及所述数据传输列表中各数据的第二接收时间，当所述第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

可选地，所述根据所述数据的数据量判断是否达到传输条件之后，还包括：

若未达到传输条件，则将所述数据存放于数据传输列表中。

可选地，执行所述接收数据步骤之前，还包括：

确定NVRAM的可用空间，当所述数据的数据量不大于所述NVRAM的可用空间时，执行所述接收数据的步骤；

或者，

确定所述数据传输列表中各数据的数据总量和NVRAM的可用空间，当所述数据的数据量与所述数据传输列表中各数据的数据总量之和不大于所述NVRAM的可用空间时，执行所述接收数据的步骤。

可选地，所述将所述数据传输至NVRAM，包括：

将所述数据传输列表中数据与所述数据聚合；

将聚合后的数据传输至NVRAM。

另一方面，本发明实施例提供了一种非易失性随机访问存储器NVRAM的数据传输装置，包括：

接收模块，用于接收数据；

判断模块，用于根据所述接收模块接收到的数据的数据量判断是否达到传输条件；

传输模块，用于当所述判断模块判断达到传输条件时，将所述数据传输至NVRAM。

可选地，所述判断模块，用于当所述数据的数据量大于1兆M时，判断达到传输条件；当所述数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当所述数据的数据量与所述数据总量的和大于1M时，判断达到传输条件，所述数据传输列表中存放接收到，但未传输至NVRAM的数据；或者，当所述数据的数据量不大于1M时，确定所述数据的第一接收时间及所述数据传输列表中各数据的第二接收时间，当所述第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

可选地，所述装置，还包括：

存放模块，用于当未达到传输条件时，将所述数据存放于数据传输列表中。

可选地，所述接收模块，用于确定NVRAM的可用空间，当所述数据的数据量不大于所述NVRAM的可用空间时，执行所述接收数据的步骤；

或者，

所述接收模块，用于确定所述数据传输列表中各数据的数据总量和NVRAM的可用空间，当所述数据的数据量与所述数据传输列表中各数据的数据总量之和不大于所述NVRAM的可用空间时，执行所述接收数据的步骤。

可选地，所述传输模块，包括：

聚合单元，用于将所述数据传输列表中数据与所述数据聚合；

传输单元，用于将所述聚合单元聚合后的数据传输至NVRAM。

有益效果如下：

接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM。本发明在对大量的并发小块数据进行写操作时，减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

附图说明

下面将参照附图描述本发明的具体实施例，其中：

图1示出了本发明一种实施例中提供的一种NVRAM的数据传输方法的流程示意图；

图2示出了本发明另一种实施例中提供的另一种NVRAM的数据传输方法的流程示意图；

图3示出了本发明另一种实施例中提供的一种存储系统中写操作处理场景下NVRAM的数据传输方法的流程示意图；

图4示出了本发明另一种实施例中提供的一种NVRAM的数据传输组织的结构示意图；

图5示出了本发明另一种实施例中提供的另一种NVRAM的数据传输组织的结构示意图；

图6示出了本发明另一种实施例中提供的一种传输模块的结构示意图。

具体实施方式

为了使本发明的技术方案及优点更加清楚明白，以下结合附图对本发明的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本发明的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。

NVRAM(Non-VolatileRandomAccessMemory，非易失性随机访问存储器)进行数据传输过程包括：数据传输准备阶段和数据传输执行阶段。数据传输准备阶段耗时较长，对于数据量不大于1M(兆)的小块数据，数据传输准备阶段占用数据传输时间的较大比例。在处理大量的并发小块数据写操作时，上述由于对每个小块数据均执行数据传输准备阶段和数据传输执行阶段，造成大量时间耗费在各小块数据的数据传输准备阶段。为了小块数据传输时，缩短数据传输准备阶段所耗时间，提升NVRAM的数据传输效率，本发明提出了一种NVRAM的数据传输方法，该方法应用于一种终端，该终端上运行有NVRAM的数据传输装置，该NVRAM的数据传输装置如下述图4至图6任一图所示的实施例所述的NVRAM的数据传输装置。该NVRAM的数据传输装置可以接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM，减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

结合上述实施环境，参见图1所示的实施例，本实施例提供了一种NVRAM的数据传输方法，本实施例提供的方法流程具体如下：

101：接收数据；

102：根据数据的数据量判断是否达到传输条件；

可选地，根据数据的数据量判断是否达到传输条件，包括：

当数据的数据量大于1M时，判断达到传输条件；

当数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当数据的数据量与数据总量的和大于1M时，判断达到传输条件，数据传输列表中存放接收到，但未传输至NVRAM的数据；

或者，

当数据的数据量不大于1M时，确定数据的第一接收时间及数据传输列表中各数据的第二接收时间，当第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

可选地，根据数据的数据量判断是否达到传输条件之后，还包括：

若未达到传输条件，则将数据存放于数据传输列表中。

103：若达到传输条件，则将数据传输至NVRAM。

可选地，将数据传输至NVRAM，包括：

将所述数据传输列表中数据与所述数据聚合；

将聚合后的数据传输至NVRAM。

可选地，执行接收数据步骤之前，还包括：

确定NVRAM的可用空间，当数据的数据量不大于NVRAM的可用空间时，执行接收数据的步骤；

或者，

确定数据传输列表中各数据的数据总量和NVRAM的可用空间，当数据的数据量与数据传输列表中各数据的数据总量之和不大于NVRAM的可用空间时，执行接收数据的步骤。

有益效果：

接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM。本发明在对大量的并发小块数据进行写操作时，减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

结合上述实施环境，参见图2所示的实施例，本实施例提供了一种NVRAM的数据传输方法，本实施例提供的方法流程具体如下：

201：接收数据；

本实施例不对接收数据的具体方法进行限定，包括但不限于：接收存储服务器的数据业务层外部传输过来的数据。或者，若存储系统将数据存储在缓存中，则可以接收缓存中的数据。

另外，在接收数据后，还会执行类似修改状态等于该数据相关的其他任务，此种任务的处理方式与现有技术相同，本实施例不再赘述。

此外，为了防止接收的数据所需资源大于NVRAM可用资源，在执行步骤201接收数据之前，还可以确定数据所需资源与NVRAM可用资源之间的关系，当数据所需资源不大于NVRAM可用资源时，执行步骤201接收数据，当数据所需资源大于NVRAM可用资源时，暂时拒绝接收数据，终止流程。

确定数据所需资源与NVRAM可用资源之间的关系的具体方法，包括但不限于：确定NVRAM的可用空间，若数据的数据量不大于NVRAM的可用空间，则确定数据所需资源不大于NVRAM可用资源，继续执行步骤201接收数据，若数据的数据量大于NVRAM的可用空间，则数据所需资源大于NVRAM可用资源，暂时拒绝接收数据，终止流程。

其中，判断数据的数据量与NVRAM的可用空间之间的关系的具体方式，包括但不限于：为接收的数据预分配空间，若预分配空间成功，则认为数据的数据量不大于NVRAM的可用空间，若预分配空间失败，则认为数据的数据量大于NVRAM的可用空间。

除了上述确定数据所需资源与NVRAM可用资源之间的关系的方法之外，还可以通过如下方法确定数据所需资源与NVRAM可用资源之间的关系。

确定数据传输列表中各数据的数据总量和NVRAM的可用空间，若数据的数据量与数据传输列表中各数据的数据总量之和不大于NVRAM的可用空间，则确定数据所需资源不大于NVRAM可用资源，执行步骤201接收数据，若数据的数据量与数据传输列表中各数据的数据总量之和大于NVRAM的可用空间，则确定数据所需资源大于NVRAM可用资源，暂时拒绝接收数据，终止流程。

202：根据数据的数据量判断是否达到传输条件，若未达到传输条件，则执行步骤203，若达到传输条件，则执行步骤204；

本实施例不对根据数据判断是否达到传输条件的具体方法进行限定。

例如：当数据为大于1M的大块数据时，判断达到传输条件；当数据为不大于1M的小块数据时，有2种情况可以判断达到传输条件：

第一种情况：确定数据传输列表中各数据的数据总量，当数据的数据量与数据总量的和大于1M时，判断达到传输条件。

其中，数据传输列表中存放步骤201中接收到的但未传输至NVRAM的数据。

第二种情况：包括如下四个步骤。

步骤一：确定数据的第一接收时间；

步骤二：确定数据传输列表中各数据的第二接收时间；

步骤三：计算第一接收时间与最早的第二接收时间的时间差；

步骤四：当时间差达到预设时间差时，判断达到传输条件。

203：将数据存放于数据传输列表中；

本实施例不对将数据存放于数据传输列表中的具体实施方式进行限定，包括但不限于：将数据存储于缓存中，生成该数据的传输任务，将该传输任务存放于数据传输列表中。

204：将数据传输至NVRAM。

本步骤在具体实施时，可以先将数据传输列表中数据与数据聚合；在将聚合后的数据传输至NVRAM。

具体传输时，可以按现有技术包括：数据传输准备阶段和数据传输执行阶段。

优选的，在将数据传输至NVRAM时，还可以在NVRAM中为数据分配一段或几段连续的空间，将数据传输至NVRAM中分配的空间内。

本实施例在接收到小块数据后，通过先将小块数据存储，待达到传输条件时，将存储的小块数据聚合，进行统一传输，以将聚合后数据的传输准备阶段准备时间进行均摊，降低NVRAM数据访问的平均耗时。

为了直观的描述本实施例提供的方法，在时间消耗上的效果，下面以传输10个相同的小块数据为例进行示意性说明，其中各数据仅为举例，本实施例不进行具体限定。

现有技术中，若每个小块数据在数据传输准备阶段耗时15μs(微秒)，数据传输执行阶段耗时2μs，则现有技术传输总耗时：(15μs+2μs)*10＝170μs。本提案，将10个小块数据聚合成一块数据进行传输，此时，虽然数据传输执行阶段耗时为2μs*10＝20μs，而数据传输准备阶段依然耗时15μs微秒，则总耗时：15μs+20μs＝35μs。

另外，存储系统中写操作处理场景为本实施例的一个常用应用场景，为了更好的说明本实施例提供的方法在存储系统中写操作处理场景中的处理流程，参见图3，进行详细说明：

1、存储系统数据业务层接收外界的写请求；

2、存储系统数据业务层从NVRAM管理模块中预分配空间；

3、存储系统数据业务层处理其他任务完成后，要求NVRAM管理模块将数据同步到NVRAM设备中；

4、如果数据业务层的数据同步请求是小块数据，则NVRAM将该任务放入同步任务列表中；

5、如果数据业务层的同步请求是较大块数据，或者同步任务队列中最早的请求等待了预设时间，则NVRAM管理模块为这若干个数据同步请求分配一段或几段连续的空间，然后进行将数据同步到NVRAM设备中；

6、NVRAM管理模块完成数据同步后，执行回调，触发数据业务层继续执行后续数据同步；

7、存储服务器的数据业务层完成其他操作后，应答外界的写请求。

有益效果：

接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM。本发明在对大量的并发小块数据进行写操作时，并非每个小块数据接收后均直接传输，而是将小块数据放入数据传输列表中，当达到传输条件后，再将达到传输条件数据整合后传输，从而减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

基于同一发明构思，参见图4所示的实施例，本实施例提供了一种NVRAM的数据传输装置，由于这些装置解决问题的原理与一种NVRAM的数据传输方法相似，因此这些装置的实施可以参见方法的实施，重复之处不再赘述。

参见图4，该装置，包括：

接收模块401，用于接收数据；

判断模块402，用于根据接收模块401接收到的数据的数据量判断是否达到传输条件；

传输模块403，用于当判断模块402判断达到传输条件时，将数据传输至NVRAM。

可选地，判断模块，用于当数据的数据量大于1M时，判断达到传输条件；当数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当数据的数据量与数据总量的和大于1M时，判断达到传输条件，数据传输列表中存放接收到，但未传输至NVRAM的数据；或者，当数据的数据量不大于1M时，确定数据的第一接收时间及数据传输列表中各数据的第二接收时间，当第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

参见图5，该装置，还包括：

存放模块404，用于当未达到传输条件时，将数据存放于数据传输列表中。

其中，接收模块401，用于确定NVRAM的可用空间，当数据的数据量不大于NVRAM的可用空间时，执行接收数据的步骤；

或者，

接收模块401，用于确定数据传输列表中各数据的数据总量和NVRAM的可用空间，当数据的数据量与数据传输列表中各数据的数据总量之和不大于NVRAM的可用空间时，执行接收数据的步骤。

参见图6，传输模块403，包括：

聚合单元4031，用于将数据传输列表中数据与数据聚合；

传输单元4032，用于将聚合单元聚合后的数据传输至NVRAM。

有益效果如下：

接收数据后，并不传输该数据，而是根据数据的数据量判断是否达到传输条件，若达到传输条件，则将数据传输至NVRAM。本发明在对大量的并发小块数据进行写操作时，减少了数据传输次数，也即减少了执行数据传输准备阶段的次数，进而缩短了数据传输的平均时延，提升NVRAM的数据传输效率。

上述实施例中，均可以采用现有的功能元器件模块来实施。例如，处理模块可以采用现有的数据处理元器件，至少，现有定位技术中采用的定位服务器上便具备实现该功能元器件；至于接收模块，则是任意一个具备信号传输功能的设备都具备的元器件；同时，处理模块进行的A、n参数计算、强度调整等采用的都是现有的技术手段，本领域技术人员经过相应的设计开发即可实现。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种非易失性随机访问存储器NVRAM的数据传输方法，其特征在于，包括：

接收数据；

根据所述数据的数据量判断是否达到传输条件；

若达到传输条件，则将所述数据传输至NVRAM。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据的数据量判断是否达到传输条件，包括：

当所述数据的数据量大于1兆M时，判断达到传输条件；

当所述数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当所述数据的数据量与所述数据总量的和大于1M时，判断达到传输条件，所述数据传输列表中存放接收到，但未传输至NVRAM的数据；

或者，

当所述数据的数据量不大于1M时，确定所述数据的第一接收时间及所述数据传输列表中各数据的第二接收时间，当所述第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述数据的数据量判断是否达到传输条件之后，还包括：

若未达到传输条件，则将所述数据存放于数据传输列表中。

4.根据权利要求3所述的方法，其特征在于，执行所述接收数据步骤之前，还包括：

确定NVRAM的可用空间，当所述数据的数据量不大于所述NVRAM的可用空间时，执行所述接收数据的步骤；

或者，

确定所述数据传输列表中各数据的数据总量和NVRAM的可用空间，当所述数据的数据量与所述数据传输列表中各数据的数据总量之和不大于所述NVRAM的可用空间时，执行所述接收数据的步骤。

5.根据权利要求4所述的方法，其特征在于，所述将所述数据传输至NVRAM，包括：

将所述数据传输列表中数据与所述数据聚合；

将聚合后的数据传输至NVRAM。

6.一种非易失性随机访问存储器NVRAM的数据传输装置，其特征在于，包括：

接收模块，用于接收数据；

判断模块，用于根据所述接收模块接收到的数据的数据量判断是否达到传输条件；

传输模块，用于当所述判断模块判断达到传输条件时，将所述数据传输至NVRAM。

7.根据权利要求6所述的装置，其特征在于，所述判断模块，用于当所述数据的数据量大于1兆M时，判断达到传输条件；当所述数据的数据量不大于1M时，确定数据传输列表中各数据的数据总量，当所述数据的数据量与所述数据总量的和大于1M时，判断达到传输条件，所述数据传输列表中存放接收到，但未传输至NVRAM的数据；或者，当所述数据的数据量不大于1M时，确定所述数据的第一接收时间及所述数据传输列表中各数据的第二接收时间，当所述第一接收时间与最早的第二接收时间的时间差达到预设时间差时，判断达到传输条件。

8.根据权利要求6或7所述的装置，其特征在于，所述装置，还包括：

存放模块，用于当未达到传输条件时，将所述数据存放于数据传输列表中。

9.根据权利要求8所述的装置，其特征在于，所述接收模块，用于确定NVRAM的可用空间，当所述数据的数据量不大于所述NVRAM的可用空间时，执行所述接收数据的步骤；

或者，

所述接收模块，用于确定所述数据传输列表中各数据的数据总量和NVRAM的可用空间，当所述数据的数据量与所述数据传输列表中各数据的数据总量之和不大于所述NVRAM的可用空间时，执行所述接收数据的步骤。

10.根据权利要求9所述的装置，其特征在于，所述传输模块，包括：

聚合单元，用于将所述数据传输列表中数据与所述数据聚合；

传输单元，用于将所述聚合单元聚合后的数据传输至NVRAM。