CN103678149A - 数据处理的方法及设备 - Google Patents

Abstract

本发明涉及一种数据处理的方法及设备，该方法应用于数据处理设备，该数据处理设备包括控制单元，第一非易失性存储单元和第二非易失性存储单元，第一非易失性存储单元写数据的速度高于第二非易失性存储单元写数据的速度，包括：控制单元从虚拟机接收写数据请求，写数据请求包括第一数据；确定第一数据的日志记录；比较第一数据的日志记录的大小与第一非易失性存储单元的剩余空间，若第一数据的日志记录的大小大于第一非易失性存储单元的剩余空间，则控制单元控制第一非易失性存储单元将第二数据的日志记录转储于第二非易失性存储单元，以使第一非易失性存储单元的剩余空间增加。由此能减小向第一非易失性存储单元写入数据失败的概率。

Description

数据处理的方法及设备

技术领域

本发明涉及云计算领域，尤其涉及一种数据处理的方法及设备。

背景技术

虚拟化技术是云计算领域的关键技术之一，其主要原理是将一台物理机的物理资源虚拟化为多个可以独立运行操作系统的虚拟机，每个虚拟机都可以独立实现物理机的功能，互不干扰，虚拟机使用过程与物理机一致，可以认为虚拟机是物理机的一种抽象化形式。

图1是现有技术的物理机虚拟化的示意图。图1中，硬件平台100上的各种物理资源（包括中央处理器102、内存103、存储104（磁盘、固态硬盘（Solid State Driver，SSD）等等）、网卡105）被虚拟化管理系统110抽象为多个虚拟机（Virtual Machine,VM）130，在图中以130a、130b、和130c示例，其中物理存储104可以位于本地或远端（位于远端时需通过存储网络进行访问）。虚拟资源的功能与真实物理资源的作用完全一致，用户在虚拟机中对虚拟资源的操作与物理机完全一致。在不同的虚拟机中可以安装独立的操作系统132，以及一个或多个应用程序131。与图1不同的另外一种通用虚拟化示意中，虚拟硬件平台可以被包括在虚拟机130中。

虚拟机管理系统110包括多个软件组件，包括虚拟机监视器（VirtualMachine Monitor，VMM）120，在图中以120a、120b、和120c示例；管理虚拟化的软件组件等等。管理系统负责将物理存储104抽象为各个独立的虚拟存储124，供不同的虚拟机130使用，所有虚拟机130表面上使用的是各个独立的虚拟存储124，实际上则是使用的一个或多个物理存储104中的不同空间（以文件或其他形式占用这部分空间）。当某个虚拟机130访问其对应的虚拟存储124时，管理系统110将对虚拟存储124的请求映射为对物理存储104不同空间的请求，从而实现不同虚拟机130拥有各自独立的虚拟存储124，在使用上相互独立。

该方案抽象来看，写请求数据首先写入到高速、大容量、易失主存介质103（内存），并同步写入到高速、小容量、非易失性随机存储器104（NVRAM）后返回。由于NVRAM容量通常比较小，从而可能出现写入失败的情况。

发明内容

本发明实施例提供了一种数据处理的方法及设备，能减小向NVRAM写入数据失败的概率。

第一方面，提供了一种数据处理的方法，该方法应用于数据处理设备，所述数据处理设备包括控制单元，第一非易失性存储单元和第二非易失性存储单元，所述第一非易失性存储单元写数据的速度高于所述第二非易失性存储单元写数据的速度，所述方法包括：

所述控制单元从虚拟机接收写数据请求，所述写数据请求包括第一数据；

确定所述第一数据的日志记录；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则所述控制单元控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据的日志记录转储于所述第二非易失性存储单元，以使所述第一非易失性存储单元的剩余空间增加。

根据第一方面，在第一方面的第二种可能的实现方式中，所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间之前，所述方法还包括：

所述控制单元的IO控制模块将所述第一数据的日志记录大小发送给所述控制单元的IO统计模块，所述IO统计模块保存所述第一非易失性存储单元的剩余空间；

所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间包括：

所述IO统计模块比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，并向所述IO控制模块返回比较结果信息。

根据第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述方法还包括：

若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，所述IO统计模块再次比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

根据第一方面，在第一方面的第三种可能的实现方式中，所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间之前，所述方法还包括：

所述控制单元的IO控制模块向所述控制单元的IO统计模块发送查询请求信息，所述查询请求信息用于查询所述第一非易失性存储单元的剩余空间；

所述IO控制模块从所述IO统计模块获取所述第一非易失性存储单元的剩余空间；

所述比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间包括：

所述IO控制模块比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

根据第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述方法还包括：

若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，所述IO控制模块再次向所述IO统计模块发送所述查询请求信息。

根据第一方面的第一种可能的实现方式或者第一方面的第二种可能的实现方式，在第一方面的第五种可能的实现方式中，所述若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，所述控制单元控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据转储于所述第二非易失性存储单元包括：

所述IO统计模块向所述IO控制模块发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息；

所述IO控制模块根据所述第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元发送所述数据转储请求信息，以使所述第一非易失性存储单元根据所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元，并且在接收到所述第二非易失性存储单元返回的成功转储的信息后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元的剩余空间增加。

根据第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式中，所述在接收到所述第二非易失性存储单元返回的成功转储的信息后，所述方法还包括：

所述IO控制模块向所述IO统计模块发送所述第二数据的日志记录的大小，由所述IO统计模块根据所述第二数据的日志记录的大小更新所述第一非易失性存储单元和所述第二非易失性存储单元的剩余空间。

根据第一方面，在第一方面的第七种可能的实现方式中，所述方法还包括：

若所述第一数据的日志记录的大小不大于所述第一非易失性存储单元的剩余空间，并且所述第一非易失性存储单元的写入速度不大于预设的阈值时，将所述第一数据的日志记录写入所述第一非易失性存储单元。

根据第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，所述在将所述第一数据的日志记录写入所述第一非易失性存储单元之后，所述方法还包括：

所述IO控制模块接收所述第一非易失性存储单元返回的成功写入的信息，向所述IO统计模块发送所述第一数据的日志记录的大小，由所述IO统计模块根据所述第一数据的日志记录的大小更新所述第一非易失性存储单元的剩余空间。

根据第一方面或者第一方面的上述八种可能的实现方式中任一种可能的实现方式，在第一方面的第九种可能的实现方式中，所述方法还包括：

所述控制单元从所述虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；

根据所述待读出数据标识，从所述内存读取所述待读出数据；

将所述待读出数据返回给所述虚拟机。

第二方面，提供了一种数据处理设备，该数据处理设备包括：控制单元，第一非易失性存储单元和第二非易失性存储单元，所述第一非易失性存储单元写数据的速度高于所述第二非易失性存储单元写数据的速度；

所述控制单元，用于从虚拟机接收写数据请求，所述写数据请求包括第一数据；

确定所述第一数据的日志记录；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据的日志记录转储于所述第二非易失性存储单元，以使所述第一非易失性存储单元的剩余空间增加；

所述第一非易失性存储单元，用于将所述第二数据的日志记录转储于所述第二非易失性存储单元；

所述第二非易失性存储单元，用于写入所述第二数据的日志记录。

所述控制单元包括IO控制模块和IO统计模块；

所述IO控制模块，用于将所述第一数据的日志记录大小发送给所述IO统计模块；

所述IO统计模块保存所述第一非易失性存储单元的剩余空间，用于比较所述IO控制模块发送的第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，并向所述IO控制模块返回比较结果信息。

根据第二方面，在第二方面的第二种可能的实现方式中，所述IO统计模块还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，再次比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

根据第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述控制单元包括IO控制模块和IO统计模块；

所述IO控制模块，用于向所述IO统计模块发送查询请求信息，所述查询请求信息用于查询所述第一非易失性存储单元的剩余空间；

从所述IO统计模块获取所述第一非易失性存储单元的剩余空间；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

根据第二方面，在第二方面的第三种可能的实现方式中，所述IO控制模块还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，再次向所述IO统计模块发送所述查询请求信息。

根据第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述IO统计模块还用于向所述IO控制模块发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息；

所述IO控制模块，还用于根据所述IO统计模块发送的第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元发送所述数据转储请求信息；

所述第二非易失性存储单元，还用于向所述第一非易失存储单元返回成功转储的信息；

所述第一非易失存储单元，还用于根据所述IO控制模块发送的所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元；在接收到所述第二非易失性存储单元返回的所述成功转储的信息后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元的剩余空间增加。

根据第二方面的第一种可能的实现方式或者第二方面的第二种可能的实现方式，在第二方面的第五种可能的实现方式中，所述IO控制模块还用于根据所述成功转储的信息向所述IO统计模块发送所述第二数据的日志记录的大小；

所述IO统计模块，还用于根据所述IO控制模块发送的所述第二数据的日志记录的大小更新所述第一非易失性存储单元和所述第二非易失性存储单元的剩余空间。

根据第二方面的第五种可能的实现方式，在第二方面的第六种可能的实现方式中，所述设备还包括：写入单元，用于若所述第一数据的日志记录的大小不大于所述第一非易失性存储单元的剩余空间，并且所述第一非易失性存储单元的写入速度不大于预设的阈值时，将所述第一数据的日志记录写入所述第一非易失性存储单元。

根据第二方面，在第二方面的第七种可能的实现方式中，所述第一非易失性存储单元，还用于向所述IO控制模块返回成功写入的信息；

所述IO控制模块，还用于接收所述第一非易失性存储单元返回的成功写入的信息，向所述IO统计模块发送所述第一数据的日志记录的大小；

所述IO统计模块，还用于根据所述IO控制模块发送的所述第一数据的日志记录的大小更新所述第一非易失性存储单元的剩余空间。

根据第二方面或者第二方面的上述八种可能的实现方式中任一种可能的实现方式，在第二方面的第九种可能的实现方式中，所述控制单元还用于从所述虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；

根据所述待读出数据标识，从内存读取所述待读出数据；

将所述待读出数据返回给所述虚拟机。

本发明实施例提供的数据处理的方法及设备，控制单元从虚拟机接收写数据请求，写数据请求包括第一数据；确定第一数据的日志记录；比较第一数据的日志记录的大小与第一非易失性存储单元的剩余空间，若第一数据的日志记录的大小大于第一非易失性存储单元的剩余空间，则控制单元控制第一非易失性存储单元将第二数据的日志记录转储于第二非易失性存储单元，以使第一非易失性存储单元的剩余空间增加。由此能减小向第一非易失性存储单元写入数据失败的概率。

附图说明

图1是现有技术的物理机虚拟化的示意图；

图2为本发明实施例一提供的数据处理设备结构示意图；

图3为本发明实施例一提供的数据处理的方法流程图；

图4为本发明实施例二提供的数据处理设备结构示意图；

图5为本发明实施例二提供的数据处理的方法流程图；

图6为本发明实施例三提供的数据转储的方法流程图；

图7为本发明实施例四提供的数据处理设备的示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

在当前的虚拟机部署环境中，为节省资源，多个虚拟存储是位于同一个物理存储介质中的。这就造成，当多个虚拟机对各自的虚拟存储发送读写请求时，本质上是对同一个物理存储介质发起读写请求。物理存储介质有多项技术指标，其中的每秒进行读写操作的次数（Input/Output Operations PerSecond，IOPS）指标决定了其响应读写请求的速度，其值越大，则响应越快。但在当前阶段，任何物理存储介质所能提供的IOPS数值都是有限的。具体的IOPS数值又与读写请求类型相关，读写请求类型可分为顺序读写、随机读写。顺序读写是指读写请求在存储介质的物理空间上是连续的，而随机读写是指读写请求在存储介质的物理空间上是非连续的、是间断的。一般说来，物理存储介质的顺序读写IOPS要远远大于随机读写IOPS，而在虚拟化环境中，多个虚拟机的读写请求在发给同一个物理存储时，会产生极大的随机性。最终各个虚拟存储的读写性能由于相互影响而迅速降低，极大影响虚拟机用户的使用体验。

在虚拟化环境下使用的大容量存储介质主要包括内存、磁盘、固态硬盘（Solid State Driver，SSD）、非易失性随机存储器（Non Volatile RandomAccess Memory，NVRAM）等等。从速度上对比，内存、NVRAM等是IO响应速度最快的介质，其中内存在掉电后数据会丢失，NVRAM则不会，但NVRAM价格昂贵；从容量及成本上对比，磁盘是容量最大且成本最低的介质，但其IOPS最低，尤其是随机IOPS。这几种介质在速度、容量及成本上存在矛盾，虚拟化存储部署中一般会根据用户需求进行各种存储介质的搭配，使之在速度、容量及成本上达到一个平衡。

图2为本发明实施例一提供的数据处理设备20结构示意图，所述数据处理设备20包括内存201，控制单元202，第一非易失性存储单元203和第二非易失性存储单元204，所述第一非易失性存储单元203写数据的速度高于所述第二非易失性存储单元204写数据的速度，因此，能够实现业务数据的快速备份，尤其是对于内存中存储处理设备需要存储的业务数据的情况下，能够保证内存数据的安全性。图2中，内存201为高速、大容量、易失主存介质，需要响应读写数据请求；第一非易失性存储单元203为高速、小容量、非易失缓存介质，负责缓存写请求数据，并与控制单元202结合，进行数据的转储；第二非易失性存储单元204为低速、大容量、非易失持久化介质，第一非易失性存储单元203和第二非易失性存储单元204联合操作，持久化存储写请求数据。当进行读数据请求响应时，由内存201进行响应；当进行写数据请求响应时，由第一非易失性存储单元203和第二非易失性存储单元204进行响应，并在第一非易失性存储单元203剩余空间不足时，采用异步方式将写请求数据转储到第二非易失性存储单元204中。读写数据请求及数据转储过程由控制单元202进行管理，以达到高速的响应读写数据请求的目的。

图3为本发明实施例一提供的数据处理的方法流程图，该方法应用于图2所示的数据处理设备20。如图3所示，所述方法具体包括：

S310，所述控制单元从虚拟机接收写数据请求，所述写数据请求包括第一数据。

当用户向计算机写入数据时，虚拟机便向控制单元202发出写数据请求，该写数据请求中包括待写入的第一数据。

S320，确定所述第一数据的日志记录。

需要说明的是，根据写数据请求中包括的第一数据确定第一数据的日志记录属于现有技术，在此不作赘述。

S330，比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则所述控制单元控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据的日志记录转储于所述第二非易失性存储单元，以使所述第一非易失性存储单元的剩余空间增加。

举例来说，控制单元202接收到写数据请求之后，并且判断第一数据的日志记录的大小大于第一非易失性存储单元203的剩余空间时，控制单元202便控制第一非易失性存储单元203将第一非易失性存储单元203中的第二数据的日志记录转储于第二非易失性存储单元204中，在第一非易失性存储单元203将第二数据的日志记录成功转储于第二非易失性存储单元204时，释放第二数据的日志记录在第一非易失性存储单元203占用的存储空间，以使第一非易失性存储单元203的剩余空间增加。

可选地，控制单元202还可以从虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；根据所述待读出数据标识，从所述内存读取所述待读出数据；将所述待读出数据返回给所述虚拟机。

图4为本发明实施例二提供的数据处理设备40结构示意图，所述数据处理设备40包括内存401，IO控制模块402，IO统计模块403，第一非易失性存储单元404和第二非易失性存储单元405，所述第一非易失性存储单元404写数据的速度高于所述第二非易失性存储单元405写数据的速度。具体地，可以是控制单元包括IO控制模块402和IO统计模块403。当设备启动、运行及重启时，各模块在不同操作流程中的关联关系如图4中连线所示，连线的箭头方向代表了数据流向，其中的数据分为系统控制数据及上层下发的读写数据请求。具体地，IO控制模块402主要有两个状态：挂起和正常读写，当IO控制模块402为挂起状态时，整个设备不响应读写请求；当IO控制模块402为正常读写状态时，整个设备才能正常响应读写请求；具体地，IO控制模块402在系统启动、运行及重启时进行数据加载以及负责进行读写数据请求的控制，包括查询IO统计模块403、设定IO延时时间、分发IO给不同的存储介质、控制数据转储操作等等。IO统计模块403负责统计读写数据请求的次数、时间、完成耗时、存储介质容量等信息，并进行统计信息的整理、分析。内存401为高速、大容量、易失主存介质，需要响应所有读写数据请求；第一非易失性存储单元404为高速、小容量、非易失缓存介质，负责缓存所有的写请求数据，并与IO控制模块402和IO统计模块403结合，进行数据的转储；第二非易失性存储单元405为低速、大容量、非易失持久化介质，第一非易失性存储单元404和第二非易失性存储单元405联合操作，持久化存储所有的写请求数据。当进行读数据请求响应时，由内存401进行响应；当进行写数据请求响应时，由第一非易失性存储单元404和第二非易失性存储单元405进行响应，并在第一非易失性存储单元404剩余空间不足时，采用异步方式将写请求数据转储到第二非易失性存储单元405中。读写数据请求及数据转储过程由IO控制模块402和IO统计模块403进行管理，以达到高速的响应读写数据请求的目的。

图5为本发明实施例二提供的数据处理的方法流程图，该方法应用于图4所示的数据处理设备40。如图5所示，所述方法具体包括：

S510，虚拟机400向IO控制模块402发送写数据请求，该写数据请求包括第一数据。

当用户向计算机写入数据时，虚拟机400便向IO控制模块402发出写数据请求，该写数据请求中包括待写入的第一数据。

S520，IO控制模块402从虚拟机接收写数据请求，确定第一数据的日志记录，并将第一数据的日志记录大小发送给IO统计模块403。

S530，IO统计模块403接收IO控制模块402发送的第一数据的日志记录的大小，比较第一数据的日志记录的大小与第一非易失性存储单元404的剩余空间，并向IO控制模块402返回比较结果信息。

可选地，S530可以替换为S531，S531具体实现为：IO控制模块402向IO统计模块403发送查询请求信息，所述查询请求信息用于查询第一非易失性存储单元404的剩余空间；从IO统计模块403获取第一非易失性存储单元404的剩余空间；比较第一数据的日志记录的大小与第一非易失性存储单元404的剩余空间。

S540，IO控制模块402根据比较结果信息判断是否可以向第一非易失性存储单元404写入第一数据的日志记录，是则，执行步骤S580；否则执行步骤S550。

S550，IO控制模块402向第一非易失性存储单元404发送数据转储请求信息，该数据转储请求信息包括第二数据的地址信息。

S560，第一非易失性存储单元404根据第二数据的地址信息将第二数据的日志记录转储于第二非易失性存储单元405，并且在接收到第二非易失性存储单元405返回的成功转储的信息后，释放所述第二数据的日志记录占用的存储空间。

S570，延迟指定阈值时间之后，IO统计模块403再次比较所述第一数据的日志记录的大小与第一非易失性存储单元404的剩余空间，向IO控制模块402返回比较结果信息，返回S540。

当步骤S530替换为S531时，S570则替换为S571，S571具体实现为：延迟指定阈值时间之后，IO控制模块402再次向IO统计模块403发送查询请求信息；从IO统计模块403获取第一非易失性存储单元404的剩余空间；比较第一数据的日志记录的大小与第一非易失性存储单元404的剩余空间，返回S540。

S580，IO控制模块402向内存401发送写数据请求。

IO控制模块402向内存401发送写数据请求之后，由IO统计模块403记录该次写数据请求响应的开始时间。

S590，内存401接收IO控制模块402发送的写数据请求，写入第一数据的日志记录，并向第一非易失性存储单元404发送上述写数据请求。

S5100，第一非易失性存储单元404接收内存401发送的写数据请求，写入第一数据的日志记录，向IO控制模块402返回成功写入的信息。

具体地，第一非易失性存储单元404接收到内存401发送的写数据请求之后，判断第一非易失性存储单元404的写入速度是否不大于预设的阈值时，在不大于预设的阈值时，将第一数据的日志记录写入第一非易失性存储单元404。需要说明的是，当写入速度大于预设的阈值时，说明系统处于高负荷状态，如果再进行写请求处理，容易导致读写请求处理错误或者系统崩溃。此处，预设的阈值的大小根据设备当前进行读写请求处理的次数确定，在设备进行读写请求处理的次数比较大时，该预设的阈值可以设置长一些，但一般均为毫秒级，相反，则该预设的阈值可以设置短一些。

S5110，IO控制模块402将上述成功写入的信息返回给虚拟机，并向IO统计模块403发送所述第一数据的日志记录的大小。

S5120，IO统计模块403根据第一数据的日志记录的大小更新第一非易失性存储单元404的剩余空间。

IO统计模块403在接收到第一数据的日志记录的大小之后，根据已记录的该次写数据请求响应的开始时间和接收到第一数据的日志记录的大小的时间，计算响应该次写数据请求的耗时，并根据第一数据的日志记录的大小更新内存401和第一非易失性存储单元404的剩余空间，举例为，分别减小记录的内存401和第一非易失性存储单元404的剩余空间，减小的值为第一数据的日志记录大小。

上述IO控制模块402基于IO统计模块403对写数据请求的延时控制，可以达到在高速地响应写数据请求时，保证用户数据的不丢失。

本发明实施例提供的数据处理的方法，在判断第一数据的日志记录的大小大于第一非易失性存储单元404的剩余空间时，将第一非易失性存储单元404中的第二数据的日志记录转储于第二非易失性存储单元405中，在第一非易失性存储单元404的剩余空间足够大时，再向第一非易失性存储单元404写入数据，从而可以减小写入数据失败的概率。

图6为本发明实施例三提供的数据转储的方法流程图。如图6所示，所述方法具体包括：

S610，若第一数据的日志记录的大小大于第一非易失性存储单元404的剩余空间，IO统计模块403向所述IO控制模块402发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息。

IO统计模块403在向所述IO控制模块402发送数据转储指示信息之后，IO统计模块302记录该次数据转储请求响应的开始时间。

S620，IO控制模块402根据所述第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元404发送所述数据转储请求信息。

S630，第一非易失性存储单元404根据所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元405中。

S640，第二非易失性存储单元405完成第二数据的日志记录写入之后，向第一非易失性存储单元404返回成功转储的信息。

S650，第一非易失性存储单元404接收到第二非易失性存储单元405返回的成功转储的信息之后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元404的剩余空间增加，并向IO控制模块402返回成功转储的信息。

S660，IO控制模块402向IO统计模块403发送第二数据的日志记录的大小。

S670，IO统计模块403根据所述第二数据的日志记录的大小更新第一非易失性存储单元404和第二非易失性存储单元405的剩余空间。

举例为，IO统计模块403根据已记录的该次数据转储请求响应的开始时间和接收到第二数据的日志记录的大小的时间，计算进行该次数据转储请求处理的耗时，增大记录的第一非易失性存储单元404的剩余空间，减小记录的第二非易失性存储单元405的剩余空间，增大和减小的值为第二数据的日志记录大小。

上述在将第一非易失性存储单元404中的第二数据的日志记录转储于第二非易失性存储单元405的过程中，因为第一非易失性存储单元404中的数据同时在内存401也会存储，所以IO控制模块402可根据第一非易失性存储单元404的响应速度等指标，选择从第一非易失性存储单元404读取所需数据，或者直接从内存401中读取对应的数据。

图7为本发明实施例四提供的数据处理设备的示意图，所述设备可以用于执行图2或图3所示的方法。图7中，所述数据处理设备包括：控制单元701，第一非易失性存储单元702和第二非易失性存储单元703，所述第一非易失性存储单元702写数据的速度高于所述第二非易失性存储单元703写数据的速度。

所述控制单元701，用于从虚拟机接收写数据请求，所述写数据请求包括第一数据。

确定所述第一数据的日志记录。

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元702的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元702的剩余空间，控制所述第一非易失性存储单元702将所述第一非易失性存储单元中702的第二数据的日志记录转储于所述第二非易失性存储单元703，以使所述第一非易失性存储单元702的剩余空间增加。

所述第一非易失性存储单元702，用于将所述第二数据的日志记录转储于所述第二非易失性存储单元703。

所述第二非易失性存储单元703，用于写入所述第二数据的日志记录。

可选地，所述控制单元701包括IO控制模块704和IO统计模块705；

所述IO控制模块704，用于将所述第一数据的日志记录大小发送给所述IO统计模块705；所述IO统计模块705保存所述第一非易失性存储单元702的剩余空间，用于比较所述IO控制模块704发送的第一数据的日志记录的大小与所述第一非易失性存储单元702的剩余空间，并向所述IO控制模块704返回比较结果信息。

可选地，所述IO统计模块705还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元702的剩余空间，则延迟指定阈值时间之后，再次比较所述第一数据的日志记录的大小与所述第一非易失性存储单元702的剩余空间。

可选地，所述控制单元701包括IO控制模块704和IO统计模块705；

所述IO控制模块704，用于向所述IO统计模块705发送查询请求信息，所述查询请求信息用于查询所述第一非易失性存储单元702的剩余空间；从所述IO统计模块705获取所述第一非易失性存储单元702的剩余空间；比较所述第一数据的日志记录的大小与所述第一非易失性存储单元702的剩余空间。

可选地，所述IO控制模块704还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元702的剩余空间，则延迟指定阈值时间之后，再次向所述IO统计模块705发送所述查询请求信息。

可选地，所述IO统计模块705还用于向所述IO控制模块704发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息；所述IO控制模块704还用于根据所述IO统计模块705发送的第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元702发送所述数据转储请求信息；

所述第二非易失性存储单元703还用于向所述第一非易失存储单元702返回成功转储的信息；

所述第一非易失存储单元702还用于根据所述IO控制模块704发送的所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元703；在接收到所述第二非易失性存储单元703返回的所述成功转储的信息后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元702的剩余空间增加。

可选地，所述IO控制模块704还用于根据所述成功转储的信息向所述IO统计模块705发送所述第二数据的日志记录的大小；所述IO统计模块705还用于根据所述IO控制模块704发送的所述第二数据的日志记录的大小更新所述第一非易失性存储单元702和所述第二非易失性存储单元703的剩余空间。

可选地，所述设备还包括：写入单元706，用于若所述第一数据的日志记录的大小不大于所述第一非易失性存储单元702的剩余空间，并且所述第一非易失性存储单元702的写入速度不大于预设的阈值时，将所述第一数据的日志记录写入所述第一非易失性存储单元702。

可选地，所述第一非易失性存储单元702还用于向所述IO控制模块704返回成功写入的信息；所述IO控制模块704还用于接收所述第一非易失性存储单元702返回的成功写入的信息，向所述IO统计模块705发送所述第一数据的日志记录的大小；

所述IO统计模块705还用于根据所述IO控制模块704发送的所述第一数据的日志记录的大小更新所述第一非易失性存储单元702的剩余空间。

可选地，所述控制单元701，还用于从所述虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；根据所述待读出数据标识，从内存读取所述待读出数据；将所述待读出数据返回给所述虚拟机。本发明实施例四提供的设备植入了本发明实施例二提供的方法，因此，本发明提供的设备的具体工作过程，在此不复赘述。

本发明实施例提供的数据处理方法及设备，在判断第一数据的日志记录的大小大于第一非易失性存储单元702的剩余空间时，将第一非易失性存储单元702中的第二数据的日志记录转储于第二非易失性存储单元703中，在第一非易失性存储单元702的剩余空间足够大时，再向第一非易失性存储单元702写入数据，从而可以减小写入数据失败的概率。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种数据处理的方法，所述方法应用于数据处理设备，其特征在于，所述数据处理设备包括控制单元，第一非易失性存储单元和第二非易失性存储单元，所述第一非易失性存储单元写数据的速度高于所述第二非易失性存储单元写数据的速度，所述方法包括：

所述控制单元从虚拟机接收写数据请求，所述写数据请求包括第一数据；

确定所述第一数据的日志记录；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则所述控制单元控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据的日志记录转储于所述第二非易失性存储单元，以使所述第一非易失性存储单元的剩余空间增加。

2.如权利要求1所述的方法，其特征在于，所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间之前，所述方法还包括：

所述控制单元的IO控制模块将所述第一数据的日志记录大小发送给所述控制单元的IO统计模块，所述IO统计模块保存所述第一非易失性存储单元的剩余空间；

所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间包括：

所述IO统计模块比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，并向所述IO控制模块返回比较结果信息。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，所述IO统计模块再次比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

4.如权利要求1所述的方法，其特征在于，所述比较所述第一数据的日志记录的大小与第一非易失性存储单元的剩余空间之前，所述方法还包括：

所述控制单元的IO控制模块向所述控制单元的IO统计模块发送查询请求信息，所述查询请求信息用于查询所述第一非易失性存储单元的剩余空间；

所述IO控制模块从所述IO统计模块获取所述第一非易失性存储单元的剩余空间；

所述比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间包括：

所述IO控制模块比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

5.如权利要求4所述的方法，其特征在于，所述方法还包括：

若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，所述IO控制模块再次向所述IO统计模块发送所述查询请求信息。

6.如权利要求2或3所述的方法，其特征在于，所述若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，所述控制单元控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据转储于所述第二非易失性存储单元包括：

所述IO统计模块向所述IO控制模块发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息；

所述IO控制模块根据所述第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元发送所述数据转储请求信息，以使所述第一非易失性存储单元根据所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元，并且在接收到所述第二非易失性存储单元返回的成功转储的信息后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元的剩余空间增加。

7.如权利要求6所述的方法，其特征在于，所述在接收到所述第二非易失性存储单元返回的成功转储的信息后，所述方法还包括：

所述IO控制模块向所述IO统计模块发送所述第二数据的日志记录的大小，由所述IO统计模块根据所述第二数据的日志记录的大小更新所述第一非易失性存储单元和所述第二非易失性存储单元的剩余空间。

8.如权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一数据的日志记录的大小不大于所述第一非易失性存储单元的剩余空间，并且所述第一非易失性存储单元的写入速度不大于预设的阈值时，将所述第一数据的日志记录写入所述第一非易失性存储单元。

9.如权利要求8所述的方法，其特征在于，所述在将所述第一数据的日志记录写入所述第一非易失性存储单元之后，所述方法还包括：

所述IO控制模块接收所述第一非易失性存储单元返回的成功写入的信息，向所述IO统计模块发送所述第一数据的日志记录的大小，由所述IO统计模块根据所述第一数据的日志记录的大小更新所述第一非易失性存储单元的剩余空间。

10.如权利要求1-9任一所述的方法，其特征在于，所述方法还包括：

所述控制单元从所述虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；

根据所述待读出数据标识，从所述内存读取所述待读出数据；

将所述待读出数据返回给所述虚拟机。

11.一种数据处理设备，其特征在于，所述数据处理设备包括：控制单元，第一非易失性存储单元和第二非易失性存储单元，所述第一非易失性存储单元写数据的速度高于所述第二非易失性存储单元写数据的速度；

所述控制单元，用于从虚拟机接收写数据请求，所述写数据请求包括第一数据；

确定所述第一数据的日志记录；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，控制所述第一非易失性存储单元将所述第一非易失性存储单元中的第二数据的日志记录转储于所述第二非易失性存储单元，以使所述第一非易失性存储单元的剩余空间增加；

所述第一非易失性存储单元，用于将所述第二数据的日志记录转储于所述第二非易失性存储单元；

所述第二非易失性存储单元，用于写入所述第二数据的日志记录。

12.如权利要求11所述的设备，其特征在于，所述控制单元包括IO控制模块和IO统计模块；

所述IO控制模块，用于将所述第一数据的日志记录大小发送给所述IO统计模块；

所述IO统计模块保存所述第一非易失性存储单元的剩余空间，用于比较所述IO控制模块发送的第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间，并向所述IO控制模块返回比较结果信息。

13.如权利要求12所述的设备，其特征在于，所述IO统计模块还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，再次比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

14.如权利要求11所述的设备，其特征在于，所述控制单元包括IO控制模块和IO统计模块；

所述IO控制模块，用于向所述IO统计模块发送查询请求信息，所述查询请求信息用于查询所述第一非易失性存储单元的剩余空间；

从所述IO统计模块获取所述第一非易失性存储单元的剩余空间；

比较所述第一数据的日志记录的大小与所述第一非易失性存储单元的剩余空间。

15.如权利要求14所述的设备，其特征在于，所述IO控制模块还用于若所述第一数据的日志记录的大小大于所述第一非易失性存储单元的剩余空间，则延迟指定阈值时间之后，再次向所述IO统计模块发送所述查询请求信息。

16.如权利要求12或13所述的设备，其特征在于，

所述IO统计模块，还用于向所述IO控制模块发送数据转储指示信息，所述数据转储指示信息包括：所述第二数据的地址信息；

所述IO控制模块，还用于根据所述IO统计模块发送的第二数据的地址信息生成数据转储请求信息，向所述第一非易失性存储单元发送所述数据转储请求信息；

所述第二非易失性存储单元，还用于向所述第一非易失存储单元返回成功转储的信息；

所述第一非易失存储单元，还用于根据所述IO控制模块发送的所述数据转储请求信息将所述第二数据的日志记录转储于所述第二非易失性存储单元；在接收到所述第二非易失性存储单元返回的所述成功转储的信息后，释放所述第二数据的日志记录占用的存储空间，以使所述第一非易失性存储单元的剩余空间增加。

17.根据权利要求16所述的设备，其特征在于，

所述IO控制模块，还用于根据所述成功转储的信息向所述IO统计模块发送所述第二数据的日志记录的大小；

所述IO统计模块，还用于根据所述IO控制模块发送的所述第二数据的日志记录的大小更新所述第一非易失性存储单元和所述第二非易失性存储单元的剩余空间。

18.根据权利要求11所述的设备，其特征在于，所述设备还包括：写入单元，用于若所述第一数据的日志记录的大小不大于所述第一非易失性存储单元的剩余空间，并且所述第一非易失性存储单元的写入速度不大于预设的阈值时，将所述第一数据的日志记录写入所述第一非易失性存储单元。

19.根据权利要求18所述的设备，其特征在于，

所述第一非易失性存储单元，还用于向所述IO控制模块返回成功写入的信息；

所述IO控制模块，还用于接收所述第一非易失性存储单元返回的成功写入的信息，向所述IO统计模块发送所述第一数据的日志记录的大小；

所述IO统计模块，还用于根据所述IO控制模块发送的所述第一数据的日志记录的大小更新所述第一非易失性存储单元的剩余空间。

20.如权利要求11-19任一所述的设备，其特征在于，

所述控制单元，还用于从所述虚拟机接收读数据请求，所述读数据请求包括待读出数据标识；

根据所述待读出数据标识，从内存读取所述待读出数据；

将所述待读出数据返回给所述虚拟机。

Images