CN104536845B - 写缓存的数据同步方法及装置 - Google Patents

Abstract

本发明适用于电子信息技术领域，提供了写缓存的数据同步方法及装置。所述方法包括：当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令。本发明在将写缓存中的数据同步至存储设备时，若存储设备损坏，则及时丢弃SCSI命令队列中待执行的SCSI命令，从而避免造成阻塞；在将写缓存中的数据同步至存储设备时，若采用主从存储设备而当前使用的存储设备损坏，则及时将当前使用的存储设备切换至备用存储设备，从而避免产生系统死机的误判，并避免造成实时数据的丢失。

Description

写缓存的数据同步方法及装置

技术领域

本发明属于电子信息技术领域，尤其涉及写缓存的数据同步方法及装置。

背景技术

为了提高读写文件的速度，操作系统(如Linux或者Windows等)采用缓存机制。当应用程序调用read或write等系统调用读写文件时，操作系统并不立即与存储设备进行交互。当应用程序调用read系统调用读写文件时，首先查看需要读取的数据是否已在读缓存中，若是，则直接从读缓存中读取数据；若否，则从存储设备中读取数据。当从存储设备中读取数据时，首先将数据写入至写缓存。其中，存储设备可能为如硬盘或SD卡(SecureDigital Memory Card，安全数码卡)等。

当满足预设条件时，操作系统将写缓存中的数据同步到存储设备。fsync系统调用用于把一个文件在写缓存中已修改的数据同步到存储设备。在使用过程中发现，当存储设备损坏时，fsync系统调用阻塞时长最长可达数分钟。跟踪定位发现，执行fsync系统调用，在操作系统的通用SCSI(Small Computer System Interface，小型计算机系统接口)驱动层表现为顺序执行N个SCSI写命令，其中，N为正整数，且N的数值随着待同步的写缓存数据量增长。当存储设备(如SD卡)损坏时，每个SCSI写命令的耗时接近6秒，fsync系统调用一直阻塞到SCSI命令队列中的全部命令执行完毕。经测试，往损坏的SD卡中写入一定数据量，再执行fsync系统调用，耗时如下：(1)往损坏的SD卡中写入1MB数据，再执行fsync系统调用，耗时51.8秒；(2)往损坏的SD卡中写入2MB数据，再执行fsync系统调用，耗时99.2秒；(3)往损坏的SD卡中写入5MB数据，再执行fsync系统调用，耗时184.8秒；(4)往损坏的SD卡中写入8MB数据，再执行fsync系统调用，耗时340.4秒。

在实时性很强且对数据丢失零容忍的应用场景中，通常设置了主存储设备和从存储设备的两套互为备用的存储设备，同时也设置了自动检测系统死机并重启系统的机制。当主存储设备损坏时，正确的措施应当是切换到从存储设备。但是，应用程序长时间阻塞(如调用fsync系统调用强制同步写缓存数据至损坏的SD卡)会导致系统死机的误判，并因此错误重启系统，从而造成实时数据丢失。

发明内容

鉴于此，本发明实施例提供了一种写缓存的数据同步方法及装置，以解决现有技术中将写缓存中的数据同步至存储设备时，由于存储设备损坏造成的同步操作长时间阻塞的问题；以及，现有技术中将写缓存中的数据同步至存储设备时，若采用主从存储设备而当前使用的存储设备损坏，则导致产生系统死机的误判，并因此错误地重启系统，造成实时数据丢失的问题。

一方面，本发明实施例提供了一种写缓存的数据同步方法，包括：

当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令。

第二方面，本发明实施例提供了一种写缓存的数据同步装置，包括：

SCSI执行状态值获取单元，用于当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

丢弃单元，用于当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令。

本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过当SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值，并当获取的SCSI执行状态值为第一预设值时，丢弃SCSI命令队列中的所有待执行的SCSI命令，由此在将写缓存中的数据同步至存储设备时，若存储设备损坏，则根据SCSI执行状态值及时丢弃SCSI命令队列中待执行的SCSI命令，从而避免造成阻塞；此外，在将写缓存中的数据同步至存储设备时，若采用主从存储设备而当前使用的存储设备损坏，则根据SCSI执行状态值及时将当前使用的存储设备切换至备用存储设备，从而避免产生系统死机的误判，并避免造成实时数据的丢失。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的写缓存的数据同步方法的实现流程图；

图2是本发明另一实施例提供的写缓存的数据同步方法的实现流程图；

图3是本发明实施例提供的写缓存的数据同步装置的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的写缓存的数据同步方法的实现流程图，详述如下：

在步骤S101中，当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

在步骤S102中，当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令。

当满足预设条件时，操作系统将写缓存中的数据同步到存储设备。预设条件可能包括以下任意一种或几种：(1)写缓存占用过多内存，使内存空间不足；(2)数据在写缓存的停留时长达到时长阈值；(3)接收到将写缓存中的数据同步到存储设备的外部指令；(4)write系统调用使写缓存中待同步到存储设备的数据比例达到临界值。

fsync系统调用用于把一个文件在写缓存中的数据同步到存储设备。执行fsync系统调用将写缓存的数据同步至存储设备，在操作系统的通用SCSI驱动层表现为顺序执行SCSI命令队列中的SCSI命令。

作为本发明的一个实施例，在操作系统通用SCSI驱动层初始化时，对SCSI执行状态值赋予第二预设值。需要说明的是，在本发明实施例中，SCSI执行状态值只可能为第一预设值或者第二预设值。其中，第一预设值可以为OK，第二预设值可以为FAULT；或者，第一预设值可以为1，第二预设值可以为0，在此不作限定。

在本发明实施例中，当SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值。当获取的SCSI执行状态值为第一预设值时，在很大程度上表明存储设备损坏，此时，及时丢弃SCSI命令队列中所有待执行的SCSI命令，以避免对SCSI命令队列中所有SCSI命令均尝试执行后，才返回执行失败的结果。若采用主从两套互为备用的存储设备，则当获取的SCSI执行状态值为第一预设值时，则在很大程度上表明当前使用的存储设备损坏，此时，根据SCSI执行状态值及时将当前使用的存储设备切换至备用存储设备。

进一步地，在步骤S101中所述获取SCSI执行状态值之后，所述方法还包括：

当获取的所述SCSI执行状态值为第二预设值时，取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令。

在本发明实施例中，当获取的SCSI执行状态值为第二预设值时，表明存储设备未损坏。在这种情况下，按照SCSI命令队列中的SCSI命令的顺序从SCSI命令队列中取出一个SCSI命令并执行。

进一步地，在所述取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令之后，所述方法还包括：

当判定所述SCSI命令执行失败时，对所述SCSI执行状态值赋予所述第一预设值。

在尝试执行一个SCSI命令后，若判定该SCSI命令执行失败，则在很大程度上表明存储设备损坏，此时，对SCSI执行状态值赋予第一预设值，丢弃该SCSI命令以及SCSI命令队列中剩余待执行的SCSI命令。

进一步地，在所述取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令之后，所述方法还包括：

当判定所述SCSI命令执行完成时，继续从所述SCSI命令队列中取出下一个SCSI命令并执行所述下一个SCSI命令，直至判定所述下一个SCSI命令执行失败。

在尝试执行一个SCSI命令后，若该SCSI命令执行完成，则SCSI执行状态值保持为第二预设值，且继续从SCSI命令队列中取出下一个SCSI命令并执行，直至判定某一SCSI命令执行失败时，对SCSI执行状态值赋予第一预设值，并丢弃SCSI命令队列中剩余待执行的SCSI命令。

进一步地，所述方法还包括：

当所述SCSI命令队列中无待执行的SCSI命令时，对所述SCSI执行状态值赋予所述第二预设值。

作为本发明的一个实施例，当SCSI命令队列为空，即SCSI命令队列中无待执行的SCSI命令时，对SCSI执行状态值赋予第二预设值。

在本发明实施例中，通过在SCSI命令队列的处理流程中加入SCSI执行状态值来改善写缓存与存储设备之间的数据同步。经测试，往损坏的SD卡中写入一定数据量，再执行fsync系统调用，耗时如下：(1)往损坏的SD卡中写入1MB数据，再执行fsync系统调用，耗时5.76秒；(2)往损坏的SD卡中写入2MB数据，再执行fsync系统调用，耗时5.77秒；(3)往损坏的SD卡中写入5MB数据，再执行fsync系统调用，耗时5.78秒；(4)往损坏的SD卡中写入8MB数据，再执行fsync系统调用，耗时5.78秒；(5)往损坏的SD卡中写入40MB数据，再执行fsync系统调用，耗时5.79秒。通过在SCSI命令队列的处理流程中加入SCSI执行状态值，无论从写缓存同步至存储设备的数据量多大，执行fsync系统调用(即执行SCSI命令队列)的耗时都不超过5.8秒，从而避免了将写缓存中的数据同步至存储设备造成的阻塞。

图2示出了本发明另一实施例提供的写缓存的数据同步方法的实现流程图，为了便于说明，仅示出了与本实施例相关的部分。参照图2，所述方法包括：

在步骤S201中，判断SCSI命令队列中是否有待执行的SCSI命令，若否，执行步骤S202；若是，执行步骤S203；

在步骤S202中，对SCSI执行状态值赋予第二预设值；

在步骤S203中，获取SCSI执行状态值；

在步骤S204中，判断获取的SCSI执行状态值是否为第二预设值，若否，执行步骤S205；若是，执行步骤S206；

在步骤S205中，丢弃SCSI命令队列中的所有待执行的SCSI命令；

在步骤S206中，取出SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令；

在步骤S207中，判断所述SCSI命令是否执行完成，若是，返回执行步骤S206；若否，执行步骤S208；

在步骤S208中，对SCSI执行状态值赋予第一预设值。

应理解，在本发明实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例通过当SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值，并当获取的SCSI执行状态值为第一预设值时，丢弃SCSI命令队列中的所有待执行的SCSI命令，由此在将写缓存中的数据同步至存储设备时，若存储设备损坏，则根据SCSI执行状态值及时丢弃SCSI命令队列中待执行的SCSI命令，从而避免造成阻塞；此外，在将写缓存中的数据同步至存储设备时，若采用主从存储设备而当前使用的存储设备损坏，则根据SCSI执行状态值及时将当前使用的存储设备切换至备用存储设备，从而避免产生系统死机的误判，并避免造成实时数据的丢失。

图3示出了本发明实施例提供的写缓存的数据同步装置的结构框图，该装置可以用于运行图1或图2所述的写缓存的数据同步方法。为了便于说明，仅示出了与本实施例相关的部分。

参照图3，该装置包括：

SCSI执行状态值获取单元31，用于当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

丢弃单元32，用于当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令。

进一步地，所述装置还包括：

SCSI命令执行单元33，用于当获取的所述SCSI执行状态值为第二预设值时，取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令。

进一步地，所述装置还包括：

第一赋值单元34，用于当判定所述SCSI命令执行失败时，对所述SCSI执行状态值赋予所述第一预设值。

进一步地，所述SCSI命令执行单元33还用于：

当判定所述SCSI命令执行完成时，继续从所述SCSI命令队列中取出下一个SCSI命令并执行所述下一个SCSI命令，直至判定所述下一个SCSI命令执行失败。

进一步地，所述装置还包括：

第二赋值单元35，用于当所述SCSI命令队列中无待执行的SCSI命令时，对所述SCSI执行状态值赋予所述第二预设值。

本发明实施例通过当SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值，并当获取的SCSI执行状态值为第一预设值时，丢弃SCSI命令队列中的所有待执行的SCSI命令，由此在将写缓存中的数据同步至存储设备时，若存储设备损坏，则根据SCSI执行状态值及时丢弃SCSI命令队列中待执行的SCSI命令，从而避免造成阻塞；此外，在将写缓存中的数据同步至存储设备时，若采用主从存储设备而当前使用的存储设备损坏，则根据SCSI执行状态值及时将当前使用的存储设备切换至备用存储设备，从而避免产生系统死机的误判，并避免造成实时数据的丢失。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种写缓存的数据同步方法，其特征在于，包括：

当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令；

在所述获取SCSI执行状态值之后，所述方法还包括：

当获取的所述SCSI执行状态值为第二预设值时，取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令；

在所述取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令之后，所述方法还包括：

当判定所述SCSI命令执行失败时，对所述SCSI执行状态值赋予所述第一预设值，丢弃该SCSI命令以及SCSI命令队列中剩余待执行的SCSI命令；

在所述取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令之后，所述方法还包括：

当判定所述SCSI命令执行完成时，继续从所述SCSI命令队列中取出下一个SCSI命令并执行所述下一个SCSI命令，直至判定所述下一个SCSI命令执行失败。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

当所述SCSI命令队列中无待执行的SCSI命令时，对所述SCSI执行状态值赋予所述第二预设值。

3.一种写缓存的数据同步装置，其特征在于，包括：

SCSI执行状态值获取单元，用于当小型计算机系统接口SCSI命令队列中有待执行的SCSI命令时，获取SCSI执行状态值；

丢弃单元，用于当获取的所述SCSI执行状态值为第一预设值时，丢弃所述SCSI命令队列中的所有待执行的SCSI命令；

所述装置还包括：

SCSI命令执行单元，用于当获取的所述SCSI执行状态值为第二预设值时，取出所述SCSI命令队列中的第一个SCSI命令并执行所述SCSI命令；

所述装置还包括：

第一赋值单元，用于当判定所述SCSI命令执行失败时，对所述SCSI执行状态值赋予所述第一预设值，丢弃该SCSI命令以及SCSI命令队列中剩余待执行的SCSI命令；

所述SCSI命令执行单元还用于：

当判定所述SCSI命令执行完成时，继续从所述SCSI命令队列中取出下一个SCSI命令并执行所述下一个SCSI命令，直至判定所述下一个SCSI命令执行失败。

4.如权利要求3所述的装置，其特征在于，所述装置还包括：

第二赋值单元，用于当所述SCSI命令队列中无待执行的SCSI命令时，对所述SCSI执行状态值赋予所述第二预设值。