CN101404657A

CN101404657A - 一种基于iSCSI协议的网络存储系统中的文件完整性检查方法

Info

Publication number: CN101404657A
Application number: CNA2008102187572A
Authority: CN
Inventors: 贾力瑛
Original assignee: GUANGZHOU WISEFLY TECHNOLOGY Co Ltd
Current assignee: GUANGZHOU WISEFLY TECHNOLOGY Co Ltd
Priority date: 2008-10-30
Filing date: 2008-10-30
Publication date: 2009-04-08
Anticipated expiration: 2028-10-30
Also published as: CN101404657B

Abstract

本发明公开了一种基于iSCSI协议的网络存储系统中的文件完整性检查方法，由基于iSCSI协议的网络存储系统的启动装置和目标装置协同完成，通过iSCSI命令扩展和iSCSI协议扩展实现完整性检查。本发明方法适用于基于iSCSI协议的网络存储系统中的数据块、整个文件及网络共享存储系统中的数据互斥操作的完整性检查。基于iSCSI协议的网络存储系统使用本发明方法能实现数据安全共享和文件完整性保护。

Description

一种基于iSCSI协议的网络存储系统中的文件完整性检查方法

技术领域

本发明涉及一种基于iSCSI协议的网络存储系统中的数据完整性检查方法。

背景技术

iSCSI(互联网小型计算机系统接口)是一种在Internet协议网络上，特别是在以太网上进行数据块传输的标准，是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。简单地说，iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行路由选择。

SCSI(小型计算机系统接口)是一种广泛使用的连接硬盘和计算机的技术标准，iSCSI这种技术则是将该技术应用到网络连接上，对于中小企业的存储网络而言，iSCSI技术的性价比要高于基于光纤的产品。iSCSI是基于IP协议的技术标准，是允许网络在TCP/IP协议上传输SCSI命令的新协议，实现了SCSI和TCP/IP协议的连接，该技术允许用户通过TCP/IP网络来构建存储区域网(SAN)。

iSCSI协议就是一个在网络上封装和分解的过程，在网络的一端，数据包被封装成包括TCP/IP头、iSCSI识别包和SCSI数据三部分内容，传输到网络另一端时，这三部分内容分别被顺序地分解开。

参照图1，iSCSI模块230由一块SCSI卡发出一个SCSI命令，命令被封装到第四层的IP数据包中并发送。接收方从IP数据包中抽取SCSI命令并执行，然后把返回的SCSI命令和数据封装到IP数据包240中，并将它们发回到发送方。系统抽取数据或命令，并把它们传回SCSI子系统。所有这一切的完成都无需用户干预，而且对终端用户是完全透明的。

现有标准iSCSI协议目标装置在数据处理上处于被动地位，也就是启动装置发送什么命令请求，目标装置被动的执行，很少主动和启动装置交流。iSCSI协议实质是端到端(target端和initiator端)的数据传输和保护，目标装置或启动装置可在iSCSI协议的保留字段中增加它所希望的任何信息，并要求目标装置返回写入情况。目标装置中，没有文件系统的概念，对任何数据都以块来写入磁盘。在网络传输310过程中，无法保证每次都会完整的写入内容，即使写入了完整的块，就在块的分界处时，出现网络断开时，造成文件的不完整。对于应用系统来讲是致命的，尤其数据库系统文件等。造成的这些不完整性包含应用系统突然停止服务、网络突然断开及断电等因素。在共享存储数据环境中，没有完整性处理，其它装置访问这些数据将是错误的数据。

存储系统首要保证数据的完整保存和返回数据，禁止端到端检查产生极大数据丢失和不完整数据保存的风险。根据上面的讨论，需要强制性对端到端数据做完整性检查。

发明内容

本发明的目的是提供一种基于iSCSI协议的网络存储系统中的文件完整性检查方法，系统使用这个方法可实现数据安全共享和文件完整性保护。

本发明的目的通过以下技术方案予以实现：

一种基于iSCSI协议的网络存储系统中的文件完整性检查方法，由基于iSCSI协议的网络存储系统的启动装置和目标装置协同完成，通过iSCSI命令扩展和iSCSI协议扩展实现完整性检查，包括

①数据块的完整性检查：提供iSCSI扩展协议规定的保留字段，对于原本iSCSI系统中的启动装置和目标装置经过IP数据包封装后，再传送出去，两端装置在iSCSI层将其分解，如果是完整性检查数据包，则执行完整性检查并将状态信息返回，再由SCSI层解读剩余的SCSI命令描述块格式数据及其命令；

②文件完整性的检查：在启动装置写入文件过程中，写入数据块需要启动装置和目标装置双方做完整性检查，数据一致后才放弃重传；数据写入完成后，如果是完整的文件，需要通过iSCSI扩展命令，发送到目标装置，目标装置返回已收到的完整性信息；

③网络共享存储系统的完整性检查：在共享网络存储的环境中，目标装置发布该文件修改信息，其它启动装置更新自己的缓存数据和此文件相关信息，确保数据的一致性。

本发明所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法，包括以下具体的检查步骤：

登录，启动装置(initiator)登录到目标装置(target)中，任何一个接收到没有执行登录过程的启动装置的iSCSI PDU(iSCSI Protocol Data Units，iSCSI协议数据单元)的目标装置都将生成一个协议错误，而且目标装置也会关闭连接；

封装，启动装置将数据封装，并把校验信息保存到iSCSI PDU中的保留字段中；

发送，启动装置通过IP网络发送封装好的IP数据包；

提取，目标装置除去一些协议数据，获取源数据；

校验，目标装置计算校验值与传送过来的校验值比较；

返回，目标装置计算后判断如果相同，返回文件传输成功，否则返回文件传输错误；

获取，启动装置发现错误，重新传输，否则继续；

传输，启动装置数据块传输完成后，进行文件完整性计算；

扩展，启动装置将计算的结果传给目标装置；

解析，目标装置解析，其命令为完整性检验，计算校验码；

校验，目标装置计算校验值与传送过来的校验值比较；

结束，共享存储系统中，将文件完整性信息发送给每个启动装置；

更新，每个启动装置对其文件信息进行更新。

本发明所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法适用于基于iSCSI协议的网络存储系统中的数据块的完整性检查。

本发明所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法适用于基于iSCSI协议的网络存储系统中的整个文件的完整性检查。

本发明所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法适用于基于iSCSI协议的网络共享存储系统中的数据互斥操作的完整性检查。

也就是说，本发明通过iSCSI命令扩展和iSCSI协议扩展实现完整性检查，而这种检查需要基于iSCSI协议的网络存储系统的启动装置和目标装置协同来完成；它是iSCSI协议的扩展，因此不失为其标准性；每个数据块都能够实时确认，避免信息错误或丢失；对整个文件进行完整性检查，避免传输过程中的错误和保证数据的完整性，特别在共享环境中，数据的不完整将影响很多服务，本发明很好的解决了这个问题。

此外，本发明还提出一种共享环境网络系统中数据互斥操作完整性的检查方法。所提供的方法实质上包括实现共享存储文件完整性检验的步骤。在一个实例中，在多个启动装置共享数据时，一个启动装置更新数据，其它启动装置需要更新本地的缓存，这就需要一种方法发布更新完整的信息，启动装置可以完成，但启动装置之间可能并不互通，因此目标装置是发布完整信息的最佳选择，它正是通过发布扩展的iSCSI命令并附带文件属性给启动装置，完成文件完整性检查和数据的同步更新。

附图说明

图1是基于iSCSI协议的网络存储系统中，端到端的数据流向示意图；

图2是基于数据块完整性检测实施例方框示意图；

图3是基于文件完整性检测实施例方框示意图；

图4是共享数据启动装置的完整性检查实施例示意图；

图5本发明完整性检查的流程图。

具体实施方式

本发明提供一种基于iSCSI协议的网络存储系统中的文件完整性检查方法，这种方法需要启动装置和目标装置协同来完成，它能够完成存储系统中数据块、文件和共享存储环境中的完整性检查。

图1是基于iSCSI协议的网络存储系统中端到端的数据流向示意图，其中图标说明如下：210-目标装置中保存数据实体，通常指硬盘系统；220-目标装置中保证数据的容错性(raid系列算法)和空间的管理(lvm)；230-目标装置中承载数据的PDU，块完整性信息保存到这个之中；扩展命令和数据信息也在这里封装；240-目标装置中把iSCSI数据包封装为IP包；250-目标装置中IP数据包通过IP网络传输；310-数据经过的物理链路；150-启动装置接受到网络数据包；140-启动装置接受和分解IP数据包；130-启动装置分析iSCSI包，对协议扩展和命令的扩展分别处理；120-启动装置的文件系统；110-启动装置。

请参照图2，途中启动装置与目标装置之间的数据操作，实质是对iSCSI协议的封装和分解的操作。当启动装置需要做数据操作时，把命令描述块直接传递给SCSI层的磁盘驱动程序(这个驱动是磁盘虚拟磁盘驱动)，这和以往的对本地机器磁盘驱动类似。接着对源数据进行封装，计算校验码，起用iSCSI协议PDU的保留字段，填充校验信息，封装完成后，通过IP网络发送到目标装置。目标装置获取iSCSI包后，分离出数据，然后进行校验码计算，分解出完整性检测信息，将计算的校验码与之比较，如果相同，返回完整收到信息给启动装置，否则返回获取的数据不完整，重新传输。

图2的实施例只能用于数据块的校验，所有数据块都完整，但并不表明组成的一个文件是完整的。这是因为由于iSCSI协议通过IP网络传输，由于网络传输的复杂性，掉线时常发生，还包括其它如停止服务，写入错误问题，导致写入数据到目标装置时数据不完整。目标装置只能保证每个数据块是完整，但它不知道一个完整的文件究竟由多少数据块组成，在文件系统中的起始和结束地址是多少，因此目标装置是无法判断一个完整的文件包含哪些块，从而无法判断文件的完整性，这个需要启动装置来配合完整。

图3实施例是本发明完整实施例，用于iSCSI协议的网络存储系统中文件的完整性检查，此实施例建立在图2实施例基础上。也就是在所有文件块传输完成后，再实施文件的完整性判断。同图2起始阶段一样，操作都在途中启动装置与目标装置之间的进行。在完成图2的块级传输后，将实施文件级的完整性检查。首先启动装置发出封装命令iFILE_FULL，表示文件写完，进行文件完整检查。携带信息包含文件的起始范围和校验码，是否需要更新到其它启动装置，以及一个完整的PDU的对齐信息。之所以有是否需要更新到其它启动装置这一步骤是因为如果启动装置知道自己是独享这个存储通道，就没有必要更新；同样，目标装置可以根据系统的链接判断哪些启动装置在线，从而更新这些启动装置。

图3实施例当启动装置封装完文件完整性检查的命令和数据包后，发送给目标装置。目标装置获取命令iFILE_FULL后，分解PDU，根据启动装置提供的文件起始范围对所有数据块进行校验码计算，然后进行校验码比较，如果完全一致。如果一致将返回，再分解判断是否需要发布给其它装置.返回的PDU包含返回命令iFILE_FULL_END，此命令表示指定文件完整写入的目标装置中；还包含文件起始范围；是否执行的更新发布以及PDU的对齐信息。启动装置收到此包后，根据结果作出是否重传的决定。目标装置发布消息给每个已连接的启动装置，通知它们哪个文件或是哪些数据范围需要更新，启动装置接收到更新指定范围后，经过iSCSI层进行数据更新和缓存。这个缓存是文件属性相关信息，部分启动装置具有缓存数据的功能，因此需要同时更新启动装置缓存数据。

在图3的实施例中，该方法包括数据块的完整性和文件完整性的强制性检查。它具有本发明扩展命令和强制完整性检查的特性。

实施例中除了用于网络存储完整性检测外，还可在网络共享存储环境中使用本发明方法，见图4实施例。此实施例由多个启动装置组成，同时使用目标装置的数据。它的执行流程如下：

争取，由启动装置争取写入请求；

界定，成功后，对某个文件进行写操作，其它启动装置被目标装置界定为只读；

传送，iSCSI协议将封装数据包，然后通过IP网络传输给目标装置；

利用，为完整性，需要图2的实施例过程；

验证，启动装置文件传送完成后，发送扩展命令给目标装置，表示此文件写入完成；

通告，目标装置发送命令，通知其它启动装置更新数据，并能够重新获取写权限了。

整个过程完全遵循本发明步骤，因此本发明为共享存储提供了强制完整性文件检查，保证每个启动装置获取的都是完整的数据。

在图5为本发明的流程图，它是一般陈述式逻辑流程图。因此提供的步骤就是方法中的实施例，它是一个功能单位，不是实质的操作步骤，可以扩展。其它步骤和方法可被认为在功能、逻辑或效果上与图解说明的方法的一个或多个步骤或多个部分等同。其次，采用的描述和符号被用于解释该方法的逻辑步骤，不是对方法的限制。其箭头和线条表明数据流方向，不是方法的范围。一些特定的方法中发生顺序可以严格遵守所示对应步骤的顺序，也可以不严格遵守，选择其中一个或多个都可行。

虽说图5是本发明流程图，也可以用于实施例的操作步骤的参考，本发明着重强调数据更改和传输时的应用级完整性，即文件完整性。由于安全性，启动装置需要登录系统，如果登录不成功则继续登录，否则启动装置文件系统各种操作响应，目标装置不关心文件系统问题，它所有数据都按照块来处理，包括文件系统的超级块、INODE节点等内容。文件更新过程中，判断是否文件已经传送完成，如果完成，启动装置处理验证信息，否则直接计算校验码；计算完成后进行iSCSI协议包的封装，再通过IP数据包的封装直接通过IP网络传送数据给目标装置。此过程中启动装置主要是网络连接，数据包的封装，校验码计算以及通过文件系统判断文件是否传输完成。

目标装置通过IP网络接收到IP数据包后，经过层层分解，然后获取iSCSI协议的PDU，利用iSCSI协议进行命令分解，判断是数据更新还是文件传输完成。如果是数据块更新，直接通过计算校验码与PDU附带的进行比较；如果是文件完成命令，获取文件起始地址，进行校验码计算后进行比较。然后判断是否一致，如果不一致，则需要重新传送，否则继续分解PDU，和根据目标装置判断是否需要公告给其它启动装。

整个流程可以根据需要进行步骤拆解，不局限于整个流程的全部应用。总之，本发明例举了上述优选实施方式，但是应该说明，本领域的技术人员可以进行各种变化和改型。因此，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims

1.一种基于iSCSI协议的网络存储系统中的文件完整性检查方法，其特征在于，由基于iSCSI协议的网络存储系统的启动装置和目标装置协同完成，通过iSCSI命令扩展和iSCSI协议扩展实现完整性检查，包括

2.根据权利要求1所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法，其特征在于，包括以下具体的检查步骤：

登录，启动装置登录到目标装置中，任何一个接收到没有执行登录过程的启动装置的iSCSI PDU的目标装置都将生成一个协议错误，而且目标装置也会关闭连接；

发送，启动装置通过IP网络发送封装好的IP数据包；

提取，目标装置除去一些协议数据，获取源数据；

校验，目标装置计算校验值与传送过来的校验值比较；

获取，启动装置发现错误，重新传输，否则继续；

传输，启动装置数据块传输完成后，进行文件完整性计算；

扩展，启动装置将计算的结果传给目标装置；

解析，目标装置解析，其命令为完整性检验，计算校验码；

校验，目标装置计算校验值与传送过来的校验值比较；

更新，每个启动装置对其文件信息进行更新。

3.根据权利要求1或2所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法，其特征在于，适用于基于iSCSI协议的网络存储系统中的数据块的完整性检查。

4.根据权利要求1或2所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法，其特征在于，适用于基于iSCSI协议的网络存储系统中的整个文件的完整性检查。

5.根据权利要求1或2所述的基于iSCSI协议的网络存储系统中的文件完整性检查方法，其特征在于，适用于基于iSCSI协议的网络共享存储系统中的数据互斥操作的完整性检查。