CN101763227B - 数据处理方法和虚拟硬盘 - Google Patents

Abstract

本发明实施例提供一种数据处理方法和虚拟硬盘，其中方法包括：接收磁盘读写请求，磁盘读写请求包括待读写的数据地址；如果待读写的数据地址超过高速缓冲存储器的实际地址的范围，则将待读写的数据地址映射为待读写的数据的高速缓冲存储器的实际地址；从映射后的高速缓冲存储器的实际地址中读写数据。本发明实施例中，如果待读写的数据地址超过高速缓冲存储器的实际地址的范围，则将待读写的数据地址映射为待读写的数据的高速缓冲存储器的实际地址，数据的读写均在高速缓冲存储器中进行。由于高速缓冲存储器成本较低，稳定性较高，所以本发明实施例提供的数据处理方法和虚拟硬盘，既能满足存储系统的测试要求，又能降低测试成本，提高稳定性。

Description

数据处理方法和虚拟硬盘

技术领域

本发明涉及存储测试技术领域，尤其涉及一种数据处理方法和虚拟硬盘。

背景技术

现有技术中固态硬盘的结构通常包括现场可编程门阵列(Field ofProgrammable Gate Array，简称FPGA)、闪存(flash)、微控制器(MicroControl Unit，简称MCU)和高速缓冲存储器(cache)。MCU用于处理协议命令，将硬盘接口接收到的命令解析。FPGA实现硬盘的协议逻辑，从闪存和高速缓冲存储器中读写数据。闪存用于存储数据。高速缓冲存储器用于存储缓冲数据。FPGA在读取数据时，首先从高速缓冲存储器中读取，如果高速缓冲存储器中没有该数据，FPGA再从闪存中读取数据。高速缓冲存储器的容量比闪存小，起辅助优化作用，FPGA最终会将数据存入闪存中。闪存中存储的数据掉电不丢失，高速缓冲存储器中存储的数据掉电丢失。

很多测试场景需要大量的硬盘。现有技术中，通常是采用成品硬盘进行测试。

在实现本发明过程中，发明人发现：很多场景中如存储系统测试，需要购买大量的硬盘作为辅助设备；在某些应用场景中对于测试用的硬盘的容量要求很大，大容量机械硬盘成本很高且容易损坏，使得测试过程中的稳定性降低，大容量固态硬盘则成本更加昂贵，从而造成了测试成本的增高。

发明内容

本发明实施例提供一种数据处理方法和虚拟硬盘，用以提高存储系统测试过程的稳定性，以及降低存储系统测试过程的成本。

本发明实施例提供了一种数据处理方法，所述方法应用于存储系统测试领域，所述方法包括：

设置高速缓冲存储器的虚拟硬盘容量；

接收磁盘读写请求，所述磁盘读写请求包括待读写的数据地址；

如果待读写的数据地址超过高速缓冲存储器的实际地址的范围，则将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址；

从映射后的待读写的数据的高速缓冲存储器的实际地址中读写数据。

本发明实施例还提供了一种数据处理装置，所述装置应用于存储系统测试领域，所述装置包括：

接收模块，用于接收磁盘读写请求，所述磁盘读写请求包括待读写的数据地址；

映射模块，用于当所述接收模块接收到的磁盘读写请求中的数据地址超过高速缓冲存储器的实际地址的范围时，将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址；

处理模块，用于从所述映射模块映射后的高速缓冲存储器的实际地址读写数据；

还包括：设置模块，用于设置高速缓冲存储器的虚拟硬盘容量。

本发明实施例提供的数据处理方法和虚拟硬盘，接收到磁盘读写请求后，如果待读写的数据地址超过了高速缓冲存储器的实际地址的范围，则将待读写的数据地址映射为待读写的数据的高速缓冲存储器的实际地址，数据的读写均在高速缓冲存储器中进行，而不是如同现有技术那样在闪存或机械硬盘中进行数据读写。由于高速缓冲存储器成本相对较低，而且稳定性较高，所以本发明实施例提供的数据处理方法及虚拟硬盘，既能满足存储系统的测试要求，又能降低测试成本，提高稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明数据处理方法实施例一的流程图；

图2所示为本发明虚拟硬盘实施例一的结构示意图；

图3所示为本发明虚拟硬盘实施例二的结构示意图；

图4所示为本发明测试系统实施例的结构示意图；

图5所示为本发明实施例中将待读写的数据的地址映射为高速缓冲存储器的实际容量对应的地址的一种方法的示意图；

图6所示为本发明实施例中将待读写的数据的地址映射为高速缓冲存储器的实际容量对应的地址的另一种方法的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明数据处理方法实施例一的流程图，包括：

步骤101、接收磁盘读写请求，该磁盘读写请求包括待读写的数据地址。

步骤102、如果待读写的数据地址超过高速缓冲存储器的实际地址的范围，则将待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址。

步骤103、从映射后的高速缓冲存储器的实际地址中读写数据。

下面详细说明本发明实施例一的实现过程。

现有技术中的成品硬盘的容量是固定的，导致一定容量的硬盘只能满足特定场景下的测试。即使是一些超大容量的硬盘，有可能无法满足所有大容量场景下的测试。

对于很多场合的测试而言，并不关注实际存储的数据，而更多地关注数据的读写能力。在这种情况下，数据操作只在高速缓冲存储器进行，而无需将数据存入后端存储介质(例如，闪存)中，完全满足测试需求。本发明的各实施例中，后端存储介质是指实际存放硬盘数据的介质，例如，机械硬盘的后端存储介质为碟片，通常的固态硬盘的后端存储介质为闪存。

从高速缓冲存储器中读写数据，而不是从闪存中读写数据，可以进一步降低测试成本。因为固态硬盘的成本主要集中在闪存上，闪存擦写次数有限，出现坏块的几率大。高速缓冲存储器由于本身的物理性质决定，不会出现如同闪存中的坏块，寿命相对闪存来说要长，价格也较闪存便宜，所以从高速缓冲存储器中读写数据，可以降低测试成本。虽然高速缓冲存储器中存储的数据掉电会丢失，但是对于很多测试应用来说，大多数并不关注硬盘中存储的数据内容，所以读写只在高速缓冲存储器中进行可以满足多数测试的要求。

实施例一中，在步骤101之前，还可以包括步骤100a：设置高速缓冲存储器的虚拟硬盘容量。该虚拟硬盘容量根据测试要求来设置，在需要大容量硬盘的测试场合中，通常要求的硬盘容量大于高速缓冲存储器的实际容量。此后测试设备重新识别虚拟硬盘时，就将该虚拟硬盘容量认为是虚拟硬盘的实际容量。

高速缓冲存储器的虚拟硬盘容量可以由设置装置(例如计算机或其他能够对虚拟硬盘发送自定义命令进行容量大小设置的装置)控制MCU来设置。例如，计算机可以发送自定义ATA(Advanced Technology Attachment，简称ATA)命令给虚拟硬盘，虚拟硬盘中的接口芯片接收到该ATA命令后，将该命令发送给MCU，MCU解析出该ATA命令后即可以获得要求设置的容量大小，MCU可以将该容量信息进行存储。虚拟硬盘也有可能遵循其他的协议，但是不管是基于何种协议的，都可以由设置装置控制MCU来设置高速缓冲存储器的虚拟硬盘容量。

测试设备(如主机)与虚拟硬盘连接后，可以获取高速缓冲存储器的虚拟硬盘容量。例如，ATA协议中规定了一种Identify格式的数据，该数据占有512个字节，共256个字段(word)，即一个扇区的大小。其中字段60:61以及字段100:103分别记载有硬盘使用28比特(bit)逻辑块寻址(LogicalBlock Addressing，简称LBA)地址和使用48比特LBA地址的容量信息。测试设备识别虚拟硬盘时会发送一个命令读取该字段的值来识别高速缓冲存储器的虚拟硬盘容量。将这个字段的值修改为设置设备发送给虚拟硬盘的设置命令中的容量大小，测试设备就会将该容量信息当作该高速缓冲存储器的虚拟硬盘容量。

实施例一中，在步骤101之前，还可以包括步骤100b：预先将高速缓冲存储器以扇区为单位进行划分，并为划分后的扇区分配高速缓冲存储器的实际地址。该步骤100b可以在步骤100a之前执行。通常高速缓冲存储器初始的地址是以比特(bit)为单位的，但是虚拟硬盘接收到的磁盘读写请求中的数据地址是LBA地址，是以扇区为单位的，所以可以将高速缓冲存储器的地址以扇区为单位进行划分，使得高速缓冲存储器的地址也是以扇区为单位。例如，可以将高速缓冲存储器中512M比特地址划分为1M扇区，以此类推，将高速缓冲存储器的地址划分为多个扇区。

如果虚拟硬盘遵循其他协议，例如串行连接SCSI(Serial Attached SCSI，简称SAS)协议，则可以按照其他协议规定的方式，设置高速缓冲存储器的虚拟硬盘容量。

实施例一中，首先虚拟硬盘接收设置设备的设置命令，设置高速缓冲存储器的虚拟硬盘容量。当测试设备需要识别该虚拟硬盘时，测试设备会发送特定命令读取特定字段的值获取该高速缓冲存储器的虚拟硬盘容量(也就是虚拟硬盘的虚拟容量)。虚拟硬盘接收测试设备发送的磁盘读写请求。对于测试设备来说，测试设备获取的虚拟硬盘的容量是虚拟的容量，远大于虚拟硬盘的实际容量。对于本发明实施例来说，虚拟硬盘的实际容量是高速缓冲存储器的实际容量。这样有可能测试设备要读写的数据的地址会超过高速缓冲存储器的实际容量对应的实际地址的范围。如果待读写的数据的地址超过了高速缓冲存储器的实际地址的范围，则虚拟硬盘将写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址，并从映射后的高速缓冲存储器的实际地址读写数据。如果待读写的数据地址没有超过高速缓冲存储器的实际地址的范围，则从高速缓冲存储器与待读写的数据对应的地址中读写数据。

本发明实施例一提供的方法，接收到磁盘读写请求，如果待读写的数据地址超过了高速缓冲存储器的实际地址的范围，则将待读写的数据的地址映射为高速缓冲存储器的实际地址，通过这种方法，由高速缓冲存储器作为数据存储的载体，避免了在闪存或机械硬盘中进行数据读写。由于高速缓冲存储器成本相对机械硬盘或者闪存硬盘较低，而且稳定性较高，所以本发明实施例提供的数据处理方法，既能满足存储系统的测试要求，又能降低测试成本，提高稳定性。

步骤102中，将待读写的数据的地址映射为高速缓冲存储器的实际容量对应的地址具体可以包括：将待读写的数据的地址除以高速缓冲存储器的实际地址的最大值，所得的余数作为待读写的数据的高速缓冲存储器的实际地址。

如图5所示为本发明实施例中将待读写的数据的地址映射为高速缓冲存储器的实际容量对应的地址的一种方法的示意图，假设，高速缓冲存储器的实际地址的最大值为A，最小值为0，测试设备待读写的数据的地址为B，则虚拟硬盘将B除以A所得的余数B’作为待读写的数据在高速缓冲存储器中的实际地址。

在虚拟硬盘中，对于一个地址的映射方式是唯一且是连续的，这样可以保证从该地址读出的数据和写入该地址的数据保持一致，满足某些局部数据一致性的测试需求。例如，测试设备发送用于写入B地址的命令，虚拟硬盘将B除以A所得的余数B’作为向高速缓冲存储器中写入数据的地址。随后，测试设备发送用于从B地址读出数据的命令，虚拟硬盘将B除以A所得的余数B’作为从高速缓冲存储器中读出数据的地址。这样，从高速缓冲存储器中读出和写入的数据是一致的。

步骤102中，将待读写的数据的地址映射为高速缓冲存储器的实际地址具体包括：将待读写的数据地址与高速缓冲存储器的保留地址的最大值之间的差值，除以高速缓冲存储器的实际地址的最大值与高速缓冲存储器的保留地址的最大值之间的差值，所得的余数与高速缓冲存储器的保留地址的最大值的和B”作为待读写的数据的高速缓冲存储器的实际地址。

如图6所示为本发明实施例中将待读写的数据的地址映射为高速缓冲存储器的实际容量对应的地址的另一种方法的示意图，假设，高速缓冲存储器的实际地址的最大值为A，最小值为0，高速缓冲存储器的保留地址的最大地址为C，也就是说高速缓冲存储器中0-C地址是保留地址。该保留地址可用于存放一些特殊数据，这些特殊数据要求不能被不允许的读写操作破坏。假设测试设备待读写的数据地址为B，如果B大于等于A，则MCU将B减去C的差除以A减去C的差所得的余数与C之间的和B”作为待读写的数据的高速缓冲存储器的实际地址。

在上述的实施例中，虚拟硬盘进行数据处理过程中用到的固件和设置信息可以从闪存中获取。例如，虚拟硬盘中的MCU可能用到一些驱动程序，这些驱动程序可以存储在闪存中。设置信息可以是MCU设置的虚拟硬盘的虚拟容量大小。

本发明实施例提供的数据处理方法，接收到磁盘读写请求后，如果待读写的数据地址超过了高速缓冲存储器的实际地址的范围，则将待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址，数据的读写均在高速缓冲存储器中进行，而不是如同现有技术那样在闪存或机械硬盘中进行数据读写。由于高速缓冲存储器成本相对较低，而且稳定性较高，所以本发明实施例提供的数据处理方法及虚拟硬盘，既能满足存储系统的测试要求，又能降低测试成本、提高稳定性。

如图2所示为本发明虚拟硬盘实施例一的结构示意图，该虚拟硬盘包括接收模块11、映射模块12和处理模块13。接收模块11用于接收磁盘读写请求，所述磁盘读写请求包括待读写的数据地址。映射模块12用于当接收模块11接收到的磁盘读写请求中待读写的数据地址超过高速缓冲存储器的实际地址的范围时，将待读写的数据的地址映射为高速缓冲存储器的实际地址。处理模块13用于从映射模块12映射成的高速缓冲存储器的实际地址读写数据。

图2所示的虚拟硬盘还可以包括扇区划分模块，该扇区划分模块用于将虚拟硬盘中的高速缓冲存储器以扇区为单位进行划分，并为划分后的扇区分配高速缓冲存储器的实际地址。

图2所示的虚拟硬盘还可以包括设置模块，该设置模块用于设置高速缓冲存储器的虚拟硬盘容量。例如，设置模块接收可以接收设置设备发送的ATA命令，解析出该ATA命令后即可以获得要求设置的容量大小，并可以将该容量信息进行存储。

其中，映射模块12具体可以用于当接收模块接收到的磁盘读写请求中待读写的数据的地址超过高速缓冲存储器的实际地址的范围时，将待读写的数据的地址除以高速缓冲存储器的实际地址的最大值，所得的余数作为待读写的数据的高速缓冲存储器的实际地址。

映射模块12也可以用于当接收模块接收到的磁盘读写请求中的待读写的数据地址超过高速缓冲存储器的实际地址的范围时，将待读写的数据地址与所述高速缓冲存储器的保留地址的最大值之间的差值，除以高速缓冲存储器的实际地址的最大值与高速缓冲存储器的保留地址的最大值之间的差值，所得的余数与高速缓冲存储器的保留地址的最大值的和作为待读写的数据的高速缓冲存储器的实际地址。

如图3所示为本发明虚拟硬盘实施例二的结构示意图，该实施例中，接收模块11、映射模块12、处理模块13、设置模块14和扇区划分模块15均设置在MCU1中。FPGA2可以与一个接口芯片连接，不同的虚拟硬盘遵循不同的协议，该接口芯片实现的协议逻辑也就不同。例如，如果虚拟硬盘遵循ATA协议，则该接口芯片可以是一个串行ATA(Serial ATA，简称SATA)桥接片。该接口芯片可以接收来自测试设备的各种命令，并将该命令上报给FPGA2，FPGA2以中断的方式将接收到的命令通知MCU1。具体到本发明的实施例中，MCU1中的接收模块11接收到磁盘读写请求之后，如果待读写的数据地址超过了高速缓冲存储器3的实际地址的范围，则映射模块12将该命令中数据地址映射成高速缓冲存储器3的实际地址，处理模块13可以控制FPGA2从映射后的高速缓冲存储器3的实际地址中读写数据。

该虚拟硬盘还可以包括的闪存4用于存储MCU1需要用到的固件和设置信息。

本发明实施例提供的虚拟硬盘，接收模块接收到磁盘读写请求后，如果待读写的数据地址超过了高速缓冲存储器的实际地址的范围，则映射模块将待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址，由处理模块从映射成的高速缓冲存储器的实际地址进行数据读写，数据的读写均在高速缓冲存储器中进行，而不是如同现有技术那样在闪存或机械硬盘中进行数据读写。由于高速缓冲存储器成本相对较低，而且稳定性较高，所以本发明实施例提供的虚拟硬盘，既能满足存储系统的测试要求，又能降低测试成本、提高稳定性。

本发明实施例中，虚拟硬盘可以与计算机连接，计算机作为被测设备使用。虚拟硬盘也可以通过主机总线适配器(Host Bus Adapter，简称HBA)卡与服务器连接。虚拟硬盘也可以与存储阵列连接，进行各种测试。

如图4所示为本发明测试系统实施例的结构示意图。该系统包括服务器8、以太网交换机7、存储阵列6和虚拟硬盘5，虚拟硬盘5与存储阵列6连接，存储阵列6通过以太网交换机7与服务器8连接，该系统中可以包括多个服务器，例如还可以包括服务器9，存储阵列6通过以太网交换机7与服务器9连接，服务器8和服务器9可以通过以太网交换机7和存储阵列6对该虚拟硬盘5进行各种测试活动。

现有固态硬盘技术中，为了保证在掉电时数据不丢失，固态硬盘中会包括一个超级电容，该超级电容在掉电时为固态硬盘供电将高速缓冲存储器中的数据写到闪存中保存。该超级电容对于温度的要求比较高，导致现有技术中的固态硬盘的适用的温度范围有限，而传统的机械硬盘温度太高也很容易损坏。本发明提供的虚拟硬盘主要用于测试性能的用途，而对于很多测试用途来说，并不关心数据的内容，这样本发明实施例提供的虚拟硬盘中就无需有现有技术中的固态硬盘的超级电容。本发明实施例提供的虚拟硬盘可以适用于-40摄氏度到80摄氏度的温度范围，可用于存储系统可靠性测试等场合。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种数据处理方法，其特征在于，所述方法应用于存储系统测试领域，所述方法包括：

设置高速缓冲存储器的虚拟硬盘容量；

接收磁盘读写请求，所述磁盘读写请求包括待读写的数据地址；

如果待读写的数据地址超过高速缓冲存储器的实际地址的范围，则将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址；

从映射后的待读写的数据的高速缓冲存储器的实际地址中读写数据。

2.根据权利要求1所述的数据处理方法，其特征在于，还包括：预先将所述高速缓冲存储器以扇区为单位进行划分，并为划分后的扇区分配所述高速缓冲存储器的实际地址。

3.根据权利要求1或2所述的数据处理方法，其特征在于，所述将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址包括：

将所述待读写的数据地址除以所述高速缓冲存储器的实际地址的最大值，所得的余数作为所述待读写的数据的高速缓冲存储器的实际地址。

4.根据权利要求1或2所述的数据处理方法，其特征在于，将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址包括：

将所述待读写的数据地址与所述高速缓冲存储器的保留地址的最大值之间的差值，除以所述高速缓冲存储器的实际地址的最大值与所述高速缓冲存储器的保留地址的最大值之间的差值，所得的余数与所述高速缓冲存储器的保留地址的最大值的和作为所述待读写的数据的高速缓冲存储器的实际地址；所述保留地址用于存放特殊数据，所述特殊数据不能被不允许的读写操作破坏。

5.一种数据处理装置，其特征在于，所述装置应用于存储系统测试领域，所述装置包括：

接收模块，用于接收磁盘读写请求，所述磁盘读写请求包括待读写的数据地址；

映射模块，用于当所述接收模块接收到的磁盘读写请求中的数据地址超过高速缓冲存储器的实际地址的范围时，将所述待读写的数据地址映射为所述待读写的数据的高速缓冲存储器的实际地址；

处理模块，用于从所述映射模块映射后的高速缓冲存储器的实际地址读写数据；

还包括：设置模块，用于设置高速缓冲存储器的虚拟硬盘容量。

6.根据权利要求5所述的数据处理装置，其特征在于，还包括：

扇区划分模块，用于将高速缓冲存储器以扇区为单位进行划分，并为划分后的扇区分配所述高速缓冲存储器的实际地址。

7.根据权利要求5或6所述的数据处理装置，其特征在于，所述映射模块用于当所述接收模块接收到的磁盘读写请求中待读写的数据的地址超过高速缓冲存储器的实际地址的范围时，将所述待读写的数据的地址除以所述高速缓冲存储器的实际地址的最大值，所得的余数作为所述待读写的数据的高速缓冲存储器的实际地址。

8.根据权利要求5或6所述的数据处理装置，其特征在于，所述映射模块用于当所述接收模块接收到的磁盘读写请求中的待读写的数据地址超过高速缓冲存储器的实际地址的范围时，将所述待读写的数据地址与所述高速缓冲存储器的保留地址的最大值之间的差值，除以所述高速缓冲存储器的实际地址的最大值与所述高速缓冲存储器的保留地址的最大值之间的差值，所得的余数与所述高速缓冲存储器的保留地址的最大值的和作为所述待读写的数据的高速缓冲存储器的实际地址；所述保留地址用于存放特殊数据，所述特殊数据不能被不允许的读写操作破坏。

Images