CN101118477A - 一种提高磁盘数据访问效率的方法 - Google Patents

Abstract

本发明公开了一种提高磁盘数据访问效率的方法，尤其是一种基于多个磁盘，通过对磁盘的读写任务进行调度，实现数据高效、快速读写的控制方法。本发明基于多个磁盘实现，基本思路是通过对多个访问任务的控制，减少甚至避免访问冲突的发生。在接收到多个访问任务时，将各个访问任务分别指向不同的磁盘。以及对根据设备运行状态进行检测，根据检测结果，控制各个访问任务的执行。本发明具有成本低廉、扩展性强，磁盘数据访问效率高，能够将磁盘的读写性能发挥到最大限度。与RAID5技术相比，本发明提高访问效率100％～400％。

Description

一种提高磁盘数据访问效率的方法

技术领域

本发明涉及一种提高磁盘数据访问效率的方法，尤其是一种基于多个磁盘，通过对磁盘的读写任务进行调度，实现数据高效、快速读写的控制方法。

特别是提供一种用于电视台视频服务器上存储系统中提高数据访问效率的方法。

背景技术

磁盘的访问时间包括磁头的寻道时间、数据传输时间、等待时间，所用的时间越短访问效率越高，在磁盘硬件结构相同的情况下，上述单项时间都是固定的，同时在寻道、等待过程中，没有数据传输，导致对磁盘I/O(输入/输出)带宽利用不充分，降低访问效率。

随着计算机系统运行速度的不断加快，而磁盘的I/O带宽却没有多大提高，在对磁盘进行访问时，由于I/O带宽的限制，读写数据的效率往往直接影响系统的运行速率，主要表现在：当多个任务同时访问磁盘时，特别是多个任务同时访问同一磁盘，这时我们称之为“冲突”，冲突发生时I/O请求必需排队等待，按照访问请求的先后顺序，顺次循环执行，具体方式通常为：在遇到多个访问请求时，系统会给每个访问请求提供一定的时长，并顺次执行各个访问请求，并循环执行直到所有访问请求执行完毕，在此过程中，磁头必需不停地进行寻道、等待，由此要花费大量时间，有时寻道、等待时间甚至超过数据传输时间，大大降低读写速率，影响磁盘数据的访问效率，影响计算机系统的性能。或者读取诸如电视台节目文件的大尺寸数据文件时，由于文件数据量大，而磁盘的I/O带宽有限，有时无法满足系统运行的需要，使得系统不得不进行等待。对电视台提供节目文件的视频服务器而言，播出(读)和迁移(写)数据是持续不断的，冲突经常会发生，文件系统的I/O速率成了整个系统的瓶颈。

针对数据比较大的文件，RAID技术采用的数据条带化技术(DiskStriping)将文件数据分割成小块后分别存储到不同的磁盘中，在读/写同一文件数据时，对多个磁盘并行读/写，提高了单次访问速率，但当多个访问任务同时发生时，依旧会频繁发生访问冲突，多个任务只能排队等待一个任务完成后再执行另一个任务，磁头不停的做磁头随机寻道，导致多任务并行时数据读写速率急剧下降。特别是在视频服务器持续大容量数据读写压力下，表现更为严重。

上述原因导致对磁盘的多个访问任务发生时，其整体速率往往降到最高I/O速率的20％，甚至更低。

发明内容

为解决上述问题，本发明提供了一种基于多个磁盘所实现的提高磁盘数据访问效率的方法，通过对多个访问任务的控制，充分利用磁盘的I/O带宽，实现磁盘数据访问效率的提高。

进一步地实现了用于电视台视频服务器磁盘上大尺寸数据的节目文件数据的高效访问。

为了实现上述目的，本发明是基于多个磁盘实现，其基本思路是，通过对多个访问任务的控制，减少甚至避免访问冲突的发生。在接收到多个访问任务时，将各个访问任务分别指向不同的磁盘。以及对根据设备运行状态进行检测，根据检测结果，控制各个访问任务的执行。

其具体包括步骤：

(1)连接多个存储介质；

(2)执行多个访问任务；

(3)将各个访问任务分开指向不同的存储介质执行。

所述连接多个存储介质包括：通过IDE、SCSI、光纤通道、USB接口中的一种或多种方式连接存储介质；

所述存储介质包括：磁盘、电子硬盘、软盘、Flash闪存盘、带有存储媒介的存储驱动设备。

所述步骤(3)进一步包括：

检测各个存储介质的访问任务队列状态；

将每个访问请求指向访问效率高的存储介质，对指向的存储介质执行访问任务；

所述访问效率高的存储介质包括：访问任务队列中任务少的存储介质，或I/O带宽高的存储介质。

所述步骤(1)进一步包括：将同一源数据同时存储到至少两个存储介质，并将访问指针同时指向所述源数据的全部存储地址；

所述步骤(2)包括：执行至少两个不同的读访问任务，根据所述读访问任务指定的不同源数据确定每个源数据的全部存储地址；

所述步骤(3)包括：检测每个存储地址所在存储介质的访问任务队列状态，分别将每个读访问任务指向访问任务队列中任务少的存储介质执行。

所述源数据是文件数据块；

所述步骤(1)还进一步包括：将同一文件数据分成至少两个文件数据块，各个数据块分散存储到不同的存储介质；

所述步骤(3)进一步包括：同时从访问任务队列中任务少的存储介质并行读取同一文件的各个文件数据块。

所述步骤(2)包括：执行至少两个不同的写访问任务；

所述步骤(3)包括：检测每个可执行所述写访问任务的存储介质的访问任务队列状态，将各个所述写访问任务分别指向访问任务队列中任务少的存储介质执行。

所述步骤(2)包括：执行至少一个写访问任务和一个读访问任务；

所述步骤(3)包括：检测每个满足写访问任务和读访问任务的存储介质的执行任务队列状态，将各个写访问任务和读访问任务分别指向访问任务队列中任务少的存储介质执行。

同一个存储价质的所述访问任务队列中有多个访问任务；

所述步骤(3)进一步包括：

赋予每个访问任务优先级；

判断所述每个访问任务的优先级；

根据所述各个访问任务的优先级，依次从高优先级到低优先级逐个执行，保证执行完一个访问任务后再执行下一个访问任务。

所述访问任务包括至少一个具有高优先级的读访问任务；

所述步骤进一步包括：

检测缓存器中所述读访问任务已经读取的数据量，如果所述缓存器中的所述数据大于设定限值，将所述读访问任务调整为低优先级，如果所述缓存器中的所述数据低于所述限值，保持高优先级。

所述访问任务为包括至少一个写访问任务；

所述步骤进一步包括：

检测缓存器中的没有写入存储介质的数据量，如果所述数据量小于设定限值，赋予其高优先级，如果所述数据量大于设定限值，赋予其低优先级。

本发明的优点在于：硬件成本低廉，无需专用设备连接磁盘，可以使用多种方式接入；对磁盘的数量和规格没有严格要求，都可以实现；扩展性强，可以任意增减磁盘容量。

本发明采用将多路访问任务分别指向不同的磁盘，减少和避免了访问冲突，减小了磁盘的往复寻道，充分利用了磁盘的I/O带宽；将同一数据同时在多个磁盘存储，保证了数据读取时能尽可能从访问任务少的磁盘读取数据，在磁盘访问过程中选择具有高I/O带宽磁盘进行访问；数据分块保证数据同时在多个磁盘的并行读写；通过动态优先级调整，实现对同时指向同一磁盘的多个访问任务的有效、高速执行。磁盘数据的访问速率高，尤其是对于同时执行多路访问请求表现更为突出，本发明的磁盘数据访问性能随着访问任务的增加，总I/O速率增加显著。经测试在硬件环境、访问的数据情况完全相同的情况下，本发明与RAID5技术相比，在同时执行多个访问任务时，其数据访问速率提高100％～400％，尤其是对同时执行多路读访问表现出更为优越的性能。

本发明独立于操作系统的自有调度，可以根据需要实现对磁盘的调度，可以运用于多种操作系统。

附图说明

图1本发明的工作原理图；

图2磁盘访问任务队列示意图；

图3本发明与RAID5的多路读访问性能测试对比曲线图；

图4本发明与RAID5的多路写访问性能测试对比曲线图。

具体实施方式

为便于对本发明的理解，下面结合附图和实施例对本发明作进一步的详细说明。

本发明是基于多个磁盘实现的提高磁盘数据读取效率的方法。

在计算机系统中连接多个磁盘，在图1中绘出的是5个磁盘21～25与计算机连接，图中的访问调度控制单元1实现对磁盘访问的调度控制，该部分通常由计算机来实现。所述计算机包括包括PC机、服务器、大中小型机以及其他具有数据运算和信息处理能力的设备。根据应用的不同可以使用不同数量的磁盘，最少需要两块磁盘才能实现，当然随着接入的磁盘数量的增加，对各个访问请求调度的范围越大，对磁盘数据的访问效率也越高。所述磁盘通过包括IDE(Integrated Drive Electronics，电子集成驱动器)、SCSI(Small Computer System Interface，小型计算机系统接口)、光纤通道(Fibre Channe)、SATA(Serial ATA串口)或者USB接口中的一种或多种与计算机系统连接。当然所述的磁盘也可以用电子硬盘、软盘、Flash闪存盘或者带有存储介质的其他存储驱动设备(如带有光盘的光驱)代替。为了简化表述，以下均以磁盘为例进行说明。

图1中的磁盘21～25上的数据3包括数据A、数据B、数据C三个数据。根据下面不同的情况，数据A、B、C可以分别表示3个不同文件的数据，或者是同一个文件的3个数据块，具体表示的含义将在下述具体描述中予以说明。

下面结合图1、图2对本发明的实现方法和具体步骤进行说明：

当计算机系统需要对磁盘21～25上的数据执行多个访问任务时，通过访问调度控制单元1对各个访问任务进行调度，将各个访问任务分别指向不同的磁盘，以使每个磁盘只执行尽可能少的访问任务，减少和避免访问冲突。根据图1提供的原理图，如果要执行3个访问任务，其中访问任务一、二是读访问，访问任务三是写访问，访问调度控制单元1将访问任务一、二分别指向磁盘21、23，访问任务三指向磁盘22，如果此时磁盘24、25没有访问任务，也可将访问任务三指向磁盘24或25，此时三个访问任务同时对三个不同的磁盘并行执行访问任务，获得了单个磁盘3倍的I/O带宽(以3个磁盘具有相同的I/O进行比较，以下均以此作比较)，提高到3倍的访问效率。根据图1提供的原理图，在执行上述三个访问任务前已经有两个访问任务分别在对磁盘24、25执行访问，此时达到最理想的状态，即分别指向5个磁盘21～25执行五个访问任务，此时访问I/O带宽是单个磁盘的5倍。所述的执行多个访问任务包括多个同时提出或先后提出的访问任务，以及正在对磁盘进行读写的访问任务。

在选择执行访问任务的磁盘21～25时，可能存在满足访问要求的磁盘21～25已经有访问任务在执行，为了进一步提高访问效率，在磁盘的指向选择时，通过检测每个满足访问任务要求的磁盘的执行任务队列4状态，选择执行任务队列4中任务少的磁盘进行访问。当然也可同时检测每个磁盘的I/O带宽，综合带宽和执行任务队列4的状态进行判断，选择当前数据访问效率高的磁盘进行访问，通常情况下各个磁盘的I/O带宽相差不大，主要通过检测执行任务队列4的状态来选择磁盘。

为了进一步提高数据读/写的效率，特别是针对于诸如电视台的节目数据文件，文件数据尺寸往往在G的数量级，此时，将同一节目文件分割成多个数据块，在对节目文件数据进行读写操作时，通过访问调度控制单元1的控制，将对同一节目文件的数据读/写访问同时指向多个磁盘执行，并行处理，同时在不同的磁盘上读/写该文件的各个数据块，即同时从不同的磁盘上访问该文件的不同数据块。写数据时，将同一节目文件的各个数据块及其存储地址在数据映射表中作出记录并并行写入数据，读取数据时通过数据映射表获得所述文件每个数据块的存储地址并并行读取数据。比如，对一个分割成3个数据块的文件，各个数据块分别为数据块A、B、C，可以实现在三个磁盘上同时读/写三个数据块；在实际运用中，由于文件尺寸大，一个文件分割成的数据块非常多，此时，在同一个磁盘上会存储有同一个文件的多个不同数据块。在这种模式下，对一个包含多个数据块的文件执行磁盘访问任务，实质上相当于同时执行多个访问任务，所实现的方法是相似的。

具体地，根据访问任务类型的差异，调度控制具体包括：

1.用于包括至少2个不同的读访问任务的调度控制

将一个文件数据同时存储到磁盘21～25中的至少两个磁盘上，并且将访问指针同时指向所述数据的全部存储地址，这样当一个存储有数据的磁盘正在执行访问任务或访问任务多时，即访问任务队列4中有访问任务或访问任务多时，可以从另一个磁盘上读取数据。为了便于实现，采用数据映射表记录每个数据的两个存储地址，比如把数据A同时存储在磁盘21和24上，数据B同时存储在磁盘22和23上，数据C同时存储在磁盘23和24上，在数据映射表中，数据A、B、C分别指向其在磁盘21～24中的两个存储地址。同时在磁盘索引表中记录每个磁盘的空间使用情况。数据映射表、磁盘索引表至少存储在系统盘上，为了提高安全性，可同时存储到全部磁盘21～25的索引扇区中，同时，在系统启动时，将数据映射表、磁盘索引表全部读入计算机系统的内存中，使用时直接从内存中调用，以更好地提高访问效率，两个表的数据发生修改时，可以先在系统盘、磁盘21～25中的一个上进行保存，在关机或其他恰当的时间在其他磁盘上存储，所述恰当时间可以是其他磁盘没有访问任务或访问任务很少时，和/或设定的经过一定的时间长度或具体的一个时刻。

当执行访问任务时，通过数据映射表确定要读取数据所指向的两个存储地址，通过访问调度控制单元1进行调度，确定具体指向一个存储地址，进行数据的读取。当要执行至少2个不同的读访问任务时，访问调度控制单元1根据每个读访问任务读取数据的存储地址，将各个访问任务分别指向不同的磁盘，以使每个磁盘只执行尽可能少的访问任务，减少和避免访问冲突。比如，执行对数据A和数据C进行访问，此时通过数据映射表确定可以从磁盘21和24读取数据A，可以从磁盘23和24读取数C，而磁盘23已经有访问任务在执行，访问调度控制单元1将对数据A的读访问任务指向磁盘21，对数据C读访问指向磁盘24，这样两个分别被分开到不同的磁盘上执行。

如果文件是被分割成多个数据块的大数据文件，此时将所述文件的每个数据块分散存储到不同的磁盘，同时每个数据块也分别在两个磁盘上存储，比如图1提供的数据A、B、C分别表示一个文件的三个数据块，其数据块A存储在磁盘21和24上，数据块B存储在磁盘22和23上，数据块C存储在磁盘23和24上，即实现了三个数据块的分散存储和每个数据块在两个磁盘上的存储。当然如果在硬盘数量足够大的情况下，这种同一个文件的多个数据块尽可能存储在数量多的磁盘上，这样数据读取效率会更高。读取文件数据时，同时从多个磁盘上并行读取各个数据块，其他步骤与前述表述相同。

2.用于包括至少2个不同的写访问任务的调度控制

为了在磁盘21～25中写入两个不同的文件数据，通过磁盘索引表获得满足写访问操作的磁盘，通过访问调度控制单元1将两个写访问任务分别指向两个不同的磁盘进行数据写入，如果所述文件系分成了多个数据块，则同时在不同的磁盘中写入各个数据块。比如，在图1中有三个不同的写访问，通过检测磁盘21和23正在执行访问任务，访问控制单元1将三个写访问任务分别指向磁盘22、24、25执行写访问。在访问调度控制单元1选择磁盘时，检测每个可执行写访问任务的磁盘的访问任务队列4的状态，将每个写访问任务分别指向访问任务队列4中任务少的磁盘执行。同时在数据映射表中记录数据的存储，在磁盘索引表中记录磁盘空间的使用。

由于在本发明的整个系统中，写访问是读访问实现的基础，因此在执行写访问时要将同一数据同时存储在两个不同的磁盘上。由于可能存在磁盘21～25中执行访问任务队列4的任务数量差异，可能导致同一数据不能同时在两个磁盘上写入，此时，先在一个磁盘上写入数据，待其他磁盘访问任务队列4中的任务少或者没有时再做第二次数据写入，实现同一数据在两个磁盘上的存储。

其他步骤与前述描述相同。

3.用于包括至少一个写访问任务和一个读访问任务的调度控制

其他步骤与前述描述相同，所不同的是，此时将每个读访问、写访问分别指向不同磁盘进行访问。在图1提供的实施例中有五个访问任务，其中两个读访问，分别指向磁盘21、23，三个写访问，分别指向磁盘22、24、25。

4.多个访问任务同时访问到一个磁盘的调度控制

虽然在出现多个访问任务时，访问任务调度控制单元1将各个访问任务分别指向不同磁盘执行访问，但是由于磁盘数量和存储数据的限制，访问任务往往比较多，此时仍然存在在同一磁盘上的访问任务队列4中存在多个访问任务，当然磁盘数量越大，这种几率越低，即使存在，其中的任务也比较少。在图2中，访问任务队列4包含四个不同的访问任务：访问任务一41、访问任务二42、访问任务三43、访问任务四44。

在这种情况下，访问调度控制单元1通过赋予不同访问的优先级，先执行完具有高优先级的访问任务，再执行下一优先级的访问任务，同时为了充分满足计算机系统的需要，对访问任务的优先级实行动态赋予。在电视台的视频服务器上，节目的播放是首先要保障的，因此针对播放的读访问任务具有最高的优先级，而相对的数据迁移的写访问可以延迟执行，具有较低的优先级，以及其他一些不同需要的访问任务，根据其紧急程度赋予不同优先级。通常把优先级从高到低赋予五个值4、3、2、1、0，4优先级最高，0优先级最低。为了实现动态的优先级，通常在电视台视频服务器的应用中，将读优先级设置在1～4级之间变化，写访问优先级在0～3之间变化。

在动态优先级的实现上采用，根据检测缓冲器中数据量是否能满足当前系统的运行需要为标准，根据不同的访问任务，为其数据量设定一个限值。比如图2中，在执行任务队列4中访问任务一41为读访问，当前优先级为4，访问任务三43是写访问，当前优先级3，其他访问任务优先级为0。当前访问任务一41优先级高，执行读访问，由于对单一数据的读取速度大于系统对数据的需求速度，读取的多余数据存储在缓存器中，通过检测缓存器中数据量的大小，但超过设定的限值时，表明缓冲器中的数据足够系统运行一定时间，此时将访问任务一41的优先级调整为1；当前优先级最高的是访问任务三43，执行访问任务。如果缓存器中访问任务一41读取的数据低于设定限值时，表明缓存器中的数据即将不能满足系统需要，将访问任务一41的优先级恢复为4，执行访问任务一41。

同样，如果写访问时，缓存器中的数据低于限值时，降低其优先级，执行其他访问任务，缓存器中的数据高于限值时，恢复其优先级，执行写访问任务。

上述发明实现了数据磁盘数据的高效访问，显著提高了同时执行多路访问任务，在同样硬件及访问数据的情况下，经过与RAID5技术进行对比测试，在执行多路读访问时，测试得到图3的对比曲线，其中I是本发明的访问总速率，II是RAID5的访问总速率，可以看出提高速率100％以上，而且随着读访问任务数量的增加，其总速率增加明显，而RAID5的变化不大，而且趋于减小，表现出了极高的访问效率。在图4提供的写访问速率对比图曲线中，其中I是本发明的访问总速率，II是RAID5的访问总速率，本发明也表现了极高的访问效率，而且访问路数越多，效果越好。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种提高数据访问效率的方法，其特征在于包括：

(1)连接多个存储介质；

(2)执行多个访问任务；

(3)将各个访问任务分开指向不同的存储介质执行。

2.根据权利要求1所述的方法，其特征在于：

所述连接多个存储介质包括：通过IDE、SCSI、光纤通道、USB接口中的一种或多种方式连接存储介质；

所述存储介质包括：磁盘、电子硬盘、软盘、Flash闪存盘、带有存储媒介的存储驱动设备。

3.根据权利要求1所述的方法，其特征在于：

所述步骤(3)进一步包括：

检测各个存储介质的访问任务队列状态；

将每个访问请求指向访问效率高的存储介质，对指向的存储介质执行访问任务；

所述访问效率高的存储介质包括：访问任务队列中任务少的存储介质，或I/O带宽高的存储介质。

4.根据权利要求3所述的方法，其特征在于：

所述步骤(1)进一步包括：将同一源数据同时存储到至少两个存储介质，并将访问指针同时指向所述源数据的全部存储地址；

所述步骤(2)包括：执行至少两个不同的读访问任务，根据所述读访问任务指定的不同源数据确定每个源数据的全部存储地址；

所述步骤(3)包括：检测每个存储地址所在存储介质的访问任务队列状态，分别将每个读访问任务指向访问任务队列中任务少的存储介质执行。

5.根据权利要求4所述的方法，其特征在于：

所述源数据是文件数据块；

所述步骤(1)还进一步包括：将同一文件数据分成至少两个文件数据块，各个数据块分散存储到不同的存储介质；

所述步骤(3)进一步包括：同时从访问任务队列中任务少的存储介质并行读取同一文件的各个文件数据块。

6.根据权利要求3所述的方法，其特征在于：

所述步骤(2)包括：执行至少两个不同的写访问任务；

所述步骤(3)包括：检测每个可执行所述写访问任务的存储介质的访问任务队列状态，将各个所述写访问任务分别指向访问任务队列中任务少的存储介质执行。

7.根据权利要求3所述的方法，其特征在于：

所述步骤(2)包括：执行至少一个写访问任务和一个读访问任务；

所述步骤(3)包括：检测每个满足写访问任务和读访问任务的存储介质的执行任务队列状态，将各个写访问任务和读访问任务分别指向访问任务队列中任务少的存储介质执行。

8.根据权利要求3所述的方法，其特征在于：

同一个存储价质的所述访问任务队列中有多个访问任务；

所述步骤(3)进一步包括：

赋予每个访问任务优先级；

判断所述每个访问任务的优先级；

根据所述各个访问任务的优先级，依次从高优先级到低优先级逐个执行，保证执行完一个访问任务后再执行下一个访问任务。

9.根据权利要求8所述的方法，其特征在于：

所述访问任务包括至少一个具有高优先级的读访问任务；

所述步骤进一步包括：

检测缓存器中所述读访问任务已经读取的数据量，如果所述缓存器中的所述数据大于设定限值，将所述读访问任务调整为低优先级，如果所述缓存器中的所述数据低于所述限值，保持高优先级。

10.根据权利要求8所述的方法，其特征在于：

所述访问任务为包括至少一个写访问任务；

所述步骤进一步包括：

检测缓存器中的没有写入存储介质的数据量，如果所述数据量小于设定限值，赋予其高优先级，如果所述数据量大于设定限值，赋予其低优先级。

Images