CN107644056B - 一种文件存储方法、装置及系统 - Google Patents

Abstract

本发明公开了一种文件存储方法，包括:由文件存储系统的存储空间接收文件存储系统的缓存空间的待写入文件；由存储空间的索引区获取待写入文件的初始数据信息，确定待写入文件写入存储空间的数据区的簇位置；将待写入文件写入存储空间的数据区的簇，同时在存储空间的索引区和目录区更新与待写入文件对应的数据信息。本发明还公开了一种文件存储装置和系统。本发明解决了现有技术中文件并发存储效率低、易产生碎片的问题。

Description

一种文件存储方法、装置及系统

技术领域

本发明涉及一种文件存储方法、装置及系统。

背景技术

随着高清视频和高清卡口系统的信息化发展，对于高并发的文件存储系统的要求也是越来越高，传统的文件存储系统存在并发写入速度低下及长期使用会产生大量的磁盘碎片，导致写入性能越来越低的弊端。不利于大规模视频文件和卡口图片的长期存储。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种文件存储方法、装置及系统。

作为本发明实施例的一个方面，涉及一种文件存储方法，包括:

由文件存储系统的存储空间接收文件存储系统的缓存空间的待写入文件；

由存储空间的索引区获取待写入文件的初始数据信息，确定待写入文件写入存储空间的数据区的簇位置；

将待写入文件写入存储空间的数据区的簇，同时在存储空间的索引区和目录区更新与待写入文件对应的数据信息。

在一个实施例中，所述的文件存储方法，还包括，在存储空间从缓存空间获取待写入文件前，判断待写入文件为录像文件或者图片文件，并写入对应存储空间的录像存储区或者图片存储区。

在一个实施例中，所述的文件存储方法，还包括，根据写入文件的初始信息在索引区找到写入文件的首簇号，根据写入文件的首簇号在目录区中得到写入文件信息，并定位到写入文件首簇所在的数据区，读取写入文件。

在一个实施例中，所述的文件存储方法，还包括，在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

在一个实施例中，所述的文件存储方法，还包括，判断存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

作为本发明实施例的另一个方面，涉及一种文件存储装置，包括：

文件接收模块，用于将文件存储系统的缓存空间获得的待写入文件接收到文件存储系统的存储空间；

文件分析模块，用于获取待写入文件的初始数据信息，并确定待写入文件要写入的存储空间的数据区的簇位置；

文件写入模块，用于将待写入文件写入存储空间的数据区的簇，并同时将与待写入文件对应的数据信息更新到存储空间的索引区和目录区。

在一个实施例中，所述的文件存储装置，还包括，文件判断模块，用于文件存储系统在存储空间从缓存空间获取待写入文件时，判断待写入文件为录像文件或者图片文件，并将待写入文件写入对应存储空间的录像存储区或者图片存储区。

在一个实施例中，所述的文件存储装置，还包括，文件读取模块，用于根据写入文件的初始信息在存储空间的索引区找到写入文件的首簇号，从存储空间的目录区得到写入文件信息，并定位到写入文件的首簇所在的数据区，读取写入文件。

在一个实施例中，所述的文件存储装置，还包括，文件查找模块，用于在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

在一个实施例中，所述的文件存储装置，还包括，文件覆盖模块，用于在存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

作为本发明实施例的又一个方面，涉及一种文件存储系统，所述文件存储系统包括存储空间、缓存空间以及以上任一项所述的文件存储装置，所述文件存储系统按照设定比例将存储空间划分为录像存储区和图片存储区，所述录像存储区和图片存储区分别设置有索引区、目录区和数据区，所述数据区的每一簇在所述索引区和目录区存储对应的数据信息。

本发明实施例至少实现了如下技术效果：

1、本发明文件存储方法采用缓存写入的方式，运行速度快，提升文件存储系统的写入性能。

2、本发明文件存储方法不采用传统的标准文件系统(如LINUX、WINDOWS)的写入模式，采用直接在文件存储系统进行读写的方式，具有较好的系统兼容性，数据下发基本连续，减少磁头移动，加快存储读写速度。

3、本发明文件存储系统划分为索引区、目录区和数据区，采用索引和目录两级的查询方式，能对文件进行快速准确地定位，提高了文件读写的效率。

4、本发明文件存储系统将存储空间划分为录像存储区和图片存储区，支持多路视频文件和图片文件同时写入，便于视频文件和图片文件同时存储，减少存储文件系统使用时产生的磁盘碎片。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的文件存储方法的流程示意图；

图2为本发明实施例提供的文件存储装置的模块示意图；

图3为本发明实施例提供的文件存储系统初始化流程图；

图4为本发明实施例提供的文件存储系统的系统布局图；

图5为本发明实施例提供的文件存储系统的存储区布局图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

下面分别对本发明实施例提供的文件存储系统及方法的各种具体实施方式进行详细的说明。

实施例一：

本发明实施例提供一种文件存储方法，参见图1所示，所述文件存储方法包括:

S101：由文件存储系统的存储空间接收文件存储系统的缓存空间的待写入文件；

S201：由存储空间的索引区获取待写入文件的初始数据信息，确定待写入文件写入存储空间的数据区的簇位置；

S301：将待写入文件写入存储空间的数据区的簇，同时在存储空间的索引区和目录区更新与待写入文件对应的数据信息。

本发明实施例的文件存储方法，写入文件时先将数据写入缓存空间，再将数据存储到存储空间，既保证了数据写入的及时性，又保证了系统的IO交换性能。

在一个具体实施例中所述缓存空间的大小为32k，所述文件存储方法步骤101中采用的是小颗粒块的写入方式将缓存空间的数据存储到存储空间。

在一个实施例中，参见图1所示，所述的文件存储方法，还包括：

S102：在存储空间从缓存空间获取待写入文件前，判断待写入文件为录像文件或者图片文件，并写入对应存储空间的录像存储区或者图片存储区。

在一个具体实施例中，写入文件开始时，由存储空间的索引区获取待写入文件的初始数据信息，确定待写入文件写入存储空间的数据区的簇位置包括：所述索引区根据接收到的初始数据信息，例如待写入文件的前端接口通道号、文件类型、文件锁信息等，确定文件写入录像存储区或图片存储区，在打开文件时根据索引区的索引标志查到数据区当前未写入数据的第一簇分配为写入文件的首簇，并在目录区记录首簇标志。

在一个实施例中，可以是，打开文件时会先分配一个文件句柄，当数据写入时会根据存储空间的当前簇(cur_cluster)来找到适合写数据的簇位置，当前簇(cur_cluster)总是指向现在使用簇的下一簇；按照索引区分配的簇号顺序写入数据，写满一簇后，系统会给写入的文件分配下一个写入的簇号，而每写完一簇数据，都会在索引区和目录区更新该簇的数据信息；文件关闭时，结束簇会记录文件在该簇的结束偏移地址，并将文件结束簇的写入大小、结束时间更新到目录区，以便得到精确的文件长度及正确的回放位置，同时将该文件信息保存在文件首簇的目录区中，方便文件的搜索。

在一个实施例中，可以是，在录像存储区或图片存储区创建互斥锁，用来保证单块盘串行写入。由于该系统支持多路录像和图片数据同时写入，因此，每个文件的簇号并不一定是连续的，但是在索引和目录信息中会对每一路录像或图片进行区分，并且每个存储区都有一个互斥锁，用来保证单块盘串行写入，保证多路录像或图片的完整性及正确性。

在一个具体实施例中，可以是，在录像存储区写入数据时，在每个文件的首簇，预留一个数据单元，例如一个256K的数据单元，用来存储视频文件的关键帧信息，录像文件的每个关键帧记录16个字节的关键帧位置信息，每个文件最大为1小时录像，按每秒一个关键帧计算，则256K大小能够满足存储需求。

在一个实施例中，参见图1所示，所述的文件存储方法，还包括：

S401：在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

S501：根据写入文件的初始信息在索引区找到写入文件的首簇号，根据写入文件的首簇号在目录区中得到写入文件信息，并定位到写入文件首簇所在的数据区，读取写入文件。

在一个具体实施例中，查找写入文件的流程，可以是：

A：查询写入文件时首先扫描文件的索引区，筛选文件首簇号、相同通道号和文件类型的文件。然后根据索引区所对应的簇号找相同簇号的目录区，得到目录中的具体时间信息，再次筛选文件，每次查询依次扫描整块磁盘，然后将得到的数据排序后向上发送；

B：然后根据目录区筛选到的文件数据进行排序，并把符合查询要求的文件信息传递给调用者。由于一开始搜索的为索引区，且索引区所占的空间极小，因此搜索的速度极快，易于文件的定位查找。且定位到目录区后即可确定写入文件的首簇，写入文件的首簇记录了该文件的所有信息，因此能较快的获取到文件的全部信息。

读取写入文件的流程，可以是：

A：读数据时根据文件的ID号、通道号和时间在索引区中找到文件开始的首簇号，根据文件的首簇号在目录区中得到文件信息，并定位到文件首簇所在的数据区，然后再开始依次读取数据。

B：根据首簇的保留字节，得到离播出时间最近的一个关键帧在文件中所对应的位置，计算出读出的数据所在的簇号，开始读出数据；

C：由于存储每个文件时为依次存储，因此读完一簇后依次往后查找相同通道的簇继续读出数据，直到读到下一簇的簇号为0时停止。在目录中下一簇的簇号为0，表示该簇为文件的最后一簇；

D：读到文件最后一簇后，可以根据目录区中记录的文件最后一簇的偏移，读出文件的实际内容，防止读出的数据错误。

在一个实施例中，参见图1所示，所述的文件存储方法，还包括：

S601：判断存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

在一个具体实施例中，可以是，所述文件存储方法系统在进行数据覆盖时，根据写入文件的文件锁信息，确定被锁定的写入文件，保证在循环覆盖数据时被锁定的写入文件不能被覆盖。

在一个实施例中，所述的文件存储方法，还包括，在写入文件前进行初始化的过程：

按照设定比例分配录像存储区和图片存储区的存储空间大小，并将磁盘分区表记录到指定扇区，将录像存储区和图片存储区分别划分为目录区、索引区和数据区，并将初始化参数信息分别写入存储区的指定扇区。

实施例二：

本发明实施例还提供一种文件存储装置，参见图2所示，所述文件存储装置包括：

文件接收模块110，用于将文件存储系统的缓存空间获得的待写入文件接收到文件存储系统的存储空间；

文件分析模块210，用于获取待写入文件的初始数据信息，并确定待写入文件要写入的存储空间的数据区的簇位置；

文件写入模块310，用于将待写入文件写入存储空间的数据区的簇，并同时将与待写入文件对应的数据信息更新到存储空间的索引区和目录区。

在一个实施例中，参见图2所示，所述的文件存储装置，还包括：

文件判断模块120，用于文件存储系统在存储空间从缓存空间获取待写入文件时，判断待写入文件为录像文件或者图片文件，并将待写入文件写入对应存储空间的录像存储区或者图片存储区。

在一个实施例中，参见图2所示，所述的文件存储装置，还包括：

文件查找模块410，用于在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

文件读取模块510，用于根据写入文件的初始信息在存储空间的索引区找到写入文件的首簇号，从存储空间的目录区得到写入文件信息，并定位到写入文件的首簇所在的数据区，读取写入文件。

在一个实施例中，参见图2所示，所述的文件存储装置，还包括：

文件覆盖模块610，用于在存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

实施例三：

本发明实施例又提供一种文件存储系统，包括存储空间和缓存空间，所述文件存储系统按照设定比例将存储空间划分为录像存储区和图片存储区，所述录像存储区和图片存储区分别设置有索引区、目录区和数据区，所述数据区的每一簇在所述索引区和目录区存储对应的数据信息。

在一个具体实施例中，参照图3所示，本发明实施例提供的文件存储系统可以是磁盘或存储卡文件存储系统，下面以磁盘为例说明，其初始化的步骤如下：

A：读取磁盘的存储初始化信息的指定扇区数据，本实施例中存储初始化信息的指定扇区为第0扇区，通过读出的数据判断磁盘是否已被格式化为该系统；

B：如果读出的第0扇区内容与文件系统默认内容相同，则代表磁盘已经被格式化，则该磁盘不需要做格式化处理；如果读出的第0扇区内容与文件系统默认内容不同，则执行步骤C；

C：根据磁盘的大小，按比例动态分配录像存储区和图片存储区的大小，并将两个存储区的参数信息记录到磁盘的指定扇区，本实施例中指定为第20扇区，每个存储区信息会记录到各自存储区的开始和结束位置；

D：根据C步骤得到的每个存储区的实际大小，动态计算出每个存储区上的目录区大小、索引区大小及数据区大小；

E：根据D计算的目录区、索引区和数据区的大小，将每个存储区划分为目录区、索引区及数据区，记录每个区的开始位置，结束位置及每簇大小等数据；

F：根据E计算的结果，分别对每个存储区进行初始化，将初始化的存储区信息，写入每个存储区开始后的指定扇区，本实施例中指定为第24个扇区，写入的存储区信息包括每扇区字节数、每簇扇区数、存储区的开始簇号、存储区的结束簇号、索引区偏移、目录区偏移和数据区偏移等信息；

G：本系统中索引区和目录区的每一个指定区域，都会对应数据区的一个簇号，分别用来存储与数据区的簇内写入的文件相对应的数据信息。

至此完成整块磁盘或存储卡的存储区域划分及存储区初始化工作。

在一个实施例中，初始化后的磁盘及录像存储区布局图分别参见图4和图5所示，参见图4所示，本实发明实施例中，所述文件存储系统的磁盘划分的录像存储区和图片存储区的占比为14/15：1/15。参见图5所示，所述录像存储区的目录区包括第一目录区和第二目录区，其中，所述第二目录区用于备份所述第一目录区的数据。本发明实施例中，图片存储区布局与所述录像存储区布局相同，在此不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种文件存储方法，其特征在于，包括:

由文件存储系统的存储空间接收文件存储系统的缓存空间的待写入文件；

由存储空间的索引区获取待写入文件的初始数据信息，确定待写入文件写入存储空间的数据区的簇位置；

将待写入文件写入存储空间的数据区的簇，同时在存储空间的索引区和目录区更新与待写入文件对应的数据信息；

还包括：

根据写入文件的初始信息在索引区找到写入文件的首簇号，根据写入文件的首簇号在目录区中得到写入文件信息，并定位到写入文件首簇所在的数据区，读取写入文件；

还包括：

在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

2.如权利要求1所述的文件存储方法，其特征在于，还包括，在存储空间从缓存空间获取待写入文件前，判断待写入文件为录像文件或者图片文件，并写入对应存储空间的录像存储区或者图片存储区。

3.如权利要求1所述的文件存储方法，其特征在于，还包括，判断存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

4.一种文件存储装置，其特征在于，包括：

文件接收模块，用于将文件存储系统的缓存空间获得的待写入文件接收到文件存储系统的存储空间；

文件分析模块，用于获取待写入文件的初始数据信息，并确定待写入文件要写入的存储空间的数据区的簇位置；

文件写入模块，用于将待写入文件写入存储空间的数据区的簇，并同时将与待写入文件对应的数据信息更新到存储空间的索引区和目录区；

还包括：

文件读取模块，用于根据写入文件的初始信息在存储空间的索引区找到写入文件的首簇号，从存储空间的目录区得到写入文件信息，并定位到写入文件的首簇所在的数据区，读取写入文件；

还包括：

文件查找模块，用于在读取文件前，在待读取的写入文件所在的索引区进行扫描以筛选写入文件对应的数据信息，根据索引区的对应数据信息找到写入文件在目录区的对应数据信息，并由目录区的数据信息定位到待读取的写入文件首簇。

5.如权利要求4所述的文件存储装置，其特征在于，还包括：

文件判断模块，用于文件存储系统在存储空间从缓存空间获取待写入文件时，判断待写入文件为录像文件或者图片文件，并将待写入文件写入对应存储空间的录像存储区或者图片存储区。

6.如权利要求4所述的文件存储装置，其特征在于，还包括：

文件覆盖模块，用于在存储空间的录像存储区，和/或，图片存储区写满后，将待写入文件从存储空间的数据区的开始簇重新写入文件并覆盖原来的写入文件，同时记录存储空间最后使用时间和写入文件覆盖次数。

7.一种文件存储系统，其特征在于，所述文件存储系统包括存储空间、缓存空间以及权利要求4-6任一项所述的文件存储装置，所述文件存储系统按照设定比例将存储空间划分为录像存储区和图片存储区，所述录像存储区和图片存储区分别设置有索引区、目录区和数据区，所述数据区的每一簇在所述索引区和目录区存储对应的数据信息。

Images