CN103474087A

CN103474087A - 一种简单防止磁盘碎片产生录像文件的管理方法和设备

Info

Publication number: CN103474087A
Application number: CN2013104013720A
Authority: CN
Inventors: 卫刚; 吴磊; 王强
Original assignee: NANJING NANZI INFORMATION TECHNOLOGY Co Ltd
Current assignee: NANJING NANZI INFORMATION TECHNOLOGY Co Ltd
Priority date: 2013-09-06
Filing date: 2013-09-06
Publication date: 2013-12-25
Anticipated expiration: 2033-09-06
Also published as: CN103474087B

Abstract

本发明是一种简单防止磁盘碎片产生录像文件的管理方法和设备，方法步骤：1）将录像机中的磁盘格式化，固定为一个或若干个分区，针对不同的文件系统，使用操作系统提供的不同的格式化方法；2）建立录像文件索引数据库，提供录像文件检索服务；3）固定录像文件大小，记为A(Byte)；4）磁盘没有写满时，采用一般的文件创建、写入方式；5）磁盘写满后，找出本磁盘上创建时间最老的文件，将其作为新的录像文件，从文件的起始位置覆盖写入，循环往复。优点：本发明构建在通用文件系统之上，简单，容易实现，兼容不同的文件系统。解决了硬盘录像机长时间循环写入音视频数据后，产生大量磁盘碎片，影响系统运行效率的问题。

Description

一种简单防止磁盘碎片产生录像文件的管理方法和设备

技术领域

本发明是一种简单防止磁盘碎片产生录像文件的管理方法和设备，适用于需要长时间、循环写入音视频数据的硬盘录像机。使用后能极大的减少磁盘碎片，提高系统效率。并且本发明是简单的，容易实现的。

背景技术

硬盘录像机(DVR)、网络硬盘录像机(NVR)需要实时写入音视频数据，当磁盘写满后，就需要先删除最老的录像文件，然后再新建录像文件，其中删除录像文件是非常耗费系统资源的操作，在删除录像文件的同时写入新的录像文件，系统性能将急剧下降。由于不断新建、删除、写入操作后，磁盘就会产生碎片。随着时间的加长，碎片越来越严重，直接导致系统运行效率下降。传统的解决方法是在线碎片整理，但在线碎片整理过程本身也非常耗费系统资源，在碎片整理的这一段时间内，整个系统的运行效率下降，例如出现实时流转发丢包，写入录像文件不完整等问题。同时经常性的在线碎片整理也将影响磁盘的寿命。

一种防止文件碎片产生的硬盘录像机文件管理方法，专利申请号(200510050829.3)，提出修改FAT文件系统的分区表，预分配文件，首次写入时选取预先创建的数据文件，等到预先分配的数据文件使用完后，覆盖最老的录像文件。并建立2个索引文件，以完成对录像检索、回放的需求。该方法要求程序编写者熟悉文件系统的结构，操作文件系统的元数据（如分区表等信息），实现难度较大。同时，该方法仅适合于文件系统的元数据位于磁盘固定位置的文件系统，如fat系列的文件系统，对于现代的文件系统，如ext4、xfs等，文件系统的元数据都是动态生成的，不固定在磁盘的某个位置，因此该方法很难运用到现代的文件系统上。

一种降低磁盘碎片的方法，申请号201210495293.6，提出在NVR初次使用时将磁盘预先分配好一定数量的文件，将这些文件存放数据库。我们认为，如果不操作文件系统的元数据（分区表等信息），预先分配一定数量的文件在很多文件系统上都是一个非常耗时的操作，在预分配一定数量文件这段时间内，NVR系统基本处于一个不可用的状态。同时该专利提出FAT表和目录区冻结技巧，因此该专利是和FAT文件系统紧密关联的。

发明内容

本发明提出的是一种简单防止磁盘碎片产生录像文件的管理方法和设备，其目的旨在解决硬盘录像机长时间循环写入音视频数据后，产生大量磁盘碎片，影响系统运行效率的问题。

本发明的技术解决方案：一种简单防止磁盘碎片产生录像文件的管理方法和设备；管理方法，包括如下步骤：

1）将录像机中的磁盘格式化，固定为一个或若干个分区，针对不同的文件系统，使用操作系统提供的不同的格式化方法；

2）建立录像文件索引数据库，提供高效的录像文件检索服务；

3）固定录像文件大小，记为A(Byte)；

4）录像机中的磁盘未写满时，采用创建、写入的方法；首先创建一个录像文件，然后依次写入录像数据；数据库中增加一条索引记录，标记录像的开始时间、结束时间、录像文件大小；录像数据每写入一次，更新一次录像文件大小、结束时间，直到录像文件的大小等于A(Byte)，关闭录像文件；

5）录像机中的磁盘已经写满时，采用覆盖写入的方法；查找本磁盘中开始时间最老的录像文件，从数据库中删除该录像记录；将这条最老的录像文件更名为新的录像文件，并将录像文件的写入指针指向文件的起始处，然后依次写入录像数据；在数据库中增加一条新的录像文件记录，标记录像开始时间、结束时间、文件大小；录像数据每写入一次，更新一次录像文件大小、结束时间，直到录像文件的大小等于A(Byte)，关闭录像文件；

设备是录像机。

本发明的优点：本发明建立在文件系统之上，不依赖文件系统的元数据，采用通用的文件系统api(open、close、read、write)，利用了文件重命名(mv)到同一磁盘的其他文件时，文件在磁盘的位置不发生改变的特性。本发明对不同的文件系统有较好的兼容性，已测试对ext3、ext4、xfs都适用。本发明使用成熟的数据库(如sqlite3、mysql)来实现对录像文件的索引，提供良好的录像检索速度。解决了硬盘录像机长时间循环写入音视频数据后，产生大量磁盘碎片，影响系统运行效率的问题。

附图说明

图1是实施例中的运行流程图。

具体实施方式

一种简单防止磁盘碎片产生录像文件的管理方法和设备，管理方法包括如下步骤：

1）录像机中的磁盘格式化，固定为一个或若干个分区，针对不同的文件系统，使用操作系统提供的不同的格式化方法；

3）固定录像文件大小，记为A(Byte)；

5）录像机中的磁盘已经写满时，采用覆盖写入的方法；查找本磁盘中开始时间最老的录像文件，从数据库中删除该录像记录；将这条最老的录像文件更名为新的录像文件，并将录像文件的写入指针指向文件的起始处，然后依次写入录像数据；在数据库中增加一条新的录像文件记录，标记录像开始时间、结束时间、文件大小；录像数据每写入一次，更新一次录像文件大小、结束时间，直到录像文件的大小等于A(Byte)，关闭录像文件。

实施例

设备是录像机。

1、初始化流程

（1）将录像机中的整个磁盘格式化为一个分区，格式化成一个分区可以利用磁盘的所有空间；

（2）设置录像文件的固定大小为A(byte)；

2、开始流程

（1）程序启动；

（2）判断有没有创建过用于录像文件索引的数据库，如果已经创建，则转到步骤(4)，没有则转到步骤(3)；

（3）创建数据库，建立表结构、索引，表结构的内容包括录像开始时间、结束时间、文件大小等内容。根据需要，在数据库中记录的内容还可以包括通道号、编码参数、帧率、码流大小等音视频相关的参数；

（4）打开数据库；

3、运行流程，参考附图1

（1）开始一个新的录像；

（2）判断录像机中的磁盘是否满，如果没有满，则跳到步骤(3)，如果已满，则跳到步骤(4),这里一般不要将磁盘写到100%，因为写到100%后将影响磁盘的效率，需要预留一定比率的空间；

（3）使用系统调用open函数，创建一个新的录像文件，设置录像文件当前大小为0(byte)。将录像记录存入数据库，记录录像开始时间、结束时间、录像大小等参数，其中开始时间、结束时间均为当前时间，文件大小为0(byte)。随着录像文件的写入，录像结束时间、文件大小都是随着时间变化的，将这些变化都记录到数据库。如果当前使用的文件系统支持文件创建时预分配空间操作（如fallocate系统调用，ext4支持），则预分配A(byte)大小的磁盘空间；

（4）查找本磁盘中最老的录像文件，在数据库中删除该录像文件。这样客户端就无法再搜到该录像文件；

（5）将最老的录像文件更名为新录像文件，使用mv操作。在内存中，将当前录像文件的大小设为0(byte)（从录像文件的起始处开始覆写，因此一开始录像文件的大小为0(byte)），将文件的写入指针指向文件的起始处。将录像记录存入数据库，记录录像开始时间、结束时间、文件大小等参数，其中开始时间、结束时间均为当前时间，文件大小为0(byte)。随着录像文件的写入，录像结束时间、文件大小都是随着时间变化的,将这些变化都记录到数据库；

（6）录像文件的大小是否已经达到A(byte)？A(byte)是预先设定的录像文件大小，是固定的。如果没有达到A byte，则转到(7)；如果已经达到A(byte)，则转到(8)；

（7）写入录像数据，使用write系统调用，更新内存中当前录像文件大小，并更新数据库中相应记录的录像文件大小、结束时间等参数，每写入一次都更新一次数据库；

（8）关闭录像文件，更新录像文件最终的录像文件大小、结束时间等参数；

4、结束流程

（1）关闭所有通道的录像，在关闭每一路通道的录像时，需在数据库中更新最终的录像文件大小，及录像结束时间；

（2）关闭数据库；

（3）程序结束；

5、总结

对于ext3等不支持文件创建时预分配空间的的文件系统，本发明并不能保证完全没有硬盘碎片产生，从上面的处理流程可以看出，长时间运行后，硬盘碎片的数量约等于第一次将磁盘写满后所产生的硬盘碎片。在一遍一遍的覆写过程中，由于没有旧文件的删除、及新文件的创建，因此不会产生新的硬盘碎片。同时由于不需要删除旧文件，本发明极大的提高了系统的性能。

对于ext4等支持文件创建时预分配空间的的文件系统(通常是支持fallocate系统调用)，由于可以在文件创建时一次性的预分配文件占用的空间，因此可进一步降低磁盘碎片的产生。将本发明用于这类文件系统，则基本可消除录像机磁盘碎片，系统性能可进一步提高。

本发明已经在linux上实现，测试了ext3、ext4、xfs文件系统，达到了很好的效果。

Claims

1.一种简单防止磁盘碎片产生录像文件的管理方法和设备，该方法包括如下步骤：

3）固定录像文件大小，记为A Byte；

4）录像机中的磁盘未写满时，采用创建、写入的方法；首先创建一个录像文件，然后依次写入录像数据；数据库中增加一条索引记录，标记录像的开始时间、结束时间、录像文件大小；录像数据每写入一次，更新一次录像文件大小、结束时间，直到录像文件的大小等于A Byte，关闭录像文件；

5）录像机中的磁盘已经写满时，采用覆盖写入的方法；查找本磁盘中开始时间最老的录像文件，从数据库中删除该录像记录；将这条最老的录像文件更名为新的录像文件，并将录像文件的写入指针指向文件的起始处，然后依次写入录像数据；在数据库中增加一条新的录像文件记录，标记录像开始时间、结束时间、文件大小；录像数据每写入一次，更新一次录像文件大小、结束时间，直到录像文件的大小等于A Byte，关闭录像文件。