CN101419828B

CN101419828B - 一种模拟磁带串行模式的硬盘视频记录及检索方法

Info

Publication number: CN101419828B
Application number: CN2008101622745A
Authority: CN
Inventors: 闫春; 曹华东
Original assignee: Hangzhou Hikvision Digital Technology Co Ltd
Current assignee: Hangzhou Hikvision Digital Technology Co Ltd
Priority date: 2008-11-20
Filing date: 2008-11-20
Publication date: 2011-02-09
Anticipated expiration: 2028-11-20
Also published as: CN101419828A

Abstract

本发明涉及一种模拟磁带串行模式的硬盘视频记录及检索方法，其特征是：包括磁盘轨道文件的预创建过程，录像数据缓冲串行写入过程，保证写优先的令牌管理过程和录像数据的快速检索读取过程。本发明有益的效果是：1)使用磁盘预分配模式，解决临时创建和删除文件产生的磁盘碎片问题，延长磁盘寿命。2)由于在磁盘使用过程中，不涉及创建和删除文件的操作，极大的降低了在某些极端情况下磁盘损坏的概率。3)使用数据缓冲技术，串行写技术，轨道文件技术，最大限度的减少了磁盘的操作次数和磁头的移动频率，减少磁盘发热，延长磁盘寿命。4)利用令牌技术，更加适应在视频监控应用中确保录像正常工作的要求。

Description

一种模拟磁带串行模式的硬盘视频记录及检索方法

技术领域

本发明涉及在普通硬盘上持续纪录和管理视频文件的方法，特别是一种模拟磁带串行模式的硬盘视频记录及检索方法。

背景技术

目前视频监控已经由模拟转为数字，记录的载体也由磁带变为磁盘，在实际的应用环境中需要实时记录多路大量的音视频压缩数据流到硬盘(包括移动硬盘)上，传统的音视频文件管理方法是这样的：先格式化硬盘并创建分区，当开始录像工作时，把一个固定时间段(比如30分钟)的数据存储为一个文件。即某一路开始录像时创建一个新文件，持续将压缩后的音视频数据写入该文件，由于监控场景的不同，同样记录时间的数据文件长度一般是不同的；当磁盘被写满，如果没有另外可用的空磁盘而需要继续录像时，就必须删除本磁盘上的旧文件，并重新创建新的文件继续写入。当多路视频同时写入的时候，磁盘的并行处理方式会不停的移动磁头进行定位写入操作，这不仅会降低磁盘的写入效率，降低磁盘寿命；由于在删除文件的同时录像仍然在继续，所以将不可避免的产生磁盘碎片。传统视频录像系统需要不定期的对磁盘碎片进行整理，这对优化系统性能非常重要，但是整理磁盘碎片是一件费时费力的事情，对磁盘的寿命有着不小的副作用，而且磁盘整理工作也会对正常的录像工作产生影响。磁盘碎片过多不仅会导致系统读写文件时不停的来回寻到，从而引起系统性能下降(这是因为对磁盘的读写操作包括以下三个步骤：寻道，读写数据，数据在磁盘高速缓存和内存中传输的后处理/前处理，由于有磁头机械运动构成的寻道时间在很大程度上影响着文件的读写效率，因此磁盘读写位于磁头下放一个扇区数据所需要时间仅为将磁头移到另一磁道再读写相同数据所需时间的五分之一)，严重时甚至引起在删除和建立文件过程中，系统超负荷运行，来不及记录新的音视频数据，造成录像资料丢失及磁盘寿命缩短。所以，如何提高磁盘的读写效率及解决磁盘碎片问题是视频监控领域必须解决的问题之一。

发明内容

本发明的目的正是为了克服上述技术的不足，而提供的一种模拟磁带串行模式的硬盘视频记录及检索方法，针对视频监控领域中减少磁头巡道时间，提高磁盘写效率，防止文件碎片产生，延长磁盘寿命的一种视频文件组织及管理方案。

实现本发明目的的技术方案是：这种模拟磁带串行模式的硬盘视频记录及检索方法，其特征是：包括磁盘轨道文件的预创建过程，录像数据缓冲串行写入过程，保证写优先的令牌管理过程和录像数据的快速检索读取过程；

(1)、磁盘轨道文件的预创建过程包括以下步骤：

11)、格式化磁盘并创建分区；

12)、按顺序在各分区上预先创建索引文件和n个固定大小的数据轨道文件，每个硬盘分区分为索引文件区和数据文件区2个部分，索引文件记录当前分区录像数据的起始时间和结束时间、当前轨道文件写指针位置、当前分区是否为起始分区、轨道文件中所有数据块的索引信息；数据文件名称按自然数顺序编号，使得数据文件存放在硬盘的连续扇区中，轨道文件的大小是单个数据块大小的整数倍；

(2)、录像数据缓冲串行写入过程包括以下步骤：

21)、音视频数据接受并缓冲，数据假设当前有m路音视频数据同时写入，每一路写任务分配一个同轨道数据文件中定义的数据块大小相同一个缓冲，接收到的音视频数据首先写入该缓冲中；

22)、缓冲数据满或者缓冲中剩余空间不足时，将数据缓冲推入待写入磁盘的等待队列中，等待队列的长度根据实际需要支撑的录像路数进行确定；

23)、磁盘写入工作线程按照先进先出的策略顺序将等待队列中的数据块串行写入磁盘的数据文件中，写入数据块的同时更新相关分区的索引文件信息，当所有数据文件都被写满的情况下，根据覆盖最老数据的原则从最早写入的分区开始覆盖写，在写数据的同时维护分区上录像时间的起始和结束时间信息；

(3)、保证写优先的令牌管理过程包括以下步骤：

31)、包括独立的写硬盘线程和读硬盘线程，写线程相对于读线程有更高的优先级别；

32)、唯一的一个硬盘操作令牌，写线程和读线程将对该令牌竞争，获得令牌的线程才能执行具体的硬盘操作，使得写数据是串行的，读和写的操作也是串行化。

录像数据的快速检索读取过程包括以下步骤：

1)、将所有分区的索引信息都会调入内存维护，所有分区的索引在程序启动的时候就会读入内存，在内存进行维护，并定期更新到硬盘上；

2)、按时间检索时，按要求的检索时间和每个分区的录像开始和结束时间进行比较，只对两个时间段有重叠的分区进行进一步的检索操作。

在格式化磁盘并创建分区步骤中，根据存储时间要求选择配备硬盘，根据硬盘容量，把每个硬盘分成若干个分区。

所述数据块的索引信息包括该数据块所在文件信息、数据开始位置、数据块大小和有效数据块大小。

数据文件中定义的单个数据块的大小定义为2MB，或是2MB的整数倍。

优先级别的提高是通过提高写线程在获得令牌时的操作时长。

本发明有益的效果是：1)使用磁盘预分配模式(预先创建文件并实际写入固定大小的数据-比如128M)，解决临时创建和删除文件产生的磁盘碎片问题，延长磁盘寿命。2)由于在磁盘使用过程中，不涉及创建和删除文件的操作，极大的降低了在某些极端情况下(比如震动和突然断电等)磁盘损坏的概率。3)使用数据缓冲技术，串行写技术，轨道文件技术，在视频监控这样的应用场合中，最大限度的减少了磁盘的操作次数和磁头的移动频率，减少磁盘发热，延长磁盘寿命。4)利用令牌技术，提升了磁盘写的优先等级(相对与读操作)，更加适应在视频监控应用中确保录像正常工作的要求。

附图说明

图1是本发明的磁盘文件管理及轨道模拟图；

图2是本发明的录像数据缓冲串行写入过程示意图；

图3是本发明的令牌竞争策略图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明，但本发明的内容并不局限于此。

本发明所述的这种模拟磁带串行模式的硬盘视频记录及检索方法，其特征是：包括磁盘轨道文件的预创建过程，录像数据缓冲串行写入过程，保证写优先的令牌管理过程和录像数据的快速检索读取过程；

组成技术方案的磁盘轨道文件的预创建过程包括以下步骤：

11)格式化磁盘并创建分区。根据存储时间要求选择配备硬盘，根据硬盘容量，把每个硬盘分成若干个分区。

12)按顺序在各分区上预先创建索引文件和n个固定大小的数据轨道文件。每个硬盘分区分为索引文件区和数据文件区2个部分。索引文件记录当前分区录像数据的起始时间和结束时间，当前轨道文件写指针位置，当前分区是否为起始分区，轨道文件中所有数据块的索引信息(包括该数据块所在文件信息，数据开始位置，数据块大小，有效数据块大小)。数据文件名称按自然数顺序编号(track001，trace002….)，由于是连续创建数据文件，所以可以保证数据文件存放在硬盘的连续扇区中。数据文件中定义的单个数据块的大小一般定义为2MB，或是2MB的整数倍，轨道文件的大小必须是单个数据块大小的整数倍。

组成技术方案的录像数据缓冲串行写入过程包括以下步骤：

21)音视频数据接受并缓冲。数据假设当前有m路音视频数据同时写入，每一路写任务分配一个同轨道数据文件中定义的数据块大小相同一个缓冲，接收到得音视频数据首先写入该缓冲中；

22)缓冲数据满或者缓冲中剩余空间不足时，将数据缓冲推入待写入磁盘的等待队列中。等待队列的长度可以根据软件实际需要支撑的录像路数进行确定，一般取值为录像路数的2倍；

23)磁盘写入工作线程按照先进先出的策略顺序将等待队列中的数据块串行写入磁盘的数据文件中。写入数据块的同时更新相关分区的索引文件信息，当所有数据文件都被写满的情况下，根据覆盖最老数据的原则从最早写入的分区开始覆盖写。在写数据的同时维护分区上录像时间的起始和结束时间信息。

组成技术方案的保证写优先的令牌管理过程包括以下步骤：

31)方案包括独立的写硬盘线程和读硬盘线程；

32)方案包括唯一的一个硬盘操作令牌。写线程和读线程将对该令牌竞争，获得令牌的线程才能执行具体的硬盘操作，这样以来，不仅写数据是串行的，读和写的操作也被串行化；

33)方案赋予写线程更高的优先级别(相对于读线程)。优先级别的提高是通过提高写线程在获得令牌时的操作时长来体现的，比如说：如果写线程获得令牌，写线程可以最多处理完24个数据块才返回令牌。而读线程在获得令牌时，最多只能读取2个数据块就必须返回令牌。这样处理的好处是：能够保证不会因为大量的读操作而出现来不及写数据的情况出现；

组成技术方案的录像数据的快速检索读取过程包括以下步骤：

41)方案将所有分区的索引信息都会调入内存维护。方案设计中，所有分区的索引在程序启动的时候就会读入内存，在内存进行维护，并定期更新到硬盘上。这样可以减少硬盘的操作频率，而且检索的效率会提高；

42)按时间检索时，方案会按要求的检索时间和个分区的录像开始和结束时间进行比较，只对两个时间段有重叠的分区进行进一步的检索操作。

当然，本发明还可以有其他多种实施例，在不背离本发明精神及实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims

1.一种模拟磁带串行模式的硬盘视频记录及检索方法，其特征是：包括数据轨道文件的预创建过程，录像数据缓冲串行写入过程，保证写优先的令牌管理过程和录像数据的快速检索读取过程；

(1)、数据轨道文件的预创建过程包括以下步骤：

11)、格式化磁盘并创建分区；

12)、按顺序在各分区上预先创建索引文件和n个固定大小的数据轨道文件，每个硬盘分区分为索引文件区和数据轨道文件区2个部分，索引文件记录当前分区录像数据的起始时间和结束时间、当前数据轨道文件写指针位置、当前分区是否为起始分区、数据轨道文件中所有数据块的索引信息；数据轨道文件名称按自然数顺序编号，使得数据轨道文件存放在硬盘的连续扇区中，数据轨道文件的大小是单个数据块大小的整数倍；

(2)、录像数据缓冲串行写入过程包括以下步骤：

21)、接受音视频数据并写入缓冲，假设当前有m路音视频数据同时写入，每一路写任务分配一个和数据轨道文件中定义的数据块大小相同一个缓冲，接收到的音视频数据首先写入该缓冲中；

22)、缓冲数据满或者缓冲中剩余空间不足时，将数据缓冲推入待写入磁盘的等待队列中，等待队列的长度根据实际需要的录像路数进行确定；

23)、磁盘写入工作线程按照先进先出的策略顺序将等待队列中的数据块串行写入磁盘的数据轨道文件中，写入数据块的同时更新相关分区的索引文件信息，当所有数据轨道文件都被写满的情况下，根据覆盖最老数据的原则从最早写入的分区开始覆盖写，在写数据的同时维护分区上录像时间的起始和结束时间信息；

(3)、保证写优先的令牌管理过程包括以下步骤：

31)、设定独立的写硬盘线程和读硬盘线程，写线程相对于读线程有更高的优先级别；

32)、设定一个硬盘操作令牌，写线程和读线程将对该令牌竞争，获得令牌的线程才能执行具体的硬盘操作，使得写数据是串行的，读和写的操作也是串行化；

(4)、录像数据的快速检索读取过程包括以下步骤：

41)、将所有分区的索引信息都调入内存维护，所有分区的索引在程序启动的时候就会读入内存，在内存进行维护，并定期更新到硬盘上；

42)、按时间检索时，按要求的检索时间和每个分区的录像开始和结束时间进行比较，只对两个时间段有重叠的分区进行进一步的检索操作。

2.根据权利要求1所述的模拟磁带串行模式的硬盘视频记录及检索方法，其特征在于：在格式化磁盘并创建分区步骤中，根据存储时间要求选择配备硬盘，根据硬盘容量，把每个硬盘分成若干个分区。

3.根据权利要求1所述的模拟磁带串行模式的硬盘视频记录及检索方法，其特征在于：所述数据块的索引信息包括该数据块所在文件信息、数据开始位置、数据块大小和有效数据块大小。

4.根据权利要求1所述的模拟磁带串行模式的硬盘视频记录及检索方法，其特征在于：数据轨道文件中定义的单个数据块的大小定义为2MB的整数倍。

5.根据权利要求1所述的模拟磁带串行模式的硬盘视频记录及检索方法，其特征在于：优先级别的提高是通过提高写线程在获得令牌时的操作时长。