CN104811646A - 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 - Google Patents
基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 Download PDFInfo
- Publication number
- CN104811646A CN104811646A CN201510245337.3A CN201510245337A CN104811646A CN 104811646 A CN104811646 A CN 104811646A CN 201510245337 A CN201510245337 A CN 201510245337A CN 104811646 A CN104811646 A CN 104811646A
- Authority
- CN
- China
- Prior art keywords
- data
- file
- disk
- sheet
- buffering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003139 buffering effect Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 title abstract description 9
- 238000005192 partition Methods 0.000 abstract description 4
- 238000013500 data storage Methods 0.000 abstract description 2
- 238000012217 deletion Methods 0.000 abstract 1
- 230000037430 deletion Effects 0.000 abstract 1
- 238000013467 fragmentation Methods 0.000 abstract 1
- 238000006062 fragmentation reaction Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 4
- 239000012634 fragment Substances 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 101100481702 Arabidopsis thaliana TMK1 gene Proteins 0.000 description 1
- 101100481704 Arabidopsis thaliana TMK3 gene Proteins 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明公开了基于连续存储模型的多视频流数据并发调制及缓冲的存储方法。包括步骤：A、在数据存储节点初始化时，预先在每块刚进行过格式化的磁盘上建立固定大小的块文件，再将每个块文件划分成若干个连续固定大小的文件片；B、当多路视频流网络I/O到来时，每一路视频流的数据按照文件片的大小，在内存缓存中合并成一个或多个完整的片数据；C、调度器将片数据批量写入磁盘中的文件片中。本发明针对海量高清视频流数据的存储，提出了一种自定义的连续存储模型，有效解决了文件频繁创建和删除导致的磁盘分区空间碎片化，避免了磁盘磁头在视频流文件并发写入过程中的来回移动，高效利用了磁盘I/O吞吐率，同时提升了磁盘的写入速率。
Description
技术领域
本发明涉及基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，属于计算机软件领域，涉及文件系统。
背景技术
视频监控技术在智慧交通领域的发展中一直占据着重要地位。近年来视频监控数据的存储技术随着前端摄像头分布的密集化，采集数据的高清化而受到越来越严峻的考验。现有的视频监控存储主要采用NVR存储方案：通过中心业务平台进行集中管理和控制，以网络视频服务器和IP摄像机为前端，以IPSAN/NAS网络存储为后端进行部署。作为NVR存储的前端，IP摄像头的高清化对后台存储所带来的压力是显而易见的。以一路1080P(1920x1080)解析度，30帧/秒的视频流为例，其所产生的原始视频数据码率为750Mbit/s。即使使用目前具有较高压缩比的H.264视频流压缩编码算法进行编码后，所产生的视频流数据码率也在4Mbit/s ~ 8Mbit/s之间。传统的NVR存储中基于NAS的存储方式对存储阵列中磁盘I/O的利用率不高，并且随着前端接入摄像头数目的增加，NVR存储系统中磁盘的聚合I/O吞吐率急剧下降，其原因在于传统NVR存储系统针对多路视频流的并发写入未进行调控，仅依靠存储服务器上操作系统的并发写入机制。
此外，在视频监控数据存储场景中，通常要求监控7*24小时不间断，长时间的磁盘I/O将极大地减少磁盘的使用寿命。传统的NVR存储系统和现有的云存储方案中通常缺乏有效的磁盘调度和视频流负载均衡策略，所有磁盘一直保持在工作状态，浪费能源的同时也降低了系统可靠性。
发明内容
本发明的目的在于提供基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，主要解决传统海量高清视频监控数据存储中遇到的磁盘I/O吞吐率的瓶颈问题和巨大的能源开销和磁盘损耗问题。
为了实现上述目的，本发明采用的技术方案如下：
基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，包括步骤：
A、格式化磁盘，在数据存储节点初始化时，预先在每块刚进行过格式化的磁盘上建立固定大小的块文件，再将每个块文件划分成若干个连续固定大小的文件片；
B、当多路视频流网络I/O到来时，每一路视频流的数据按照文件片的大小，在内存缓存中合并成一个或多个完整的片数据；
C、调度器将片数据批量写入磁盘中的文件片中。
具体地，所述每个块文件具有全局唯一的标识符blk id。所述文件片在所属的块文件中有一个唯一的标识符fragment id。
块文件的创建过程为：在全新的文件系统分区上，连续创建并写入大小固定的普通文件，这些文件称为块文件，并对每个块文件进行命名和编号。
重要地，在块文件内部，划分为多个大小固定的文件片。这样多路视频流的数据各自按照固定长度，随机地存储在一起。
所述步骤B中，有网络I/O到来的每一路视频流的数据在内存中，都对应一个文件片大小的缓冲区域。
优选地，所述步骤C中，每块磁盘有一个调度器。
优选地，所述步骤C中，调度器从内存缓存中调度多视频流的片数据，形成一个队列。
优选地，调度器按照FIFO算法，每次调度队列中的一个片数据，一次只写入磁盘的一个文件片。因此，一个文件片就只包含一个视频流的数据。
在本发明中，文件系统的分区上，视频流网络输入和分区写入之间，由分区流缓冲区和调度器将并发随机写转换为顺序写。每一路视频流文件拥有一个文件片大小的内存缓存，多路视频流的数据分别以固定的文件片大小的片在内存缓存中合并成一个或多个完整的片数据。当每一路视频流的数据合并完成后，将数据交给调度器统一管理。接下来到来的每路视频流的数据，继续按照文件片大小在内存缓存中进行合并。调度器收到每一路视频流的数据的文件片大小的缓存数据后，将其按照FIFO算法，形成一个调度队列。调度器每次选取调度队列中的一个节点的数据，按照fragment id递增的顺序，写入磁盘中的文件片，保证在一个文件片内，只包含一个视频流的数据。写完一个块文件，接着写下一个块文件，写完最后一个块文件后，重新返回至第一个块文件继续写入。
与现有技术相比，本发明具有以下有益效果：
本发明提出了一种基于连续存储模型的多视频流数据并发调制及缓冲的存储方法。在本发明的细粒度的连续存储模型下，避免了文件频繁创建和删除导致磁盘分区的空间碎片化，提高了磁盘I/O吞吐率，避免了磁盘磁头在视频流文件的并发写入过程中的来回移动，提高了磁盘的写入吞吐率。
附图说明
图1为视频流文件基于块文件下的文件片粒度的数据连续存储模型。
图2为多流并发随机写入调制和分块内存缓冲方法的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
如图1和图2所示，基于连续存储模型的多视频流数据并发调制及缓冲的存储方法如下：
在数据存储节点初始化时，预先在每块刚进行过格式化的磁盘上建立固定大小的块文件，具体大小可由配置文件指定，之后将多路视频流的数据按顺序依次写入这些块文件，当所有块文件写满后自动回到首个块文件开始覆盖写入。
本实施例可实现多路视频流的数据随机并发写入，并经过调制，转换成顺序写入。
在多个视频流同时对一块磁盘写入的情况下，一个块文件内可能包含多个视频流的数据，如果将所有视频流的数据段的详细位置作为元数据保存，则元数据信息会耗费大量存储空间。为了缩小元数据规模，再将一个块文件划成若干个连续固定大小的文件片，文件片大小可通过配置文件修改。这样每一文件片在该文件块中都有一个对应的序号，当每次向块文件写入视频流的数据时，在一文件片内只能包含一个视频流的数据。如此一来，该视频流写入的文件对应的元数据，就只有其写入的块文件号和此块文件内属于该视频流的数据片序号。之后可通过提取这些序号对应的数据，将其组合还原为原始的视频流的数据。由于视频流的写入频率远远大于读取频率，采用此种方案可以在尽可能高效连续地将视频流写入磁盘的情况下，同时具备将视频流数据读出的能力。例如，上述附图1，BLK1、BLK2、BLK5中为块文件，包含了视频流A的数据。其中对于BLK5，可以由图1中看出，其中第0号和第2号文件片中，包含着视频流A的数据。
本实施例的存储方法如下：
在文件系统的一个分区内，可能同时存在多个写入请求，为每个正在写入数据的客户端维护一个线程来处理其请求。在每个分区的视频流网络数据和分区之间，设置面向多流并发写入的分区流缓冲区和一个调度器。每一路视频流文件拥有一个文件片大小的内存缓存，多路视频流的数据分别以固定的文件片大小的片在内存缓存中合并成一个或多个片数据。当每一路视频流的数据合并完成后，将数据交给调度器统一管理。接下来到来的每路视频流的数据，继续按照文件片大小在内存缓存中进行合并。调度器收到每一路视频流的数据的文件片大小的缓存后，即片数据，将其按照FIFO算法，形成一个调度队列。调度器每次选取调度队列中的一个节点的数据（即片数据），按照fragment id递增的顺序，写入磁盘中的文件片，保证在一个文件片内，只包含一个视频流的数据。写完一个块文件，接着写下一个块文件，写完最后一个块文件后，重新返回至第一个块文件继续写入。
本发明提出了一种基于连续存储模型的多视频流数据并发调制及缓冲的存储方法。在本发明的细粒度的连续存储模型下，避免了文件频繁创建和删除导致磁盘分区的空间碎片化，提高了磁盘I/O吞吐率，避免了磁盘磁头在视频流文件的并发写入过程中的来回移动，提高了磁盘的写入吞吐率。
按照上述实施例，便可很好地实现本发明。
Claims (7)
1.基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，包括步骤：
A、格式化磁盘，在数据存储节点初始化时，预先在每块刚进行过格式化的磁盘上建立固定大小的块文件，再将每个块文件划分成若干个连续固定大小的文件片；
B、当多路视频流网络I/O到来时，每一路视频流的数据按照文件片的大小，在内存缓存中合并成一个或多个完整的片数据；
C、调度器将片数据批量写入磁盘中的文件片中。
2.根据权利要求1所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，所述每个块文件具有全局唯一的标识符。
3.根据权利要求2所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，所述文件片在所属的块文件中有一个唯一的标识符。
4.根据权利要求1所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，所述步骤B中，有网络I/O到来的每一路视频流的数据在内存中，都对应一个文件片大小的缓冲区域。
5.根据权利要求1所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，所述步骤C中，每块磁盘有一个调度器。
6.根据权利要求1所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，所述步骤C中，调度器从内存缓存中调度多视频流的片数据，形成一个队列。
7.根据权利要求6所述的基于连续存储模型的多视频流数据并发调制及缓冲的存储方法，其特征在于，调度器按照FIFO算法，每次调度队列中的一个片数据，一次只写入磁盘的一个文件片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510245337.3A CN104811646B (zh) | 2015-05-15 | 2015-05-15 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510245337.3A CN104811646B (zh) | 2015-05-15 | 2015-05-15 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104811646A true CN104811646A (zh) | 2015-07-29 |
| CN104811646B CN104811646B (zh) | 2018-07-24 |
Family
ID=53696106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510245337.3A Active CN104811646B (zh) | 2015-05-15 | 2015-05-15 | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104811646B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488108A (zh) * | 2015-11-19 | 2016-04-13 | 广州日滨科技发展有限公司 | 一种多个视频文件高速并行存储的方法及装置 |
| CN106412513A (zh) * | 2016-10-14 | 2017-02-15 | 环球大数据科技有限公司 | 视频处理系统及处理方法 |
| CN111263220A (zh) * | 2020-01-15 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 视频的处理方法、装置、电子设备及计算机可读存储介质 |
| CN112597348A (zh) * | 2020-12-15 | 2021-04-02 | 电子科技大学中山学院 | 一种大数据存储优化的方法及装置 |
| CN113473039A (zh) * | 2021-06-18 | 2021-10-01 | 苏州浪潮智能科技有限公司 | 一种多路视频存储方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001346133A (ja) * | 2000-06-02 | 2001-12-14 | Matsushita Electric Ind Co Ltd | ビデオサーバ装置 |
| CN1878301A (zh) * | 2006-07-19 | 2006-12-13 | 杭州华为三康技术有限公司 | 一种视频监控数据存储管理方法及系统 |
| CN101419828A (zh) * | 2008-11-20 | 2009-04-29 | 杭州海康威视数字技术股份有限公司 | 一种模拟磁带串行模式的硬盘视频记录及检索方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
| CN101794306A (zh) * | 2010-03-02 | 2010-08-04 | 上海华平信息技术股份有限公司 | 多类型录像文件分块存储系统及方法 |
| CN103064633A (zh) * | 2012-12-13 | 2013-04-24 | 广东威创视讯科技股份有限公司 | 一种数据存储方法及装置 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104102724A (zh) * | 2014-07-22 | 2014-10-15 | 浪潮电子信息产业股份有限公司 | 一种基于视频监控数据的写入方法 |
| CN104159058A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 一种多路媒体流同时录像的高效方法 |
-
2015
- 2015-05-15 CN CN201510245337.3A patent/CN104811646B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001346133A (ja) * | 2000-06-02 | 2001-12-14 | Matsushita Electric Ind Co Ltd | ビデオサーバ装置 |
| CN1878301A (zh) * | 2006-07-19 | 2006-12-13 | 杭州华为三康技术有限公司 | 一种视频监控数据存储管理方法及系统 |
| CN101419828A (zh) * | 2008-11-20 | 2009-04-29 | 杭州海康威视数字技术股份有限公司 | 一种模拟磁带串行模式的硬盘视频记录及检索方法 |
| CN101742263A (zh) * | 2009-12-08 | 2010-06-16 | 北京互信互通信息技术股份有限公司 | 一种存储视频监控录像数据的方法 |
| CN101794306A (zh) * | 2010-03-02 | 2010-08-04 | 上海华平信息技术股份有限公司 | 多类型录像文件分块存储系统及方法 |
| CN103064633A (zh) * | 2012-12-13 | 2013-04-24 | 广东威创视讯科技股份有限公司 | 一种数据存储方法及装置 |
| CN103702057A (zh) * | 2013-09-03 | 2014-04-02 | 成都竣泰科技有限公司 | 一种适应于多路并发写入流媒体数据的分块式存储算法 |
| CN104102724A (zh) * | 2014-07-22 | 2014-10-15 | 浪潮电子信息产业股份有限公司 | 一种基于视频监控数据的写入方法 |
| CN104159058A (zh) * | 2014-07-26 | 2014-11-19 | 佳都新太科技股份有限公司 | 一种多路媒体流同时录像的高效方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488108A (zh) * | 2015-11-19 | 2016-04-13 | 广州日滨科技发展有限公司 | 一种多个视频文件高速并行存储的方法及装置 |
| CN106412513A (zh) * | 2016-10-14 | 2017-02-15 | 环球大数据科技有限公司 | 视频处理系统及处理方法 |
| CN106412513B (zh) * | 2016-10-14 | 2019-06-11 | 环球大数据科技有限公司 | 视频处理系统及处理方法 |
| CN111263220A (zh) * | 2020-01-15 | 2020-06-09 | 北京字节跳动网络技术有限公司 | 视频的处理方法、装置、电子设备及计算机可读存储介质 |
| CN112597348A (zh) * | 2020-12-15 | 2021-04-02 | 电子科技大学中山学院 | 一种大数据存储优化的方法及装置 |
| CN113473039A (zh) * | 2021-06-18 | 2021-10-01 | 苏州浪潮智能科技有限公司 | 一种多路视频存储方法及系统 |
| CN113473039B (zh) * | 2021-06-18 | 2022-12-02 | 苏州浪潮智能科技有限公司 | 一种多路视频存储方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104811646B (zh) | 2018-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104811646A (zh) | 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法 | |
| JP4390710B2 (ja) | 複数のデジタルビデオプログラムの時間多重化処理のための方法及び装置 | |
| US7697816B2 (en) | Circulating memory apparatus and image storage distribution system | |
| CN103702057B (zh) | 一种适应于多路并发写入流媒体数据的分块式存储算法 | |
| CN104581406A (zh) | 一种网络视频录像与回放系统和方法 | |
| US20140025771A1 (en) | Data transferring apparatus, data transmitting system, data transmitting method and computer program product | |
| CN104750858A (zh) | 一种基于网络的数据存储方法 | |
| CN102902709B (zh) | 一种固定空间分配的文件存储系统及实现方法 | |
| CN105630413B (zh) | 一种磁盘数据的同步回写方法 | |
| CN104750859A (zh) | 一种网络存储方法 | |
| CN104469396A (zh) | 一种分布式转码系统和方法 | |
| CN104349100A (zh) | 支持单个通道双码流录像的dvr监控系统及方法 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 | |
| CN102243615B (zh) | 一种支持音视频帧存储的内存缓冲管理方法 | |
| CN105488108A (zh) | 一种多个视频文件高速并行存储的方法及装置 | |
| CN104408109A (zh) | 报警录像录制方法及装置 | |
| CN102883143B (zh) | 一种调整raid阵列缓存的方法 | |
| CN106791908B (zh) | 一种支持云平台采用双缓冲的实时视频流存储方法 | |
| CN109086457A (zh) | 一种分布式视频帧随机读取的元数据服务系统及工作方法 | |
| CN110555890A (zh) | 一种内存管理方法及系统 | |
| CN108650481B (zh) | 一种视频流数据的存储方法及装置 | |
| CN104202371B (zh) | 一种基于iSCSI块直存的跨设备扩容方法和装置 | |
| CN104159058A (zh) | 一种多路媒体流同时录像的高效方法 | |
| CN102595085B (zh) | 一种数据存储管理方法及其设备 | |
| CN104811647A (zh) | 面向视频流数据的分布式存储系统磁盘双分区写入方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |