CN104811647B - 面向视频流数据的分布式存储系统磁盘双分区写入方法 - Google Patents

面向视频流数据的分布式存储系统磁盘双分区写入方法 Download PDF

Info

Publication number
CN104811647B
CN104811647B CN201510245388.6A CN201510245388A CN104811647B CN 104811647 B CN104811647 B CN 104811647B CN 201510245388 A CN201510245388 A CN 201510245388A CN 104811647 B CN104811647 B CN 104811647B
Authority
CN
China
Prior art keywords
disk
cache partitions
write
partition holding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510245388.6A
Other languages
English (en)
Other versions
CN104811647A (zh
Inventor
段瀚聪
闵革勇
詹文翰
郭辉
程文静
王瑾
郑松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201510245388.6A priority Critical patent/CN104811647B/zh
Publication of CN104811647A publication Critical patent/CN104811647A/zh
Application granted granted Critical
Publication of CN104811647B publication Critical patent/CN104811647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了面向视频流数据的分布式存储系统磁盘双分区写入方法。包括步骤：A、将每块磁盘划分为缓存分区和存储分区，缓存分区用于处理大量视频流的并发写入，存储分区用于稳定存储视频流的数据；当某块磁盘的缓存分区存在视频流写入时，该块磁盘标记为在线状态磁盘；C、当前磁盘的缓存分区上的数据拷贝至另一个处于离线状态磁盘的存储分区上，其中，磁盘的缓存分区没有视频流写入时，该块磁盘标记为离线状态磁盘。本发明克服了传统机械磁盘内圈外圈的读写速率不同而造成的磁盘I/O吞吐率不稳定的情况。充分发挥了缓存分区I/O吞吐率高的特点，能够在视频流写入时保证高速稳定写入带宽。同时利用了存储分区来持久保存数据，避免磁盘空间的浪费。

Description

面向视频流数据的分布式存储系统磁盘双分区写入方法
技术领域
本发明涉及面向视频流数据的分布式存储系统磁盘双分区写入方法，属于计算机软件领域，涉及分布式文件系统。
背景技术
视频监控技术在智慧交通领域的发展中一直占据着重要地位。近年来视频监控数据的存储技术随着前端摄像头分布的密集化，采集数据的高清化而受到越来越严峻的考验。现有的视频监控存储主要采用NVR存储方案：通过中心业务平台进行集中管理和控制，以网络视频服务器和IP摄像机为前端，以IPSAN/NAS网络存储为后端进行部署。作为NVR存储的前端，IP摄像头的高清化对后台存储所带来的压力是显而易见的。以一路1080P(1920x1080)解析度，30帧/秒的视频流为例，其所产生的原始视频数据码率为750Mbit/s。即使使用目前具有较高压缩比的H.264视频流压缩编码算法进行编码后，所产生的视频流数据码率也在4Mbit/s ~ 8Mbit/s之间。传统的NVR存储中基于NAS的存储方式对存储阵列中磁盘I/O的利用率不高，并且随着前端接入摄像头数目的增加，NVR存储系统中磁盘的聚合I/O吞吐率急剧下降。
此外，传统机械磁盘磁头在进行数据写入时，内圈和外圈的写入速率差别较大，会带来磁盘I/O速率的不稳定等问题。通过实验我们发现，磁盘的I/O吞吐率，随着磁盘块号的增加而逐渐降低，磁盘写入速率的最低值只有峰值的一半左右，如图1所示为在一块1TB7200RPM SATA磁盘上的顺序写入测试。磁盘写入速率逐渐下降的原因在于整个磁盘空间采用顺序I/O的方式写入数据，且创建初始化块文件时采用顺序创建的方式，分配给块文件的磁盘块号也随着块文件序号而递增。磁盘块号越大的磁盘块所对应的磁道也越靠近物理磁盘中心，而磁盘在磁道上的写入速率随磁道接近磁盘中心而递减。如果将整块磁盘使用顺序I/O的方式用于监控视频流数据的存储，则其所能支持写入的视频流数据将受到这种磁盘I/O吞吐率不稳定的影响而逐渐降低。这将导致部分视频流需要请求中心服务器定位可写入的数据服务器，增大中心服务器的压力，从而影响整个存储系统的性能。
发明内容
本发明的目的在于提供面向视频流数据的分布式存储系统磁盘双分区写入方法，主要解决现有磁盘磁头读写在磁盘内圈和外圈时速率的差异，造成磁盘I/O吞吐率不稳定，影响存储系统性能的问题。本发明同时稳定写入带宽，避免磁盘空间的浪费。
为了实现上述目的，本发明采用的技术方案如下：
面向视频流数据的分布式存储系统磁盘双分区写入方法，包括步骤：
A、将数据服务器的每块磁盘划分为缓存分区和存储分区，缓存分区用于处理大量视频流的并发写入，存储分区用于稳定存储视频流的数据；
B、当某块磁盘的缓存分区存在视频流写入时，该块磁盘标记为在线状态磁盘；而当其缓存分区上没有视频流写入时，该磁盘被称为离线状态磁盘；
C、当前磁盘的缓存分区上的数据拷贝至另一个处于离线状态磁盘的存储分区上。
具体地，所述缓存分区和存储分区均包括多个固定大小的磁盘块，并对该两个分区中的磁盘块进行统一排序，并且缓存分区具有相对于存储分区序号较小的磁盘块，存储分区具有相对于缓存分区序号较大的磁盘块。磁盘块序号越大的磁盘块所对应的磁道越靠近物理磁盘中心，而磁盘在磁道上的写入速率随磁道接近磁盘中心而递减，因此缓存分区的磁盘块序号较小，处于磁盘外圈，可保证高速稳定写入带宽，而存储分区处于磁盘内圈则可以持久保存数据，避免磁盘空间的浪费。
进一步地，所述缓存分区和存储分区的大小相同。
再进一步地，所述步骤C中，当前磁盘的缓存分区被写满后，其上的数据才被拷贝至另一个处于离线状态磁盘的存储分区上。
当前磁盘的缓存分区被写满后，还执行以下步骤：
D、视频流写入被调度至其他磁盘的缓存分区进行写入；
E、当前磁盘状态由在线转为离线。
再进一步地，拷贝完成后的缓存分区再次收到写入请求时，立即进行视频流的写入；存储分区等待其上的数据到期后，才能进行覆盖写入。
与现有技术相比，本发明具有以下有益效果：
本发明克服了传统机械磁盘内圈外圈的读写速率不同而造成的磁盘I/O吞吐率不稳定的问题。同时利用了内圈外圈速率的不同特点，充分发挥了磁盘外圈I/O吞吐率高的特点，在视频流写入时保证高速稳定写入带宽；磁盘内圈持久保存数据，避免磁盘空间的浪费。饱和利用磁盘I/O吞吐率，减少磁盘空转时间，节约能源消耗和磁盘损耗。
附图说明
图1为磁盘顺序写入数据的速率变化趋势图。
图2为本发明-实施例的工作流程图。
图3为本发明磁盘变化图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例
如图2和图3所示，面向视频流数据的分布式存储系统磁盘双分区写入方法，包括如下步骤：
A、将数据服务器上的每块磁盘划分为两个逻辑分区，一个逻辑分区为缓存分区，另一个逻辑分区为存储分区，缓存分区和存储分区均包括多个固定大小的磁盘块，并对两个逻辑分区中的磁盘块进行统一排序，缓存分区用于处理大量视频流的并发写入，存储分区用于稳定存储视频流的数据；
B、当某块磁盘的缓存分区存在视频流写入时，该块磁盘标记为在线状态磁盘；而当其缓存分区上没有视频流写入时，该磁盘被称为离线状态磁盘；
C、当前磁盘的缓存分区上的数据拷贝至另一个处于离线状态磁盘的存储分区上；
D、视频流写入被调度至其他磁盘的缓存分区进行写入。
在本实施例中，数据服务器的每块磁盘不包括系统盘，两个逻辑分区的大小相同，缓存分区包含序号较小的磁盘块，存储分区包含剩下的序号较大的磁盘块，比如缓存分区的磁盘块序号为1~n，则存储分区的磁盘块序号为n+1~2n。磁盘块序号越大的磁盘块所对应的磁道越靠近物理磁盘中心，而磁盘在磁道上的写入速率随磁道接近磁盘中心而递减，因此缓存分区的磁盘块序号较小，处于磁盘外圈，可保证高速稳定写入带宽，而存储分区处于磁盘内圈则可以持久保存数据，避免磁盘空间的浪费。
其中，两个分区均使用连续模型进行格式化，连续模型进行格式化方法如下：在进行格式化时，首先在每个逻辑分区上连续创建并写入固定大小的普通文件，形成磁盘块的块文件，直到将整块磁盘占满，这些块文件所占用的物理磁盘扇区基本是连续的。
在步骤D中，拷贝完成后，当前磁盘的缓存分区可立即再次用于视频流写入，而拷贝了数据的存储分区上的数据需要等待其有效期过后才能进行覆盖，这种机制称为双分区离线复制机制。
在本实施例中，对于数据服务器上的用于保存视频监控数据的物理磁盘，通过双分区离线复制机制划分了在线和离线两种状态。而在整个系统运行过程中，为了能够及时调度空闲磁盘进行休眠，将这些磁盘的工作状态划分为4类。各类状态定义如下：1、Write状态：当前磁盘上的缓存分区正在处理视频流的并发写入；2、Backup状态：当前磁盘的缓存分区正在将写满的数据备份至其他磁盘的存储分区，或者其他磁盘上的缓存分区正在将写满的数据备份至当前磁盘的存储分区；3、Idle状态：当前磁盘已经将缓存分区刚写满的数据备份至其他磁盘的存储分区，且没有收到其他请求，4、Read状态：当前磁盘在以上3种状态下收到读取数据请求时，均需做出响应，完成读取请求后的磁盘恢复原有状态。当磁盘处于Idle状态时，磁盘处于休眠状态，从而降低能源开销和磁盘损耗。
本发明克服了传统机械磁盘内圈外圈的读写速率不同而造成的磁盘I/O吞吐率不稳定的问题。同时利用了内圈外圈速率的不同特点，充分发挥了磁盘外圈I/O吞吐率高的特点，在视频流写入时保证高速稳定写入带宽；磁盘内圈持久保存数据，避免磁盘空间的浪费。饱和利用磁盘I/O吞吐率，减少磁盘空转时间，节约能源消耗和磁盘损耗。
按照上述实施例，便可很好地实现本发明。

Claims (5)

1.面向视频流数据的分布式存储系统磁盘双分区写入方法，其特征在于，包括步骤：
A、将每块磁盘划分为缓存分区和存储分区，缓存分区用于处理大量视频流的并发写入，存储分区用于稳定存储视频流的数据；
B、当某块磁盘的缓存分区存在视频流写入时，该块磁盘标记为在线状态磁盘；而当其缓存分区上没有视频流写入时，该磁盘被称为离线状态磁盘；
C、当前磁盘的缓存分区上的数据拷贝至另一个处于离线状态磁盘的存储分区上；
所述缓存分区和存储分区均包括多个固定大小的磁盘块，并对该两个分区中的磁盘块进行统一排序，并且缓存分区具有相对于存储分区序号较小的磁盘块，存储分区具有相对于缓存分区序号较大的磁盘块。
2.根据权利要求1所述的面向视频流数据的分布式存储系统磁盘双分区写入方法，其特征在于，所述缓存分区和存储分区的大小相同。
3.根据权利要求1-2任意一项所述的面向视频流数据的分布式存储系统磁盘双分区写入方法，其特征在于，所述步骤C中，当前磁盘的缓存分区被写满后，其上的数据才被拷贝至另一个处于离线状态磁盘的存储分区上。
4.根据权利要求3所述的面向视频流数据的分布式存储系统磁盘双分区写入方法，其特征在于，当前磁盘的缓存分区被写满后，还执行以下步骤：
D、视频流写入被调度至其他磁盘的缓存分区进行写入；
E、当前磁盘状态由在线状态转为离线状态。
5.根据权利要求4所述的面向视频流数据的分布式存储系统磁盘双分区写入方法，其特征在于，拷贝完成后的缓存分区再次收到写入请求时，立即进行视频流的写入；存储分区等待其上的数据到期后，才能进行覆盖写入。
CN201510245388.6A 2015-05-15 2015-05-15 面向视频流数据的分布式存储系统磁盘双分区写入方法 Active CN104811647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510245388.6A CN104811647B (zh) 2015-05-15 2015-05-15 面向视频流数据的分布式存储系统磁盘双分区写入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510245388.6A CN104811647B (zh) 2015-05-15 2015-05-15 面向视频流数据的分布式存储系统磁盘双分区写入方法

Publications (2)

Publication Number Publication Date
CN104811647A CN104811647A (zh) 2015-07-29
CN104811647B true CN104811647B (zh) 2018-11-06

Family

ID=53696107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510245388.6A Active CN104811647B (zh) 2015-05-15 2015-05-15 面向视频流数据的分布式存储系统磁盘双分区写入方法

Country Status (1)

Country Link
CN (1) CN104811647B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109525794A (zh) * 2018-12-27 2019-03-26 中铁第四勘察设计院集团有限公司 一种视频存储与管理方法及系统
CN115878508A (zh) * 2021-09-29 2023-03-31 中兴通讯股份有限公司 数据缓存方法、装置、合并存储设备及数据缓存系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270105A (zh) * 2011-08-08 2011-12-07 东软集团股份有限公司 独立磁盘阵列、网络采集数据处理方法及系统
CN102520883A (zh) * 2011-12-12 2012-06-27 杭州华三通信技术有限公司 一种数据存取方法及其装置
CN103702057A (zh) * 2013-09-03 2014-04-02 成都竣泰科技有限公司 一种适应于多路并发写入流媒体数据的分块式存储算法
CN104615381A (zh) * 2015-01-18 2015-05-13 浙江宇视科技有限公司 一种视频监控系统的磁盘冗余阵列

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102270105A (zh) * 2011-08-08 2011-12-07 东软集团股份有限公司 独立磁盘阵列、网络采集数据处理方法及系统
CN102520883A (zh) * 2011-12-12 2012-06-27 杭州华三通信技术有限公司 一种数据存取方法及其装置
CN103702057A (zh) * 2013-09-03 2014-04-02 成都竣泰科技有限公司 一种适应于多路并发写入流媒体数据的分块式存储算法
CN104615381A (zh) * 2015-01-18 2015-05-13 浙江宇视科技有限公司 一种视频监控系统的磁盘冗余阵列

Also Published As

Publication number Publication date
CN104811647A (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
US10101916B2 (en) Optimized data placement for individual file accesses on deduplication-enabled sequential storage systems
US9110669B2 (en) Power management of a storage device including multiple processing cores
JP4918940B2 (ja) 正センタの仮想テープ装置、副センタの仮想テープ装置、仮想ライブラリシステムおよび仮想テープ制御方法
WO2017190578A1 (zh) 硬盘数据擦除方法、服务器及系统
US10055417B2 (en) Centralized parallel burst engine for high performance computing
US20080016390A1 (en) Apparatus, system, and method for concurrent storage pool migration and backup
CN106066890B (zh) 一种分布式高性能数据库一体机系统
US20090217067A1 (en) Systems and Methods for Reducing Power Consumption in a Redundant Storage Array
CN103763383A (zh) 一体化云存储系统及其存储方法
CN104778018A (zh) 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法
CN102096616A (zh) 逻辑对象数据的复制方法以及相关装置
CN107422989B (zh) 一种Server SAN系统多副本读取方法及存储系统
US6453396B1 (en) System, method and computer program product for hardware assisted backup for a computer mass storage system
KR20100063739A (ko) 정센터의 가상 테이프 장치, 부센터의 가상 테이프 장치, 가상 라이브러리 시스템 및 가상 테이프 제어 방법
CN106469123A (zh) 一种基于nvdimm的写缓存分配、释放方法及其装置
CN104811646B (zh) 基于连续存储模型的多视频流数据并发调制及缓冲的存储方法
US7725654B2 (en) Affecting a caching algorithm used by a cache of storage system
CN101727298A (zh) 实现独立磁盘冗余阵列的方法和装置
US7552294B1 (en) System and method for processing multiple concurrent extended copy commands to a single destination device
CN106469119A (zh) 一种基于nvdimm的数据写缓存方法及其装置
CN114564457B (zh) 一种针对数据库文件的存储空间优化方法及系统
CN104811647B (zh) 面向视频流数据的分布式存储系统磁盘双分区写入方法
CN109375868B (zh) 一种数据存储方法、调度装置、系统、设备及存储介质
CN107577614B (zh) 数据写入方法及内存系统
JP2003280826A (ja) 記憶サブシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Duan Hancong

Inventor after: Min Geyong

Inventor after: Zhan Wenhan

Inventor after: Guo Hui

Inventor after: Cheng Wenjing

Inventor after: Wang Jin

Inventor after: Zheng Song

Inventor before: Duan Hancong

Inventor before: Min Geyong

Inventor before: Zhan Wenhan

Inventor before: Guo Hui

Inventor before: Cheng Wenjing

Inventor before: Wang Jin

Inventor before: Zheng Song

CB03 Change of inventor or designer information