CN105094705A - 一种优化磁盘存储策略的方法 - Google Patents
一种优化磁盘存储策略的方法 Download PDFInfo
- Publication number
- CN105094705A CN105094705A CN201510445490.0A CN201510445490A CN105094705A CN 105094705 A CN105094705 A CN 105094705A CN 201510445490 A CN201510445490 A CN 201510445490A CN 105094705 A CN105094705 A CN 105094705A
- Authority
- CN
- China
- Prior art keywords
- media stream
- stream data
- data
- frame
- disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明提出了一种优化磁盘存储策略的方法，通过将媒体流数据分块存放，并根据关键帧生成引索文件存于独立的区域，在播放数据时，在内存中载入引索文件，根据引索文件来播放指定的媒体流数据块内容进行播放，避免数据读取时产生的大量磁盘随机读操作，提高磁盘吞吐效率，使系统流化、存储业务进行的更加流畅。
Description
技术领域
本发明属于磁盘存储领域，更具体地说涉及一种优化磁盘存储策略的方法。
背景技术
在视频会议系统中一般采用分布式存储与集中式存储相结合的方式进行存储系统布局，系统支持多个存储服务器集群，存储节点采用普通硬盘或者磁盘阵列的方式本地化存储，不同的节点间的媒体数据无法共享，因此需要在同一节点上同时进行流化操作和存储操作，流化操作需要读取磁盘数据，存储操作需要往磁盘写入数据，即都需要进行磁盘数据I/O操作。基于此种条件下需要通过优化存储、流化的策略来提高系统磁盘IO吞吐量。
对于大多数的IO操作，数据尽量以IO操作的数据块上限写入或者读取的效率最高，原因是这样减少了应用层与操作系统层，以及操作系统层与IO层交互、IO层之间的交互，所以能较大的提高IO吞吐的效率。
磁盘结构上分为盘片、磁头、磁道以及扇区，一块硬盘包含多块盘片，每块盘片上都会有磁头，大多数情况下这些磁头都是同轨的，主要是为了高效简单。在同轨情况下同一磁道下在垂直方向上多块盘片看做一个柱面，硬盘读写数据按照磁头、柱面以及扇区来读写数据，不同文件数据会分散在不同的扇区以及柱面。系统进行流媒体存储以及视频流化播放时，读写硬盘数据时随机性较大，此时会出现磁头重新寻址以及定位，如果一次定位数据读取的太小且随机读写数据的概率较大时会造成大部分时间磁头都处于寻址状态，因此造成磁盘I/O吞吐效率低。
发明内容
本发明提出了一种优化磁盘存储策略的方法，通过减少存储以及流化磁盘SEEK以及随机大小读写磁盘操作来达到提高磁盘I/O吞吐效率，实现最优的磁盘存储目的。
一种优化磁盘存储策略的方法，包括以下步骤：
(1)对发往磁盘前的媒体流数据进行处理，按照规则分成媒体流数据块；
(2)将所述媒体流数据块按照数据块生成的时间顺序依次写入磁盘文件池；
(3)根据媒体流数据的关键帧自动生成索引文件，将索引文件更新到磁盘文件中的独立区域进行保存；
(4)系统播放录像时，按媒体流数据块调度读取磁盘媒体流数据，减少磁盘磁头的重定位次数，同时将媒体流数据块包含的索引文件载入内存当中，以减少索引文件的读取频率；用户查找特定媒体流数据进行播放时，根据索引文件定位媒体流数据的指定媒体流数据块内容进行播放
进一步地，步骤(1)中系统按照计算机内存分页读取特性对输入磁盘的媒体流数据进行分块，所述分块的大小范围为256KB～4MB。
进一步地，步骤(3)中对媒体流数据的普通帧和关键帧分别进行标记表示，媒体流数据写入磁盘时检测到一个关键帧的标记则自动生成一个索引文件。
进一步地，所述媒体流数据的普通帧和关键帧的帧头数据不同，系统会读取媒体流数据中每帧的帧头数据进行判断区分媒体流数据中普通帧和关键帧。
进一步地，系统进行存储的媒体流数据为标准码流数据时，每帧的帧头数据大小为5个字节，前四个字节表示帧头，第五字节为帧类型ID标识，系统通过对第五字节进行与运算判定该帧是否为关键帧。
进一步地，步骤(4)中，视频流化播放时支持多路流的读取调度并复合写入网络IO，在服务器上对于一段间隔的数据增加一帧标记帧，且该标记与数据源的IDS相匹配，有绝对的起始时间，便于在客户端形成下载数据段管理功能。
本发明产生的有益效果为：本发明提供的数据存储方法，通过将媒体流数据分块存放，并根据关键帧生成引索文件存于独立的区域，在播放数据时，在内存中载入引索文件，根据引索文件来播放指定的媒体流数据块内容进行播放，避免数据读取时产生的大量磁盘随机读操作，提高磁盘吞吐效率，使系统流化、存储业务进行的更加流畅。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种优化磁盘存储策略的方法，包括以下步骤：
(1)对发往磁盘前的媒体流数据进行处理，按照规则分成媒体流数据块：
将媒体流数据按照一定大小分成数据块可以避免磁盘碎片的产生，由于碎片可以导致磁盘I/O使用效率、空间使用效率下降，因而可以有效提高磁盘I/O使用效率。将媒体流数据分块过程中，分块的大小根据磁盘扇区磁道柱面数的倍数，文件系统综合考量，一般256KB～4MB；
(2)将所述媒体流数据块按照数据块生成的时间顺序依次写入磁盘文件池；
(3)根据媒体流数据的关键帧自动生成索引文件，将索引文件更新到磁盘文件中的独立区域进行保存：
媒体流数据的普通帧和关键帧的帧头数据不同，系统会读取媒体流数据中每帧的帧头数据进行判断区分媒体流数据中普通帧和关键帧。在存储的媒体流数据为标准码流数据时，每帧的帧头数据大小为5个字节，前四个字节表示帧头，第五字节为帧类型ID标识，系统通过对第五字节进行与运算判定该帧是否为关键帧。保存时对媒体流数据的普通帧和关键帧分别进行标记表示，媒体流数据写入磁盘时检测到一个关键帧的标记则自动生成一个索引文件。
(4)系统播放录像时，按媒体流数据块调度读取磁盘媒体流数据，减少磁盘磁头的重定位次数，同时将媒体流数据块包含的索引文件载入内存当中，以减少索引文件的读取频率；用户查找特定媒体流数据进行播放时，根据索引文件定位媒体流数据的指定媒体流数据块内容进行播放：
视频流化播放时支持多路流的读取调度并复合写入网络IO，在服务器上对于一段间隔的数据增加一帧标记帧，且该标记与数据源的IDS相匹配，有绝对的起始时间，便于在客户端形成下载数据段管理功能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种优化磁盘存储策略的方法，其特征在于，包括以下步骤：
（1）对发往磁盘前的媒体流数据进行处理，按照规则分成媒体流数据块；
（2）将所述媒体流数据块按照数据块生成的时间顺序依次写入磁盘文件池；
（3）根据媒体流数据的关键帧自动生成索引文件，将索引文件更新到磁盘文件中的独立区域进行保存；
（4）系统播放录像时，按媒体流数据块调度读取磁盘媒体流数据，减少磁盘磁头的重定位次数，同时将媒体流数据块包含的索引文件载入内存当中，以减少索引文件的读取频率；用户查找特定媒体流数据进行播放时，根据索引文件定位媒体流数据的指定媒体流数据块内容进行播放。
2.如权利要求1所述的一种优化磁盘存储策略的方法，其特征在于，步骤（1）中系统按照计算机内存分页读取特性对输入磁盘的媒体流数据进行分块，所述分块的大小范围为256KB～4MB。
3.如权利要求1所述的一种优化磁盘存储策略的方法，其特征在于，步骤（3）中对媒体流数据的普通帧和关键帧分别进行标记表示，媒体流数据写入磁盘时检测到一个关键帧的标记则自动生成一个索引文件。
4.如权利要求3所述的一种优化磁盘存储策略的方法，其特征在于，所述媒体流数据的普通帧和关键帧的帧头数据不同，系统会读取媒体流数据中每帧的帧头数据进行判断区分媒体流数据中普通帧和关键帧。
5.如权利要求4所述的一种优化磁盘存储策略的方法，其特征在于，系统进行存储的媒体流数据为标准码流数据时，每帧的帧头数据大小为5个字节，前四个字节表示帧头，第五字节为帧类型ID标识，系统通过对第五字节进行与运算判定该帧是否为关键帧。
6.如权利要求1所述的一种优化磁盘存储策略的方法，其特征在于，步骤（4）中，视频流化播放时支持多路流的读取调度并复合写入网络IO，在服务器上对于一段间隔的数据增加一帧标记帧，且该标记与数据源的IDS相匹配，有绝对的起始时间，便于在客户端形成下载数据段管理功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510445490.0A CN105094705A (zh) | 2015-07-27 | 2015-07-27 | 一种优化磁盘存储策略的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510445490.0A CN105094705A (zh) | 2015-07-27 | 2015-07-27 | 一种优化磁盘存储策略的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105094705A true CN105094705A (zh) | 2015-11-25 |
Family
ID=54575265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510445490.0A Pending CN105094705A (zh) | 2015-07-27 | 2015-07-27 | 一种优化磁盘存储策略的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105094705A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202558A (zh) * | 2016-07-29 | 2016-12-07 | 成都神州数码索贝科技有限公司 | 一种高效的安防行业音视频数据存储格式及其查询方法 |
| CN106686466A (zh) * | 2017-01-10 | 2017-05-17 | 武汉卓威视讯科技有限公司 | 一种视频数据的定位方法 |
| CN109040826A (zh) * | 2018-09-12 | 2018-12-18 | 北京合创软开科技有限公司 | Ts码流存储方法、装置及系统 |
| CN114579771A (zh) * | 2022-02-24 | 2022-06-03 | 珠海海奇半导体有限公司 | 一种媒体文件播放方法及播放系统、控制装置、存储介质 |
| CN116893787A (zh) * | 2023-09-06 | 2023-10-17 | 四川易利数字城市科技有限公司 | 一种基于区块链大数据应用的磁盘存储方法 |
| WO2024146330A1 (zh) * | 2023-01-05 | 2024-07-11 | 广电运通集团股份有限公司 | 视频存储方法和视频播放方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1641603A (zh) * | 2004-01-05 | 2005-07-20 | 华为技术有限公司 | 一种处理流媒体数据的方法 |
| CN101644996A (zh) * | 2009-09-25 | 2010-02-10 | 杭州华三通信技术有限公司 | 索引数据的存储方法和存储控制装置 |
| CN101917388A (zh) * | 2009-12-17 | 2010-12-15 | 新奥特（北京）视频技术有限公司 | 一种流媒体数据存储方法及装置 |
| CN102200935A (zh) * | 2011-04-27 | 2011-09-28 | 烽火通信科技股份有限公司 | 一种流媒体系统数据存储方法 |
| CN103064633A (zh) * | 2012-12-13 | 2013-04-24 | 广东威创视讯科技股份有限公司 | 一种数据存储方法及装置 |
-
2015
- 2015-07-27 CN CN201510445490.0A patent/CN105094705A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1641603A (zh) * | 2004-01-05 | 2005-07-20 | 华为技术有限公司 | 一种处理流媒体数据的方法 |
| CN101644996A (zh) * | 2009-09-25 | 2010-02-10 | 杭州华三通信技术有限公司 | 索引数据的存储方法和存储控制装置 |
| CN101917388A (zh) * | 2009-12-17 | 2010-12-15 | 新奥特（北京）视频技术有限公司 | 一种流媒体数据存储方法及装置 |
| CN102200935A (zh) * | 2011-04-27 | 2011-09-28 | 烽火通信科技股份有限公司 | 一种流媒体系统数据存储方法 |
| CN103064633A (zh) * | 2012-12-13 | 2013-04-24 | 广东威创视讯科技股份有限公司 | 一种数据存储方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106202558A (zh) * | 2016-07-29 | 2016-12-07 | 成都神州数码索贝科技有限公司 | 一种高效的安防行业音视频数据存储格式及其查询方法 |
| CN106686466A (zh) * | 2017-01-10 | 2017-05-17 | 武汉卓威视讯科技有限公司 | 一种视频数据的定位方法 |
| CN106686466B (zh) * | 2017-01-10 | 2020-10-23 | 深圳市芯睿视科技有限公司 | 一种视频数据的定位方法 |
| CN109040826A (zh) * | 2018-09-12 | 2018-12-18 | 北京合创软开科技有限公司 | Ts码流存储方法、装置及系统 |
| CN109040826B (zh) * | 2018-09-12 | 2021-05-11 | 北京合创软开科技有限公司 | Ts码流存储方法、装置及系统 |
| CN114579771A (zh) * | 2022-02-24 | 2022-06-03 | 珠海海奇半导体有限公司 | 一种媒体文件播放方法及播放系统、控制装置、存储介质 |
| WO2024146330A1 (zh) * | 2023-01-05 | 2024-07-11 | 广电运通集团股份有限公司 | 视频存储方法和视频播放方法 |
| CN116893787A (zh) * | 2023-09-06 | 2023-10-17 | 四川易利数字城市科技有限公司 | 一种基于区块链大数据应用的磁盘存储方法 |
| CN116893787B (zh) * | 2023-09-06 | 2023-12-05 | 四川易利数字城市科技有限公司 | 一种基于区块链大数据应用的磁盘存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105094705A (zh) | 一种优化磁盘存储策略的方法 | |
| US11714554B2 (en) | Method for aggregation optimization of time series data | |
| CN101419828B (zh) | 一种模拟磁带串行模式的硬盘视频记录及检索方法 | |
| CN103702057B (zh) | 一种适应于多路并发写入流媒体数据的分块式存储算法 | |
| US20130135767A1 (en) | Implementing enhanced fragmented stream handling in a shingled disk drive | |
| CN102999442B (zh) | 面向媒体应用的存储系统及方法 | |
| CN101644996A (zh) | 索引数据的存储方法和存储控制装置 | |
| CN102999428A (zh) | 一种瓦记录磁盘的四级编址方法 | |
| CN105786401A (zh) | 服务器集群系统中的数据管理方法及装置 | |
| CN103049224B (zh) | 将数据导入物理磁带的方法、装置和系统 | |
| CN104778018A (zh) | 基于非对称混合型磁盘镜像的宽条带磁盘阵列及存储方法 | |
| CN102117297A (zh) | 流媒体文件处理方法、装置和系统 | |
| US20130191591A1 (en) | Method for volume management | |
| US8514509B2 (en) | Error tolerant or streaming storage device | |
| Yan et al. | An Effective RAID Data Layout for Object‐Based De‐duplication Backup System | |
| US7984313B2 (en) | Method, apparatus and system for reducing power consumption involving data storage devices | |
| CN102520885B (zh) | 一种混合硬盘的数据管理系统 | |
| US20180260413A1 (en) | Hierarchical storage management system | |
| US20210200449A1 (en) | Error tolerant or streaming storage device | |
| CN100468548C (zh) | 具有可变索引结构的硬盘驱动器的缺陷管理 | |
| CN101055509B (zh) | 高效流媒体数据读写系统 | |
| US20220206711A1 (en) | Devices and methods for optimized fetching of multilingual content in media streaming | |
| US9281008B1 (en) | Multiple track pitches for SMR | |
| CN103617250A (zh) | 基于光存储阵列的文件管理方法以及文件格式系统 | |
| US9129627B1 (en) | Sector-based write operation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151125 |