CN105389376B - 基于连续块的无碎片化多媒体数据存储方法及系统 - Google Patents

基于连续块的无碎片化多媒体数据存储方法及系统 Download PDF

Info

Publication number
CN105389376B
CN105389376B CN201510796957.6A CN201510796957A CN105389376B CN 105389376 B CN105389376 B CN 105389376B CN 201510796957 A CN201510796957 A CN 201510796957A CN 105389376 B CN105389376 B CN 105389376B
Authority
CN
China
Prior art keywords
multimedia data
data storage
blocks
block
logical volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510796957.6A
Other languages
English (en)
Other versions
CN105389376A (zh
Inventor
张金静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WELLTRANS O&E TECHNOLOGIES Co Ltd
Original Assignee
WELLTRANS O&E TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WELLTRANS O&E TECHNOLOGIES Co Ltd filed Critical WELLTRANS O&E TECHNOLOGIES Co Ltd
Priority to CN201510796957.6A priority Critical patent/CN105389376B/zh
Publication of CN105389376A publication Critical patent/CN105389376A/zh
Application granted granted Critical
Publication of CN105389376B publication Critical patent/CN105389376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1724—Details of de-fragmentation performed by the file system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于连续块的无碎片化多媒体数据存储方法及系统，涉及计算机应用领域。该方法的步骤如下：在磁盘组上创建逻辑卷，进行分区格式化；在逻辑卷上创建固定大小的多媒体数据存储块，将其分成若干连续的固定大小的数据块；存储多媒体数据时，先计算存储容量，按照多媒体数据存储块大小的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；将从网络上接收到的多媒体数据进行内存缓冲，累计到一个数据块的大小后，写入下一个数据块中；写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。本发明能实现海量多媒体数据的固定尺寸、连续化、无碎片化的高效存储。

Description

基于连续块的无碎片化多媒体数据存储方法及系统
技术领域
本发明涉及计算机应用领域，具体是涉及一种基于连续块的无碎片化多媒体数据存储方法及系统。
背景技术
近年来随着国家对安全防范的高度重视，各行各业为了保障安全生产和社会安定，视频监控技术和手段得到了全面的应用，随着对监控全覆盖、无盲区、高清化的要求的提出，将视频监控的数量推上了前所未有的高潮，这样一来海量的视频、音频、图像等多媒体数据的存储就成为了最重要的监控资料。在过去小规模、小数据量的时代，一般在对多媒体数据进行存储时，都是简单的通过创建/删除文件的方式来组织数据，体现出简单、低成本快速的特点。但是，在面对大规模海量数据的存储时，如果采用简单创建/删除文件的方式来管理数据，会导致存储效率低下、存储不连续、严重磁盘碎片化等严重的问题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于连续块的无碎片化多媒体数据存储方法及系统，能够实现海量多媒体数据的固定尺寸、连续化、无碎片化的高效存储。
本发明提供一种基于连续块的无碎片化多媒体数据存储方法，包括以下步骤：
S1、在磁盘组上创建逻辑卷，并进行分区格式化，此时整个逻辑卷处于空闲可用状态；
S2、在逻辑卷上创建固定大小的多媒体数据存储块，将每个多媒体数据存储块分成若干个连续的固定大小的数据块，并对若干个连续的固定大小的数据块采用顺序号进行命名标识；
S3、在逻辑卷上连续不断创建固定大小的多媒体数据存储块，判断逻辑卷上的存储空间是否还有剩余，如果还有剩余，返回步骤S2；直到逻辑卷上的剩余空间被全部占用，转到步骤S4；
S4、对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，形成线形的多媒体数据存储空间；
S5、从网络上接收待存储的多媒体数据；
S6、将接收到的多媒体数据进行内存缓冲，判断是否达到所述数据块的大小，如果达到，转到步骤S7；否则返回步骤S5；
S7、累计到一个数据块的大小后，写入下一个数据块中，转到步骤S8；
S8、判断是否仅剩下最后一个数据块，如果是，转到步骤S9；否则返回步骤S7；
S9、写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
在上述技术方案的基础上，步骤S1中采用Linux操作系统的第四代扩展文件系统Ext4文件系统格式进行分区格式化。
在上述技术方案的基础上，步骤S2中所述多媒体数据存储块的大小为1GB。
在上述技术方案的基础上，步骤S2中将每个1GB的多媒体数据存储块分成1024个连续的1MB的数据块。
在上述技术方案的基础上，步骤S4中对所分配的多媒体数据存储块进行顺序编号时，从0开始直到n×1024-1，n是多媒体数据存储块的数量。
本发明还提供一种基于连续块的无碎片化多媒体数据存储系统，该系统包括逻辑卷创建单元、多媒体数据存储块创建单元、数据块创建单元、多媒体数据存储单元，其中：
所述逻辑卷创建单元用于：在磁盘组上创建逻辑卷，并进行分区格式化，此时整个逻辑卷处于空闲可用状态；
所述多媒体数据存储块创建单元用于：在逻辑卷上连续不断创建固定大小的多媒体数据存储块，直到逻辑卷上的剩余空间被全部占用；
所述数据块创建单元用于：将每个多媒体数据存储块分成若干个连续的固定大小的数据块，并对若干个连续的固定大小的数据块采用顺序号进行命名标识；
所述多媒体数据存储单元用于：对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，这样就形成了线形的多媒体数据存储空间；将从网络上接收到的多媒体数据进行内存缓冲，累计到一个数据块的大小后，写入下一个数据块中；写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
在上述技术方案的基础上，所述逻辑卷创建单元采用Linux操作系统的第四代扩展文件系统Ext4文件系统格式进行分区格式化。
在上述技术方案的基础上，所述多媒体数据存储块的大小为1GB。
在上述技术方案的基础上，所述数据块创建单元将每个1GB的多媒体数据存储块分成1024个连续的1MB的数据块。
在上述技术方案的基础上，所述多媒体数据存储单元对所分配的多媒体数据存储块进行顺序编号时，从0开始直到n×1024-1，n是多媒体数据存储块的数量。
与现有技术相比，本发明的优点如下：
本发明摒弃传统的简单创建/删除计算机视频文件方式，采用固定块大小、连续空间分配、容量预规划等技术，基于计算机磁盘空间管理机制，实现海量多媒体数据的固定尺寸、连续化、无碎片化的高效存储。本发明在磁盘组上创建出来的存储空间是连续分配的，直接避免了传统方法中存储读写的顺序化，避免随机分散读写的性能下降；对预先规划给某路多媒体数据存储的空间进行线形组织，确保存储数据的顺序存放，从而彻底的解决了传统方案中存储的不连续性问题；采用固定大小的整数倍对应写入和循环覆盖的方法，解决了传统方案中存储尺寸随机大小、反复创建/删除文件导致的磁盘严重碎片化问题。
附图说明
图1为本发明实施例中基于连续块的无碎片化多媒体数据存储方法的流程图。
图2为本发明实施例中逻辑卷上的存储空间的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示，本发明实施例提供一种基于连续块的无碎片化多媒体数据存储方法，包括以下步骤：
S1、在磁盘组上创建逻辑卷，并采用Linux操作系统的Ext4(Fourth Extendedfilesystem，第四代扩展文件系统)文件系统格式进行分区格式化，此时整个逻辑卷处于空闲可用状态；
S2、参见图2所示，在逻辑卷上创建固定大小(例如1GB)的多媒体数据存储块，将每个多媒体数据存储块分成若干个连续的固定大小的数据块，例如：将1GB的多媒体数据存储块分成1024个连续的1MB的数据块；并对若干个连续的固定大小的数据块采用顺序号进行命名标识，例如：0000001.sbf；
S3、在逻辑卷上连续不断创建固定大小的多媒体数据存储块，判断逻辑卷上的存储空间是否还有剩余，如果还有剩余，返回步骤S2；直到逻辑卷上的剩余空间被全部占用，转到步骤S4；
S4、对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小(例如1GB)的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，例如：从0开始直到n×1024-1，n是多媒体数据存储块的数量，这样就形成了线形的多媒体数据存储空间，至此完成了对存储空间的初始化工作；
S5、从网络上接收待存储的多媒体数据；
S6、将接收到的多媒体数据进行内存缓冲，判断是否达到数据块的大小(例如1MB)，如果达到，转到步骤S7；否则返回步骤S5；
S7、累计到一个数据块的大小后，写入下一个数据块中，转到步骤S8；
S8、判断是否仅剩下最后一个数据块，如果是，转到步骤S9；否则返回步骤S7；
S9、写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
本发明实施例还提供一种基于连续块的无碎片化多媒体数据存储系统，包括逻辑卷创建单元、多媒体数据存储块创建单元、数据块创建单元、多媒体数据存储单元，其中：
逻辑卷创建单元用于：在磁盘组上创建逻辑卷，并采用Linux操作系统的Ext4(Fourth Extended filesystem，第四代扩展文件系统)文件系统格式进行分区格式化，此时整个逻辑卷处于空闲可用状态；
多媒体数据存储块创建单元用于：在逻辑卷上连续不断创建固定大小(例如1GB)的多媒体数据存储块，直到逻辑卷上的剩余空间被全部占用；
数据块创建单元用于：参见图2所示，将每个多媒体数据存储块分成若干个连续的固定大小的数据块，例如：将1GB的多媒体数据存储块分成1024个连续的1MB的数据块；并对若干个连续的固定大小的数据块采用顺序号进行命名标识，例如：0000001.sbf；
多媒体数据存储单元用于：对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小(例如1GB)的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，例如：从0开始直到n×1024-1，n是多媒体数据存储块的数量，这样就形成了线形的多媒体数据存储空间；将从网络上接收到的多媒体数据进行内存缓冲，累计到一个数据块的大小后，写入下一个数据块中；写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
本领域的技术人员可以对本发明实施例进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。

Claims (2)

1.一种基于连续块的无碎片化多媒体数据存储方法，其特征在于，包括以下步骤：
S1、在磁盘组上创建逻辑卷，并采用Linux操作系统的第四代扩展文件系统Ext4文件系统格式进行分区格式化，此时整个逻辑卷处于空闲可用状态；
S2、在逻辑卷上创建固定大小为1GB的多媒体数据存储块，将每个1GB的多媒体数据存储块分成1024个连续的1MB固定大小的数据块，并对1024个连续的1MB固定大小的数据块采用顺序号进行命名标识；
S3、在逻辑卷上连续不断创建固定大小为1GB的多媒体数据存储块，判断逻辑卷上的存储空间是否还有剩余，如果还有剩余，返回步骤S2；直到逻辑卷上的剩余空间被全部占用，转到步骤S4；
S4、对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，从0开始直到n×1024-1，n是多媒体数据存储块的数量，形成线形的连续分配的多媒体数据存储空间；
S5、从网络上接收待存储的多媒体数据；
S6、将接收到的多媒体数据进行内存缓冲，判断是否达到所述数据块的大小，如果达到，转到步骤S7；否则返回步骤S5；
S7、累计到一个数据块的大小后，写入下一个数据块中，转到步骤S8；
S8、判断是否仅剩下最后一个数据块，如果是，转到步骤S9；否则返回步骤S7；
S9、写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
2.一种基于连续块的无碎片化多媒体数据存储系统，其特征在于：该系统包括逻辑卷创建单元、多媒体数据存储块创建单元、数据块创建单元、多媒体数据存储单元，其中：
所述逻辑卷创建单元用于：在磁盘组上创建逻辑卷，并采用Linux操作系统的第四代扩展文件系统Ext4文件系统格式进行分区格式化，此时整个逻辑卷处于空闲可用状态；
所述多媒体数据存储块创建单元用于：在逻辑卷上连续不断创建固定大小为1GB的多媒体数据存储块，直到逻辑卷上的剩余空间被全部占用；
所述数据块创建单元用于：将每个1GB的多媒体数据存储块分成1024个连续的1MB固定大小的数据块，并对1024个连续的1MB固定大小的数据块采用顺序号进行命名标识；
所述多媒体数据存储单元用于：对多媒体数据进行存储时，先计算存储容量，然后按照多媒体数据存储块大小1GB的整数倍，将连续的多媒体数据存储块分配给该多媒体数据；对所分配的多媒体数据存储块进行顺序编号，从0开始直到n×1024-1，n是多媒体数据存储块的数量，这样就形成了线形的连续分配的多媒体数据存储空间；将从网络上接收到的多媒体数据进行内存缓冲，累计到一个数据块的大小后，写入下一个数据块中；写完所有的数据块后，采用循环覆盖的方式，从第一个数据块开始覆盖写入多媒体数据。
CN201510796957.6A 2015-11-18 2015-11-18 基于连续块的无碎片化多媒体数据存储方法及系统 Active CN105389376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510796957.6A CN105389376B (zh) 2015-11-18 2015-11-18 基于连续块的无碎片化多媒体数据存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510796957.6A CN105389376B (zh) 2015-11-18 2015-11-18 基于连续块的无碎片化多媒体数据存储方法及系统

Publications (2)

Publication Number Publication Date
CN105389376A CN105389376A (zh) 2016-03-09
CN105389376B true CN105389376B (zh) 2020-01-03

Family

ID=55421666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510796957.6A Active CN105389376B (zh) 2015-11-18 2015-11-18 基于连续块的无碎片化多媒体数据存储方法及系统

Country Status (1)

Country Link
CN (1) CN105389376B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975401A (zh) * 2016-04-29 2016-09-28 郑州天迈科技股份有限公司 车载磁盘顺序写入及快捷恢复的系统及方法
CN106503427B (zh) * 2016-10-12 2019-01-29 创业软件股份有限公司 一种面向医疗大数据处理的固态磁盘存储方法
CN106599292B (zh) * 2016-12-26 2020-05-15 东方网力科技股份有限公司 针对实时视频数据和图像数据进行存储的方法及系统
CN109408231A (zh) * 2018-10-11 2019-03-01 北京中电华大电子设计有限责任公司 一种有效管理多应用卡存储空间的方法
CN113568868B (zh) * 2021-07-28 2024-02-06 重庆紫光华山智安科技有限公司 文件系统管理方法、系统、电子设备及介质
CN113486026A (zh) * 2021-08-02 2021-10-08 北京字节跳动网络技术有限公司 数据处理方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
CN102508784A (zh) * 2011-11-02 2012-06-20 杭州海康威视数字技术股份有限公司 视频监控设备中闪存卡的数据存储方法及其系统
CN102968422A (zh) * 2011-08-31 2013-03-13 中国航天科工集团第二研究院七○六所 流数据存储控制系统及其方法
WO2015108258A1 (ko) * 2014-01-17 2015-07-23 주식회사 엠티오메가 Fat 파일 시스템, 이를 이용하는 차량용 멀티미디어 데이터 저장 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101556557A (zh) * 2009-05-14 2009-10-14 浙江大学 一种基于对象存储设备的对象文件组织方法
CN102968422A (zh) * 2011-08-31 2013-03-13 中国航天科工集团第二研究院七○六所 流数据存储控制系统及其方法
CN102508784A (zh) * 2011-11-02 2012-06-20 杭州海康威视数字技术股份有限公司 视频监控设备中闪存卡的数据存储方法及其系统
WO2015108258A1 (ko) * 2014-01-17 2015-07-23 주식회사 엠티오메가 Fat 파일 시스템, 이를 이용하는 차량용 멀티미디어 데이터 저장 장치 및 그 방법

Also Published As

Publication number Publication date
CN105389376A (zh) 2016-03-09

Similar Documents

Publication Publication Date Title
CN105389376B (zh) 基于连续块的无碎片化多媒体数据存储方法及系统
CN105589812B (zh) 磁盘碎片整理方法、装置及主机
CN104461391B (zh) 一种存储设备元数据管理处理方法及系统
EP2631821B1 (en) File storage method and device thereof
CN102508784B (zh) 视频监控设备中闪存卡的数据存储方法及其系统
CN104317742A (zh) 一种优化空间管理的自动精简配置方法
JP5574464B2 (ja) ストレージリソースの階層化管理方法及びシステム
CN106201355A (zh) 数据处理方法和装置以及存储系统
CN104346357A (zh) 一种嵌入式终端的文件存取方法及系统
CN102253898B (zh) 一种图像数据的内存管理方法及装置
CN103995855A (zh) 存储数据的方法和装置
CN107844436B (zh) 一种缓存中脏数据的组织管理方法、系统及存储系统
CN104731799A (zh) 内存数据库管理装置
CN103838853A (zh) 一种基于不同存储介质的混合文件系统
CN103218305B (zh) 存储空间的分配方法
KR20110093035A (ko) 플래시 주소 변환 장치 및 그 방법
CN104268088A (zh) 车载dvr硬盘数据存储方法
CN102982182A (zh) 一种数据存储规划方法及装置
CN103425435A (zh) 磁盘存储方法及磁盘存储系统
US11287996B2 (en) Method, device and computer program product for storing data
CN102096679A (zh) 一种索引段合并和写入磁盘的方法及装置
CN105975401A (zh) 车载磁盘顺序写入及快捷恢复的系统及方法
CN109753224B (zh) 存储结构及存储结构配置方法
CN103823641A (zh) 一种在线扩容的虚拟卷系统及其实现方法
KR20150127434A (ko) 메모리제어장치 및 메모리제어장치의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant