CN1963814A - 存储器数据管理方法 - Google Patents

存储器数据管理方法 Download PDF

Info

Publication number
CN1963814A
CN1963814A CN 200610123871 CN200610123871A CN1963814A CN 1963814 A CN1963814 A CN 1963814A CN 200610123871 CN200610123871 CN 200610123871 CN 200610123871 A CN200610123871 A CN 200610123871A CN 1963814 A CN1963814 A CN 1963814A
Authority
CN
China
Prior art keywords
data
index
address
data field
memorizer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200610123871
Other languages
English (en)
Inventor
罗新恒
陈景华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHUHAI TAIDE ENTERPRISE CO Ltd
Original Assignee
ZHUHAI TAIDE ENTERPRISE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHUHAI TAIDE ENTERPRISE CO Ltd filed Critical ZHUHAI TAIDE ENTERPRISE CO Ltd
Priority to CN 200610123871 priority Critical patent/CN1963814A/zh
Publication of CN1963814A publication Critical patent/CN1963814A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及存储器数据管理方法，该方法包括存储器格式化、数据的存储及数据的读取。其中，存储器格式化是将存储器划分为引导区、索引区及数据区，引导区内设定的内容包括数据区的设置属性、索引区的设置属性、待存数据块的大小、索引的大小，数据区用于存储若干待存数据块，索引区存储每个数据块对应的索引，每个索引的内容包括数据块生成的时间及累加计数。数据块按时间顺序存入数据区，每一数据块对应生成一个索引。数据读取时，根据时间段查找索引，根据对应的索引号及数据块的大小计算出所需数据的地址，然后读取数据。本发明可以快速地存储以及读取以时间为索引的数据，适合在连续生成大量数据且要求快速读取任何时段数据的领域应用。

Description

存储器数据管理方法
技术领域
本发明涉及存储器数据管理方法，尤其涉及连续生成大量数据且要求快速读取任何时段数据的领域的数据管理方法。
背景技术
目前的PC机系统、嵌入式设备中，数据存储采用的数据存储格式是DOS系统发展而来的FAT12，FAT16和UNIX、Linux系统发展而来的JFFS、EXT2等文件系统。上述文件系统基于多样化数据管理和搜索的原则，基本上采用的都是阶层式树状目录结构管理，通过Windows、UNIX、Linux操作系统对文件进行存储及查询等操作。但在一些实际应用中，待存储数据的格式是确定的，而且其存储与查询是主要以时间为索引。例如，存储时，通过文件生成的时间顺序存储数据，读取时，根据时间段直接进行对应时段数据的查询。例如，在数字化地震检测系统中，监测台站数据的特点是大容量连续记录，以时间作为记录标志，要求可以快速查询任何时段的数据。在此种情况下，上述的文件系统存在文件存取复杂且存取速度慢等缺陷。
发明内容
本发明的目的是提供一种存储器数据管理方法。
为实现上述目的，本发明提供的存储器数据管理方法包括存储器格式化、数据的存储及数据的读取，其特征在于：
存储器格式化包括：将存储器划分为引导区、索引区及数据区，引导区内设定的内容包括数据区的设置属性、索引区的设置属性、待存数据块的大小、索引的大小，数据区用于存储若干所述待存数据块，索引区存储每个数据块对应的索引，每个索引的内容包括数据块生成的时间及累加计数；
数据的存储包括：A1.将第一被存储数据块由数据区的起始位置存储到数据区内，并在索引区生成第一索引；A2.查找最新的索引，以最新索引指向的数据块的最新数据地址的下一地址为起始地址，将新的数据块写入数据区内，并在索引区生成一个新的索引；A3.重复重复执行步骤A2；
数据的读取包括：B1.下载引导区内容及索引区内容；根据时间段查找索引；B2.根据对应的索引号及数据块的大小计算出所需数据的地址；B3.读取数据。
如上所述，本发明可以快速地存储以及读取以时间为索引的数据，适合在连续生成大量数据且要求快速读取任何时段数据的领域应用。
附图说明
图1为本发明存储器分区结构图；
图2为本发明数据存储过程的流程图；
图3为本发明数据读取过程的流程图。
具体实施方式
本实施例提供一种存储器数据管理方法，包括存储器格式化、数据的存储及数据的读取。
请参阅图1，存储器格式化包括：将存储器划分为引导区、索引区及数据区。引导区内设定的内容包括数据区的设置属性、索引区的设置属性、待存数据块的大小(指占用扇区的个数)、索引的大小(指字节数)。其中，数据区的设置属性包括数据区的起始扇区号、结束扇区号、数据区扇区数量；所述数据区的设置属性包括索引区的起始扇区号、结束扇区号、索引区扇区数量。数据区用于存储数据，数据是由若干个所述待存数据块组成，数据块的大小已经在引导区中定义了。索引区存储每个数据块存储在数据区时对应生成的索引，每个索引的内容包括数据块生成的时间及累加计数。引导区内设定的内容为关键的设置参数，为避免一份内容损毁后就使得本发明不能实施，本实施例在引导区内保存至少两份所述引导区内设定的内容，以备用。格式化后，引导区内设定的内容永远保留。索引区的大小是根据数据区大小及数据块大小先计算出数据区可存储数据块的数目，再根据可存储数据块的数目及每条索引的大小得出索引区的大小。
请参阅图2，数据的存储包括：A1.将第一被存储数据块由数据区的起始位置存储到数据区内，并在索引区生成第一索引；A2.查找最新的索引，以最新索引指向的数据块的最新数据地址的下一地址为起始地址，当最新索引指向的数据块的最新数据地址为数据区的结束位置时，以数据区的起始地址作为新的数据块写入数据区的起始地址，将数据块写入数据区内，并在索引区生成一个新的索引；A3.重复重复执行步骤A2。其中，每一数据块的写入具体包括：通过读取索引列表找到最新的索引，在最新的索引指向的区块中找到最新数据存储地址，当最新记录的存储地址到达数据区的结束位置时，则待存储数据地址是数据区的开始位置，如果不是，待存储地址是最新数据地址的下一个地址。本实施例中，当数据区写满后，新数据的存储地址指向数据区的起始位置，新数据覆盖最老的数据。当索引区全部占用后，生成的新索引覆盖最老的索引并保存在最老的索引的位置。
请参阅图3，数据的读取包括：B1.下载引导区内容及索引区内容；根据时间段查找索引；B2.根据对应的索引号及数据块的大小计算出所需数据的地址；B3.读取数据。数据读取中，所需数据地址依据如下公式计算：所需数据地址＝数据区起始地址+索引序号×数据块的大小。
本发明属于一种静态分配的数据管理方法，在存储器格式化时，就将数据区的设置属性、索引区的设置属性、待存数据块的大小(指占用扇区的个数)、索引的大小(指字节数)等信息保存在引导区内，即在格式化后，所有数据地址和索引地址均是固定的，且每一索引对应一数据块。因此，当索引区发生故障时，可以通过再获取数据区数据的信息再重新修复索引区，如此使得系统更加可靠。存储数据时，每一数据块对应生成一索引，该索引记录有该数据块的时间信息及累计计数信息，所以，可以方便地查询任何时段的数据。另外，读取数据时，引导区内容和索引区内容只需下载一次，获取数据的地址只用查找索引并计算一个步骤(而FAT格式的文件地址获取要经过目录查询与FAT表查询两个步骤)，所以在相同硬件条件下，读取同样大小的内容，本发明要快的多。

Claims (9)

1.一种存储器数据管理方法，包括存储器格式化、数据的存储及数据的读取，其特征在于：
存储器格式化包括：将存储器划分为引导区、索引区及数据区，引导区内设定的内容包括数据区的设置属性、索引区的设置属性、待存数据块的大小、索引的大小，数据区用于存储若干所述待存数据块，索引区存储每个数据块对应的索引，每个索引的内容包括数据块生成的时间及累加计数；
数据的存储包括：A1.将第一被存储数据块由数据区的起始位置存储到数据区内，并在索引区生成第一索引；A2.查找最新的索引，以最新索引指向的数据块的最新数据地址的下一地址为起始地址，将新的数据块写入数据区内，并在索引区生成一个新的索引；A3.重复重复执行步骤A2；
数据的读取包括：B1.下载引导区内容及索引区内容；根据时间段查找索引；B2.根据对应的索引号及数据块的大小计算出所需数据的地址；B3.读取数据。
2.如权利要求1所述的存储器数据管理方法，其中，所述数据区的设置属性包括数据区的起始扇区号、结束扇区号、数据区扇区数量；所述数据区的设置属性包括索引区的起始扇区号、结束扇区号、索引区扇区数量。
3.如权利要求2所述的存储器数据管理方法，其中，引导区内保存至少两份所述引导区内设定的内容。
4.如权利要求2或3所述的存储器数据管理方法，其中，格式化后，引导区内设定的内容永远保留。
5.如权利要求2或3所述的存储器数据管理方法，其中，当索引区全部占用后，生成的新索引覆盖最老的索引并保存在最老的索引的位置。
6.如权利要求2或3所述的存储器数据管理方法，其中，当数据区写满后，新数据的存储地址指向数据区的起始位置，新数据覆盖最老的数据。
7.如权利要求6所述的存储器数据管理方法，其中，数据存储中，每一数据块的写入具体包括：通过读取索引列表找到最新的索引，在最新的索引指向的区块中找到最新数据存储地址，当最新记录的存储地址到达数据区的结束位置时，则待存储数据地址是数据区的开始位置，如果不是，待存储地址是最新数据地址的下一个地址。
8.如权利要求1所述的存储器数据管理方法，其中，数据读取中，所需数据地址依据如下公式计算：所需数据地址＝数据区起始地址+索引序号×数据块的大小。
9.如权利要求1所述的存储器数据管理方法，其中，索引区的大小是根据数据区大小及数据块大小先计算出数据区可存储数据块的数目，再根据可存储数据块的数目及每条索引的大小得出索引区的大小。
CN 200610123871 2006-11-29 2006-11-29 存储器数据管理方法 Pending CN1963814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200610123871 CN1963814A (zh) 2006-11-29 2006-11-29 存储器数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200610123871 CN1963814A (zh) 2006-11-29 2006-11-29 存储器数据管理方法

Publications (1)

Publication Number Publication Date
CN1963814A true CN1963814A (zh) 2007-05-16

Family

ID=38082868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200610123871 Pending CN1963814A (zh) 2006-11-29 2006-11-29 存储器数据管理方法

Country Status (1)

Country Link
CN (1) CN1963814A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101799788A (zh) * 2010-03-23 2010-08-11 中兴通讯股份有限公司 一种分级管理存储资源的方法及系统
CN101833681A (zh) * 2010-04-02 2010-09-15 深圳市科陆电子科技股份有限公司 电子标签系统及其压缩与加密的方法
CN101894282A (zh) * 2010-06-17 2010-11-24 深圳市科陆软件有限公司 大量数据在rfid电子标签的存取方法
CN101118777B (zh) * 2007-08-22 2011-06-22 无锡中星微电子有限公司 多媒体容器格式文件的播放方法和索引读取方法
CN102184260A (zh) * 2011-06-09 2011-09-14 中国人民解放军国防科学技术大学 一种云计算环境下的海量数据存取方法
CN102279805A (zh) * 2011-09-06 2011-12-14 四川九洲电器集团有限责任公司 一种存储器数据存放及读取方法
CN102279806A (zh) * 2011-05-18 2011-12-14 深圳创维－Rgb电子有限公司 数字电视设备及spi存储器的存储方法
CN102694811A (zh) * 2012-06-06 2012-09-26 华为技术有限公司 鲁棒性头压缩的上下文标识的处理方法和设备
CN101404797B (zh) * 2008-11-07 2012-12-19 中兴通讯股份有限公司 长短消息的存储方法、存储管理装置以及存储系统
CN103309890A (zh) * 2012-03-15 2013-09-18 华北计算机系统工程研究所 一种Linux文件系统与实时数据库索引融合的技术
CN103902746A (zh) * 2014-03-11 2014-07-02 深圳市元征科技股份有限公司 故障码、数据流及冻结帧数据保存和回放的方法
CN104090829A (zh) * 2014-08-06 2014-10-08 浪潮电子信息产业股份有限公司 一种实现逻辑卷元数据备份存储的方法
CN104484332A (zh) * 2014-11-11 2015-04-01 珠海天琴信息科技有限公司 一种嵌入式系统中读写数据的方法及装置
CN104731779A (zh) * 2013-12-18 2015-06-24 中国电子信息产业集团有限公司第六研究所 一种面向实时数据库的实时文件系统数据组织管理方法
CN104778973A (zh) * 2015-04-20 2015-07-15 陕西航天导航设备有限公司 一种基于CPLD的外部flash数据存储接口及其应用方法
CN107330114A (zh) * 2017-07-11 2017-11-07 王焱华 一种大数据处理方法
US9852168B2 (en) 2012-12-21 2017-12-26 Zhejiang Uniview Technologies Co., Ltd Data storage planning
CN108052536A (zh) * 2017-11-16 2018-05-18 中南大学 一种IoT设备的文件系统
CN108228479A (zh) * 2018-01-29 2018-06-29 深圳市泰比特科技有限公司 一种嵌入式flash数据存储方法及系统
CN109710547A (zh) * 2018-12-29 2019-05-03 浙江理工大学 一种工业物联网中的缓冲内存管理设计与实现方法
CN109901795A (zh) * 2019-01-31 2019-06-18 武汉励行科技有限公司 一种循环文件系统及文件定位方法
CN112506918A (zh) * 2020-11-03 2021-03-16 深圳市宏电技术股份有限公司 数据存取方法、终端及计算机可读存储介质
CN112800005A (zh) * 2021-01-22 2021-05-14 中孚安全技术有限公司 一种文件系统深度检查方法、系统、终端及存储介质
CN112965661A (zh) * 2021-03-01 2021-06-15 歌尔科技有限公司 数据存储方法、装置、设备及存储介质
CN113296700A (zh) * 2021-04-20 2021-08-24 新华三信息技术有限公司 一种存储空间的管理方法、装置以及服务器

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118777B (zh) * 2007-08-22 2011-06-22 无锡中星微电子有限公司 多媒体容器格式文件的播放方法和索引读取方法
CN101404797B (zh) * 2008-11-07 2012-12-19 中兴通讯股份有限公司 长短消息的存储方法、存储管理装置以及存储系统
US9047174B2 (en) 2010-03-23 2015-06-02 Zte Corporation Method and system for hierarchically managing storage resources
CN101799788A (zh) * 2010-03-23 2010-08-11 中兴通讯股份有限公司 一种分级管理存储资源的方法及系统
CN101799788B (zh) * 2010-03-23 2014-06-11 中兴通讯股份有限公司 一种分级管理存储资源的方法及系统
WO2011116612A1 (zh) * 2010-03-23 2011-09-29 中兴通讯股份有限公司 一种分级管理存储资源的方法及系统
CN101833681B (zh) * 2010-04-02 2013-03-20 深圳市科陆电子科技股份有限公司 电子标签系统
CN101833681A (zh) * 2010-04-02 2010-09-15 深圳市科陆电子科技股份有限公司 电子标签系统及其压缩与加密的方法
CN101894282A (zh) * 2010-06-17 2010-11-24 深圳市科陆软件有限公司 大量数据在rfid电子标签的存取方法
CN102279806A (zh) * 2011-05-18 2011-12-14 深圳创维－Rgb电子有限公司 数字电视设备及spi存储器的存储方法
CN102184260A (zh) * 2011-06-09 2011-09-14 中国人民解放军国防科学技术大学 一种云计算环境下的海量数据存取方法
CN102184260B (zh) * 2011-06-09 2013-07-10 中国人民解放军国防科学技术大学 一种云计算环境下的海量数据存取方法
CN102279805A (zh) * 2011-09-06 2011-12-14 四川九洲电器集团有限责任公司 一种存储器数据存放及读取方法
CN103309890A (zh) * 2012-03-15 2013-09-18 华北计算机系统工程研究所 一种Linux文件系统与实时数据库索引融合的技术
CN102694811A (zh) * 2012-06-06 2012-09-26 华为技术有限公司 鲁棒性头压缩的上下文标识的处理方法和设备
CN102694811B (zh) * 2012-06-06 2015-07-29 华为技术有限公司 鲁棒性头压缩的上下文标识的处理方法和设备
US9852168B2 (en) 2012-12-21 2017-12-26 Zhejiang Uniview Technologies Co., Ltd Data storage planning
CN104731779A (zh) * 2013-12-18 2015-06-24 中国电子信息产业集团有限公司第六研究所 一种面向实时数据库的实时文件系统数据组织管理方法
CN103902746B (zh) * 2014-03-11 2017-10-27 深圳市元征科技股份有限公司 故障码、数据流及冻结帧数据保存和回放的方法
CN103902746A (zh) * 2014-03-11 2014-07-02 深圳市元征科技股份有限公司 故障码、数据流及冻结帧数据保存和回放的方法
CN104090829A (zh) * 2014-08-06 2014-10-08 浪潮电子信息产业股份有限公司 一种实现逻辑卷元数据备份存储的方法
CN104484332A (zh) * 2014-11-11 2015-04-01 珠海天琴信息科技有限公司 一种嵌入式系统中读写数据的方法及装置
CN104778973A (zh) * 2015-04-20 2015-07-15 陕西航天导航设备有限公司 一种基于CPLD的外部flash数据存储接口及其应用方法
CN104778973B (zh) * 2015-04-20 2018-08-14 陕西航天导航设备有限公司 一种基于CPLD的外部flash数据存储接口应用方法
CN107330114A (zh) * 2017-07-11 2017-11-07 王焱华 一种大数据处理方法
CN108052536A (zh) * 2017-11-16 2018-05-18 中南大学 一种IoT设备的文件系统
CN108228479A (zh) * 2018-01-29 2018-06-29 深圳市泰比特科技有限公司 一种嵌入式flash数据存储方法及系统
CN109710547B (zh) * 2018-12-29 2020-12-08 浙江理工大学 一种工业物联网中的缓冲内存管理设计与实现方法
CN109710547A (zh) * 2018-12-29 2019-05-03 浙江理工大学 一种工业物联网中的缓冲内存管理设计与实现方法
CN109901795A (zh) * 2019-01-31 2019-06-18 武汉励行科技有限公司 一种循环文件系统及文件定位方法
CN112506918A (zh) * 2020-11-03 2021-03-16 深圳市宏电技术股份有限公司 数据存取方法、终端及计算机可读存储介质
CN112800005A (zh) * 2021-01-22 2021-05-14 中孚安全技术有限公司 一种文件系统深度检查方法、系统、终端及存储介质
CN112800005B (zh) * 2021-01-22 2023-01-03 中孚安全技术有限公司 一种文件系统深度检查方法、系统、终端及存储介质
CN112965661A (zh) * 2021-03-01 2021-06-15 歌尔科技有限公司 数据存储方法、装置、设备及存储介质
CN113296700A (zh) * 2021-04-20 2021-08-24 新华三信息技术有限公司 一种存储空间的管理方法、装置以及服务器

Similar Documents

Publication Publication Date Title
CN1963814A (zh) 存储器数据管理方法
US11799959B2 (en) Data processing method, apparatus, and system
CN102508784B (zh) 视频监控设备中闪存卡的数据存储方法及其系统
JP6501916B2 (ja) ファイルストレージにおけるインデックス付け実施方法及びシステム
WO2020041928A1 (zh) 数据存储方法、系统及终端设备
CN110019004B (zh) 一种数据处理方法、装置及系统
CN105069048A (zh) 一种小文件存储方法、查询方法和装置
CN106951375B (zh) 在存储系统中删除快照卷的方法及装置
CN107577436B (zh) 一种数据存储方法及装置
US20080126684A1 (en) Caching method for nand flash translation layer
CN101983376B (zh) 访问装置、信息记录装置、信息记录系统、文件管理方法和程序
CN108399047B (zh) 一种闪存文件系统及其数据管理方法
CN103186617B (zh) 一种存储数据的方法和装置
CN102289451A (zh) 文件或文件夹查找方法和装置
CN109033360B (zh) 一种数据查询方法、装置、服务器及存储介质
CN103425785A (zh) 数据存储系统及其用户数据存储、读取方法
CN108399050B (zh) 一种数据处理方法及装置
CN113568582B (zh) 数据管理方法、装置和存储设备
US8239427B2 (en) Disk layout method for object-based storage devices
CN111142780A (zh) 一种大文件存储文件系统以及大文件处理方法
Havasi An improved B+ tree for flash file systems
CN109446115A (zh) 一种映射表管理方法、装置和计算机可读存储介质
CN103246718B (zh) 文件访问方法、装置和设备
CN110795031A (zh) 一种基于全闪存储的数据重删方法、装置和系统
CN104391652A (zh) 一种硬盘的损耗均衡方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication