CN111857581A - 一种数据存储的处理方法及系统 - Google Patents
一种数据存储的处理方法及系统 Download PDFInfo
- Publication number
- CN111857581A CN111857581A CN202010640936.6A CN202010640936A CN111857581A CN 111857581 A CN111857581 A CN 111857581A CN 202010640936 A CN202010640936 A CN 202010640936A CN 111857581 A CN111857581 A CN 111857581A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- block
- identifier
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 54
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000005192 partition Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 8
- 230000002035 prolonged effect Effects 0.000 abstract description 5
- 230000008439 repair process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013523 data management Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0858—Registering performance data using electronic data carriers wherein the data carrier is removable
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种数据存储的处理方法及系统，该方法包括：在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将采集数据按照时序存储到存储块相应类型的数据块中，当数据块写满后自动按顺序分配新的数据块；当达到存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的存储标识符，并按顺序分配新的数据块继续存储采集数据；存储标识符存储于数据块的索引存储区域。本发明实施例通过按照时序将采集数据存储于顺次分配的数据块中并设置存储标识符用于查询，提高了数据存储的写入和查询速度，减少了存储介质的擦除次数，提高了存储介质的寿命，在部分数据故障时可获取其他数据，保障了数据的安全性和稳定性。
Description
技术领域
本发明涉及数据存储技术领域，具体涉及一种数据存储的处理方法及系统。
背景技术
在车载设备中需要同时监控并存储多路音视频，还要能够按条件进行历史视频读取回放。随着高清摄像头的普及，视频码率和视频路数增长，单位时间内的视频流数据也跟着变大。除了音视频数据存储之外还需要存储各种车辆数据，如：GPS位置、车速、发动机转速、档位、开关量、CAN数据、日志等等。这些数据与当前音视频数据需要关联存储，为以后事故或其它需求提供数据参照。对于报警数据需要锁定存储，不会因为存储分区写满后被覆盖，还需要能够对锁定数据进行查询读取，如：检测到车辆碰撞或侧翻时能够锁定当前时间点往前5分钟之内的所有数据和音视频。
现有方案一般都是基于文件系统构建的音视频存储系统，由于存在存储效率低、检索延迟大、掉电易失数据、频繁读写造成存储介质寿命降低的问题难以满足车载设备需求。比如，在ACC OFF时系统掉电而非正常关机会导致车载设备的文件系统分配表损坏，从而导致存储数据的大量丢失。而且当文件系统损坏时，可能导致音视频数据无法写入，又加上文件系统自己不可控而无法修复数据。特别是在极端情况下想要导出事故车辆的最后几分钟视频数据，若文件系统损坏则很难找回，而且修复成本也非常昂贵。车载设备的存储介质的使用寿命也是一个很重要的问题，大部分车载设备的存储介质为SD卡和TF卡，而TF卡也属于SD卡，内部存储介质为nand-flash。虽SD卡内有组控芯片，负责读写及坏块管理等等，但nand-flash介质有擦除次数限制，也就是说写入次数是有限的，一旦到了上限次数就无法再写入了。若使用文件系统，由于数据增加会导致文件的增删，而且也会频繁修改系统分配表会导致写入次数过多从而降低存储介质的使用寿命。
因此，如何保证多路音视频数据能够稳定可靠地存储下来、并且能够快速存储及查询读取以及延长存储介质的使用寿命是需要解决的问题。
发明内容
为解决现有技术中的问题，本发明实施例提供一种数据存储的处理方法及系统。
第一方面，本发明实施例提供一种数据存储的处理方法，包括：在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
进一步地，所述存储块内部按页存取，每页存储的所述采集数据对应有数据索引，所述数据索引用于表示所述采集数据所在页的位置；所述数据索引存储于所述索引存储区域。
进一步地，每个存储分区包括预设数量的所述存储块；所述存储块的类型还包括系统块，所述系统块用于存储所在所述存储分区的起始数据块及末尾数据块的所述存储标识符。
进一步地，所述系统块有多个，且均匀分布于所述存储分区中。
进一步地，所述存储块具有唯一自增长的块流水号，所述块流水号存储于所述索引存储区域。
进一步地，所述存储块的类型还包括锁定块，所述锁定块用于存储锁定的所述采集数据的所述块流水号；所述锁定块设置于所述存储分区的预设位置。
进一步地，所述方法还包括：通过折半法定位所述存储标识符的起始数据块的存储位置，从而进行数据查询。
第二方面，本发明实施例提供一种数据存储的处理系统，包括：初始存储模块，所述初始存储模块用于在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；继续存储模块，所述继续存储模块用于当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的数据存储的处理方法及系统，通过按照时序将采集数据存储于顺次分配的数据块中，并设置存储标识符用于查询，提高了数据存储的写入速度和查询速度，减少了存储介质的擦除次数，提高了存储介质的寿命，并且在出现部分数据故障时依然可以获取未出现故障的其他数据，保障了数据的安全性和稳定性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的数据存储的处理方法流程图；
图2是本发明一实施例提供的数据存储的处理系统的结构示意图；
图3是本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明一实施例提供的数据存储的处理方法流程图。如图1所示，所述方法包括：
步骤101、在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；
步骤102、当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
数据存储系统加载成功或格式化后，数据存储系统开始数据存储。在每次开始数据存储时，系统自动生成存储标识符，并按照采集数据的时序性，将所述采集数据存储在存储块相应类型的数据块中。数据块是存储块的一种类型。数据块根据数据类型的不同又可以分成不同类型的数据块，不同类型的数据存储于相应类型的数据块中。
本发明实施例提供的数据存储的处理方法可以应用于车载设备的车辆数据及多路音视频数据的数据存储。所述车载设备可以为行驶记录仪。以本发明实施例提供的数据存储的处理方法应用于车载设备的车辆数据及多路音视频数据的数据存储为例，则采集数据的类型分为车辆数据和音视频数据，车辆数据存储于车辆数据块中，音视频数据存储于音视频数据块中。
每个存储块对应唯一的存储块类型。当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据。当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；若数据存储已经完成，则可以结束存储。所述存储标识符预设的存储容量是指用一个存储标识符标识的最大存储容量。用于存储采集数据的每个数据块只对应一个存储标识符。因此，在达到存储标识符预设的存储容量或达到预设时长时，需要分配新的数据块，以用新的存储标识符进行采集数据的存储。
由于时长较好辨别，因此，可以通过所存储的数据的大小确定达到所述存储标识符预设的存储容量时的大概时间，并据此确定所述预设时长，进而根据预设时长来判断是否生成新的存储标识符用于数据存储。
通过对采集数据进行分块存储，尽量减少擦除，并以整块写入，由此既可以提高写入速度，同时又可以减少块的擦除次数。采集数据一个最显著特点是时序性，利用时序性可以对存储介质按顺序写入，把存储区当作连续区域来处理，若存储区写满后可以从头开始覆盖写入，并自动覆盖最老的数据，保证当前数据的时效性。
可以通过所述索引存储区域存储的所述索引标识符，查询获取所述索引标识符下存储的所述采集数据，便利了数据的查询。而且，在有部分数据出现故障时，依然可以获取未出现故障的其他数据。
本发明实施例通过按照时序将采集数据存储于顺次分配的数据块中，并设置存储标识符用于查询，提高了数据存储的写入速度和查询速度，减少了存储介质的擦除次数，提高了存储介质的寿命，并且在出现部分数据故障时依然可以获取未出现故障的其他数据，保障了数据的安全性和稳定性。
进一步地，基于上述实施例，所述存储块内部按页存取，每页存储的所述采集数据对应有数据索引，所述数据索引用于表示所述采集数据所在页的位置；所述数据索引存储于所述索引存储区域。
所述存储块内部按页存取，一个存储块可以包括多个页。每页存储的所述采集数据对应有数据索引，所述数据索引用于表示所述采集数据所在页的位置。比如，一个存储块包括64页，则数据索引具体表明采集数据处于相应存储块的页数，便利了块内数据的快速查找。
所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。所述索引存储区域设置于数据块的预设位置，比如可以设置于所述数据块的最后一页中。
在具体的应用中，所述索引存储区域还可以存储有采集数据的通路信息(如音视频数据的通路)、细分数据类型信息(如车辆数据中的GPS数据、CAN数据等)等，还可以存储有采集数据的时间信息，以便于按条件进行数据查找。
在上述实施例的基础上，本发明实施例通过存储块按页存取，并设置对应于页的数据索引，进一步提高了查询速度。
进一步地，基于上述实施例，每个存储分区包括预设数量的所述存储块；所述存储块的类型还包括系统块，所述系统块用于存储所在所述存储分区的起始数据块及末尾数据块的所述存储标识符。
存储分区具有较大的存储空间，存储分区按块(block)划分，块(block)即所述存储块，并以存储块作为存储单元，存储单元内部按页(page)存取。所述存储块的类型还包括系统块，所述系统块用于存储所在所述存储分区的起始数据块及末尾数据块的所述存储标识符，便于整个存储分区内的数据管理及修复。
在按顺序分配新的数据块用于存放所述采集数据时，若遇到系统块，则会自动越过。
在上述实施例的基础上，本发明实施例通过设置系统块存储存储分区的起始数据块及末尾数据块的存储标识符，便于整个存储分区内的数据管理及修复。
进一步地，基于上述实施例，所述系统块有多个，且均匀分布于所述存储分区中。
所述系统块可以设置多个，以用于备份数据，从而提高可靠性。为便于确定系统块的位置，可以将系统块均匀分布于所述存储分区中，如将存储块的起始块、中间块及末尾块设置为系统块。
在上述实施例的基础上，本发明实施例通过设置多个均匀分布的系统块，提高了系统可靠性，并便于系统块位置的确认。
进一步地，基于上述实施例，所述存储块具有唯一自增长的块流水号，所述块流水号存储于所述索引存储区域。
所述存储块具有唯一自增长的块流水号。唯一自增长是指在如格式化等处理后，块流水号仍为自增长的，也即在存储使用中，块流水号不会发生重复。这样可以利用块流水号区分查找不同时间段的数据，如格式化前后的数据。所述块流水号存储于所述索引存储区域。
在上述实施例的基础上，本发明实施例通过令存储块具有唯一自增长的块流水号，进一步便利了数据查询及追溯。
进一步地，基于上述实施例，所述存储块的类型还包括锁定块，所述锁定块用于存储锁定的所述采集数据的所述块流水号；所述锁定块设置于所述存储分区的预设位置。
在出现事故等情况时，需要锁定事故发生前一段时间的数据，以便于事故追溯。对于锁定的数据，则存储分区写满重新写入时不会被覆盖。所述存储块的类型还包括锁定块，所述锁定块用于存储锁定的所述采集数据的块流水号。在写入数据时，可以先通过查询锁定块获取锁定数据所在的数据块，然后在写入数据时避开相应的数据块。
所述锁定块设置于所述存储分区的预设位置。比如，锁定块可以设置于存储分区的末尾。当锁定块设置于存储分区的末尾时，系统块则可以适当调整位置，如存储分区中倒数第二个存储块的位置。当然，锁定块还可以作为系统块中的一个区域，比如在系统块中设置锁定区，用锁定区存储锁定的所述采集数据的块流水号。
在上述实施例的基础上，本发明实施例通过设置锁定块，便利了锁定数据存储位置的查询，进一步保障了数据存储的安全性。
进一步地，基于上述实施例，所述方法还包括：通过折半法定位所述存储标识符的起始数据块的存储位置，从而进行数据查询。
每次查询数据时，由于采集数据按块顺序存储，且存储标识符也是按顺序自增，所以指定存储标识符起始数据块的存储位置可通过折半法快速找到。比如：
假设存储分区为256GB，则有2^20个block块，利用折半法只需要20次就可以定位存储标识符起始位置；假设存储分区为8TB，则有2^25个block块，利用折半法只需要25次就可以定位存储标识符起始位置。
在上述实施例的基础上，本发明实施例通过折半法定位存储标识符起始数据块的存储位置，进一步提高了数据查询速度。
下面以车载设备中应用所述数据存储的处理方法为例，进一步说明本发明实施例提供的数据存储的处理方法流程。
根据车辆数据和多路音视频数据的大小进行分块存储，因为车辆数据种类繁多且单项数据尺寸相对较小，而音视频数据按帧存储，视频帧分为关键帧和非关键帧，关键帧数据尺寸一般比较大，若是4K高清单帧就可以达到几MB或十几MB。
车辆数据和音视频数据还有一个最显著特点就是时序性，利用时序性可以对存储介质按顺序写入，把存储区当作连续区域来处理，若存储区写满后可以从头开始覆盖写入，并自动覆盖最老的数据，保证当前数据的时效性。
存储分区的存储空间单位为MB，支持范围为：[8..0x800000]，单个分区最大支持8TB存储空间。存储单元按块(block)划分，而单元内部按页(page)存取，三者之间关系如下：
1MB＝4blocks
1block＝64pages
故有：
1block＝256KB
1page＝4KB
存储分区以block块为存储单元，每个存储单元只属于一种block块类型，block块类型有：系统块、车辆数据块、音视频块和锁定块。
每个块都有一个唯一自增长的块流水号，对于车辆数据块和音视频块来说还有一个存储标识符，每个存储标识符由四个字节构成，并由系统内部自增生成。每个存储标识符含有若干个车辆数据块和音视频块，每个车辆数据块存放若干个数据项，每个音视频块也存放若干个音视频帧。每个存储标识符最多存放65536个数据项及65536个音视频帧，只要数据项超过或音视频帧中的任意一个超过存储容量限制，则达到存储标识符预设的存储容量。读取数据项或音视频帧时需要存储标识符加索引来读取，或者通过跳转方法来读取。
车载设备中采用数据存储的处理方法可以称为多路视频数据存储系统，处理过程分写入与读取二个方面来说明。
每次开始存储时系统自动生成存储标识符，并在结束存储之前每次添加的数据项和音视频帧数据都放在存储标识符内。根据音视频数据的时序性，把数据按顺序存储在存储块中，当块写满后系统自动按顺序分配存储块用于存放数据。一个存储标识符最多65536帧究竟能存放多长时间？假设每路摄像头每秒存放25帧，则有：
1、同时存放16路摄像头，则每个存储标识符能存放65536/(25*16)＝163.84秒；
2、每分钟一个存储标识符，则能同时存放[65536/(25*60)]＝43路摄像头数据。
每次查询数据时，由于音视频帧数据按块顺序存储，且存储标识符也是按顺序自增，所以指定存储标识符起始位置可通过折半法快速找到。
车载设备需要提供SD卡槽并插入SD卡或内置硬盘盒，作为存储音视频数据的存储媒介。当设备启动后加载多路视频存储系统，其操作步骤如下：
1、加载存储媒介中的视频存储系统，若失败则自动格式化，并跳到第3步；若成功进入第2步；
2、检查系统是否完整，若不完整则自动修复，如：上一次存储数据时断开等等原因；修复完成或系统完整进入第3步；
3、开始存储，得到新的存储标识符；
4、实时添加数据项、音频帧和视频帧数据；
5、判断是否达到预定时长或存储标识符内数据已满，若未满足条件跳到第4步；若满足条件，进入第6步；
6、结束当前存储，并跳到第3步；
7、关机。
本发明实施例提供的数据存储的处理方法能够保证设备的安全性和稳定性，并可以灵活添加摄像头路数，单个存储分区可以支持64路同时存储。存储分区实际支持的最大路数受限于视频分辨率、码率及写存储介质的速率，若分辨率高码流大的情况下很难达到64路。本发明实施例提供的数据存储的处理方法具有强容错读取功能，当存储媒介存在大部分损坏时也能够最大可能的把未损坏的存储数据读取出来。
图2是本发明一实施例提供的数据存储的处理系统的结构示意图。如图2所示，所述系统包括初始存储模块10和继续存储模块20，其中：
初始存储模块10用于在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；继续存储模块20用于当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
本发明实施例通过按照时序将采集数据存储于顺次分配的数据块中，并设置存储标识符用于查询，提高了数据存储的写入速度和查询速度，减少了存储介质的擦除次数，提高了存储介质的寿命，并且在出现部分数据故障时依然可以获取未出现故障的其他数据，保障了数据的安全性和稳定性。
进一步地，基于上述实施例，所述存储块内部按页存取，每页存储的所述采集数据对应有数据索引，所述数据索引用于表示所述采集数据所在页的位置；所述数据索引存储于所述索引存储区域。
在上述实施例的基础上，本发明实施例通过存储块按页存取，并设置对应于页的数据索引，进一步提高了查询速度。
进一步地，基于上述实施例，每个存储分区包括预设数量的所述存储块；所述存储块的类型还包括系统块，所述系统块用于存储所在所述存储分区的起始数据块及末尾数据块的所述存储标识符。
在上述实施例的基础上，本发明实施例通过设置系统块存储存储分区的起始数据块及末尾数据块的存储标识符，便于整个存储分区内的数据管理及修复。
进一步地，基于上述实施例，所述系统块有多个，且均匀分布于所述存储分区中。
在上述实施例的基础上，本发明实施例通过设置多个均匀分布的系统块，提高了系统可靠性，并便于系统块位置的确认。
进一步地，基于上述实施例，所述存储块具有唯一自增长的块流水号，所述块流水号存储于所述索引存储区域。
在上述实施例的基础上，本发明实施例通过令存储块具有唯一自增长的块流水号，进一步便利了数据查询及追溯。
进一步地，基于上述实施例，所述存储块的类型还包括锁定块，所述锁定块用于存储锁定的所述采集数据的所述块流水号；所述锁定块设置于所述存储分区的预设位置。
在上述实施例的基础上，本发明实施例通过设置锁定块，便利了锁定数据存储位置的查询，进一步保障了数据存储的安全性。
进一步地，基于上述实施例，所述系统还包括查询模块，所述查询模块用于通过折半法定位所述存储标识符的起始数据块的存储位置，从而进行数据查询。
在上述实施例的基础上，本发明实施例通过折半法定位存储标识符起始数据块的存储位置，进一步提高了数据查询速度。
本发明实施例提供的设备是用于上述方法的，具体功能可参照上述方法流程，此处不再赘述。
图3是本发明一实施例提供的电子设备的实体结构示意图。如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种数据存储的处理方法，其特征在于，包括：
在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；
当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
2.根据权利要求1所述的数据存储的处理方法，其特征在于，所述存储块内部按页存取，每页存储的所述采集数据对应有数据索引，所述数据索引用于表示所述采集数据所在页的位置；所述数据索引存储于所述索引存储区域。
3.根据权利要求2所述的数据存储的处理方法，其特征在于，每个存储分区包括预设数量的所述存储块；所述存储块的类型还包括系统块，所述系统块用于存储所在所述存储分区的起始数据块及末尾数据块的所述存储标识符。
4.根据权利要求3所述的数据存储的处理方法，其特征在于，所述系统块有多个，且均匀分布于所述存储分区中。
5.根据权利要求1所述的数据存储的处理方法，其特征在于，所述存储块具有唯一自增长的块流水号，所述块流水号存储于所述索引存储区域。
6.根据权利要求5所述的数据存储的处理方法，其特征在于，所述存储块的类型还包括锁定块，所述锁定块用于存储锁定的所述采集数据的所述块流水号；所述锁定块设置于所述存储分区的预设位置。
7.根据权利要求1至6任一所述的数据存储的处理方法，其特征在于，所述方法还包括：
通过折半法定位所述存储标识符的起始数据块的存储位置，从而进行数据查询。
8.一种数据存储的处理系统，其特征在于，包括：
初始存储模块，所述初始存储模块用于在每次开始数据存储时，自动生成存储标识符，并根据采集数据的类型将所述采集数据按照时序存储到存储块相应类型的数据块中，当所述数据块写满后自动按顺序分配新的所述数据块用于存放所述采集数据；
继续存储模块，所述继续存储模块用于当达到所述存储标识符预设的存储容量或达到预设时长，若数据尚未存储完成，则生成新的所述存储标识符，并按顺序分配新的所述数据块继续存储所述采集数据；所述数据块包括索引存储区域，所述索引存储区域存储有所述存储标识符。
9.一种用于数据存储处理的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述数据存储的处理方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述数据存储的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640936.6A CN111857581A (zh) | 2020-07-06 | 2020-07-06 | 一种数据存储的处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640936.6A CN111857581A (zh) | 2020-07-06 | 2020-07-06 | 一种数据存储的处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111857581A true CN111857581A (zh) | 2020-10-30 |
Family
ID=73152589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010640936.6A Pending CN111857581A (zh) | 2020-07-06 | 2020-07-06 | 一种数据存储的处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111857581A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114063909A (zh) * | 2021-10-25 | 2022-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 图片数据的智能分布式存储方法及系统 |
| CN114115743A (zh) * | 2021-11-29 | 2022-03-01 | 苏州迅镭激光科技有限公司 | 一种延长数据存储芯片寿命的方法 |
| CN116560579A (zh) * | 2023-05-18 | 2023-08-08 | 上海威固信息技术股份有限公司 | 一种基于多源数据融合的模拟数据采集系统 |
| CN116560579B (zh) * | 2023-05-18 | 2024-06-04 | 上海威固信息技术股份有限公司 | 一种基于多源数据融合的模拟数据采集系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750164A (zh) * | 2005-07-20 | 2006-03-22 | 杭州海康威视数字技术有限公司 | 一种防止文件碎片产生的数字硬盘录像机文件管理方法 |
| CN101261865A (zh) * | 2007-04-20 | 2008-09-10 | 炬力集成电路设计有限公司 | 媒体电子文件的制作方法、装置及其播放设备及方法 |
| CN102136005A (zh) * | 2011-03-29 | 2011-07-27 | 北京航空航天大学 | 数据查询方法和装置 |
| CN103647935A (zh) * | 2013-11-19 | 2014-03-19 | 长沙中联重科环卫机械有限公司 | 视频数据存储方法及视频监控装置 |
| CN103745007A (zh) * | 2014-01-24 | 2014-04-23 | 深圳市华宝电子科技有限公司 | 一种文件管理方法及装置 |
| CN104268088A (zh) * | 2014-09-15 | 2015-01-07 | 郑州天迈科技股份有限公司 | 车载dvr硬盘数据存储方法 |
| CN104427351A (zh) * | 2013-08-30 | 2015-03-18 | 北京计算机技术及应用研究所 | 用于视频监控的时间重叠视频流的快速定位方法及系统 |
| CN105183396A (zh) * | 2015-09-22 | 2015-12-23 | 厦门雅迅网络股份有限公司 | 一种增强车载dvr录像数据可回溯性的存储方法 |
| CN105700828A (zh) * | 2016-01-15 | 2016-06-22 | 北京市博汇科技股份有限公司 | 一种数据写入、读取方法及装置 |
| CN107544964A (zh) * | 2016-06-24 | 2018-01-05 | 吴建凰 | 一种用于时序数据库的数据块存储方法 |
| CN107609014A (zh) * | 2017-08-02 | 2018-01-19 | 深圳市爱培科技术股份有限公司 | 一种行车记录仪及其视频存储方法、存储介质 |
| CN107622067A (zh) * | 2016-07-13 | 2018-01-23 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| CN109376175A (zh) * | 2018-10-24 | 2019-02-22 | 上海中商网络股份有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN111078159A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市思博慧数据科技有限公司 | 一种避免dvr存储卡写损坏的写入方法 |
-
2020
- 2020-07-06 CN CN202010640936.6A patent/CN111857581A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1750164A (zh) * | 2005-07-20 | 2006-03-22 | 杭州海康威视数字技术有限公司 | 一种防止文件碎片产生的数字硬盘录像机文件管理方法 |
| CN101261865A (zh) * | 2007-04-20 | 2008-09-10 | 炬力集成电路设计有限公司 | 媒体电子文件的制作方法、装置及其播放设备及方法 |
| CN102136005A (zh) * | 2011-03-29 | 2011-07-27 | 北京航空航天大学 | 数据查询方法和装置 |
| CN104427351A (zh) * | 2013-08-30 | 2015-03-18 | 北京计算机技术及应用研究所 | 用于视频监控的时间重叠视频流的快速定位方法及系统 |
| CN103647935A (zh) * | 2013-11-19 | 2014-03-19 | 长沙中联重科环卫机械有限公司 | 视频数据存储方法及视频监控装置 |
| CN103745007A (zh) * | 2014-01-24 | 2014-04-23 | 深圳市华宝电子科技有限公司 | 一种文件管理方法及装置 |
| CN104268088A (zh) * | 2014-09-15 | 2015-01-07 | 郑州天迈科技股份有限公司 | 车载dvr硬盘数据存储方法 |
| CN105183396A (zh) * | 2015-09-22 | 2015-12-23 | 厦门雅迅网络股份有限公司 | 一种增强车载dvr录像数据可回溯性的存储方法 |
| CN105700828A (zh) * | 2016-01-15 | 2016-06-22 | 北京市博汇科技股份有限公司 | 一种数据写入、读取方法及装置 |
| CN107544964A (zh) * | 2016-06-24 | 2018-01-05 | 吴建凰 | 一种用于时序数据库的数据块存储方法 |
| CN107622067A (zh) * | 2016-07-13 | 2018-01-23 | 杭州海康威视数字技术股份有限公司 | 一种对多个多媒体文件的存储、读取和显示方法及装置 |
| CN107609014A (zh) * | 2017-08-02 | 2018-01-19 | 深圳市爱培科技术股份有限公司 | 一种行车记录仪及其视频存储方法、存储介质 |
| CN109376175A (zh) * | 2018-10-24 | 2019-02-22 | 上海中商网络股份有限公司 | 一种数据管理方法、装置、设备及存储介质 |
| CN111078159A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市思博慧数据科技有限公司 | 一种避免dvr存储卡写损坏的写入方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114063909A (zh) * | 2021-10-25 | 2022-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 图片数据的智能分布式存储方法及系统 |
| CN114063909B (zh) * | 2021-10-25 | 2023-12-08 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 图片数据的智能分布式存储方法及系统 |
| CN114115743A (zh) * | 2021-11-29 | 2022-03-01 | 苏州迅镭激光科技有限公司 | 一种延长数据存储芯片寿命的方法 |
| CN116560579A (zh) * | 2023-05-18 | 2023-08-08 | 上海威固信息技术股份有限公司 | 一种基于多源数据融合的模拟数据采集系统 |
| CN116560579B (zh) * | 2023-05-18 | 2024-06-04 | 上海威固信息技术股份有限公司 | 一种基于多源数据融合的模拟数据采集系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107844268B (zh) | 一种数据分发方法、数据存储方法、相关装置以及系统 | |
| US20150317246A1 (en) | Memory Reclamation Method and Apparatus | |
| CN109542342B (zh) | 元数据管理与数据重构方法、设备及存储介质 | |
| CN110764706B (zh) | 存储系统、数据管理方法及存储介质 | |
| CN103024329B (zh) | 一种监控录像的存储管理方法 | |
| CN109710572B (zh) | 一种基于HBase的文件分片方法 | |
| CN111857581A (zh) | 一种数据存储的处理方法及系统 | |
| CN103605657A (zh) | 一种在线重建索引的方法和装置 | |
| CN113064859B (zh) | 一种元数据处理方法、装置及电子设备和存储介质 | |
| CN109542842B (zh) | 一种兼容fat32文件系统的视频顺序存储和查询方法及其装置 | |
| CN104216796A (zh) | 一种数据备份、恢复方法及电子设备 | |
| CN104935469A (zh) | 一种日志信息分布式存储方法及系统 | |
| CN110851415A (zh) | 一种车载系统的日志数据处理方法和装置 | |
| CN107229421B (zh) | 视频数据存储系统的创建、文件写入和读取方法及装置 | |
| CN104636218B (zh) | 数据恢复方法及装置 | |
| CN107391312B (zh) | 数据云备份方法及系统 | |
| CN103699681A (zh) | 数据回滚的处理方法和装置 | |
| CN104462148A (zh) | 一种数据存储管理方法及装置 | |
| CN107506253B (zh) | 一种操作系统异常信息保存方法及装置 | |
| CN115756955A (zh) | 一种数据备份、数据恢复的方法、装置及计算机设备 | |
| CN112925943B (zh) | 数据处理方法、装置、服务器及存储介质 | |
| CN111177091B (zh) | 基于xfs文件系统录像预分配存储方法、系统及存储介质 | |
| CN117170942B (zh) | 一种基于文件系统快照的数据库备份方法以及相关设备 | |
| CN111078159A (zh) | 一种避免dvr存储卡写损坏的写入方法 | |
| CN110389882A (zh) | 一种系统事件的日志记录方法、系统及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201030 |
|
| RJ01 | Rejection of invention patent application after publication |