CN111651127B - 一种基于叠瓦式磁记录盘的监控数据存储方法及装置 - Google Patents

一种基于叠瓦式磁记录盘的监控数据存储方法及装置 Download PDF

Info

Publication number
CN111651127B
CN111651127B CN202010521106.1A CN202010521106A CN111651127B CN 111651127 B CN111651127 B CN 111651127B CN 202010521106 A CN202010521106 A CN 202010521106A CN 111651127 B CN111651127 B CN 111651127B
Authority
CN
China
Prior art keywords
data
magnetic recording
recording area
storing
index information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010521106.1A
Other languages
English (en)
Other versions
CN111651127A (zh
Inventor
张滔
陈宗元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202010521106.1A priority Critical patent/CN111651127B/zh
Publication of CN111651127A publication Critical patent/CN111651127A/zh
Priority to PCT/CN2021/096418 priority patent/WO2021249201A1/zh
Application granted granted Critical
Publication of CN111651127B publication Critical patent/CN111651127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Recording Or Reproducing By Magnetic Means (AREA)

Abstract

本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储方法及装置，其中，方法包括：获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。

Description

一种基于叠瓦式磁记录盘的监控数据存储方法及装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种基于叠瓦式磁记录盘的监控数据存储方法及装置。
背景技术
随着计算机技术的不断发展，当前社会已经进入大数据时代，大数据时代的数据量呈爆发式增长。当前承担数据存储任务的设备主要为HDD(Hard Disk Drive，硬盘驱动器)，而HDD的存储面密度(每单位面积存储的位数)受到物理定律的限制，目前HDD所使用的PMR(Perpendicular Magnetic Recording，垂直磁记录)技术即将达到其存储面密度限制，导致无法满足大数据存储的要求。
SMR(Shingled Magnetic Recording，叠瓦式磁记录)盘是领先的下一代磁盘技术，它保持现有磁头和介质技术不变，通过将磁道像瓦片一样重叠在一起来实现其存储面密度的增长。和传统的HDD相比，SMR盘通过叠瓦式存储，在相同的面积内容纳了更多的磁道，从而提高了存储面密度，能够满足大数据存储的要求。
随着监控技术的不断发展，监控领域的数据量也呈现出指数级增长，为了满足监控领域的数据存储要求，希望能够将SMR盘应用到监控数据存储中，因此，在监控邻域中，如何实现利用SMR盘对监控数据进行存储是当前监控领域亟待解决的技术问题。
发明内容
本发明实施例的目的在于提供一种基于叠瓦式磁记录盘的监控数据存储方法及装置，以实现利用叠瓦式磁记录盘对监控数据进行存储。具体技术方案如下：
第一方面，本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储方法，叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，该方法包括：
获取待存储的监控数据；
按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域；
在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
可选的，常规磁记录区域包括信息文件子区域和数据库文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息。
可选的，叠瓦式磁记录区域包括多个存储单元；叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录盘的属性标识以及各存储单元的单元索引；
按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域的步骤，包括：
按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中的指定存储单元。
可选的，监控数据包括多种数据类型；数据库文件子区域包括针对不同数据类型的监控数据预先分配的数据库单元；各存储单元用于存储不同数据类型的监控数据；
按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中的指定存储单元的步骤，包括：
根据监控数据的数据类型，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中该数据类型对应的存储单元；
将数据索引信息存储至数据库文件子区域的步骤，包括：
根据监控数据的数据类型，将数据索引信息存储至数据类型对应的数据库单元。
可选的，该方法还包括：
针对任一数据库单元，若该数据库单元已使用的存储空间达到预设阈值，则删除该数据库单元中最早存储的数据索引信息。
可选的，该方法还包括：
获取常规磁记录区域和叠瓦式磁记录区域的区域参数；
根据常规磁记录区域和叠瓦式磁记录区域的区域参数，初始化常规磁记录区域中的信息文件子区域和数据库文件子区域，并复位叠瓦式磁记录区域中每个存储单元的写指针。
可选的，监控数据包括多个通道的监控数据；叠瓦式磁记录区域包括多个存储单元；
按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域的步骤，包括：
将各个数据段按照顺序存储规则，同步存储至叠瓦式磁记录区域中的各存储单元，其中，数据段至少包括数据段头部及一个通道的监控数据，数据段头部用于记录一个通道的监控数据的数据索引信息；
在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域的步骤，包括：
在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在数据段头部记录该监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
可选的，监控数据包括录像数据；数据段还包括数据段尾部，数据段尾部用于记录录像数据更新的数据索引信息；
在生成该监控数据的数据段头部，在数据段头部记录该监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域的步骤之后，该方法还包括：
在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用当前数据索引信息，更新常规磁记录区域中该录像数据的数据索引信息；
在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在数据段尾部记录该录像数据的数据索引信息，并更新常规磁记录区域中该录像数据的数据索引信息。
可选的，监控数据包括图片数据。
可选的，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域的步骤，包括：
按照顺序存储规则及预设位对齐策略，将监控数据存储至叠瓦式磁记录区域，其中，预设位对齐策略根据数据索引信息的预设数据大小确定。
可选的，该方法还包括：
在存储监控数据至叠瓦式磁记录区域时，若出现监控数据未对齐的情况，则获取叠瓦式磁记录区域中存储监控数据的存储单元的写指针，并基于写指针，调整存储监控数据的偏移量。
可选的，该方法还包括：
获取监控数据关联的信息数据；
将信息数据存储至本地缓冲区；
在存储信息数据的过程中，读取信息数据的数据索引信息，并将信息索引信息存储至常规磁记录区域。
可选的，常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息；
该方法还包括：
若任一信息文件子区域中存储的格式化信息损坏，则获取并利用其他信息文件子区域存储的格式化信息对所述任一信息文件子区域中损坏的格式化信息进行恢复。
可选的，叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录区域中各存储单元的单元索引；
若所有信息文件子区域中存储的单元索引均损坏，该方法还包括：
获取并根据常规磁记录区域中各子区域的位置，确定信息文件子区域；
遍历叠瓦式磁记录区域，读取各存储单元的尾部信息；
如果从存储单元的尾部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域；
如果从存储单元的尾部信息中未读取到有效的单元索引，则读取各存储单元的头部信息；
如果从存储单元的头部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域。
可选的，常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的属性标识以及叠瓦式磁记录区域中各存储单元的单元索引，数据库文件子区域用于存储监控数据的数据索引信息；
该方法还包括：
若数据库文件子区域中存储的数据索引信息损坏，则根据单元索引，在叠瓦式磁记录区域中查找单元索引对应的存储单元；
在存储单元中，从数据尾部开始，根据数据尾部记录的数据长度，依次向前遍历，查找到前一个监控数据的数据尾部，并根据各监控数据的数据尾部恢复出各监控数据的数据索引信息；或者，在存储单元中，从数据头部开始，根据数据头部记录的数据长度，依次向后遍历，查找到后一个监控数据的数据头部，并根据各监控数据的数据头部恢复出各监控数据的数据索引信息。
第二方面，本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储装置，叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，该装置包括：
获取模块，用于获取待存储的监控数据；
存储模块，用于按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域；在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
第三方面，本发明实施例提供了一种电子设备，包括处理器和机器可读存储介质，机器可读存储介质存储有能够被处理器执行的机器可执行指令，处理器被机器可执行指令促使：实现本发明实施例第一方面所提供的方法。
第四方面，本发明实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现本发明实施例第一方面所提供的方法。
第五方面，本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行实现本发明实施例第一方面所提供的方法。
第六方面，本发明实施例提供了一种监控系统，监控系统包括监控设备、叠瓦式磁记录盘及电子设备，叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域；
监控设备，用于采集监控数据，并将监控数据发送至电子设备；
电子设备，用于接收监控设备发送的监控数据；按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域；在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域；
叠瓦式磁记录盘中的叠瓦式磁记录区域，用于存储监控数据；
叠瓦式磁记录盘中的常规磁记录区域，用于存储数据索引信息。
本发明实施例有益效果：
本发明实施例提供的一种基于叠瓦式磁记录盘的监控数据存储方法及装置，其中，方法包括：获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于叠瓦式磁记录盘的监控数据存储方法的流程示意图；
图2为本发明实施例的叠瓦式磁记录盘的结构分配示意图；
图3为本发明实施例的常规磁记录区域的结构分配示意图；
图4为本发明实施例的叠瓦式磁记录区域的结构分配示意图；
图5为本发明实施例的数据库文件子区域的分配流程示意图；
图6为本发明实施例的叠瓦式磁记录区域存储录像片段的格式示意图；
图7为本发明实施例的叠瓦式磁记录区域存储图片数据的格式示意图；
图8为本发明实施例的叠瓦式磁记录区域的存储单元不足4KB补0的流程示意图；
图9为本发明实施例的叠瓦式磁记录区域的存储单元满4KB数据写入的流程示意图；
图10为本发明实施例的叠瓦式磁记录区域的切换片段时保持4KB对齐的数据写入的流程示意图；
图11为本发明实施例的信息数据存储的流程示意图；
图12为本发明一实施例的初始化流程示意图；
图13为本发明实施例的虚拟硬盘添加的流程示意图；
图14为本发明另一实施例的初始化流程示意图；
图15为本发明实施例的叠瓦式磁记录区域的恢复流程示意图；
图16为本发明实施例的从录像数据恢复数据库文件子区域中录像数据的数据索引信息的流程示意图；
图17为本发明实施例的从图片数据恢复数据库文件子区域中图片数据的数据索引信息的流程示意图；
图18为本发明实施例的基于叠瓦式磁记录盘的监控数据存储装置的结构示意图；
图19为本发明实施例的电子设备的结构示意图；
图20为本发明实施例的监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了实现利用叠瓦式磁记录盘对监控数据进行存储，本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储方法及装置。下面，首先对本发明实施例所提供的基于叠瓦式磁记录盘的监控数据存储方法进行介绍。该方法应用于电子设备，电子设备可以是独立于SMR盘的设备，也可以是SMR盘所插装的设备。本发明实施例所提供的基于叠瓦式磁记录盘的监控数据存储方法可以被设置于电子设备中的软件、硬件电路和逻辑电路中的至少一种。
SMR盘包括CMR(Conventional Magnetic Recording，常规磁记录)区域和SMR区域，整个SMR盘按照256MB为一个zone(存储单元)进行划分。SMR区域的存储空间较大，占整个SMR盘约99％的空间，在单个zone内只能顺序写入数据，不能随机写，且只能读取已写入的数据。CMR区域的存储空间较小，允许数据随机写入。
SMR盘读写存在如下限制：SMR盘每个zone有特殊的状态，例如open(打开)、close(关闭)、finish(结束)等，同时打开的zone个数有一定限制，超过一定个数时，SMR盘的读写性能会下降；每个zone有自己的WP(Write Pointer，写指针)，zone中的数据必须从当前的WP向后写入；WP之后的数据无法读取；不允许跨zone读写；SMR区域的写位置必须保持4KB对齐，且写字节数为4KB整数倍。
SMR盘一般分为Device Manage和Host Manage两种类型。Device Manage类型的SMR盘是由磁盘生产厂商在磁盘固件中适配SMR盘存储逻辑；Host Manage类型的SMR盘是由磁盘集成方进行SMR盘存储逻辑的开发适配。本发明实施例中的SMR盘是Host Manage类型的SMR盘，当然，除了现有的Host Manage类型的SMR盘以外，只要能够实现由用户、磁盘集成方等非磁盘生产厂商进行存储逻辑开发适配的SMR盘均属于本发明实施例的保护范围。
基于上述SMR盘的读写限制，本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储方法，如图1所示，可以包括如下步骤。
S101，获取待存储的监控数据。
S102，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域。
S103，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
应用本发明实施例，获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
现有的文件系统，如NTFS(New Technology File System，新技术文件系统)、FAT32(File Allocation Table 32，格式采用32位的文件分配表)、ext4(Fourth extendedfilesystem，第四代扩展文件系统)等均不支持SMR盘，因此，在将SMR应用于监控系统时，无法使用通用的文件系统。如图2所示，SMR盘包括CMR区域和SMR区域，CMR区域用于存储监控数据的数据索引信息，SMR区域用于存储监控数据，其中，监控数据是指利用监控设备采集到的图片数据、录像数据、视频数据等，数据索引信息是指监控数据的数据类型、数据大小、数据长度、数据起始时间、存储位置等基本信息，数据索引信息是在监控数据的存储过程中从监控数据中读取到的或者在存储监控数据时生成的。
可选的，常规磁记录区域包括信息文件子区域和数据库文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息。
在本发明实施例的一种实现方式中，CMR区域可以提供数据库功能，CMR区域用于存储SMR盘的格式化信息以及数据库文件，其中，格式化信息包括SMR盘的属性标识、存储单元索引等格式化的硬件信息。CMR区域可以包括信息文件子区域和数据库文件子区域，信息文件子区域预先存储有SMR盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息，占据了CMR区域的大部分空间。一般情况下，CMR区域包括两个信息文件子区域，分别位于CMR区域的第一个和最后一个zone，如图3所示。当然，CMR区域中包括多少个信息文件子区域在这里不做具体限定，可以为1个，也可以为多个。每个zone作为一个文件，索引管理除第一个zone外的整个SMR盘的存储空间。当然，本发明实施例中，CMR区域并不限定为数据库这一种存储方式。
可选的，叠瓦式磁记录区域包括多个存储单元；叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录盘的属性标识以及各存储单元的单元索引。相应的，S102具体可以为：按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中的指定存储单元。
在本发明实施例的一种实现方式中，SMR盘的格式化信息包括SMR盘的属性标识以及各存储单元的单元索引，SMR盘的属性标识包括SMR盘的大小、SMR盘包括多少个zone等在进行SMR盘格式化时所限定的信息；单元索引至少包括各zone在SMR盘中的位置，基于单元索引可以快速索引到SMR盘中对应的zone。SMR区域主要分配给录像数据、图片数据等监控数据使用，SMR区域的区域分配如图4所示，不同类型的监控数据存储在不同的zone中。
可选的，监控数据包括多种数据类型；数据库文件子区域包括针对不同数据类型的监控数据预先分配的数据库单元；各存储单元用于存储不同数据类型的监控数据。
相应的，S102具体可以为：根据监控数据的数据类型，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中该数据类型对应的存储单元。
S103中，将数据索引信息存储至常规磁记录区域的步骤，具体可以为：根据监控数据的数据类型，将数据索引信息存储至数据类型对应的数据库单元。
在本发明实施例的一种实现方式中，SMR区域用于存储录像数据、图片数据等不同类型的监控数据，具体的，将不同数据类型的监控数据存储于相应的存储单元中。CMR区域用于存储数据库文件，相应的，数据库文件子区域包括针对不同数据类型的监控数据预先分配的数据库单元，例如，可以将数据库文件子区域划分为录像库、图片库、信息库等，以4T的SMR盘为例，CMR区域约40G共160个文件，如表1所示，预分配1/20(即2G)给录像库、1/5(即8G)给图片库、1/5(即8G)给信息库，1/10(即4G)预留，剩余用作数据库空闲文件。
表1 CMR区域分配表
Figure BDA0002532067590000111
可选的，该方法还可以包括：针对任一数据库单元，若该数据库单元已使用的存储空间达到预设阈值，则删除该数据库单元中最早存储的数据索引信息。
数据库占用的整块空间，只能不断增长，不能回收。因此，当某一个数据库单元占用空间满时(即数据库单元已使用的存储空间达到预设阈值)，需删除数据库单元中老的数据索引信息，释放出空间供新的数据索引信息插入。具体实现时，可以给已存储的数据索引数据分配优先级，越新存储的数据索引数据优先级越高，则在删除时，可以删除优先级最低的数据索引数据。
综上所述，数据库文件子区域的分配流程如图5所示，存储监控数据时，申请数据库文件，判断当前的磁盘是否为SMR盘，如果是，则查找该SMR盘上预分配的该监控数据的数据类型对应的数据库单元，将该监控数据的数据索引信息存储至该数据库单元，如果该数据库单元占用空间满，则删除该数据库单元中最早存储的数据索引信息。
可选的，监控数据包括多个通道的监控数据；叠瓦式磁记录区域包括多个存储单元；
相应的，S102具体可以为：将各个数据段按照顺序存储规则，同步存储至叠瓦式磁记录区域中的各存储单元，其中，数据段至少包括数据段头部及一个通道的监控数据，数据段头部用于记录一个通道的监控数据的数据索引信息；
S103具体可以为：在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在数据段头部记录该监控数据的数据索引信息，并将数据索引信息存储至所述常规磁记录区域。
在本发明实施例的一种实现方式中，SMR区域中可以存储多个数据段，每个数据段至少包括数据段头部和一个通道的监控数据，数据段头部记录的是一个通道的监控数据的数据索引信息。监控数据开始存储时，生成数据段头部，在数据段头部先记录一份数据索引信息，并将该数据索引信息存储至常规记录区域。
监控数据包括录像数据和图片数据。相应的，针对于录像数据，S102具体可以为：将各个数据段按照顺序存储规则，同步存储至叠瓦式磁记录区域中的各存储单元，其中，数据段包括数据段头部、一个通道的录像数据及数据段尾部，数据段头部及数据段尾部用于记录录像数据的数据索引信息，数据段尾部记录的数据索引信息多于数据段头部记录的数据索引信息。
S103具体可以为：在开始存储一个通道的录像数据时，生成该录像数据的数据段头部，在数据段头部记录该录像数据的数据索引信息，并将数据索引信息存储至常规磁记录区域；在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用当前数据索引信息，更新常规磁记录区域中该录像数据的数据索引信息；在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在数据段尾部记录该录像数据的数据索引信息，并更新常规磁记录区域中该录像数据的数据索引信息。
如图6所示，SMR区域中存储多个数据段，每个数据段包括数据段头部、一个通道的录像数据及数据段尾部，数据段头部和数据段尾部记录的是录像数据的数据索引信息。由于SMR区域数据只能顺序写入，录像开始时，生成数据段头部，在数据段头部先记录一份数据索引信息，并将该数据索引信息存储至CMR区域，头部的数据索引信息无法记录录像数据的长度；在存储一个通道的录像数据的过程中，每间隔预设时间段(例如1分钟、2分钟等)，获取当前数据索引信息(可以包括一通道的录像数据起始时间、当前时间、录像数据的当前位置等)，并利用当前数据索引信息，更新CMR区域中该录像数据的数据索引信息，也就是将CMR区域中存储的该录像数据的数据索引数据更新为最新获取到的当前数据索引信息；当录像数据结束后，生成数据段尾部，在数据段尾部再记录一份数据索引信息，并基于该数据索引信息，更新CMR区域中该录像数据的数据索引信息，尾部的数据索引信息中记录当前录像数据的长度及录像的起止时间、片段个数等信息，可见，数据段尾部记录的数据索引信息多于数据段头部记录的数据索引信息。
针对于图片数据，S102具体可以为：将各个数据段按照顺序存储规则，同步存储至叠瓦式磁记录区域中的各存储单元，其中，数据段包括数据段头部及一个通道的图片数据，数据段头部用于记录图片数据的数据索引信息。
S103具体可以为：在开始存储一个通道的图片数据时，生成该图片数据的数据段头部，在数据段头部记录该图片数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
如图7所示，SMR区域中存储多个数据段，每个数据段包括数据段头部和一个通道的图片数据，数据段头部记录的是图片数据的数据索引信息。开始存储一个通道的图片数据时，生成数据段头部，在数据段头部记录一份数据索引信息，并将该数据索引信息存储至CMR区域。
由于数据索引信息存储在CMR区域的数据库文件子区域中，可以采用传统的数据库检索方式，从SMR区域中读取相应的监控数据，进行回放、展示等，这里不再赘述。
可选的，S102具体可以为：按照顺序存储规则及预设位对齐策略，将监控数据存储至叠瓦式磁记录区域，其中，预设位对齐策略根据数据索引信息的预设数据大小确定。
一般会对数据索引信息设置一定的数据大小，例如设置数据索引信息的数据大小为4KB，则监控数据采用预设位对齐方式DIO(Discrete Input/Output，离散输入/输出)写入SMR区域，保证最后预设位的数据一定是数据索引信息，如果最后预设位的数据前有空白，则用0补齐，以采用4KB对齐方式DIO写入SMR区域为例，对不足4K的数据位补0，如图8所示。
关于4KB对齐写的方式，为满足SMR盘顺序写入的特性，必须满4KB之后再写入，如图9所示，录像数据先写入录像缓冲区，然后再基于SMR盘顺序写入的特性写入SRM盘。针对于录像片段，在切换录像片段时，尾部不足4KB部分数据补0，增加片段索引，后保持原偏移继续写入数据，如图10所示。需要说明的一点，如果新录像片段无I帧，则还需拷贝I帧。
若下次写入录像数据之前设备断电，在丢失录像缓冲区中的小部分数据，但数据库认为该段数据已成功记录至SMR盘，可能引起回放时间变少。
可选的，该方法还可以包括：在存储监控数据至叠瓦式磁记录区域时，若出现监控数据未对齐的情况，则获取叠瓦式磁记录区域中存储监控数据的存储单元的写指针，并基于写指针，调整存储监控数据的偏移量。
若写入数据时出现监控数据未对齐的情况，则可以获取SMR区域中存储监控数据的存储单元的WP，基于WP调整存储监控数据的偏移量，使得存储监控数据的偏移量向WP校正。
可选的，该方法还可以包括：获取监控数据关联的信息数据；将信息数据存储至本地缓冲区；在存储信息数据的过程中，读取信息数据的数据索引信息，并将信息索引信息存储至常规磁记录区域。
在监控领域，信息数据大多是结构化数据，比如人脸、车辆等相关属性信息，存储方式如图11所示，在获取到监控数据关联的信息数据后，将信息数据存储至本地缓冲区，并且在存储信息数据的过程中可以读取到信息数据的数据索引信息，将信息索引信息存储至CMR区域。
数据索引信息可以存储在CMR区域的数据库文件子区域中，则可以采用传统的数据库检索方式，可以满足各种属性、条件组合检索等，从缓冲区中读取相应的信息数据，进行展示，展示出对应的录像或图片数据，这里不再赘述。
在执行本发明实施例所提供的基于叠瓦式磁记录盘的监控数据存储方法之前，还可以对SMR盘进行初始化操作，如图12所示，初始化流程包括如下步骤。
S1201，获取常规磁记录区域和叠瓦式磁记录区域的区域参数。
S1202，根据常规磁记录区域和叠瓦式磁记录区域的区域参数，初始化常规磁记录区域中的信息文件子区域和数据库文件子区域，并复位叠瓦式磁记录区域中每个存储单元的写指针。
在使用SMR盘进行监控数据存储之前，SMR盘可能已经使用过，因此，需要首先对SMR盘进行初始化，具体的初始化操作就是对CMR区域中的信息文件子区域和数据库文件子区域进行初始化，并且复位SMR区域中每个存储单元的WP。其中，初始化信息文件子区域的单元索引时，需新增同步系统信息文件的使用情况；初始化数据库文件子区域的逻辑时，新增将CMR区域除第一个和最后一个zone以外，其他zone全部预分配为数据库空闲文件。
具体的，处理化的流程可以分为增加虚拟硬盘和初始化两个部分，如图13所示的虚拟硬盘添加流程，进行磁盘热插拔检测，如果检测到数据盘，则利用指定命令获取磁盘类型，如果是SMR盘，则获取SMR区域的区域参数，其中，SMR区域的区域参数包括SMR区域的大小等属性信息，再根据SMR区域的区域参数添加虚拟硬盘。如图14所示的初始化流程，获取CMR区域的区域参数，复位SMR区域的WP，初始化信息文件子区域中的属性标识和单元索引，则完成初始化。
可选的，常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息。
该方法还可以包括：若任一信息文件子区域中存储的格式化信息损坏，则获取并利用其他信息文件子区域存储的格式化信息对该信息文件子区域中损坏的格式化信息进行恢复。
在实际场景中，易出现数据损坏的情况，针对格式化信息损坏的情况，由于一般情况下CMR区域中包括至少两个信息文件子区域，则如果一个信息文件子区域中存储的格式化信息损坏，则可以利用其他信息文件子区域存储的格式化信息对该信息文件子区域中损坏的格式化信息进行恢复。
可选的，叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录区域中各存储单元的单元索引；若所有信息文件子区域中存储的单元索引均损坏，该方法还包括：
第一步，获取并根据常规磁记录区域中各子区域的位置，确定信息文件子区域。
第二步，遍历叠瓦式磁记录区域，读取各存储单元的尾部信息。
第三步，如果从存储单元的尾部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域。
第四步，如果从存储单元的尾部信息中未读取到有效的单元索引，则读取各存储单元的头部信息。
第五步，如果从存储单元的头部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域。
如果所有信息文件子区域中存储的单元索引均损坏，则需要重建各信息文件子区域中的单元索引。重建信息文件子区域中的单元索引主要包括两部分：CMR区域恢复和SMR区域恢复，由于信息文件子区域的位置是固定的，因此，CMR区域恢复就是根据CMR区域中各子区域的位置，确定信息文件子区域，而SMR区域恢复具体如图15所示，遍历SMR区域，读取各存储单元的尾部信息，判断从存储单元的尾部信息中是否读取到有效的单元索引，若是则将读取到的单元索引存储至信息文件子区域，若否，则读取各存储单元的头部信息，判断从存储单元的头部信息中是否读取到有效的单元索引，若是则将读取到的单元索引存储至信息文件子区域，若否则将空闲文件写入信息文件子区域。
可选的，叠瓦式磁记录盘的格式化信息还可以包括叠瓦式磁记录盘的属性标识，如果一个信息文件子区域中存储的属性标识损坏，则可以利用其他信息文件子区域存储的属性标识对该信息文件子区域中损坏的属性标识进行恢复。
可选的，常规磁记录区域包括数据库文件子区域和信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的属性标识以及叠瓦式磁记录区域中各存储单元的单元索引，数据库文件子区域用于存储监控数据的数据索引信息。
该方法还可以包括：若数据库文件子区域中存储的数据索引信息损坏，则根据单元索引，在叠瓦式磁记录区域中查找单元索引对应的存储单元；在存储单元中，从数据尾部开始，根据数据尾部记录的数据长度，依次向前遍历，查找到前一个监控数据的数据尾部，并根据各监控数据的数据尾部恢复出各监控数据的数据索引信息；或者，在存储单元中，从数据头部开始，根据数据头部记录的数据长度，依次向后遍历，查找到后一个监控数据的数据头部，并根据各监控数据的数据头部恢复出各监控数据的数据索引信息。
综上所述，监控数据主要是指录像数据和图片数据，针对于录像数据，如果数据库文件子区域中存储的数据索引信息损坏，可以从录像数据中，直接恢复出损坏的数据索引信息。根据单元索引，在SMR区域中可以查找到对应的存储单元，存储单元的尾部为最后一个录像片段的数据索引信息，因此，根据该数据索引信息中记录的片段长度，可以找到上一个录像片段的数据索引信息。以此方式，可以恢复出所有的录像片段的数据索引信息。如图16所示，将SMR区域遍历一遍后，可恢复出整个数据库文件子区域中录像数据的数据索引信息。
针对于图片数据，如果数据库文件子区域中存储的数据索引信息损坏，可以从图片数据中，直接恢复出损坏的数据索引信息。根据单元索引，在SMR区域中可以查找到对应的存储单元，找到对应的图片数据后，再根据图片数据的数据索引信息，向后可以找到所有的图片数据，如图17所示，遍历完所有图片数据后，可以恢复出整个数据库文件子区域中图片数据的数据索引信息。
综上所述，本发明实施例实现了对SMR盘的分区格式管理，实现了监控数据在SMR盘上的存储和检索，包括文件分配、文件数据写入、文件更新、文件覆盖、数据检索等。并且，还实现了文件系统的自修复。
基于上述方法实施例，本发明实施例提供了一种基于叠瓦式磁记录盘的监控数据存储装置，叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，如图18所示，该装置可以包括：
获取模块1810，用于获取待存储的监控数据；
存储模块1820，用于按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域；在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
可选的，常规磁记录区域包括信息文件子区域和数据库文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息。
可选的，叠瓦式磁记录区域包括多个存储单元；叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录盘的属性标识以及各存储单元的单元索引；
存储模块1820，具体可以用于：按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中的指定存储单元。
可选的，监控数据包括多种数据类型；数据库文件子区域包括针对不同数据类型的监控数据预先分配的数据库单元；各存储单元用于存储不同数据类型的监控数据；
存储模块1820，具体可以用于：根据监控数据的数据类型，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域中该数据类型对应的存储单元；根据监控数据的数据类型，将数据索引信息存储至数据类型对应的数据库单元。
可选的，该装置还可以包括：
删除模块，用于针对任一数据库单元，若该数据库单元已使用的存储空间达到预设阈值，则删除该数据库单元中最早存储的数据索引信息。
可选的，该装置还可以包括：
初始化模块，用于获取常规磁记录区域和叠瓦式磁记录区域的区域参数；根据常规磁记录区域和叠瓦式磁记录区域的区域参数，初始化常规磁记录区域中的信息文件子区域和数据库文件子区域，并复位叠瓦式磁记录区域中每个存储单元的写指针。
可选的，监控数据包括多个通道的监控数据；叠瓦式磁记录区域包括多个存储单元；
存储模块1820，具体可以用于：将各个数据段按照顺序存储规则，同步存储至叠瓦式磁记录区域中的各存储单元，其中，数据段至少包括数据段头部及一个通道的监控数据，数据段头部用于记录一个通道的监控数据的数据索引信息；在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在数据段头部记录该监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。
可选的，监控数据包括录像数据；数据段还包括数据段尾部，数据段尾部用于记录录像数据更新的数据索引信息；
存储模块1820，还可以用于：在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用当前数据索引信息，更新常规磁记录区域中该录像数据的数据索引信息；在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在数据段尾部记录该录像数据的数据索引信息，并更新常规磁记录区域中该录像数据的数据索引信息。
可选的，监控数据包括图片数据。
可选的，存储模块1820，具体可以用于：按照顺序存储规则及预设位对齐策略，将监控数据存储至叠瓦式磁记录区域，其中，预设位对齐策略根据数据索引信息的预设数据大小确定。
可选的，该装置还可以包括：
调整模块，用于在存储监控数据至叠瓦式磁记录区域时，若出现监控数据未对齐的情况，则获取叠瓦式磁记录区域中存储监控数据的存储单元的写指针，并基于写指针，调整存储监控数据的偏移量。
可选的，获取模块1810，还可以用于获取监控数据关联的信息数据；
存储模块1820，还可以用于将信息数据存储至本地缓冲区；在存储信息数据的过程中，读取信息数据的数据索引信息，并将信息索引信息存储至常规磁记录区域。
可选的，常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的格式化信息，数据库文件子区域用于存储监控数据的数据索引信息；
该装置还可以包括：
恢复模块，用于若任一信息文件子区域中存储的格式化信息损坏，则获取并利用其他信息文件子区域存储的格式化信息对所述任一信息文件子区域中损坏的格式化信息进行恢复。
可选的，叠瓦式磁记录盘的格式化信息包括叠瓦式磁记录区域中各存储单元的单元索引；
该装置还可以包括：
重建模块，用于若所有信息文件子区域中存储的单元索引均损坏，获取并根据常规磁记录区域中各子区域的位置，确定信息文件子区域；遍历叠瓦式磁记录区域，读取各存储单元的尾部信息；如果从存储单元的尾部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域；如果从存储单元的尾部信息中未读取到有效的单元索引，则读取各存储单元的头部信息；如果从存储单元的头部信息中读取到有效的单元索引，则将读取到的单元索引存储至信息文件子区域。
可选的，常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；信息文件子区域预先存储有叠瓦式磁记录盘的属性标识以及叠瓦式磁记录区域中各存储单元的单元索引，数据库文件子区域用于存储监控数据的数据索引信息；
该装置还可以包括：
查找模块，用于若数据库文件子区域中存储的数据索引信息损坏，则根据单元索引，在叠瓦式磁记录区域中查找单元索引对应的存储单元；
恢复模块，用于在存储单元中，从数据尾部开始，根据数据尾部记录的数据长度，依次向前遍历，查找到前一个监控数据的数据尾部，并根据各监控数据的数据尾部恢复出各监控数据的数据索引信息；或者，在存储单元中，从数据头部开始，根据数据头部记录的数据长度，依次向后遍历，查找到后一个监控数据的数据头部，并根据各监控数据的数据头部恢复出各监控数据的数据索引信息。
应用本发明实施例，获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
本发明实施例提供了一种电子设备，如图19所示，包括处理器1901和机器可读存储介质1902，机器可读存储介质1902存储有能够被处理器1901执行的机器可执行指令，处理器1901被机器可执行指令促使：实现本发明实施例所提供的基于叠瓦式磁记录盘的监控数据存储方法。
上述机器可读存储介质可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non-Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，机器可读存储介质还可以是至少一个位于远离上述处理器的存储装置。
上述处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processing，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
机器可读存储介质1902与处理器1901之间可以通过有线连接或者无线连接的方式进行数据传输，并且电子设备可以通过有线通信接口或者无线通信接口与其他的设备进行通信。图19所示的仅为处理器1901与机器可读存储介质1902之间通过总线进行数据传输的示例，不作为具体连接方式的限定。
应用本发明实施例，获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
本发明实施例提供了一种机器可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，实现本发明实施例提供的基于叠瓦式磁记录盘的监控数据存储方法。
应用本发明实施例，获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
在本发明实施例提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行实现本发明实施例提供的基于叠瓦式磁记录盘的监控数据存储方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line，数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc，数字多功能光盘))、或者半导体介质(例如SSD(Solid State Disk，固态硬盘))等。
本发明实施例还提供了一种监控系统，如图20所示，监控系统包括监控设备2010、叠瓦式磁记录盘2020及电子设备2030，叠瓦式磁记录盘2020包括常规磁记录区域和叠瓦式磁记录区域；
监控设备2010，用于采集监控数据，并将监控数据发送至电子设备2030；
电子设备2030，用于接收监控设备2010发送的监控数据；按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域；在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域；
叠瓦式磁记录盘2020中的叠瓦式磁记录区域，用于存储监控数据；
叠瓦式磁记录盘2020中的常规磁记录区域，用于存储数据索引信息。
应用本发明实施例，获取待存储的监控数据，按照顺序存储规则，将监控数据存储至叠瓦式磁记录区域，在存储监控数据的过程中，获取监控数据的数据索引信息，并将数据索引信息存储至常规磁记录区域。叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，叠瓦式磁记录区域较大，用于存储监控数据，且只能顺序存储数据，常规磁记录区域较小，用于存储数据索引信息，因此，在存储监控数据的过程中，读取监控数据的数据索引信息，将数据索引信息存储至常规磁记录区域，从而实现了利用叠瓦式磁记录盘对监控数据进行存储。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、机器可读存储介质、计算机程序产品和监控系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (17)

1.一种基于叠瓦式磁记录盘的监控数据存储方法，其特征在于，所述叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，所述常规磁记录区域允许数据随机写入、所述叠瓦式磁记录区域只能顺序写入数据；所述方法包括：
获取待存储的监控数据；
按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域；
在存储所述监控数据的过程中，获取所述监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域，所述监控数据包括多种数据类型，所述监控数据的数据索引信息包括监控数据的数据类型；
所述监控数据包括多个通道的监控数据；所述叠瓦式磁记录区域包括多个存储单元；
所述按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域，包括：
将各个数据段按照顺序存储规则，同步存储至所述叠瓦式磁记录区域中的各存储单元，所述数据段至少包括数据段头部及一个通道的监控数据，所述数据段头部用于记录一个通道的监控数据的数据索引信息；
所述在存储所述监控数据的过程中，获取所述监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域，包括：
在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域；
所述监控数据包括录像数据；所述数据段还包括数据段尾部，所述数据段尾部用于记录录像数据更新的数据索引信息；
在所述生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域之后，所述方法还包括：
在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用所述当前数据索引信息，更新所述常规磁记录区域中该录像数据的数据索引信息；
在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在所述数据段尾部记录该录像数据的数据索引信息，并更新所述常规磁记录区域中该录像数据的数据索引信息。
2.根据权利要求1所述的方法，其特征在于，所述常规磁记录区域包括信息文件子区域和数据库文件子区域；所述信息文件子区域预先存储有所述叠瓦式磁记录盘的格式化信息，所述数据库文件子区域用于存储监控数据的数据索引信息。
3.根据权利要求2所述的方法，其特征在于，所述叠瓦式磁记录区域包括多个存储单元；所述叠瓦式磁记录盘的格式化信息包括所述叠瓦式磁记录盘的属性标识以及各存储单元的单元索引；
所述按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域，包括：
按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域中的指定存储单元。
4.根据权利要求3所述的方法，其特征在于，所述监控数据包括多种数据类型；所述数据库文件子区域包括针对不同数据类型的监控数据预先分配的数据库单元；所述各存储单元用于存储不同数据类型的监控数据；
所述按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域中的指定存储单元，包括：
根据所述监控数据的数据类型，按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域中所述数据类型对应的存储单元；
所述将所述数据索引信息存储至所述数据库文件子区域，包括：
根据所述监控数据的数据类型，将所述数据索引信息存储至所述数据类型对应的数据库单元。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
针对任一数据库单元，若该数据库单元已使用的存储空间达到预设阈值，则删除该数据库单元中最早存储的数据索引信息。
6.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述常规磁记录区域和所述叠瓦式磁记录区域的区域参数；
根据所述常规磁记录区域和所述叠瓦式磁记录区域的区域参数，初始化所述常规磁记录区域中的信息文件子区域和数据库文件子区域，并复位所述叠瓦式磁记录区域中每个存储单元的写指针。
7.根据权利要求1所述的方法，其特征在于，所述监控数据包括图片数据。
8.根据权利要求1所述的方法，其特征在于，所述按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域，包括：
按照顺序存储规则及预设位对齐策略，将所述监控数据存储至所述叠瓦式磁记录区域，所述预设位对齐策略根据所述数据索引信息的预设数据大小确定。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
在存储所述监控数据至所述叠瓦式磁记录区域时，若出现所述监控数据未对齐的情况，则获取所述叠瓦式磁记录区域中存储所述监控数据的存储单元的写指针，并基于所述写指针，调整存储所述监控数据的偏移量。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述监控数据关联的信息数据；
将所述信息数据存储至本地缓冲区；
在存储所述信息数据的过程中，读取所述信息数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域。
11.根据权利要求1所述的方法，其特征在于，所述常规磁记录区域包括数据库文件子区域和至少两个信息文件子区域；所述信息文件子区域预先存储有所述叠瓦式磁记录盘的格式化信息，所述数据库文件子区域用于存储监控数据的数据索引信息；
所述方法还包括：
若任一信息文件子区域中存储的格式化信息损坏，则获取并利用其他信息文件子区域存储的格式化信息对所述任一信息文件子区域中损坏的格式化信息进行恢复。
12.根据权利要求11所述的方法，其特征在于，所述叠瓦式磁记录盘的格式化信息包括所述叠瓦式磁记录区域中各存储单元的单元索引；
若所有信息文件子区域中存储的单元索引均损坏，所述方法还包括：
获取并根据所述常规磁记录区域中各子区域的位置，确定信息文件子区域；
遍历所述叠瓦式磁记录区域，读取各存储单元的尾部信息；
如果从所述存储单元的尾部信息中读取到有效的单元索引，则将读取到的单元索引存储至所述信息文件子区域；
如果从所述存储单元的尾部信息中未读取到有效的单元索引，则读取各存储单元的头部信息；
如果从所述存储单元的头部信息中读取到有效的单元索引，则将读取到的单元索引存储至所述信息文件子区域。
13.根据权利要求1所述的方法，其特征在于，所述常规磁记录区域包括数据库文件子区域和信息文件子区域；所述信息文件子区域预先存储有所述叠瓦式磁记录区域中各存储单元的单元索引，所述数据库文件子区域用于存储监控数据的数据索引信息；
所述方法还包括：
若所述数据库文件子区域中存储的数据索引信息损坏，则根据所述单元索引，在所述叠瓦式磁记录区域中查找所述单元索引对应的存储单元；
在所述存储单元中，从数据尾部开始，根据所述数据尾部记录的数据长度，依次向前遍历，查找到前一个监控数据的数据尾部，并根据各监控数据的数据尾部恢复出各监控数据的数据索引信息；或者，在所述存储单元中，从数据头部开始，根据所述数据头部记录的数据长度，依次向后遍历，查找到后一个监控数据的数据头部，并根据各监控数据的数据头部恢复出各监控数据的数据索引信息。
14.一种基于叠瓦式磁记录盘的监控数据存储装置，其特征在于，所述叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域，所述常规磁记录区域允许数据随机写入、所述叠瓦式磁记录区域只能顺序写入数据；所述装置包括：
获取模块，用于获取待存储的监控数据；
存储模块，用于按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域；在存储所述监控数据的过程中，获取所述监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域，所述监控数据包括多种数据类型，所述监控数据的数据索引信息包括监控数据的数据类型；
所述监控数据包括多个通道的监控数据；所述叠瓦式磁记录区域包括多个存储单元；
所述存储模块具体可以用于：将各个数据段按照顺序存储规则，同步存储至所述叠瓦式磁记录区域中的各存储单元，所述数据段至少包括数据段头部及一个通道的监控数据，所述数据段头部用于记录一个通道的监控数据的数据索引信息；在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域；
所述监控数据包括录像数据；所述数据段还包括数据段尾部，所述数据段尾部用于记录录像数据更新的数据索引信息；
所述存储模块还可以用于：在所述生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域之后，在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用所述当前数据索引信息，更新所述常规磁记录区域中该录像数据的数据索引信息；在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在所述数据段尾部记录该录像数据的数据索引信息，并更新所述常规磁记录区域中该录像数据的数据索引信息。
15.一种电子设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现权利要求1-13任一项所述的方法。
16.一种机器可读存储介质，其特征在于，存储有机器可执行指令，在被处理器调用和执行时，实现权利要求1-13任一项所述的方法。
17.一种监控系统，其特征在于，所述监控系统包括监控设备、叠瓦式磁记录盘及电子设备，所述叠瓦式磁记录盘包括常规磁记录区域和叠瓦式磁记录区域；所述常规磁记录区域允许数据随机写入、所述叠瓦式磁记录区域只能顺序写入数据；
所述监控设备，用于采集监控数据，并将所述监控数据发送至所述电子设备；
所述电子设备，用于接收所述监控设备发送的所述监控数据；按照顺序存储规则，将所述监控数据存储至所述叠瓦式磁记录区域；在存储所述监控数据的过程中，获取所述监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域；
所述叠瓦式磁记录盘中的叠瓦式磁记录区域，用于存储所述监控数据；
所述叠瓦式磁记录盘中的常规磁记录区域，用于存储所述数据索引信息，所述监控数据包括多种数据类型，所述监控数据的数据索引信息包括监控数据的数据类型；
所述监控数据包括多个通道的监控数据；所述叠瓦式磁记录区域包括多个存储单元；
所述电子设备具体用于：
将各个数据段按照顺序存储规则，同步存储至所述叠瓦式磁记录区域中的各存储单元，所述数据段至少包括数据段头部及一个通道的监控数据，所述数据段头部用于记录一个通道的监控数据的数据索引信息；在开始存储一个通道的监控数据时，生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域；
所述监控数据包括录像数据；所述数据段还包括数据段尾部，所述数据段尾部用于记录录像数据更新的数据索引信息；
所述电子设备还用于：
在所述生成该监控数据的数据段头部，在所述数据段头部记录该监控数据的数据索引信息，并将所述数据索引信息存储至所述常规磁记录区域之后，在存储一个通道的录像数据的过程中，每间隔预设时间段，获取当前数据索引信息，并利用所述当前数据索引信息，更新所述常规磁记录区域中该录像数据的数据索引信息；
在存储完一个通道的录像数据时，生成该录像数据的数据段尾部，在所述数据段尾部记录该录像数据的数据索引信息，并更新所述常规磁记录区域中该录像数据的数据索引信息。
CN202010521106.1A 2020-06-10 2020-06-10 一种基于叠瓦式磁记录盘的监控数据存储方法及装置 Active CN111651127B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010521106.1A CN111651127B (zh) 2020-06-10 2020-06-10 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
PCT/CN2021/096418 WO2021249201A1 (zh) 2020-06-10 2021-05-27 一种基于叠瓦式磁记录盘的监控数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010521106.1A CN111651127B (zh) 2020-06-10 2020-06-10 一种基于叠瓦式磁记录盘的监控数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN111651127A CN111651127A (zh) 2020-09-11
CN111651127B true CN111651127B (zh) 2023-05-02

Family

ID=72349298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010521106.1A Active CN111651127B (zh) 2020-06-10 2020-06-10 一种基于叠瓦式磁记录盘的监控数据存储方法及装置

Country Status (2)

Country Link
CN (1) CN111651127B (zh)
WO (1) WO2021249201A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111651127B (zh) * 2020-06-10 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
CN112214169B (zh) * 2020-09-28 2021-08-10 深圳大学 一种数据存储装置及存储数据的迁移方法
CN113467723B (zh) * 2021-07-26 2024-06-07 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
CN114217741A (zh) * 2021-11-30 2022-03-22 浙江大华技术股份有限公司 存储装置的存储方法及存储装置
CN115712389B (zh) * 2022-10-28 2023-07-04 哈尔滨工业大学（深圳） 一种数据存储介质间的调度方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856076B2 (en) * 2011-06-17 2014-10-07 International Business Machines Corporation Rendering tape file system information in a graphical user interface
US9720627B2 (en) * 2013-01-17 2017-08-01 Western Digital Technologies, Inc. Data management for a data storage device
US9460751B2 (en) * 2013-09-16 2016-10-04 Seagate Technology Llc Binding shingled recording bands
CN103745007A (zh) * 2014-01-24 2014-04-23 深圳市华宝电子科技有限公司 一种文件管理方法及装置
CN104461390B (zh) * 2014-12-05 2017-10-24 华为技术有限公司 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN106548789B (zh) * 2015-09-17 2019-05-17 伊姆西公司 用于操作叠瓦式磁记录设备的方法和装置
CN106201355B (zh) * 2016-07-12 2018-12-11 腾讯科技（深圳）有限公司 数据处理方法和装置以及存储系统
CN108255408B (zh) * 2016-12-28 2021-03-23 中国电信股份有限公司 数据存储方法以及系统
CN109753224B (zh) * 2017-11-03 2022-05-13 浙江宇视科技有限公司 存储结构及存储结构配置方法
CN110502455B (zh) * 2018-05-18 2021-10-12 杭州海康威视数字技术股份有限公司 数据存储方法及系统
WO2020041928A1 (zh) * 2018-08-27 2020-03-05 深圳市锐明技术股份有限公司 数据存储方法、系统及终端设备
CN111506251B (zh) * 2019-01-30 2023-06-02 杭州海康威视系统技术有限公司 数据处理方法、装置、smr存储系统及存储介质
CN111399762B (zh) * 2019-11-27 2021-06-18 杭州海康威视系统技术有限公司 数据存储方法、装置及存储系统
CN111651127B (zh) * 2020-06-10 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于叠瓦式磁记录盘的监控数据存储方法及装置

Also Published As

Publication number Publication date
CN111651127A (zh) 2020-09-11
WO2021249201A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111651127B (zh) 一种基于叠瓦式磁记录盘的监控数据存储方法及装置
US11853549B2 (en) Index storage in shingled magnetic recording (SMR) storage system with non-shingled region
US9021175B2 (en) Method for reordering access to reduce total seek time on tape media
US8806173B2 (en) Elimination of duplicate written records
CN106951375B (zh) 在存储系统中删除快照卷的方法及装置
CN113568582B (zh) 数据管理方法、装置和存储设备
CN104484427B (zh) 一种录像文件存储装置及方法
CN100530190C (zh) 用于处理信息的装置和方法
JP2002123421A (ja) フラッシュメモリのための再写像制御方法及びこれによるフラッシュメモリの構造
WO2020103493A1 (zh) 基于fat32文件系统的删除文件恢复方法及系统
CN107168651B (zh) 一种小文件聚合存储处理方法
US20150046645A1 (en) Method, Storage System, and Program for Spanning Single File Across Plurality of Tape Media
JP2019028954A (ja) ストレージ制御装置、プログラム、及び重複排除方法
US11409720B2 (en) Metadata reduction in a distributed storage system
CN111142780A (zh) 一种大文件存储文件系统以及大文件处理方法
CN113722271B (zh) 用于数据采集回放的文件管理方法、系统及介质
US20060015681A1 (en) Apparatus and method for writing and reading data
JP5394394B2 (ja) ファイルシステムにおけるファイル管理・編集方法及び装置
CN104657471B (zh) 一种fat文件系统的预分配文件建立方法及系统
KR102094786B1 (ko) 파일 시스템 및 상기 파일 시스템을 이용한 파일 저장 방법
CN114185849A (zh) 文件操作方法、文件操作系统、电子设备及存储介质
JP2009205591A (ja) アクセスモジュール、情報記録モジュール、及び情報記録システム
KR20140031610A (ko) 영상 데이터의 안정적 저장이 가능한 차량용 블랙박스 장치 및 그 영상 데이터의 저장방법
JP4155878B2 (ja) 情報記録再生装置
CN112286718B (zh) Ps3111主控的固态硬盘启用trim命令后恢复被删除数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant