CN112925943A - 数据处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本申请提出一种数据处理方法、装置、服务器及存储介质，涉及存储技术领域，通过将存储节点分为数据资源存储区和索引资源存储区，从而在写入视频流时，可以并行的将视频流写入数据资源存储区时，将对应的索引信息写入索引资源存储区，而无需暂停写入视频流，使得写入索引资源对写入数据资源的过程并不产生影响，能够持续地将视频流写入存储节点，提升写入效率。

Description

数据处理方法、装置、服务器及存储介质

技术领域

本申请涉及存储技术领域，具体而言，涉及一种数据处理方法、装置、服务器及存储介质。

背景技术

随着安防技术的发展，监控视频的质量在不断提升，存储监控视频数据所需的存储空间也在不断上升。为了节约存储监控视频所需的成本，可以利用SMR硬盘等非传统磁盘构成的磁盘阵列对监控视频数据进行存储。

在对监控视频数据进行存储时，为了便于对视频数据进行提取，需要同时存储监控视频数据以及监控视频数据对应的索引信息。

然而，在利用例如上述的SMR硬盘构成的磁盘阵列对监控视频数据进行存储时，由于目前的存储方式是基于方便对视频数据进行存储的思路，按照固定存储空间记录索引信息的方式将视频数据与对应的索引信息进行连续存储，导致每次在更新索引信息时，均需要返回到磁盘的头部写入索引信息，写入效率较低。

发明内容

本申请的目的在于提供一种数据处理方法、装置、服务器及存储介质，能够提升视频流的写入效率。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种数据处理方法，应用于存储节点，所述存储节点包括索引资源存储区和数据资源存储区，所述数据资源存储区包括多个数据存储单元；所述索引资源存储区包括第一索引记录单元、第二索引记录单元及第三索引记录单元；

所述方法包括：

在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元；

将所述视频流中的关键帧索引信息写入所述第三索引记录单元；其中，所述关键帧索引信息包括关键帧的存储地址信息以及对应的写入时间信息；

当对所述目标数据存储单元写入视频流停止时，将所述目标数据存储单元对应的存储单元索引信息写入所述第二索引记录单元；其中，所述存储单元索引信息包括目标存储标识以及对应的目标时间标识，所述目标存储标识用于标识所述目标数据存储单元，所述目标时间标识用于标识将视频流写入所述目标数据存储单元时的时间信息；

将所述目标数据存储单元对应的存储地址索引信息写入至所述第一索引记录单元；其中，所述存储地址索引信息包括所述目标存储标识以及对应的目标周期标识，所述目标周期标识用于标识所述当前存储周期。

第二方面，本申请实施例提供一种数据处理装置，应用于存储节点，所述存储节点包括索引资源存储区和数据资源存储区，所述数据资源存储区包括多个数据存储单元；所述索引资源存储区包括第一索引记录单元、第二索引记录单元及第三索引记录单元；

所述装置包括：

数据处理模块，用于在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元；

索引处理模块，用于将所述视频流中的关键帧索引信息写入所述第三索引记录单元；其中，所述关键帧索引信息包括关键帧的存储地址信息以及对应的写入时间信息；

所述索引处理模块还用于，当对所述目标数据存储单元写入视频流停止时，将所述目标数据存储单元对应的存储单元索引信息写入所述第二索引记录单元；其中，所述存储单元索引信息包括目标存储标识以及对应的目标时间标识，所述目标存储标识用于标识所述目标数据存储单元，所述目标时间标识用于标识将视频流写入所述目标数据存储单元时的时间信息；

所述索引处理模块还用于，将所述目标数据存储单元对应的存储地址索引信息写入至所述第一索引记录单元；其中，所述存储地址索引信息包括所述目标存储标识以及对应的目标周期标识，所述目标周期标识用于标识所述当前存储周期。

第三方面，本申请实施例提供一种服务器，所述电子设备包括存储器，用于存储一个或多个程序；处理器。当所述一个或多个程序被所述处理器执行时，实现上述的数据处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的数据处理方法。

本申请实施例提供的一种数据处理方法、装置、服务器及存储介质，通过将存储节点分为数据资源存储区和索引资源存储区，从而在写入视频流时，可以并行的将视频流写入数据资源存储区时，将对应的索引信息写入索引资源存储区，而无需暂停写入视频流，使得写入索引资源对写入数据资源的过程并不产生影响，能够持续地将视频流写入存储节点，提升写入效率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1示出一种块存储结构示意图；

图2示出本申请实施例提供的服务器的一种示意性结构框图；

图3示出存储节点的一种示意性架构图；

图4示出数据资源存储区的一种示意性架构图；

图5示出索引资源存储区的一种示意性架构图；

图6示出本申请实施例提供的数据处理方法的一种示意性流程图；

图7示出本申请实施例提供的数据处理方法的另一种示意性流程图；

图8示出本申请实施例提供的数据处理方法的再一种示意性流程图；

图9示出本申请实施例提供的数据处理装置的一种示意性结构框图。

图中：100-服务器；101-存储器；102-处理器；103-通信接口；400-数据处理装置；401-数据处理模块；402-索引处理模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，图1示出一种块存储结构示意图，在利用例如上述的SMR硬盘构成的磁盘阵列作为存储节点对监控视频数据进行存储的场景中，目前的存储思路是按照固定存储空间记录索引信息的方式将视频数据与对应的索引信息进行连续存储。

在存储节点上，可以基于设定的空间大小，按照逻辑区间在存储节点中区分出属性记录区(图1中的SUPER)、用户界面索引区(图1中的UI INDEX)和多个数据存储单元(图1中的DATA PARTITION)，在每个DATA PARTITION中又可以分出二级索引区(图1中的SECONDINDEX)和数据存储区(图1中的I Frame以及I Frame Group即为数据存储区中存储的视频流中的关键帧)。

其中，在对视频流数据进行存储时，SUPER区的作用在于，将存储节点的所有存储空间按照设定的空间大小进行逻辑分区后，比如按照每2TB(Terabyte，太字节)的空间进行逻辑分区后，将每个2TB存储空间中的第一个关键帧的存储地址以及时间信息进行记录。

而一个2TB空间内，往往会有多个DATA PARTITION，比如，目前的策略一般是按照每256MB(MByte，兆字节)将2TB的空间划分为多个DATA PARTITION；MAIN INDEX区的作用即在于，记录按照每一2TB空间划分的分组中，每一DATA PARTITION中的第一个关键帧的存储地址以及时间信息的对应关系。

另外，DATA PARTITION中的SECOND INDEX的作用在于，记录DATA PARTITION存储的视频流中，所有关键帧的存储地址以及时间信息的对应关系。

如此，按照上述的存储方案，在对用户所需视频进行索引时，可以先根据所需视频的时间信息在UI INDEX中索引出所需视频在存储节点中大致范围，即具体在那一个2TB存储空间中；然后再于对应的2TB空间范围内，根据所需视频的时间信息在MAIN INDEX中索引出所需视频在存储节点中具体的那一个DATA PARTITION；最后读取索引到的DATAPARTITION中的SECOND INDEX，根据所需视频的时间信息在SECOND INDEX中索引到所需视频对应的视频数据的存储地址，从而在对应存储地址中获得用户所需的视频数据。

需要说明的是，上述存储思路是基于设定的空间大小记录索引信息，比如上述方案中基于2TB空间记录的UI INDEX，目的在于存储视频流时较为方便，可以在存储节点中堆叠存放视频流；但在实际存储场景中，由于每当在一个新的DATA PARTITION中存入视频流时，均需要返回至MAIN INDEX中写入该DATA PARTITION中的第一个关键帧的存储地址与时间信息的对应关系，使得写入索引信息时需要暂停写入视频流，视频流的写入并不连续，写入效率较低。

为此，基于上述缺陷，本申请实施例提供的一种可能的实现方式为：将存储节点分为数据资源存储区和索引资源存储区，从而在写入视频流时，可以并行的将视频流写入数据资源存储区时，将对应的索引信息写入索引资源存储区，而无需暂停写入视频流，从而提升写入效率。

请参阅图2，图2示出本申请实施例提供的服务器100的一种示意性结构框图。服务器100包括存储器101、处理器102和通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器101可用于存储软件程序及模块，如本申请实施例提供的数据处理装置400对应的程序指令/模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中，存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图2所示的结构仅为示意，服务器100还可以包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

下面以图2所示的服务器100作为示意性执行主体为例，对本申请实施例提供的数据处理方法进行示例性说明。

其中，服务器100可以包括有存储节点，该存储节点可以采用例如上述的方案，由多个SMR硬盘构成的磁盘阵列进行实现，使得该存储节点能够用于存储视频流。

示例性地，请参阅图3，图3示出存储节点的一种示意性架构图，该存储节点包括有索引资源存储区和数据资源存储区，数据资源存储区可以用于存储视频流数据，而索引资源存储区则可以用于存储视频流对应的索引信息。

其中，如图3所示，可以基于相机的数量，设置一一对应的多个数据资源存储区和多个索引资源存储区。比如按照图3示例，数据资源1与索引资源1对应，用于分别存储相机1的视频流及对应的索引信息；数据资源2与索引资源2对应，用于分别存储相机2的视频流及对应的索引信息。

需要说明的是，图3仅为示意，在存储节点中设置有一一对应的多个数据资源存储区和多个索引资源存储区，在本申请实施例其他一些可能的实现方式中，还可以仅设置一个数据资源存储区和一个索引资源存储区。

另外，存储节点中的索引资源存储区和数据资源存储区，可以是由多个SMR磁盘构成的磁盘阵列中的逻辑分区，在这种实现方式中，索引资源存储区和数据资源存储区可能可以位于同一SMR磁盘；但需要指出的是，在这种逻辑分区的部署方案中，一旦数据资源存储区出现异常，不仅视频流资源可能出现丢失，索引资源也存在丢失的可能。

因此，为了提高索引资源存储的安全性，作为一种可能的实现方式，可以将索引资源存储区和数据资源存储区按照硬件隔离的方式进行设置，即：设置不同的硬盘分别作为索引资源存储区和数据资源存储区，使得对索引资源和数据资源分别进行存储时，能够在物理上对数据资源和索引资源进行隔离，从而避免数据资源存储区出现异常时可能会使得索引资源出现丢失，提高索引资源存储的安全性。

其中，为对数据资源存储区进行说明，请参阅图4，图4示出数据资源存储区的一种示意性架构图，在本申请实施例中，可以按照设置最小满覆盖单元(least cover unit，LCU)的方式，将数据资源存储区分为多个数据存储单元，比如图4所示的数据资源存储区即包括对应的标识分别为LCU0、LCU1、···、LCUn的共计n+1个数据存储单元；该数据资源存储区在存储视频流时，可以将视频流依次的写入LCU0、LCU1、···、LCUn，直至对该数据资源存储区写入视频流停止，比如将所有的视频流均已写入数据资源存储区，或者是LCUn也已写满视频数据。

需要说明的是，数据存储单元即LCU的单元的存储空间的大小可以根据用户的设置而灵活配置，一般可以为256MB的倍数，比如256MB、512MB等等。

另外，为对索引资源存储区进行说明，请参阅图5，图5示出索引资源存储区的一种示意性架构图，在本申请实施例中，可以将索引资源存储区分为第一索引记录单元、第二索引记录单元及第三索引记录单元；参照图5，可以将名为DIT(date index transformtable，日期时间转换表)的区域作为第一索引记录单元，将名为Unit-Index的区域作为第二索引记录单元，将名为Data-Index的区域作为第三索引记录单元。

其中，在存储索引记录时，DIT区可以基于时间的维度对索引记录进行存储，比如记录每一存储周期的标识、与每一存储周期内写入视频流的LCU的对应关系，从而使得视频流在被索引时，能够基于时间信息进行索引，而不是基于存储空间进行索引。

另外，Unit-Index区可以记录每一LCU中的视频流与时间的对应关系，比如可以在Unit-Index区记录每一LCU中的一个特定帧的存储地址与时间信息的对应关系，例如第一个关键帧的存储地址与时间信息的对应关系，从而可以结合相邻的LCU记录的对应关系，对某一特定时间范围内的视频流的存储地址进行定位。

并且，Data-Index区可以记录LCU中具体的视频帧的存储地址与时间的对应关系，比如可以在Data-Index区记录某一LCU中每一特定帧的存储地址与时间信息的对应关系，比如记录每一关键帧的存储地址与时间信息的对应关系，从而使得可以结合每一特定帧的存储地址与时间信息的对应关系，对某一特定时间范围内的视频流的存储地址进行进一步的定位。

需要说明的是，在例如图1所示的块存储结构中，目前的方案采用了冗余机制，将MAIN INDEX占用的空间大小设置为256MB；但发明人在实际的工作中发现，即使存储阵列存满视频流，MAIN INDEX依然占用不了256MB的存储大小，使得大量存储节点中的MAIN INDEX均具有剩余空间。

而在本申请实施例所述的方案中，DIT区、Unit-Index区、Data-Index区各自占用的大小可以另外配置，比如DIT区占用的大小可以默认设置为64KB(Kilobyte，千字节)，Unit-Index区占用的大小可以设置为64MB，而Data-Index区占用的大小可以设置为数据资源区容量的0.1％，即随着数据资源区容量的变化而变化。

如此，在实际的应用场景中，不仅可以节省索引信息占用的存储空间，而且单个相机存储的视频流留存期一般小于或等于365天，而DIT区域中记录的数据信息每条的大小一般为8B(Byte，字节)，则DIT区记录的最大存储天数为4094天，远远超出单个相机存储的视频流留存期，使得DIT区记录的索引信息记录的结果呈现的逻辑结构为首尾不相连的环形队列，且首尾之间存在较大的空闲区域，能够使得数据资源存储区在扩容时，DIT区具有相应的空余空间用于记录索引信息，从而避免了闭合的环形结构难以进行扩容的缺陷。

为此，基于上述示例的存储节点，下面以其中一个索引资源存储区和对应的数据资源存储区为例，比如以图3中的数据资源1和索引资源1为例，对将视频流写入存储节点的过程进行示意性说明。

请参阅图6，图6示出本申请实施例提供的数据处理方法的一种示意性流程图，可以包括以下步骤：

步骤202，在当前存储周期内，将视频流写入多个数据存储单元中的目标数据存储单元；

步骤204，将视频流中的关键帧索引信息写入第三索引记录单元；

步骤206，当对目标数据存储单元写入视频流停止时，将目标数据存储单元对应的存储单元索引信息写入第二索引记录单元；

步骤208，将目标数据存储单元对应的存储地址索引信息写入至第一索引记录单元；

在本申请实施例中，可以按照每个自然日划分存储周期，比如2019年9月21日00:00:00～2019年9月21日23:59:59可以为一个存储周期，而2019年9月22日00:00:00～2019年9月22日23:59:59则为另一个新的存储周期。

在当前存储周期内，将视频流写入存储节点时，可以参照如图4所示的数据资源存储区，将该数据资源存储区包括的多个数据存储单元中每一个尚未写入视频流的数据存储单元，依次作为目标数据存储单元，从而将视频流写入目标数据存储单元。比如可以将图4中的每一个尚未写入视频流的LCU依次作为目标数据存储单元。

在将视频流写入目标数据存储单元时，可以将视频流中关键帧的存储地址信息以及对应的写入时间信息作为关键帧索引信息，从而将关键帧索引信息写入第三索引记录单元，即将每一关键帧的存储地址与对应的写入时间信息两者的对应关系写入第三索引记录单元。

即：在第三索引记录单元中记录每一关键帧的存储地址与写入时间的对应关系。

其中，需要说明的是，在将关键帧索引信息写入第三索引记录单元时，可以在每当将一关键帧写入目标数据存储单元时，即将该关键帧对应的关键帧索引信息写入第三索引记录单元。

另外，作为另一种可能的实现方式，为避免索引信息写入太频繁，可以每当将视频流中设定数量的关键帧写入目标数据存储单元，则将设定数量的关键帧索引信息写入第三索引记录单元；比如，可以每写入16个关键帧组时，将16个写入的关键帧各自的关键帧索引信息一并写入第三索引记录单元，从而减少将关键帧索引信息写入第三索引记录单元的次数。

然后，随着持续将视频流写入目标数据存储单元，当对目标数据存储单元写入视频流停止时，比如目标数据存储单元已被写满，或者是视频流已写入结束，或者是视频流写入中止等，则可以将视频流写入目标存储单元时的时间信息作为目标时间标识，并将用于标识该目标数据存储单元的标识信息作为目标存储标识，从而建立目标存储标识与目标时间标识的对应关系，使得可以将目标存储标识以及对应的目标时间标识作为目标数据存储单元对应的存储单元索引信息，从而将存储单元索引信息写入第二索引记录单元。

即：在第二索引单元中记录每一数据存储单元与写入时间的对应关系。

其中，作为一种可能的实现方式，在将目标数据存储单元对应的存储单元索引信息写入第二索引记录单元时，可以将目标数据存储单元中的第一个关键帧的存储地址信息以及目标时间标识建立对应关系，从而将该建立的对应关系作为存储单元索引信息写入所述第二索引记录单元。

当然，可以理解的是，上述仅为示意，在本申请实施例其他一些可能的实现方式中，还可以采用其他的一些方式获得存储单元索引信息，比如还可以将目标数据存储单元中的最后一个写入的关键帧的存储地址信息以及目标时间标识建立的对应关系作为存储单元索引信息；或者是预先为每一数据存储单元分配指定的标识，比如图4所示的场景中，为每一数据存储单元分配的指定的标识分别为LCU0、LCU1、···、LCUn，从而可以将目标数据存储单元对应的指定的标识与目标时间标识的对应关系作为存储单元索引信息。

最后，当对目标数据存储单元写入视频流停止时，可以将用于标识当前存储周期的标识信息作为目标周期标识，从而建立目标存储标识以及目标周期标识的对应关系，以使将目标存储标识以及对应的目标周期标识作为该目标数据存储单元的存储地址索引信息，并将该存储地址索引信息写入第一索引记录单元。

即：在第一索引单元中记录每一存储周期与相应的存储周期内所有写入视频流的数据存储单元的对应关系。

如此，相比于上述现有的方案，在写入视频流时，可以并行的写入数据资源和索引资源，使得写入索引资源对写入数据资源的过程并不产生影响，能够持续地将视频流写入存储节点，提升写入效率。

其中，需要说明的是，本申请实施例提供的上述实现方式，是以一个数据存储资源区和一个索引资源存储区为例进行的说明；在例如图3所示的应用场景中，存储节点往往设置有一一对应的多个数据资源存储区和多个索引资源存储区。

因此，作为一种可能的实现方式，还可以在数据资源存储区中设置属性记录区，比如可以将图5中索引资源存储区包括的SUPER区作为属性记录区，从而可以将数据资源存储区和索引资源存储区的对应关系记录在SUPER区。

当然，可以理解的是，上述仅为示意，选择将数据资源存储区和索引资源存储区的对应关系记录在SUPER区；在本申请实施例其他一些可能的实现方式中，还可以将更多的信息记录在SUPER区，比如对应相机的描述、相机编码、LCU的大小、最后一次读取的LCU的地址信息、第一次写入视频流的时间信息、最后一次写入视频流的时间信息等等。

另外，本申请实施例提供的上述实现方式，是以具体将视频流写入数据资源存储区时如何将索引信息写入索引资源存储区进行的说明。在具体的一些应用场景中，将视频流写入数据资源存储区时，一般包括两种情况，即：将视频流写入一个未存储有数据的数据资源存储区，以及将视频流写入一个存储有数据的数据资源存储区。在例如SMR磁盘等应用场景中，往往只能按序将视频流写入各个数据资源存储区中，而不能随意申请指定的数据资源存储区进行视频流的写入。

为此，在图6的基础上，请参阅图7，图7示出本申请实施例提供的数据处理方法的另一种示意性流程图，在执行步骤202之前，该数据处理方法还可以包括以下步骤：

步骤200，判断是否第一次将视频流写入数据资源存储区；当为是时，执行步骤201-1；当为否时，执行步骤201-2；

步骤201-1，在属性记录区中填充接收的属性信息，并将多个数据存储单元中的第一个数据存储单元作为目标数据存储单元；

步骤201-2，将依次读取第一索引记录单元、第二索引记录单元及第三索引记录单元中的最后一条索引信息定位到的数据存储单元作为目标数据存储单元。

在本申请实施例中，在将视频流写入数据资源存储区之前，可以将先判断是否第一次将视频流写入数据资源存储区，即判断是否将视频流写入一个新的数据资源存储区。

其中，作为一种可能的实现方式，判断是否第一次将视频流写入数据资源存储区，可以读取数据资源存储区中第一个数据存储单元是否存储有数据，比如图4中的LCU0；若读取不到，则表征是第一次将视频流写入数据资源存储区，此时执行步骤201-1，在属性记录区填充接收的属性信息，并将多个数据存储单元中的第一个数据存储单元作为目标数据存储单元后执行步骤202，比如在图4的场景中，可以将LCU0作为目标数据存储单元以执行步骤202；反之，若读取得到，则表征不是第一次将视频流写入数据资源存储区，此时执行步骤201-2，将依次读取第一索引记录单元、第二索引记录单元及第三索引记录单元中的最后一条索引信息定位到的数据存储单元作为目标数据存储单元，即接着上一次写入结束的存储地址继续写入视频流。

需要说明的是，上述仅为示例，选择将例如图5中索引资源存储区包括的SUPER区作为属性记录区，在本申请实施例其他一些可能的实现方式中，还可以其他的一些方式设置属性记录区；比如还可以选择将如图4中数据资源存储区中的SUPER区作为属性记录区。

或者是，还可以将设置于索引资源存储区的第一属性区和设置于数据资源存储区的第二属性区均作为属性记录区，从而使得在执行步骤201-1时，可以在第一属性区及第二属性区均填充接收的属性信息，形成属性信息的冗余机制，进而使得其中一个属性区出现异常时，可以读取另一个属性区，从而获得该属性信息，提升存储节点记录属性信息时的可靠性。

比如在如图4及图5所示的应用场景中，可以将设置于索引资源存储区的SUPER区作为第一属性区、以及将设置于数据资源存储区的SUPER区作为第二属性区，进而分别在第一属性区和第二属性区写入接收的属性信息。

并且，在一些可能的实现场景中，在将视频流写入数据资源存储区时，可能会存在数据资源存储区的剩余存储空间不足的情况，即数据资源存储区的剩余存储空间不足以存储剩余的视频流。

针对这种情况，一般有两种策略进行解决，对数据资源存储区进行扩容，或者是进行覆盖存储；覆盖存储即为将数据资源存储区的最后一个数据存储单元存满后，从数据资源存储区的第一个数据存储单元开始，依次删除每一个数据存储单元中记录的历史视频数据，同时从第一个数据存储单元开始，依次写入新的视频流，且同步更新对应的索引信息，直至将视频流写入数据存储单元停止，删除历史视频数据也停止。

然而，在一些可能的实现方式中，可能会存在覆盖存储的同时对数据资源存储区进行扩容的场景，比如在数据资源存储区扩容备用资源存储区，从而使得扩容后的数据资源存储区的容量增加。

因此，作为一种可能的实现方式，当采用备用资源存储区对数据资源存储区进行扩容后，可以先判断数据资源存储区是否完成满覆盖，即是否将数据资源存储区中的所有数据存储单元均进行覆盖存储结束；若数据资源存储区未完成满覆盖，则将视频流写入扩容后的数据资源存储区时，可以先将视频流继续写入扩容前的数据资源存储区，即继续进行覆盖存储，直至扩容前的数据资源存储区满覆盖完成后，将视频流写入备用资源存储区，而非在未完成满覆盖时直接将新的视频流写入备份资源存储区，因此可以避免扩容后的数据资源存储区中存储的视频流在时间轴上不连续。

另外，需要说明的是，在例如告警存储等场景中，由于告警存储的视频流数据一般较小，视频流时长一般小于30秒，最长可达到1800秒即20分钟；30秒的视频流的数据大小一般小于256MB，而例如图4中的LCU的大小为256MB；如果告警的频率很低，比如一天仅有一条告警记录，则连续多天的告警记录可能会存储在同一LCU中，即存储在同一数据存储单元中，那么DIT区可能会出现连续多个存储周期均对应同一个数据存储单元；若此时发生覆盖存储，则有可能删除多天的告警记录。

如此，在利用本申请实施例提供的上述实现方案将视频流写入存储节点后，可以根据用户的需求等，从存储节点中获得指定期限的视频数据。

示例性地，请参阅图8，图8示出本申请实施例提供的数据处理方法的再一种示意性流程图，从存储节点中获得视频数据时，可以包括以下步骤：

步骤302，在第一索引记录单元查找与接收的视频查询时间对应的多个第一存储标识；

步骤304，在第二索引记录单元查找多个第一存储标识中，与视频查询时间对应的第二存储标识；

步骤306，在第三索引记录单元获得第二存储标识对应的数据存储单元中，与视频查询时间对应的关键帧的存储地址信息。

在如图3所示的应用场景，用户输入的视频查询时间为2019年9月23日14:23:00～2019年9月23日14:25:00，且查询的相机为相机1；则在进行视频数据的查询时，可以先将“2019年9月23日”作为第一周期标识，进而根据索引资源1中的第一索引记录单元DIT区记录的存储地址索引信息，查找与第一周期标识“2019年9月23日”对应的所有存储标识均作为第一存储标识，即每一第一存储标识均对应第一周期标识，其中，该第一周期标识指示的周期时间范围与视频查询时间存储重叠。也就是说，可以先查找所有在“2019年9月23日”写入有视频流的初始LCU。

然后，可以根据索引资源1中的第二索引记录单元Unit-Index记录的存储单元索引信息，查找所有的第一存储标识中，对应的时间信息与视频查询时间存在重叠的第二存储标识；即：根据Unit-Index记录的存储单元索引信息，在所有初始LCU中，查找写入有对应的时间信息处于视频查询时间范围内的所有目标LCU。

最后，可以根据索引资源1中的第三索引记录单元Data-Index记录的关键帧索引信息，在第三索引单元中获得第二存储标识对应的数据存储单元中，与视频查询时间对应的关键帧的存储地址信息，从而根据该存储地址信息，从数据资源1中获得对应的视频数据；即：在所有目标LCU范围内，查找对应的对应时间信息分别为2019年9月23日14:23:00和2019年9月23日14:25:00的两个关键帧作为目标关键帧，从而根据这两个目标关键帧各自对应的存储地址信息，从数据资源1中获得用户所需的视频数据。

另外，基于与上述数据处理方法相同的发明构思，请参阅图9，图9示出本申请实施例提供的数据处理装置400的一种示意性结构框图。该数据处理装置400，应用于存储节点，存储节点包括索引资源存储区和数据资源存储区，数据资源存储区包括多个数据存储单元；索引资源存储区包括第一索引记录单元、第二索引记录单元及第三索引记录单元；该数据处理装置400包括数据处理模块401和索引处理模块402。其中：

数据处理模块401用于，在当前存储周期内，将视频流写入多个数据存储单元中的目标数据存储单元；

索引处理模块402用于，将视频流中的关键帧索引信息写入第三索引记录单元；其中，关键帧索引信息包括关键帧的存储地址信息以及对应的写入时间信息；

索引处理模块402还用于，当对目标数据存储单元写入视频流停止时，将目标数据存储单元对应的存储单元索引信息写入第二索引记录单元；其中，存储单元索引信息包括目标存储标识以及对应的目标时间标识，目标存储标识用于标识目标数据存储单元，目标时间标识用于标识将视频流写入目标数据存储单元时的时间信息；

索引处理模块402还用于，将目标数据存储单元对应的存储地址索引信息写入至第一索引记录单元；其中，存储地址索引信息包括目标存储标识以及对应的目标周期标识，目标周期标识用于标识当前存储周期。

可选地，作为一种可能的实现方式，索引处理模块402将视频流中的关键帧索引信息写入第三索引记录单元时，具体用于：

每将视频流中设定数量的关键帧写入目标数据存储单元，则将设定数量的关键帧索引信息写入第三索引记录单元。

可选地，作为一种可能的实现方式，索引处理模块402将目标数据存储单元对应的存储单元索引信息写入第二索引记录单元时，具体用于：

将目标数据存储单元中的第一个关键帧的存储地址信息以及目标时间标识建立的对应关系作为存储单元索引信息写入第二索引记录单元。

可选地，作为一种可能的实现方式，数据资源存储区还包括属性记录区；

数据处理模块401在当前存储周期内，将视频流写入多个数据存储单元中的目标数据存储单元之前，还用于：

判断是否第一次将视频流写入数据资源存储区；

当为是时，在属性记录区中填充接收的属性信息，并将多个数据存储单元中的第一个数据存储单元作为目标数据存储单元，从而在当前存储周期内，将视频流写入多个数据存储单元中的目标数据存储单元；

当为否时，将依次读取第一索引记录单元、第二索引记录单元及第三索引记录单元中的最后一条索引信息定位到的数据存储单元作为目标数据存储单元，从而在当前存储周期内，将视频流写入多个数据存储单元中的目标数据存储单元。

可选地，作为一种可能的实现方式，属性记录区包括设置于索引资源存储区的第一属性区以及设置于数据资源存储区的第二属性区；

数据处理模块401在属性记录区中填充接收的属性信息的步骤，包括：

在第一属性区及第二属性区均填充接收的属性信息。

可选地，作为一种可能的实现方式，数据处理模块401还用于：

当采用备用资源存储区对数据资源存储区进行扩容后，若数据资源存储区未完成满覆盖，则将视频流继续写入数据资源存储区，直至数据资源存储区满覆盖完成后，将视频流写入备用资源存储区。

可选地，作为一种可能的实现方式，数据处理模块401还用于：

在第一索引记录单元查找与接收的视频查询时间对应的多个第一存储标识；其中，每一第一存储标识均对应的第一周期标识，第一周期标识指示的周期时间范围与视频查询时间存在重叠；

在第二索引记录单元查找多个第一存储标识中，与视频查询时间对应的第二存储标识，其中，第二存储标识对应的时间信息与视频查询时间存在重叠；

在第三索引记录单元获得第二存储标识对应的数据存储单元中，与视频查询时间对应的关键帧的存储地址信息。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。

也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种数据处理方法，其特征在于，应用于存储节点，所述存储节点包括索引资源存储区和数据资源存储区，所述数据资源存储区包括多个数据存储单元；所述索引资源存储区包括第一索引记录单元、第二索引记录单元及第三索引记录单元；

所述方法包括：

在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元；

将所述视频流中的关键帧索引信息写入所述第三索引记录单元；其中，所述关键帧索引信息包括关键帧的存储地址信息以及对应的写入时间信息；

当对所述目标数据存储单元写入视频流停止时，将所述目标数据存储单元对应的存储单元索引信息写入所述第二索引记录单元；其中，所述存储单元索引信息包括目标存储标识以及对应的目标时间标识，所述目标存储标识用于标识所述目标数据存储单元，所述目标时间标识用于标识将视频流写入所述目标数据存储单元时的时间信息；

将所述目标数据存储单元对应的存储地址索引信息写入至所述第一索引记录单元；其中，所述存储地址索引信息包括所述目标存储标识以及对应的目标周期标识，所述目标周期标识用于标识所述当前存储周期。

2.如权利要求1所述的方法，其特征在于，将所述视频流中的关键帧索引信息写入所述第三索引记录单元的步骤，包括：

每将所述视频流中设定数量的关键帧写入所述目标数据存储单元，则将设定数量的关键帧索引信息写入所述第三索引记录单元。

3.如权利要求1所述的方法，其特征在于，将所述目标数据存储单元对应的存储单元索引信息写入所述第二索引记录单元的步骤，包括：

将所述目标数据存储单元中的第一个关键帧的存储地址信息以及所述目标时间标识建立的对应关系作为所述存储单元索引信息写入所述第二索引记录单元。

4.如权利要求1所述的方法，其特征在于，所述数据资源存储区还包括属性记录区；

在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元的步骤之前，所述方法还包括：

判断是否第一次将视频流写入所述数据资源存储区；

当为是时，在所述属性记录区中填充接收的属性信息，并将所述多个数据存储单元中的第一个数据存储单元作为所述目标数据存储单元，执行在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元的步骤；

当为否时，将依次读取所述第一索引记录单元、所述第二索引记录单元及所述第三索引记录单元中的最后一条索引信息定位到的数据存储单元作为所述目标数据存储单元，执行在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元的步骤。

5.如权利要求4所述的方法，其特征在于，所述属性记录区包括设置于所述索引资源存储区的第一属性区以及设置于所述数据资源存储区的第二属性区；

在所述属性记录区中填充接收的属性信息的步骤，包括：

在所述第一属性区及所述第二属性区均填充接收的所述属性信息。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

当采用备用资源存储区对所述数据资源存储区进行扩容后，若所述数据资源存储区未完成满覆盖，则将视频流继续写入所述数据资源存储区，直至所述数据资源存储区满覆盖完成后，将视频流写入所述备用资源存储区。

7.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述第一索引记录单元查找与接收的视频查询时间对应的多个第一存储标识；其中，每一所述第一存储标识均对应的第一周期标识，所述第一周期标识指示的周期时间范围与所述视频查询时间存在重叠；

在所述第二索引记录单元查找所述多个第一存储标识中，与所述视频查询时间对应的第二存储标识，其中，所述第二存储标识对应的时间信息与所述视频查询时间存在重叠；

在所述第三索引记录单元获得所述第二存储标识对应的数据存储单元中，与所述视频查询时间对应的关键帧的存储地址信息。

8.一种数据处理装置，其特征在于，应用于存储节点，所述存储节点包括索引资源存储区和数据资源存储区，所述数据资源存储区包括多个数据存储单元；所述索引资源存储区包括第一索引记录单元、第二索引记录单元及第三索引记录单元；

所述装置包括：

数据处理模块，用于在当前存储周期内，将视频流写入所述多个数据存储单元中的目标数据存储单元；

索引处理模块，用于将所述视频流中的关键帧索引信息写入所述第三索引记录单元；其中，所述关键帧索引信息包括关键帧的存储地址信息以及对应的写入时间信息；

所述索引处理模块还用于，当对所述目标数据存储单元写入视频流停止时，将所述目标数据存储单元对应的存储单元索引信息写入所述第二索引记录单元；其中，所述存储单元索引信息包括目标存储标识以及对应的目标时间标识，所述目标存储标识用于标识所述目标数据存储单元，所述目标时间标识用于标识将视频流写入所述目标数据存储单元时的时间信息；

所述索引处理模块还用于，将所述目标数据存储单元对应的存储地址索引信息写入至所述第一索引记录单元；其中，所述存储地址索引信息包括所述目标存储标识以及对应的目标周期标识，所述目标周期标识用于标识所述当前存储周期。

9.一种服务器，其特征在于，包括：

存储器，用于存储一个或多个程序；

处理器；

当所述一个或多个程序被所述处理器执行时，实现如权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images