CN117725258A - 基于空间和时间均衡安防视频存储规划和定位读写的方法 - Google Patents
基于空间和时间均衡安防视频存储规划和定位读写的方法 Download PDFInfo
- Publication number
- CN117725258A CN117725258A CN202311751267.XA CN202311751267A CN117725258A CN 117725258 A CN117725258 A CN 117725258A CN 202311751267 A CN202311751267 A CN 202311751267A CN 117725258 A CN117725258 A CN 117725258A
- Authority
- CN
- China
- Prior art keywords
- space
- storage
- hard disk
- data
- integer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013439 planning Methods 0.000 title claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000013500 data storage Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013523 data management Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
本发明属于安防领域，且公开了一种基于空间和时间均衡安防视频存储规划和定位读写的方法，基于该方法实现的视频存储系统由生成集群地图和存储工作进程两部分组成，其中，一个存储工作进程对应一个硬盘，完成数据读写和可用空间收集的工作。本发明具有多重优势，首先，它使得系统设计更具灵活性，取消了所有硬盘容量要求一致的限制，其次，系统可以实现近乎线性的横向扩展，解决了存储系统容量扩展受限于可用容量最小的硬盘的问题，使系统的存储容量可以随着硬盘的增加而线性增长，大大提高了系统的扩展性，最后，该系统提高了硬盘的空间利用率，避免了部分硬盘还有可用空间时就无法继续写入数据的状况，从而显著提升了系统的整体性能。
Description
技术领域
本发明属于安防领域，具体为一种基于空间和时间均衡安防视频存储规划和定位读写的方法。
背景技术
在设计安防系统的视频存储方案时，需要考虑到存储系统在使用过程中动态扩充存储空间的需求，传统的以相机设备为分配存储空间的最小单位的方法容易导致存储系统中各个硬盘的空间使用率不平衡，且未考虑到存储系统中各个硬盘存储空间大小不一的情况和存储系统扩容时各个硬盘的空间利用率不平衡的情况，这些问题容易导致存储系统各个硬盘的空间利用率差异过大，从而导致存储空间浪费因此，需要选择一种更加合理的存储方案，以提高存储空间的利用率并避免浪费。
发明内容
本发明的目的在于提供一种基于空间和时间均衡安防视频存储规划和定位读写的方法，以解决上述背景技术中提出的问题。
为了实现上述目的，本发明提供如下技术方案：一种基于空间和时间均衡安防视频存储规划的方法，基于该方法实现的视频存储系统由生成集群地图和存储工作进程两部分组成，其中，一个存储工作进程对应一个硬盘，完成数据读写和可用空间收集的工作，生成集群地图的具体步骤如下：
S1：数据存储进行阶段划分，方便管理和访问数据；
S2：基于当前存储阶段各个硬盘的可用存储空间计算出总的可用空间，从而了解整个集群的存储状况；
S3：将32位整数空间划分成16383份，将整数空间进行精细划分，为后续操作做准备；
S4：为每个硬盘分得的每一份整数空间生成一个唯一ID，确保在存储和访问数据时可以准确识别每一份空间；
S5：通过步骤S4，已经为32位整数空间划分的16383份整数空间中每一份都生成了一个唯一ID，为数据存储和管理提供了方便和准确的操作依据。
优选地，
所述数据存储进行阶段划分是系统初始化、添加硬盘和进行硬盘空间中过期数据清理时，将生成一个新的存储阶段，并保存到集群地图中，每个存储阶段都记录了其产生时刻的时间，在生成存储阶段时，集群地图会收集各个硬盘的可用存储空间信息，方便地管理数据存储的不同阶段，并确保集群中硬盘空间的合理利用。
优选地，
所述集群存储空间分析是通过计算集群中各个硬盘的可用存储空间，了解整个集群的存储状况，并确定每个硬盘分到的数据分片在本阶段所产生的总数据分片中的比例。
优选地，
所述精细划分整数空间需要将32位整数空间精细划分为16383份，然后根据每个硬盘在上一步中得出的占比，计算出它们各自在整数空间中能够分得的份数，其目的是为了确保数据存储的均衡分布，并为后续的操作提供准确依据，这种精细的划分方式有助于提高系统的整体性能和稳定性。
优选地，
所述唯一ID标识空间将硬盘的ID附加到整数数字所表示的序号之后，同时每个硬盘获得的第一份整数空间的序号从0开始计数，而后续的整数空间则按照1的增量依次递增。
优选地，
所述S5是根据步骤S4按照序号从小到大对唯一ID进行排序，我们成功地将硬盘占用的整数空间均匀地分布在32位整数空间上，这16383份整数空间的每一份都拥有一个全局的数字编号，且编号从0开始，这种编号方式使得数据存储和访问更加方便和准确，同时也优化了存储空间的利用率。
基于所述存储规划方法进行定位读写的方法，
所述存储工作进程定位数据在哪个硬盘具体步骤如下：
A1:生成数据请求的唯一标识；
A2:生成的数据请求的唯一标识计算MD5值(128位)；
A3:计算出的MD5值分成3个32位整数并求平均值。
优选地，
所述生成数据请求的唯一标识需要写数据和读数据请求，根据相机设备的唯一标识符和产生数据的具体时段来生成数据请求的唯一标识，这意味着每次写入数据时，基于相机设备和特定的时间段创建一个唯一的标识符，以确保数据的准确性和完整性，同时在读数据请求下，基于相机设备的唯一标识符和要读取的数据的产生时段来生成数据请求的唯一标识。
优选地，
所述生成的数据请求的唯一标识计算MD5值(128位)然后，我们可以将MD5哈希值转换为整数，并将其分成3个部分。
优选地，
所述计算出的MD5值分成3个32位整数并求平均值利用该平均值除以16383得出数据分布在32位整数空间中的哪一份整数空间里，并基于该整数空间的唯一ID找出硬盘的唯一ID。
本发明的有益效果如下：
本发明通过安防视频存储规划和定位读写方法具有多重优势，首先，它使得系统设计更具灵活性，取消了所有硬盘容量要求一致的限制，其次，系统可以实现近乎线性的横向扩展，解决了存储系统容量扩展受限于可用容量最小的硬盘的问题，使系统的存储容量可以随着硬盘的增加而线性增长，大大提高了系统的扩展性，最后，该系统提高了硬盘的空间利用率，避免了部分硬盘还有可用空间时就无法继续写入数据的状况，从而显著提升了系统的整体性能。
附图说明
图1为本发明生成集群地图的流程图；
图2为本发明定位数据在哪个硬盘的流程图；
图3为本发明实现该方法的服务结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1至图3所示，本发明实施例提供了一种基于空间和时间均衡安防视频存储规划的方法，基于该方法实现的视频存储系统由生成集群地图和存储工作进程两部分组成，其中，一个存储工作进程对应一个硬盘，完成数据读写和可用空间收集的工作，生成集群地图的具体步骤如下：
S1：数据存储进行阶段划分，方便管理和访问数据；
S2：基于当前存储阶段各个硬盘的可用存储空间计算出总的可用空间，从而了解整个集群的存储状况；
S3：将32位整数空间划分成16383份，将整数空间进行精细划分，为后续操作做准备；
S4：为每个硬盘分得的每一份整数空间生成一个唯一ID，确保在存储和访问数据时可以准确识别每一份空间；
S5：通过步骤S4，已经为32位整数空间划分的16383份整数空间中每一份都生成了一个唯一ID，为数据存储和管理提供了方便和准确的操作依据。
其中，所述数据存储进行阶段划分是系统初始化、添加硬盘和进行硬盘空间中过期数据清理时，将生成一个新的存储阶段，并保存到集群地图中，每个存储阶段都记录了其产生时刻的时间，在生成存储阶段时，集群地图会收集各个硬盘的可用存储空间信息，方便地管理数据存储的不同阶段，并确保集群中硬盘空间的合理利用。
其中，所述集群存储空间分析是通过计算集群中各个硬盘的可用存储空间，了解整个集群的存储状况，并确定每个硬盘分到的数据分片在本阶段所产生的总数据分片中的比例。
其中，所述精细划分整数空间需要将32位整数空间精细划分为16383份，然后根据每个硬盘在上一步中得出的占比，计算出它们各自在整数空间中能够分得的份数，其目的是为了确保数据存储的均衡分布，并为后续的操作提供准确依据，这种精细的划分方式有助于提高系统的整体性能和稳定性。
其中，所述唯一ID标识空间将硬盘的ID附加到整数数字所表示的序号之后，同时每个硬盘获得的第一份整数空间的序号从0开始计数，而后续的整数空间则按照1的增量依次递增。
其中，所述S5是根据步骤S4按照序号从小到大对唯一ID进行排序，我们成功地将硬盘占用的整数空间均匀地分布在32位整数空间上，这16383份整数空间的每一份都拥有一个全局的数字编号，且编号从0开始，这种编号方式使得数据存储和访问更加方便和准确，同时也优化了存储空间的利用率。
基于所述存储规划方法进行定位读写的方法，所述存储工作进程定位数据在哪个硬盘具体步骤如下：
A1:生成数据请求的唯一标识；
A2:生成的数据请求的唯一标识计算MD5值(128位)；
A3:计算出的MD5值分成3个32位整数并求平均值。
其中，所述生成数据请求的唯一标识需要写数据和读数据请求，根据相机设备的唯一标识符和产生数据的具体时段来生成数据请求的唯一标识，这意味着每次写入数据时，基于相机设备和特定的时间段创建一个唯一的标识符，以确保数据的准确性和完整性，同时在读数据请求下，基于相机设备的唯一标识符和要读取的数据的产生时段来生成数据请求的唯一标识。
其中，所述生成的数据请求的唯一标识计算MD5值(128位)本实施例中计算MD5值是用C语言实现，实际应用中也可以使用Python语言实现，如果是使用Python编程语言，Python具有内置的hashlib库，可以轻松地生成MD5哈希值，然后，我们可以将MD5哈希值转换为整数，并将其分成3个部分。
其中，所述计算出的MD5值分成3个32位整数并求平均值利用该平均值除以16383得出数据分布在32位整数空间中的哪一份整数空间里，并基于该整数空间的唯一ID找出硬盘的唯一ID。
图3所示，实现一种基于空间和时间均衡视频存储规划和定位读写的方法，需要由集群地图进程、管理进程和读写进程相互协作实现，集群地图进程实时收集集群环境的某一时段下各个硬盘的可用空间，由此形成本方法调度读写请求到对应硬盘的依据，每个硬盘对应一个读写进程，它专门负责处理调度到该硬盘上的读写请求，当集群发生变更时(如：增加硬盘、清理过期数据)，它还负责收集当前时段硬盘的可用空间状况并上报给硬盘所在物理主机下的管理进程，管理进程负责收集各个物理主机下的硬盘的可用空间状况并上报给集群地图进程，同时，管理进程还负责处理来自集群地图进程硬盘配置命令，比如，当收到添加硬盘的命令时就动态为该硬盘创建一个对应的读写进程。
在部署层面，集群地图进程需要独占一台物理主机，集群中每台其他物理主机下的进程都是由一个管理进程和若干个读写进程构成，物理主机上配置由多少个硬盘就对应多少个读写进程。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于空间和时间均衡安防视频存储规划的方法，基于该方法实现的视频存储系统由生成集群地图和存储工作进程两部分组成，其中，一个存储工作进程对应一个硬盘，完成数据读写和可用空间收集的工作，其特征在于：生成集群地图的具体步骤如下：
S1：数据存储进行阶段划分，方便管理和访问数据；
S2：基于当前存储阶段各个硬盘的可用存储空间计算出总的可用空间，从而了解整个集群的存储状况；
S3：将32位整数空间划分成16383份，将整数空间进行精细划分，为后续操作做准备；
S4：为每个硬盘分得的每一份整数空间生成一个唯一ID，确保在存储和访问数据时可以准确识别每一份空间；
S5：通过步骤S4，已经为32位整数空间划分的16383份整数空间中每一份都生成了一个唯一ID，为数据存储和管理提供了方便和准确的操作依据。
2.根据权利要求1所述的一种基于空间和时间均衡安防视频存储规划的方法，其特征在于：所述数据存储进行阶段划分是根据系统初始化、添加硬盘和进行硬盘空间中过期数据清理时，生成一个新的存储阶段，保存到集群地图中，每个存储阶段都记录产生时刻的时间，在生成存储阶段时，集群地图会收集各个硬盘的可用存储空间信息，方便地管理数据存储的不同阶段，并确保集群中硬盘空间的合理利用。
3.根据权利要求1所述的一种基于空间和时间均衡安防视频存储规划的方法，其特征在于：所述集群存储空间分析的条件是计算集群中各个硬盘的可用存储空间，了解整个集群的存储状况，确定每个硬盘分到的数据分片在本阶段所产生的总数据分片中的比例。
4.根据权利要求1所述的一种基于空间和时间均衡安防视频存储规划的方法，其特征在于：所述精细划分整数空间是需要将32位整数空间精细划分为16383份：
根据每个硬盘在上一步中得出的占比，计算出它们各自在整数空间中能够分得的份数，其目的是为了确保数据存储的均衡分布，并为后续的操作提供准确依据，精细的划分方式有助于提高系统的整体性能和稳定性。
5.根据权利要求1所述的一种基于空间和时间均衡安防视频存储规划的方法，其特征在于：所述唯一ID标识空间是需要将硬盘的ID附加到整数数字所表示的序号之后，每个硬盘获得的第一份整数空间的序号从0开始计数，而后续的整数空间则按照1的增量依次递增。
6.根据权利要求1所述的一种基于空间和时间均衡安防视频存储规划的方法，其特征在于：所述S5是根据S4按照序号从小到大对唯一ID进行排序，成功地将硬盘占用的整数空间均匀地分布在32位整数空间上，这16383份整数空间的每一份都拥有一个全局的数字编号，且编号从0开始，编号方式使得数据存储和访问更加方便和准确，同时也优化了存储空间的利用率。
7.基于权利要求1-6任一所述存储规划方法进行定位读写的方法，其特征在于：所述存储工作进程定位数据在哪个硬盘具体步骤如下：
A1:生成数据请求的唯一标识；
A2:生成的数据请求的唯一标识计算MD5值(128位)；
A3:计算出的MD5值分成3个32位整数并求平均值。
8.根据权利要求7所述的定位读写的方法，其特征在于：所述生成数据请求的唯一标识的前提条件是需要写数据和读数据请求，根据相机设备的唯一标识符和产生数据的具体时段来生成数据请求的唯一标识，每次写入数据时，基于相机设备和特定的时间段创建一个唯一的标识符，以确保数据的准确性和完整性，同时在读数据请求下，基于相机设备的唯一标识符和要读取的数据的产生时段来生成数据请求的唯一标识。
9.根据权利要求7所述的定位读写的方法，其特征在于：所述生成的数据请求的唯一标识计算MD5值(128位)然后，将MD5哈希值转换为整数，并将其分成3个部分。
10.根据权利要求7所述的定位读写的方法，其特征在于：所述A3是通过计算出的MD5值分成3个32位整数并求平均值，同时，利用该平均值除以16383得出数据分布在32位整数空间中的哪一份整数空间里，并基于整数空间的唯一ID找出硬盘的唯一ID。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311751267.XA CN117725258A (zh) | 2023-12-19 | 2023-12-19 | 基于空间和时间均衡安防视频存储规划和定位读写的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311751267.XA CN117725258A (zh) | 2023-12-19 | 2023-12-19 | 基于空间和时间均衡安防视频存储规划和定位读写的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117725258A true CN117725258A (zh) | 2024-03-19 |
Family
ID=90201250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311751267.XA Pending CN117725258A (zh) | 2023-12-19 | 2023-12-19 | 基于空间和时间均衡安防视频存储规划和定位读写的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117725258A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 数据存储方法、装置及系统 |
| CN106339181A (zh) * | 2016-08-19 | 2017-01-18 | 华为技术有限公司 | 存储系统中数据处理方法和装置 |
| CN108234594A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 文件存储方法和装置、电子设备、程序和介质 |
| CN111352577A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视系统技术有限公司 | 一种对象存储方法及装置 |
| CN114416737A (zh) * | 2022-01-04 | 2022-04-29 | 北京中电兴发科技有限公司 | 基于动态权重均衡时序数据库集群的时序数据存储方法 |
| CN114489515A (zh) * | 2022-02-11 | 2022-05-13 | 北京中电兴发科技有限公司 | 一种基于流存储的数据写入方法 |
| CN117075821A (zh) * | 2023-10-13 | 2023-11-17 | 杭州优云科技有限公司 | 一种分布式存储方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-19 CN CN202311751267.XA patent/CN117725258A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100146A (zh) * | 2014-05-07 | 2015-11-25 | 腾讯科技（深圳）有限公司 | 数据存储方法、装置及系统 |
| CN106339181A (zh) * | 2016-08-19 | 2017-01-18 | 华为技术有限公司 | 存储系统中数据处理方法和装置 |
| CN108234594A (zh) * | 2017-11-28 | 2018-06-29 | 北京市商汤科技开发有限公司 | 文件存储方法和装置、电子设备、程序和介质 |
| CN111352577A (zh) * | 2018-12-24 | 2020-06-30 | 杭州海康威视系统技术有限公司 | 一种对象存储方法及装置 |
| CN114416737A (zh) * | 2022-01-04 | 2022-04-29 | 北京中电兴发科技有限公司 | 基于动态权重均衡时序数据库集群的时序数据存储方法 |
| CN114489515A (zh) * | 2022-02-11 | 2022-05-13 | 北京中电兴发科技有限公司 | 一种基于流存储的数据写入方法 |
| CN117075821A (zh) * | 2023-10-13 | 2023-11-17 | 杭州优云科技有限公司 | 一种分布式存储方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111125089B (zh) | 时序数据存储方法、装置、服务器及存储介质 | |
| Densham et al. | Strategies for solving large location-allocation problems by heuristic methods | |
| US7921086B1 (en) | Deterministic space management in deduplication applications | |
| US9122580B2 (en) | Flash memory system and managing and collecting methods for flash memory with invalid page messages thereof | |
| CN104731896B (zh) | 一种数据处理方法及系统 | |
| CN107026881B (zh) | 业务数据的处理方法、装置及系统 | |
| US20100161565A1 (en) | Cluster data management system and method for data restoration using shared redo log in cluster data management system | |
| US8396840B1 (en) | System and method for targeted consistency improvement in a distributed storage system | |
| US11934371B2 (en) | Data processing method and apparatus, and computer-readable storage medium | |
| CN108563711A (zh) | 一种基于时间节点的时序数据存储方法 | |
| CN104636417A (zh) | 管理数据的系统和方法 | |
| US8468134B1 (en) | System and method for measuring consistency within a distributed storage system | |
| EP0851339A3 (en) | A storage system capable of relocating data | |
| CN106874320A (zh) | 分布式流式数据处理的方法和装置 | |
| CN111061752B (zh) | 数据处理方法、装置及电子设备 | |
| CN107506145B (zh) | 一种物理存储调度方法及云主机创建方法 | |
| CN111782640B (zh) | 一种云平台的数据处理方法、系统、电子设备及存储介质 | |
| CN106383897B (zh) | 数据库容量计算方法和装置 | |
| CN109597800A (zh) | 一种日志分发方法及装置 | |
| CN116166849A (zh) | 一种数据管理方法、装置、设备及存储介质 | |
| CN108804507A (zh) | 用户的住址位置确定方法及系统 | |
| CN117725258A (zh) | 基于空间和时间均衡安防视频存储规划和定位读写的方法 | |
| CN113360551B (zh) | 一种靶场中时序数据的存储与快速统计方法及系统 | |
| CN107133334A (zh) | 基于高带宽存储系统的数据同步方法 | |
| CN114416737B (zh) | 基于动态权重均衡时序数据库集群的时序数据存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |