CN117194133B - 视频监控场景下分布式存储的资源部署方法及电子设备 - Google Patents
视频监控场景下分布式存储的资源部署方法及电子设备 Download PDFInfo
- Publication number
- CN117194133B CN117194133B CN202311473689.5A CN202311473689A CN117194133B CN 117194133 B CN117194133 B CN 117194133B CN 202311473689 A CN202311473689 A CN 202311473689A CN 117194133 B CN117194133 B CN 117194133B
- Authority
- CN
- China
- Prior art keywords
- storage
- test
- rgws
- magnetic disk
- osds
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012544 monitoring process Methods 0.000 title claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012795 verification Methods 0.000 claims abstract description 8
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 10
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请公开了视频监控场景下分布式存储的资源部署方法及电子设备，属于视频数据处理技术领域，该方法：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；利用公式T=n*y*K测试存储集群的吞吐上限值，进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，得到多组测试结果；基于所述多组测试结果，确定资源部署的组件配比公式ynK=x2+4x‑a+b，其中，y表示OSD的数量，x为表示RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。本申请基于硬件配套，对存储组件软件进行科学配比，能够构建高性能、高可靠性的存储集群，达到节约成本，提高资源利用率的技术效果。
Description
技术领域
本申请属于视频数据处理技术领域，特别涉及一种视频监控场景下分布式存储的资源部署方法及电子设备。
背景技术
随着视频监控业务的快速发展，对象存储的重要性越来越凸显出来。随着监控设备的普及和分辨率的提高，监控视频数据量迅速增加。传统的存储系统往往无法处理如此庞大的数据量，而对象存储系统通过分布式架构和横向扩展的方式，能够高效地存储和管理大规模的监控视频数据。在视频监控领域，大量的监控视频数据需要进行长期保存和管理，而对象存储系统提供了高可扩展性、高可靠性和灵活性，能够满足视频监控业务的需求。
然而，随着对象存储规模的增加，软硬件成本也相应增长。构建分布式存储集群，涉及到大量的存储节点和网络设备。同时，数据的冗余和备份也需要更多的存储空间和计算资源。这些硬件设备和资源的投入增加了整体的成本。因此，随着集群设备的不断扩大，利用好现有的硬件资源，最大化发挥硬件效能，实现软硬件部署最佳配套方案尤为重要，目前缺乏能够基于软硬件的实际性能来实现软硬件部署最佳配套的技术方案。
针对上述问题，提出本申请的视频监控场景下分布式存储的资源部署方法及电子设备。
发明内容
为了解决所述现有技术的不足，本申请提供了一种视频监控场景下分布式存储的资源部署方法及电子设备，以解决现有技术中缺乏能够基于软硬件的实际性能来实现软硬件部署最佳配套的技术方案的技术问题。
本申请所要达到的技术效果通过以下方案实现：
第一方面，本申请实施例提供一种视频监控场景下分布式存储的资源部署方法，包括：
步骤一：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
步骤二：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
步骤三：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
步骤四：基于所述多组测试结果，确定资源部署的组件配比公式如下：
ynK = x2+4x-a + b，
其中，y表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
在一些实施例中，在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
在一些实施例中，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
在一些实施例中，所述OSD的数量均小于所述磁盘数量。
在一些实施例中，所述a等于4，所述b等于24000。
第二方面，本申请实施例提供一种电子设备，所述电子设备包括：
存储器，用于存储可在处理器上运行的计算机程序；
处理器，用于执行所述存储器上存储的所述计算机程序，并实现如下方法：
步骤一：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
步骤二：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
步骤三：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
步骤四：基于所述多组测试结果，确定资源部署的组件配比公式如下：
ynK = x2+4x-a + b，
其中，y表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
在一些实施例中，在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
在一些实施例中，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
在一些实施例中，所述OSD的数量均小于所述磁盘数量。
在一些实施例中，所述a等于4，所述b等于24000。
第三方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现前述任一项所述的方法。
通过本申请实施例提供的视频监控场景下分布式存储的资源部署方法及电子设备，该方法基于硬件配套，对存储组件软件进行科学配比，能够构建高性能、高可靠性的存储集群，达到节约成本，提高资源利用率的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例中的视频监控场景下分布式存储的资源部署方法的流程图；
图2为本申请一实施例中的视频监控场景下分布式存储的资源部署方法的多组测试结果的示意图；
图3为本申请一实施例中的电子设备的示意框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本申请的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，除非另外定义，本申请一个或多个实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
相关技术中，不同企业采购硬件配置不同,存在性能资源浪费;不同企业开发/运维人员的经验不同，存在人为因素导致性能资源浪费情况.
需要根据实际部署规模和性能需求来配置硬件资源，合理分配CPU、内存、硬盘和网络带宽，以满足各组件的需求，保证存储集群的性能和可靠性。
并且，视频监控存储服务器为配置较高的服务器，所以混合部署在一个物理节点或虚拟机上运行多个组件成为常见的部署方式。混合部署可以共享服务器资源，如处理器、内存和存储介质。这有助于节省资源并优化性能。
因此，需要采用本申请提供的视频监控场景下分布式存储的资源部署方法及电子设备，在各种不同硬件资源条件下，开发/运维人员可以无差别的部署对象存储集群，以达到最佳的性能表现，节约资源，节省支出；且在混合部署情况下，实现主要组件(RGW/OSD)实例的配置方法。
从而，在一定硬件配套下存储组件软件的科学配比对于构建高性能、高可靠性的存储集群非常重要，进而达到节约成本的目的。
想要说明的是，本申请不区分大小写，例如RGW/OSD与rgw/osd表示的意思相同。
下面结合附图，详细说明本申请的各种非限制性实施方式。
首先，参照图1，对本申请的视频监控场景下分布式存储的资源部署方法进行详细说明：
第一方面，本申请实施例提供一种视频监控场景下分布式存储的资源部署方法，包括：
S101：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
S102：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
S103：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
S104：基于所述多组测试结果，确定资源部署的组件配比公式如下：
ynK = x2+4x-a + b，
其中，y表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
本申请的视频监控场景下分布式存储的资源部署方法，首先通过磁盘的数量（或者说底层磁盘的数量）以及每个磁盘的吞吐能力以及存储数据冗余系数计算出存储集群最大的底层吞吐能力（也就是上文中的吞吐上限值），如上述的S101/S102；其次通过模拟不同组件实例个数，评估整体存储性能数据表现，如S103所示；最后通过数据统计分析，拟合相关因子得出计算公式，可参考S104。
在一些实施例中，在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
具体地，测试磁盘性能包括：
采用FIO （flexible I/O tester，磁盘性能测试工具）来对硬件进行压力测试和验证；其中，使用 FIO 时，可以配合使用 libaio 的 I/O 引擎进行测试，并且可以使用fsync以确保数据安全地持久化到媒体上。
也可以使用FIO来评估驱动器的低级写性能，例如，4kB随机写入性能的测量脚本如下：
fio --name=/dev/sdX --ioengine=libaio --direct=1 --fsync=1 --readwrite=randwrite --blocksize=4M --runtime=300
对应的输出结果例如包括：
-rw=randwrite，-bs=4M，bw=84.0MiB/s。
在一些实施例中，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
具体地，
在一些实施例中，所述OSD的数量均小于所述磁盘数量。
在一些实施例中，所述a等于4，所述b等于24000。
具体地，OSD的全称Object Storage Device，其是负责响应客户端请求返回具体数据的进程；一个Ceph集群一般都有很多个OSD。
RGW的全称Rados Gateway，其是一种服务，使客户端能够利用标准对象存储API来访问ceph对象网关；是Ceph对象存储的RESTful接口组件,它允许应用程序通过RESTful协议来访问Ceph集群中的对象存储服务。
在设置测试的配比时，例如可以是如下组合（测试结果参考图2）：
osd(3)/rgw(1)；
osd(4)/rgw(1)；
osd(5)/rgw(1)；
osd(6)/rgw(1)；
osd(7)/rgw(2)；
osd(8)/rgw(2)；
osd(9)/rgw(2)；
osd(10)/rgw(3)；
osd(11)/rgw(3)；
osd(12)/rgw(3)；
在cpu/mem等资源充沛情况下，逐步增加rgw/osd实例数量，评价性能表现与T(总吞吐)之间关系，osd数量总体小于等于磁盘块数。
rgw(1)时：osd数量在3/4/5/6数量增加情况下，总体性能上升到最高后不再升高；
rgw(2)时：osd数量在7/8/9/10数量增加情况下，总体性能上升到最高后不再升高；
rgw(3)时：osd数量在10/11/12数量增加情况下，总体性能不再升高；
从图2可以看出，本次测试在osd(10)，rgw(2)情况下与理论吞吐最贴合；
在基于所述多组测试结果，确定资源部署的组件配比公式后，通过资源部署的组件配比公式来完成集群软件组件配比，结合开发/运维经验，能够轻松的实现最佳性能，发挥硬件最佳效能，从而达到节省硬件开支等目的。
通过本申请实施例提供的视频监控场景下分布式存储的资源部署方法及电子设备，该方法基于硬件配套，对存储组件软件进行科学配比，能够构建高性能、高可靠性的存储集群，达到节约成本，提高资源利用率的技术效果。
第二方面，本申请实施例提供一种电子设备，所述电子设备包括：
存储器，用于存储可在处理器上运行的计算机程序；
处理器，用于执行所述存储器上存储的所述计算机程序，并实现如下方法：
步骤一：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
步骤二：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
步骤三：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
步骤四：基于所述多组测试结果，确定资源部署的组件配比公式如下：
ynK = x2+4x-a + b，
其中，y表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
在一些实施例中，在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
在一些实施例中，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
在一些实施例中，所述OSD的数量均小于所述磁盘数量。
在一些实施例中，所述a等于4，所述b等于24000。
该电子设备实现的技术效果与上述方法实现的技术效果相同，此处不再赘述。
需要说明的是，本申请一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是，上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思，与上述任意实施例方法相对应的，本申请的一种电子设备；
具体地，图3示出了本实施例所提供的一种视频监控场景下分布式存储的资源部署方法的电子设备的硬件结构示意图， 该设备可以包括：处理器410、存储器420、输入/输出接口430、通信接口440和总线 450。其中，处理器410、存储器420、输入/输出接口430和通信接口440通过总线450实现彼此之间在设备内部的通信连接。
处理器410可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案。
存储器420可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器420可以存储操作系统和其他应用程序，在通过软件或者固件来实现本申请实施例所提供的技术方案时，相关的程序代码保存在存储器420中，并由处理器410来调用执行。
输入/输出接口430用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口440用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如，USB、网线等）实现通信，也可以通过无线方式（例如，移动网络、WIFI、蓝牙等）实现通信。
总线450包括一通路，在设备的各个组件（例如，处理器410、存储器420、输入/输出接口430和通信接口440）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器410、存储器420、输入/输出接口430、通信接口440以及总线450，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的视频监控场景下分布式存储的资源部署方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本申请一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的视频监控场景下分布式存储的资源部署方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的视频监控场景下分布式存储的资源部署方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围（包括权利要求）被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本申请一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路（IC）芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以避免使本申请一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请一个或多个实施例的平台的（即，这些细节应当完全处于本领域技术人员的理解范围内）。在阐述了具体细节（例如，电路）以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构（例如，动态RAM（DRAM））可以使用所讨论的实施例。
本申请一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种视频监控场景下分布式存储的资源部署方法，其特征在于，所述方法包括：
步骤一：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
步骤二：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
步骤三：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
步骤四：基于所述多组测试结果，确定资源部署的组件配比公式如下：
y1nK = x2 +4x-a + b，
其中，y1表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
2.如权利要求1所述的视频监控场景下分布式存储的资源部署方法，其特征在于，
在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
3.如权利要求1或2所述的视频监控场景下分布式存储的资源部署方法，其特征在于，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
4.如权利要求3所述的视频监控场景下分布式存储的资源部署方法，其特征在于，所述OSD的数量均小于所述磁盘数量。
5.如权利要求1所述的视频监控场景下分布式存储的资源部署方法，其特征在于，所述a等于4，所述b等于24000。
6.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可在处理器上运行的计算机程序；
处理器，用于执行所述存储器上存储的所述计算机程序，并实现如下方法：
步骤一：测试磁盘的性能，通过磁盘性能测试工具对所述磁盘进行压力测试和验证；
步骤二：利用下述公式测试存储集群的吞吐上限值，公式如下：
T=n*y*K，
其中，T表示吞吐上限值，K表示存储放大系数，n表示磁盘随机写入速度，y表示磁盘数量；
步骤三：进行组件实例配比测试，分别设置不同的RGW与OSD组件实例数进行测试，其中在所述RGW的数量为1的情况下，分别设置所述OSD的数量为3、4、5、6，在所述RGW的数量为2的情况下，分别设置所述OSD的数量为7、8、9，在所述RGW的数量为3的情况下，分别设置所述OSD的数量为10、11、12，得到多组测试结果；
步骤四：基于所述多组测试结果，确定资源部署的组件配比公式如下：
y1nK = x2 +4x-a + b，
其中，y1表示所述OSD的数量，x为表示所述RGW的数量，K表示存储放大系数，n表示磁盘随机写入速度，a和b为测试过程的环境变量数据的正整数。
7.如权利要求6所述的电子设备，其特征在于，
在副本模式的情况下，所述存储放大系数K=1/ m，其中m表示副本数。
8.如权利要求6或7所述的电子设备，其特征在于，所述磁盘性能测试工具包括FIO和fsync，其中，所述FIO用于评估驱动器的低级写性能，所述fsync确保数据安全地持久化到媒体上。
9.如权利要求8所述的电子设备，其特征在于，所述OSD的数量均小于所述磁盘数量。
10.如权利要求6所述的电子设备，其特征在于，所述a等于4，所述b等于24000。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311473689.5A CN117194133B (zh) | 2023-11-08 | 2023-11-08 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311473689.5A CN117194133B (zh) | 2023-11-08 | 2023-11-08 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117194133A CN117194133A (zh) | 2023-12-08 |
| CN117194133B true CN117194133B (zh) | 2024-02-27 |
Family
ID=88990962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311473689.5A Active CN117194133B (zh) | 2023-11-08 | 2023-11-08 | 视频监控场景下分布式存储的资源部署方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117194133B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213666A (zh) * | 2018-09-14 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的性能测试方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10013286B2 (en) * | 2016-02-24 | 2018-07-03 | Prophetstor Data Services, Inc. | Method for deploying storage system resources with learning of workloads applied thereto |
-
2023
- 2023-11-08 CN CN202311473689.5A patent/CN117194133B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109213666A (zh) * | 2018-09-14 | 2019-01-15 | 郑州云海信息技术有限公司 | 一种分布式文件存储系统的性能测试方法 |
Non-Patent Citations (4)
| Title |
|---|
| Flex: Flexible and Energy Efficient Scheduling for Big Data Storage;Daokuan Ma et al.;《IEEE Xplore》;全文 * |
| HDFS存储和优化技术研究综述;金国栋 等;软件学报(第01期);全文 * |
| NTCI-Flow:一种可扩展的高速网络流量处理框架;王煜骢 等;工程科学与技术(第S1期);全文 * |
| 虚拟化环境下面向多目标优化的自适应SSD缓存系统;唐震 等;软件学报(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117194133A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10409696B2 (en) | Scalable data storage pools | |
| US9959201B2 (en) | Automated test generation for multi-interface enterprise virtualization management environment | |
| CN113742153B (zh) | 设备测试方法、装置、可读介质及电子设备 | |
| CN108351806A (zh) | 分布式基于流的数据库触发器 | |
| CN106201481A (zh) | 应用程序开发系统中的组件管理方法和装置 | |
| CN105630683A (zh) | 一种云测试体系架构 | |
| CN110362547B (zh) | 日志文件的编码、解析、存储方法和装置 | |
| CN110321189B (zh) | 一种在宿主程序中呈现寄宿程序的方法与设备 | |
| US20180307574A1 (en) | Automated test generation for multi-interface and multi-platform enterprise virtualization management environment | |
| CN113742221A (zh) | 生成测试用例的方法、电子设备及存储介质 | |
| CN116541142A (zh) | 任务调度方法、装置、设备、存储介质及计算机程序产品 | |
| US20230153222A1 (en) | Scaled-down load test models for testing real-world loads | |
| US10216562B2 (en) | Generating diagnostic data | |
| CN111708704B (zh) | 一种云真机测试方法、装置、终端及存储介质 | |
| CN117194133B (zh) | 视频监控场景下分布式存储的资源部署方法及电子设备 | |
| US11294804B2 (en) | Test case failure with root cause isolation | |
| US11093371B1 (en) | Hidden input detection and re-creation of system environment | |
| Mittal et al. | Cloud testing-the future of contemporary software testing | |
| CN113869989B (zh) | 一种信息处理方法及装置 | |
| WO2022105661A1 (en) | Media capture device with power saving and encryption features for partitioned neural network | |
| CN114153732A (zh) | 故障场景测试方法、装置、电子设备及存储介质 | |
| US11704461B1 (en) | Dynamic control of coverage by a verification testbench | |
| CN114817046A (zh) | 区块链网络的压力测试方法、装置及系统 | |
| US11916807B2 (en) | Evaluation framework for cloud resource optimization | |
| CN112486501B (zh) | 一种Spark应用部署管理方法及相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |