CN117609248B - 基于存储服务的对象存储管理方法 - Google Patents

基于存储服务的对象存储管理方法 Download PDF

Info

Publication number
CN117609248B
CN117609248B CN202311673667.3A CN202311673667A CN117609248B CN 117609248 B CN117609248 B CN 117609248B CN 202311673667 A CN202311673667 A CN 202311673667A CN 117609248 B CN117609248 B CN 117609248B
Authority
CN
China
Prior art keywords
storage
bucket
time
state
storage bucket
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311673667.3A
Other languages
English (en)
Other versions
CN117609248A (zh
Inventor
张佺
吴潇逸
马立涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Century Xinrui Beijing Media Technology Co ltd
Original Assignee
Century Xinrui Beijing Media Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Century Xinrui Beijing Media Technology Co ltd filed Critical Century Xinrui Beijing Media Technology Co ltd
Priority to CN202311673667.3A priority Critical patent/CN117609248B/zh
Publication of CN117609248A publication Critical patent/CN117609248A/zh
Application granted granted Critical
Publication of CN117609248B publication Critical patent/CN117609248B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了基于存储服务的对象存储管理方法，具体涉及对象存储技术领域，通过实时监测HTTP状态码错误的频率和紧密程度，全面评估了存储桶在存储数据的交互过程中的健康状况，确保对存储桶的运行状态进行及时追踪；通过分析对象存储API请求的响应时间和检索请求的处理时间，以评估存储桶的存储过程的响应性能和使用可持续性；通过综合考虑HTTP状态码错误情况、API请求响应波动和正常检索比计算存储桶综合性能评估系数，量化直观地反映了存储桶运行状态的整体风险程度；并通过对存储桶性能中风险信号的时间长度进行分析，提前预警存储桶未来可能的运行风险，在潜在问题加剧之前采取措施，保障存储桶的可用性和稳定性。

Description

基于存储服务的对象存储管理方法
技术领域
本发明涉及对象存储技术领域，更具体地说，本发明涉及基于存储服务的对象存储管理方法。
背景技术
对象存储是一种用于存储和检索大量非结构化数据的计算机数据存储体系结构。与传统的文件系统或块存储不同，对象存储不将数据存储在层次结构的文件夹中，而是将数据存储为对象。每个对象包含数据、元数据和一个唯一的标识符，通常是一个全局唯一的标识符(GU ID)。对象存储的可扩展性和高性能读写使其成为处理大规模数据的理想选择。
基于存储服务的对象存储是指使用云存储服务提供商所提供的对象存储服务；存储桶(Bucket)是对象存储中的最顶层容器；存储桶可以包含多个对象；现有的基于对象存储对数据的存储中，若不能及时发现存储桶的运行状态不佳的情况，会导致对象存储的存储性能下降，包括读取和写入操作的延迟增加，还可能导致对象存储的服务中断，会对存储业务连续性和用户体验造成负面影响。
为了解决上述问题，现提供一种技术方案。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供基于存储服务的对象存储管理方法以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
基于存储服务的对象存储管理方法，包括如下步骤：
步骤S10：对存储桶在存储数据的交互过程中的发生错误的频繁情况和发生错误的紧密程度进行分析，评估存储桶在存储数据的交互过程中的健康状况；
步骤S20：对对象存储API请求的响应时间进行分析，评估存储桶的存储过程的响应性能；对近期存储桶中的对象被检索的过程的时间的异常情况进行分析，评估存储桶的使用可持续性；
步骤S30：在存储桶在存储数据的交互过程中的健康状况正常时，将存储桶在存储数据的交互过程中的健康状况、存储桶的存储过程的响应性能以及存储桶的使用可持续性进行综合分析，评估存储桶的运行状态存在的风险程度；
步骤S40：对存储桶的运行状态存在的风险程度进行再分析，对存储桶的运行状态进行提前预警。
在一个优选的实施方式中，步骤S10包括以下步骤：
步骤S101：设定状态错误监测区间；
步骤S102：统计在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量；
对状态错误监测区间内HTTP状态码错误的频率进行分析，计算状态错误比，状态错误比为状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量与状态错误监测区间的时间长度的比值；
步骤S103：评估状态错误监测区间内HTTP状态码错误发生的紧密程度，具体为：
获取在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误发生的时间点；
获取在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔，将在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔标记为错误状态间隔；
获取在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量；将在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量与状态错误监测区间的时间长度的比值标记为状态错误密切比；
步骤S104：将状态错误比和状态错误密切比进行去单位处理，将去单位处理后的状态错误比和状态错误密切比进行加权求和，计算状态错误综合评估值。
在一个优选的实施方式中，将状态错误综合评估值与状态错误综合评估阈值进行比较：
当状态错误综合评估值大于状态错误综合评估阈值，生成存储桶健康不佳信号；
当状态错误综合评估值小于等于状态错误综合评估阈值，生成存储桶健康正常信号。
在一个优选的实施方式中，在步骤S20中，获取对象存储的存储过程中距离实时时间最近k次的API请求过程；获取每个API请求过程对应的响应时间；
将对象存储的存储过程中距离实时时间最近k次的API请求过程对应的响应时间的波动情况进行分析，计算请求响应波动值，其表达式为：其中，Xybz为请求响应波动值，q、k分别为在距离实时时间最近k次的API请求过程的编号以及在距离实时时间获取的最近的API请求过程的数量，q＝1、2、3、4、......、k，q、k均为大于1的正整数；qxtq+1、qxtq分别为第q+1个API请求过程对应的响应时间以及第q个API请求过程对应的响应时间。
在一个优选的实施方式中，评估存储桶的使用可持续性，具体为：
设定检索监测区间；
获取在检索监测区间内的检索请求，获取在检索监测区间内的检索请求的数量；
获取每个检索请求对应的存储桶处理检索请求所花费的时间；
获取检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量，将检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量与检索监测区间内检索请求的数量的比值标记为正常检索比。
在一个优选的实施方式中，在步骤S30中，当生成存储桶健康正常信号时，将状态错误综合评估值、请求响应波动值以及正常检索比进行归一化处理，通过归一化处理后的状态错误综合评估值、请求响应波动值以及正常检索比计算存储桶综合性能评估系数；
设定存储桶综合性能评估第一阈值和存储桶综合性能评估第二阈值，其中，存储桶综合性能评估第一阈值小于存储桶综合性能评估第二阈值；
将存储桶综合性能评估系数与存储桶综合性能评估第一阈值、存储桶综合性能评估第二阈值进行比较，具体为：
当存储桶综合性能评估系数大于存储桶综合性能评估第二阈值，生成存储桶性能高风险信号；
当存储桶综合性能评估系数大于等于存储桶综合性能评估第一阈值，且存储桶综合性能评估系数小于等于存储桶综合性能评估第二阈值，生成存储桶性能中风险信号；
当存储桶综合性能评估系数小于存储桶综合性能评估第一阈值，生成存储桶性能低风险信号。
在一个优选的实施方式中，对存储桶的运行状态进行提前预警，具体为：
获取时间T内生成存储桶性能中风险信号的时间长度，将时间T内生成存储桶性能中风险信号的时间长度与时间T对应的时间长度的比值标记为风险预警比；
当风险预警比大于风险预警比阈值，生成运行风险预警信号；
当风险预警比小于等于风险预警比阈值，生成运行风险正常信号。
本发明基于存储服务的对象存储管理方法的技术效果和优点：
1、通过实时监测HTTP状态码错误的频率和紧密程度，全面评估了存储桶在存储数据的交互过程中的健康状况，确保对存储桶的运行状态进行及时追踪，通过对错误数量、频率和紧密程度进行综合分析，量化并准确地检测存储桶的异常情况，这有助于系统管理员实施预防性维护，提前发现和解决潜在问题，从而保障存储桶在存储数据的交互过程中的稳定运行，提升整体系统的性能和可靠性。
2、通过分析对象存储API请求的响应时间和检索请求的处理时间，以评估存储桶的存储过程的响应性能和使用可持续性；通过监测API请求的响应时间，能够及时发现存储桶响应性能的波动和不稳定情况，利用请求响应波动值对存储桶的响应性能进行定量评估，同时，对检索请求的处理时间进行分析计算正常检索比，有效地评估了存储桶在存储数据的交互过程中的使用可持续性。
3、通过综合考虑HTTP状态码错误情况、API请求响应波动和正常检索比计算存储桶综合性能评估系数，量化直观地反映了存储桶运行状态的整体风险程度，通过设定阈值，能够自动识别存储桶性能的不同水平，并生成相应的性能信号，使得系统管理员可以在存储桶性能存在风险时及时采取措施，确保存储桶的正常运行；并通过对存储桶性能中风险信号的时间长度进行分析，从而提前预警存储桶未来可能的运行风险，可以在潜在问题加剧之前采取措施，保障存储桶的可用性和稳定性。
附图说明
图1为本发明基于存储服务的对象存储管理方法示意图；
图2为对象存储的数据结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
图1给出了本发明基于存储服务的对象存储管理方法，其包括如下步骤：
步骤S10：对存储桶在存储数据的交互过程中的发生错误的频繁情况和发生错误的紧密程度进行分析，评估存储桶在存储数据的交互过程中的健康状况。
步骤S20：对对象存储API请求的响应时间进行分析，评估存储桶的存储过程的响应性能；对近期存储桶中的对象被检索的过程的时间的异常情况进行分析，评估存储桶的使用可持续性。
步骤S30：在存储桶在存储数据的交互过程中的健康状况正常时，将存储桶在存储数据的交互过程中的健康状况、存储桶的存储过程的响应性能以及存储桶的使用可持续性进行综合分析，评估存储桶的运行状态存在的风险程度。
步骤S40：对存储桶的运行状态存在的风险程度进行再分析，对存储桶的运行状态进行提前预警。
其中，步骤S10包括以下步骤：
步骤S101：设定状态错误监测区间，状态错误监测区间的时间长度是设定的固定值；状态错误监测区间是实时的，即状态错误监测区间的终点一直为当前的实时时间点。因此，状态错误监测区间的监测范围是不断随着时间的推移而变化的。
HTTP状态码是指在进行HTTP协议通信时，服务器向客户端返回的一个三位数字的状态码。每个状态码都代表不同的意义，例如200表示成功，404表示未找到，500表示服务器内部错误等；在对象存储的存储桶在存储数据的交互过程中，HTTP状态码错误可以提供关于请求状态的信息。虽然偶尔的HTTP状态码错误可能是正常的，但系统管理员和开发人员通常需要监控这些错误的频率和性质，以确保它们不是持续或重复发生的问题。如果错误频率较低且与系统的正常操作无关，通常可以将其视为正常的运行状况；但如果存储桶的HTTP状态码错误频繁且持续，那么可能是存储桶运行状态不佳的迹象。
步骤S102：统计在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量。
在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量越多，说明存储桶运行状态不佳的情况越严重。
对状态错误监测区间内HTTP状态码错误的频率进行分析，计算状态错误比，状态错误比为状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量与状态错误监测区间的时间长度的比值。
状态错误比越大，状态错误监测区间内HTTP状态码错误的频率越高。
步骤S103：评估状态错误监测区间内HTTP状态码错误发生的紧密程度，具体为：
获取在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误发生的时间点。
若HTTP状态码错误发生的时间点之间的间隔较为相近，说明HTTP状态码错误发生的越紧密，说明存储桶在存储数据的交互过程中的健康程度较差，较密集的HTTP状态码错误可能表明系统或服务存在一系列问题，可能是由于持续性的故障、不稳定性因素或其他异常情况导致，影响存储桶的稳定性和可用性。
获取在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔，将在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔标记为错误状态间隔。
获取在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量，在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量越大，说明HTTP状态码错误发生的越紧密的情况越多。
将在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量与状态错误监测区间的时间长度的比值标记为状态错误密切比。
状态错误密切比越大，HTTP状态码错误发生的紧密程度越大，存储桶在存储数据的交互过程中的运行状态越差。
其中，错误状态间隔阈值是本领域专业技术人员根据错误状态间隔的数值大小以及实际的对两个HTTP状态码错误发生之间的时间间隔的安全要求标准等其他实际情况进行设定的，此处不再赘述；错误状态间隔小于错误状态间隔阈值时，说明HTTP状态码错误发生的较为紧密。
步骤S104：将HTTP状态码错误的频率和HTTP状态码错误发生的紧密程度进行综合分析，评估存储桶在存储数据的交互过程中的健康状况，具体为：
将状态错误比和状态错误密切比进行去单位处理，将去单位处理后的状态错误比和状态错误密切比进行加权求和，计算状态错误综合评估值，其表达式为：Qtcp＝a*cbx+b*mqb，其中，Qtcp、cbx、mqb分别为状态错误综合评估值、状态错误比以及状态错误密切比；a、b分别为状态错误比和状态错误密切比的权重系数，a、b均大于0。
状态错误综合评估值越大，存储桶在存储数据的交互过程中的健康状况越差。
设定状态错误综合评估阈值，状态错误综合评估阈值是根据状态错误综合评估值的数值大小以及对在实际中存储桶在存储数据的交互过程中的HTTP状态码错误的要求标准进行设定，此处不再赘述。
将状态错误综合评估值与状态错误综合评估阈值进行比较，判断存储桶在存储数据的交互过程中的健康状况：
当状态错误综合评估值大于状态错误综合评估阈值，生成存储桶健康不佳信号；此时存储桶在存储数据的交互过程中的健康状况不佳，存储桶在存储数据的交互过程中的运行状态比较糟糕，根据生成的存储桶健康不佳信号，可以采取以下措施：
发送告警通知给系统管理员、运维团队或其他相关人员，以便了解问题并采取必要的行动；实施自动化程序或脚本，尝试自动修复存储桶在存储数据的交互过程中的问题，例如重新启动服务、调整配置等；进行深入的故障排除，确定问题的确切原因，并采取长期的解决方案，以防止问题再次发生。
当状态错误综合评估值小于等于状态错误综合评估阈值，生成存储桶健康正常信号；此时存储桶在存储数据的交互过程中的健康状况正常，存储桶在存储数据的交互过程中的运行状态较好或存在较低风险的运行不佳的情况。
在步骤S20中，对对象存储AP I请求的响应时间进行分析，评估存储桶的存储过程的响应性能；具体为：
在对象存储的存储过程中，API请求的响应时间指的是从发出请求到接收到对该请求的响应所经过的时间。这包括了客户端发起请求、对象存储服务端处理请求、并将响应传送回客户端的整个时间周期。响应时间通常以毫秒(ms)为单位衡量。
获取对象存储的存储过程中距离实时时间最近k次的API请求过程，每个API请求包含从客户端发起请求到对象存储服务端处理请求并将响应传送回客户端的整个时间周期；获取每个API请求过程对应的响应时间，API请求过程对应的响应时间即为从客户端发起请求、对象存储服务端处理请求、并将响应传送回客户端的整个时间周期的时间长度。例如，可以将k设置为50。
当近期的多次API请求过程对应的响应时间的变化程度较大，API请求过程对应的响应时间不稳定，说明近期的多次API请求过程对应的响应时间变化较大，且响应时间不稳定时，这可能表明存储桶的响应性能不稳定或存在波动。
将对象存储的存储过程中距离实时时间最近k次的API请求过程对应的响应时间的波动情况进行分析，计算请求响应波动值，其表达式为：其中，Xybz为请求响应波动值，q、k分别为在距离实时时间最近k次的API请求过程的编号以及在距离实时时间获取的最近的API请求过程的数量，q＝1、2、3、4、......、k，q、k均为大于1的正整数；qxtq+1、qxtq分别为第q+1个API请求过程对应的响应时间以及第q个API请求过程对应的响应时间。
请求响应波动值越大，说明近期的多次API请求过程对应的响应时间的变化程度较大，表明存储桶的响应性能不稳定或存在波动。
对近期存储桶中的对象被检索的过程的时间的异常情况进行分析，评估存储桶的使用可持续性，具体为：
设定检索监测区间，检索监测区间的时间长度是设定的固定值，检索监测区间的时间长度是根据对检索的监测需求进行设定的，检索监测区间是实时的，即检索监测区间的终点一直为当前的实时时间点。因此，检索监测区间的监测范围是不断随着时间的推移而变化的。
存储桶中的对象被检索是指通过对象存储服务从特定存储桶中检索对象的操作。
获取在检索监测区间内的检索请求，获取在检索监测区间内的检索请求的数量。
获取每个检索请求对应的存储桶处理检索请求所花费的时间。
当存储桶处理检索请求所花费的时间过长，可能说明存储桶的性能或响应能力存在问题，可能是由于存储桶内部的处理机制、硬件资源限制或者数据结构设计等问题导致的性能下降。
获取检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量，将检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量与检索监测区间内检索请求的数量的比值标记为正常检索比，正常检索比越小，存储桶处理检索请求所花费的时间过长的情况越严重，存储桶的运行状态越差，存储桶的使用可持续性越差。
检索处理时间阈值是本领域专业技术人员根据实际情况进行设定，例如对检索处理时间的要求标准等，此处不再赘述。
其中，存储桶处理检索请求所花费的时间为对象存储服务中存储桶处理检索请求并定位要检索的对象所花费的时间。
检索请求是指用户或应用程序通过对象存储服务向存储桶发起的请求，目的是获取存储桶中特定对象的数据。
在步骤S30中，在存储桶在存储数据的交互过程中的健康状况正常时，即当生成存储桶健康正常信号时，将存储桶在存储数据的交互过程中的健康状况、存储桶的存储过程的响应性能以及存储桶的使用可持续性进行综合分析，具体为：
由于在生成存储桶健康正常信号时存储桶在存储数据的交互过程中的运行状态较好或存在较低风险的运行不佳的情况，即存储桶在存储数据的交互过程中依然可能存在一定的不利影响，故将状态错误综合评估值、请求响应波动值以及正常检索比进行归一化处理，通过归一化处理后的状态错误综合评估值、请求响应波动值以及正常检索比计算存储桶综合性能评估系数，例如，可采用如下公式进行存储桶综合性能评估系数的计算，其表达式为：其中，Cctp、Qtcp、Xybz、Zcjb分别为存储桶综合性能评估系数、状态错误综合评估值、请求响应波动值以及正常检索比，α1、α2、α3分别为状态错误综合评估值、请求响应波动值以及正常检索比的预设比例系数，其中，α1、α2、α3均大于0。
存储桶综合性能评估系数越大，存储桶的运行状态存在的风险程度越高，对存储桶能够正常存储的不利影响越大。
设定存储桶综合性能评估第一阈值和存储桶综合性能评估第二阈值，其中，存储桶综合性能评估第一阈值小于存储桶综合性能评估第二阈值。
存储桶综合性能评估第一阈值和存储桶综合性能评估第二阈值是根据存储桶综合性能评估系数的大小，以及对存储桶运行的要求标准等其他实际情况进行设定，此处不再赘述。
将存储桶综合性能评估系数与存储桶综合性能评估第一阈值、存储桶综合性能评估第二阈值进行比较，具体为：
当存储桶综合性能评估系数大于存储桶综合性能评估第二阈值，生成存储桶性能高风险信号；此时存储桶的运行状态存在的风险程度较高，此时应立即停止存储桶的存储，避免因为存储桶的运行不佳而造成的损失，并安排专业技术人员采取措施进行检修。
当存储桶综合性能评估系数大于等于存储桶综合性能评估第一阈值，且存储桶综合性能评估系数小于等于存储桶综合性能评估第二阈值，生成存储桶性能中风险信号；此时存储桶的运行状态存在较低的风险，此时应对存储桶性能中风险信号存在的时间占比进行分析，进一步分析存储桶的运行的风险程度。
当存储桶综合性能评估系数小于存储桶综合性能评估第一阈值，生成存储桶性能低风险信号，此时存储桶的运行状态没有风险，运行良好，无需采取措施。
步骤S40：对存储桶的运行状态存在的风险程度进行再分析，对存储桶的运行状态进行提前预警，具体为：
获取时间T内生成存储桶性能中风险信号的时间长度，将时间T内生成存储桶性能中风险信号的时间长度与时间T对应的时间长度的比值标记为风险预警比，风险预警比越大，存储桶性能中风险信号占比越大，说明存储桶在未来的运行状态存在的风险程度较高的概率较大，根据风险预警比的大小，可以提前对存储桶性能进行预警，从而及早采取相应措施。
设定风险预警比阈值，当风险预警比大于风险预警比阈值，生成运行风险预警信号，此时根据生成的运行风险预警信号，可以采取以下措施：
发送告警通知给系统管理员、运维团队或其他相关人员，以便提前对对象存储进行关注；例如进行深入的故障排除，确定可能的问题的原因，并采取长期的解决方案。
当风险预警比小于等于风险预警比阈值，生成运行风险正常信号，无需采取措施。
其中，时间T是根据实际的监测需求进行设定的；风险预警比阈值是根据风险预警比的大小以及对存储桶性能中风险信号的生成的要求标准等其他实际情况进行设定，此处不再赘述。
为了更好的对对象存储的原理进行理解，图2给出了对象存储的数据结构图，其中：
Bucket(存储桶)：在对象存储服务中，存储桶是最顶层的容器，用于存储对象(文件、数据等)。
Key(键)：在对象存储中，Key是用于唯一标识存储桶中对象的名称。每个对象都有一个唯一的Key，它是在存储桶内部用于查找和检索对象的标识符。
Metadata(元数据)：Metadata是与对象关联的附加信息，通常是键值对的形式。元数据提供关于对象的描述性信息，例如对象的创建日期、所有者、文件类型等。元数据对于管理和组织对象存储非常重要。
Data(数据)：数据是实际存储在对象存储中的内容。这可以是文件、文本、图像等任何类型的数据。对象存储服务负责安全地存储和检索这些数据。
Object(对象)：在对象存储中，Object是指存储桶中的一个具体实例，包括数据、元数据和唯一的键。对象是基本的存储单元，通过Key唯一标识。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络，或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)，或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-on ly memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于存储服务的对象存储管理方法，其特征在于，包括如下步骤：
步骤S10：对存储桶在存储数据的交互过程中的发生错误的频繁情况和发生错误的紧密程度进行分析，评估存储桶在存储数据的交互过程中的健康状况；
步骤S20：对对象存储API请求的响应时间进行分析，评估存储桶的存储过程的响应性能；对近期存储桶中的对象被检索的过程的时间的异常情况进行分析，评估存储桶的使用可持续性；
步骤S30：在存储桶在存储数据的交互过程中的健康状况正常时，将存储桶在存储数据的交互过程中的健康状况、存储桶的存储过程的响应性能以及存储桶的使用可持续性进行综合分析，评估存储桶的运行状态存在的风险程度；
步骤S40：对存储桶的运行状态存在的风险程度进行再分析，对存储桶的运行状态进行提前预警；
步骤S10包括以下步骤：
步骤S101：设定状态错误监测区间；
步骤S102：统计在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量；
对状态错误监测区间内HTTP状态码错误的频率进行分析，计算状态错误比，状态错误比为状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误的数量与状态错误监测区间的时间长度的比值；
步骤S103：评估状态错误监测区间内HTTP状态码错误发生的紧密程度，具体为：
获取在状态错误监测区间内存储桶在存储数据的交互过程中HTTP状态码错误发生的时间点；
获取在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔，将在状态错误监测区间内存储桶在存储数据的交互过程中每相邻两个HTTP状态码错误发生之间的时间间隔标记为错误状态间隔；
获取在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量；将在状态错误监测区间内错误状态间隔小于错误状态间隔阈值的数量与状态错误监测区间的时间长度的比值标记为状态错误密切比；
步骤S104：将状态错误比和状态错误密切比进行去单位处理，将去单位处理后的状态错误比和状态错误密切比进行加权求和，计算状态错误综合评估值；
在步骤S20中，获取对象存储的存储过程中距离实时时间最近k次的API请求过程；获取每个API请求过程对应的响应时间；
将对象存储的存储过程中距离实时时间最近k次的API请求过程对应的响应时间的波动情况进行分析，计算请求响应波动值，其表达式为：其中，Xybz为请求响应波动值，q、k分别为在距离实时时间最近k次的API请求过程的编号以及在距离实时时间获取的最近的API请求过程的数量，q＝1、2、3、4、......、k，q为大于等于1的正整数，k为大于1的正整数；qxtq+1、qxtq分别为第q+1个API请求过程对应的响应时间以及第q个API请求过程对应的响应时间；
评估存储桶的使用可持续性，具体为：
设定检索监测区间；
获取在检索监测区间内的检索请求，获取在检索监测区间内的检索请求的数量；
获取每个检索请求对应的存储桶处理检索请求所花费的时间；
获取检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量，将检索监测区间内检索请求对应的存储桶处理检索请求所花费的时间小于等于检索处理时间阈值的检索请求的数量与检索监测区间内检索请求的数量的比值标记为正常检索比。
2.根据权利要求1所述的基于存储服务的对象存储管理方法，其特征在于：将状态错误综合评估值与状态错误综合评估阈值进行比较：
当状态错误综合评估值大于状态错误综合评估阈值，生成存储桶健康不佳信号；
当状态错误综合评估值小于等于状态错误综合评估阈值，生成存储桶健康正常信号。
3.根据权利要求2所述的基于存储服务的对象存储管理方法，其特征在于：在步骤S30中，当生成存储桶健康正常信号时，将状态错误综合评估值、请求响应波动值以及正常检索比进行归一化处理，通过归一化处理后的状态错误综合评估值、请求响应波动值以及正常检索比计算存储桶综合性能评估系数；
设定存储桶综合性能评估第一阈值和存储桶综合性能评估第二阈值，其中，存储桶综合性能评估第一阈值小于存储桶综合性能评估第二阈值；
将存储桶综合性能评估系数与存储桶综合性能评估第一阈值、存储桶综合性能评估第二阈值进行比较，具体为：
当存储桶综合性能评估系数大于存储桶综合性能评估第二阈值，生成存储桶性能高风险信号；
当存储桶综合性能评估系数大于等于存储桶综合性能评估第一阈值，且存储桶综合性能评估系数小于等于存储桶综合性能评估第二阈值，生成存储桶性能中风险信号；
当存储桶综合性能评估系数小于存储桶综合性能评估第一阈值，生成存储桶性能低风险信号。
4.根据权利要求3所述的基于存储服务的对象存储管理方法，其特征在于：对存储桶的运行状态进行提前预警，具体为：
获取时间T内生成存储桶性能中风险信号的时间长度，将时间T内生成存储桶性能中风险信号的时间长度与时间T对应的时间长度的比值标记为风险预警比；
当风险预警比大于风险预警比阈值，生成运行风险预警信号；
当风险预警比小于等于风险预警比阈值，生成运行风险正常信号。
CN202311673667.3A 2023-12-07 2023-12-07 基于存储服务的对象存储管理方法 Active CN117609248B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311673667.3A CN117609248B (zh) 2023-12-07 2023-12-07 基于存储服务的对象存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311673667.3A CN117609248B (zh) 2023-12-07 2023-12-07 基于存储服务的对象存储管理方法

Publications (2)

Publication Number Publication Date
CN117609248A CN117609248A (zh) 2024-02-27
CN117609248B true CN117609248B (zh) 2024-05-28

Family

ID=89959692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311673667.3A Active CN117609248B (zh) 2023-12-07 2023-12-07 基于存储服务的对象存储管理方法

Country Status (1)

Country Link
CN (1) CN117609248B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112035415A (zh) * 2020-08-28 2020-12-04 北京金山云网络技术有限公司 针对用户访问数据的处理系统、方法、设备及存储介质
CN113849352A (zh) * 2021-09-27 2021-12-28 北京金山云网络技术有限公司 业务数据存储异常处理方法、装置及服务器
CN114037519A (zh) * 2021-11-16 2022-02-11 中国工商银行股份有限公司 敞口风险评估方法、装置、计算机设备和存储介质
US11262944B1 (en) * 2019-09-30 2022-03-01 Amazon Technologies, Inc. Placement of data objects in storage for improved retrieval
CN114285647A (zh) * 2021-12-24 2022-04-05 苏州浪潮智能科技有限公司 一种分布式对象存储系统中桶异常访问检测方法及装置
CN114615203A (zh) * 2022-01-30 2022-06-10 阿里云计算有限公司 访问控制方法、装置、存储介质及处理器
CN114615177A (zh) * 2022-03-03 2022-06-10 腾讯科技（深圳）有限公司 一种云平台的负载检测方法、装置、电子设备和存储介质
CN116992245A (zh) * 2023-09-27 2023-11-03 江西珉轩大数据有限公司 一种分布式时序数据分析处理方法
CN117150508A (zh) * 2023-09-06 2023-12-01 国网河南省电力公司信息通信分公司 一种基于云平台的物联网终端风险评估方法与系统
CN117155703A (zh) * 2023-10-26 2023-12-01 长春市星启含网络科技有限公司 一种网络安全测试评估系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11134053B2 (en) * 2019-07-17 2021-09-28 International Business Machines Corporation Determining cache time to live in an object storage system
US20230350760A1 (en) * 2022-04-28 2023-11-02 Netapp Inc. Physical size api for snapshots backed up to object store

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11262944B1 (en) * 2019-09-30 2022-03-01 Amazon Technologies, Inc. Placement of data objects in storage for improved retrieval
CN112035415A (zh) * 2020-08-28 2020-12-04 北京金山云网络技术有限公司 针对用户访问数据的处理系统、方法、设备及存储介质
CN113849352A (zh) * 2021-09-27 2021-12-28 北京金山云网络技术有限公司 业务数据存储异常处理方法、装置及服务器
CN114037519A (zh) * 2021-11-16 2022-02-11 中国工商银行股份有限公司 敞口风险评估方法、装置、计算机设备和存储介质
CN114285647A (zh) * 2021-12-24 2022-04-05 苏州浪潮智能科技有限公司 一种分布式对象存储系统中桶异常访问检测方法及装置
CN114615203A (zh) * 2022-01-30 2022-06-10 阿里云计算有限公司 访问控制方法、装置、存储介质及处理器
CN114615177A (zh) * 2022-03-03 2022-06-10 腾讯科技（深圳）有限公司 一种云平台的负载检测方法、装置、电子设备和存储介质
CN117150508A (zh) * 2023-09-06 2023-12-01 国网河南省电力公司信息通信分公司 一种基于云平台的物联网终端风险评估方法与系统
CN116992245A (zh) * 2023-09-27 2023-11-03 江西珉轩大数据有限公司 一种分布式时序数据分析处理方法
CN117155703A (zh) * 2023-10-26 2023-12-01 长春市星启含网络科技有限公司 一种网络安全测试评估系统及方法

Also Published As

Publication number Publication date
CN117609248A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
KR101114093B1 (ko) 컴퓨터 시스템의 컨피규레이션 오류를 다른 컴퓨터 시스템의 컨피규레이션에 기초하여 문제 해결하기 위한 방법 및시스템
US11212208B2 (en) Adaptive metric collection, storage, and alert thresholds
US8352867B2 (en) Predictive monitoring dashboard
CN110661659A (zh) 一种告警方法、装置、系统及电子设备
US20100153431A1 (en) Alert triggered statistics collections
CN108363657B (zh) 监控app客户端埋点数据采集完整性的方法、设备以及介质
US10896073B1 (en) Actionability metric generation for events
JP2019507454A (ja) アプリケーションの実行中に観察される問題の根本原因を特定する方法
US20120136816A1 (en) Network analysis system
US11196613B2 (en) Techniques for correlating service events in computer network diagnostics
US9235982B2 (en) Determining alert criteria in a network environment
US9235463B2 (en) Device and method for fault management of smart device
CN116204385A (zh) 一种计算机日志监控方法及系统
US7752303B2 (en) Data reporting using distribution estimation
CN117609248B (zh) 基于存储服务的对象存储管理方法
CN113656247A (zh) 一种服务监控方法、装置、电子设备及可读存储介质
CN111427959B (zh) 一种数据存储方法及装置
WO2021106014A1 (en) System and method for anomaly detection and root cause automation using shrunk dynamic call graphs
CN116089427A (zh) 电子档案多介质融合存储的管理方法及系统
CN112416731B (zh) 应用于区块链系统的稳定性监测方法及装置
CN115185778A (zh) 数据库的监控方法及装置
US11929867B1 (en) Degradation engine execution triggering alerts for outages
CN112231326B (zh) 一种检测Ceph对象的方法和服务器
US20240179044A1 (en) Monitoring service health statuses to raise alerts
CN115705239A (zh) 一种业务优化方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant