CN111190803A - 一种性能统计数据的收集和存储方法及装置 - Google Patents

一种性能统计数据的收集和存储方法及装置 Download PDF

Info

Publication number
CN111190803A
CN111190803A CN201911371289.7A CN201911371289A CN111190803A CN 111190803 A CN111190803 A CN 111190803A CN 201911371289 A CN201911371289 A CN 201911371289A CN 111190803 A CN111190803 A CN 111190803A
Authority
CN
China
Prior art keywords
performance
management module
performance statistics
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911371289.7A
Other languages
English (en)
Other versions
CN111190803B (zh
Inventor
李会博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Zhongke Shuguang Storage Technology Co Ltd
Original Assignee
Tianjin Zhongke Shuguang Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Zhongke Shuguang Storage Technology Co Ltd filed Critical Tianjin Zhongke Shuguang Storage Technology Co Ltd
Priority to CN201911371289.7A priority Critical patent/CN111190803B/zh
Publication of CN111190803A publication Critical patent/CN111190803A/zh
Application granted granted Critical
Publication of CN111190803B publication Critical patent/CN111190803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种性能统计数据的收集和存储方法及装置，该方法包括：第一管理模块向第二管理模块发送查询性能统计数据请求；响应于所述请求，所述第二管理模块向所述第一管理模块发送性能统计数据的原始信息；其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。基于该方法，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。此外，本申请还提供了相应的性能统计数据的收集和存储装置。

Description

一种性能统计数据的收集和存储方法及装置
技术领域
本发明涉及计算机数据存储技术领域，具体来说，涉及一种性能统计数据的收集和存储方法及装置。
背景技术
随着大数据和云计算的不断普及和扩展，对存储系统的要求也越来越高。现有的宏杉800-G25分布式存储系统可以部署在Windows或Linux操作系统上，可以通过web的方式进行访问。但是，其受限于原有的设计框架，只能支持保存一个月的审计及统计日志且不可配置，保存数据策略不灵活。此外还具有可配置行不高的缺点。
发明内容
针对相关技术中存储系统保存数据策略不灵活的问题，本发明提出一种性能统计数据的收集和存储方法，能够灵活地对各项性能统计指标进行实时进行配置。
本发明的技术方案是这样实现的：根据本发明的一个方面，提供了一种性能统计数据的收集和存储方法，包括：
第一管理模块(oJmgs)向第二管理模块(oMgcd)发送查询性能统计数据请求；
响应于所述请求，所述第二管理模块向所述第一管理模块发送性能统计数据的原始信息；
其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。
其中，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。
其中，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。
其中，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。
其中，所述第一管理模块通过拓扑将性能指标信息发送至后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以同步所述后端模块与所述第一模块中的性能指标信息。
根据本发明的另一方面，提供了一种性能统计数据的收集和存储装置，包括：
第一管理模块，发送查询性能统计数据请求；
第二管理模块，接收所述性能统计数据请求并向所述第一管理模块发送性能统计数据的原始信息，其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。
其中，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。
其中，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。
其中，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。
其中，所述性能统计数据的收集和存储装置还包括后端模块；所述第一管理模块通过拓扑将性能指标信息发送至所述后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以实现所述后端模块与所述第一模块的同步。
基于以上的性能统计数据的收集和存储方法和装置，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例所提供的性能统计数据的收集和存储系统的示意图；
图2是根据本申请实施例所提供的性能统计数据的收集和存储方法的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
参见图1和图2，本申请提供了一种性能统计数据的收集和存储方法，该方法包括
第一管理模块向第二管理模块发送查询性能统计数据请求；
响应于请求，第二管理模块向第一管理模块发送性能统计数据的原始信息；
其中，第二管理模块收集性能统计数据的原始信息并将性能统计数据的原始信息存储在第二管理模块的数据库中。
其中，第一管理模块包括oJmgs，即由Java语言实现的存储系统的管理模块，第二管理模块包括oMgcd,即由C语言实现的各个节点的管理模块。
基于以上的性能统计数据的收集和存储方法，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。
在一些实施例中，性能统计数据包括性能监控数据和全局性能监控数据。对于性能监控数据又包括原始数据(即oMgcd单点收集和存储，未经计算和处理的数据)和结果数据(即经过处理和计算的数据)。这部分结果数据只占总数据的小部分。这小部分的结果数据叫做全局性能监控数据，可以按照和事件告警数据一样的存储方式来存储。而对于单点性能统计数据，用户可以自由选择时间进行转储，如果用户不选择转储性能统计数据的话，性能统计数据会定时进行删除。对于全局性能监控数据，其存储在一个默认的卷中。
在一些实施例中，对于单点性能统计数据，第二管理模块计算和处理性能统计数据的原始信息并获得性能值，之后将在第二管理模块的数据库中的性能统计数据的原始信息删除。
具体的，每个oMgcd负责收集本节点上的性能统计数据的原始信息(即没有经过计算的数据，比如统计某一时刻该节点的IO总数)的，并记录在RocksDB(即一种单机持久化Key-Value数据库)中。由于oMgcd上的记录的都是原始数据，在进行计算和处理得到性能值之后可以直接删除该原始数据，所以不需要进行长期存储。所以这些原始数据要定时进行清理，比如保留1小时的原始数据，因为oJmgs可配置的最长采集周期是1小时。
在一些实施例中，对于全局性能统计数据，第一管理模块获取性能统计数据的原始信息，计算并处理性能统计数据的原始信息以获取结果数据，并将结果数据存储在第一管理模块的数据库中。
具体的，全局性能统计数据是oJmgs定时(定时功能可以通过启动一个定时处理线程来实现)从oMgcd查询出原始数据并计算处理之后的数据，存储在oJgms的主上面的RocksDB中。但由于RocksDB是单机数据库系统，而oJgms可能切主，所以需要将RocksDB的数据文件存储在分布式存储系统中一个默认的卷中。
在一些实施例中，第一管理模块通过拓扑将性能指标信息发送至后端模块，后端模块接收性能指标信息，第二管理模块在请求查询后获取性能指标信息并存储在第二管理模块的数据库中，第一管理模块从第二管理模块收集和获取性能指标信息，以同步后端模块与第一模块中的性能指标信息。
具体的，为了方便指标的修改和添加，应尽量减少中间流程对指标的意义的理解，而指标信息的收集端(即各后端模块)和oJmgs对指标意义的感知不可避免。所以需要在后端模块和oJmgs之间进行指标信息的同步，这样才能正确的对收集上来的数据进行解析。因此，oJmgs需要将指标信息(即各指标的名称、指标的顺序)同步给各后端模块。具体的步骤如下：
步骤1、oJmgs通过拓扑将指标信息发送至各后端模块(指标信息可以放在各后端模块的Service信息中)。
步骤2、后端模块根据拓扑中的指标信息，填充性能统计数据并在oMgcd查询时发送至oMgcd，记录到oMgcd的RocksDB中。
步骤3、oJmgs根据相同的规则解析收集上来的数据。
此外，值得注意的是，性能统计原始数据的收集和存储方法可以如下：
oJmgs按照用户配置的采集周期向oMgcd查询性能统计数据的原始信息。
oJmgs输入需要查询的表名和时间点，oMgcd从本地RocksDB中查询出对应的数据并将数据及实际时间点返回给oJmgs；比如：oJmgs需要查询oStor在2018090505时刻的数据，而oMgcd上记录的数据的key可能没有这个时间点，这时oMgcd需要取出距离这一时刻最近的过去的某个时刻的值，比如：2018090504，并将value值和实际时间点返回给oJmgs。oJmgs以查询的时间点为实际时间点记录和计算数据。而且，由于管理模块的各节点上的时间可能不一致，在各节点独立记录数据，时间可能不一致，这种情况无法避免，所以收集上来的数据的时间可能有一定的误差。
综上，基于以上的性能统计数据的收集和存储方法，本申请能够灵活地对各项性能统计指标进行实时进行配置和查询、并且高效、快速地查询和分析历史数据。而且有健全的容错机制，能够保证在各种异常场景下历史性能数据不丢失。此外还能够对历史数据进行定时清理，防止占用过多存储空间。
此外，本申请提供了与性能统计数据的采集和存储方法相对应的装置，该装置包括第一管理模块，用于发送查询性能统计数据请求；第二管理模块用于接收性能统计数据请求并向第一管理模块发送性能统计数据的原始信息，其中，第二管理模块收集性能统计数据的原始信息并将性能统计数据的原始信息存储在第二管理模块的数据库中。
在上述的记载中，已经介绍了该装置中第一管理模块和第二管理模块的原理和方法，在此不再赘述。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种性能统计数据的收集和存储方法，其特征在于，包括：
第一管理模块向第二管理模块发送查询性能统计数据请求；
响应于所述请求，所述第二管理模块向所述第一管理模块发送性能统计数据的原始信息；
其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。
2.根据权利要求1所述的性能统计数据的收集和存储方法，其特征在于，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。
3.根据权利要求2所述的性能统计数据的收集和存储方法，其特征在于，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。
4.根据权利要求3所述的性能统计数据的收集和存储方法，其特征在于，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。
5.根据权利要求1所述的性能统计数据的收集和存储方法，其特征在于，所述第一管理模块通过拓扑将性能指标信息发送至后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以同步所述后端模块与所述第一模块中的性能指标信息。
6.一种性能统计数据的收集和存储装置，其特征在于，包括：
第一管理模块，发送查询性能统计数据请求；
第二管理模块，接收所述性能统计数据请求并向所述第一管理模块发送性能统计数据的原始信息，其中，所述第二管理模块收集所述性能统计数据的原始信息并将所述性能统计数据的原始信息存储在所述第二管理模块的数据库中。
7.根据权利要求6所述的性能统计数据的收集和存储装置，其特征在于，对于单点性能统计数据，所述第二管理模块计算和处理所述性能统计数据的原始信息并获得性能值，之后将在所述第二管理模块的数据库中的所述性能统计数据的原始信息删除。
8.根据权利要求7所述的性能统计数据的收集和存储装置，其特征在于，对于全局性能统计数据，所述第一管理模块获取所述性能统计数据的原始信息，计算并处理所述性能统计数据的原始信息以获取结果数据，并将所述结果数据存储在所述第一管理模块的数据库中。
9.根据权利要求8所述的性能统计数据的收集和存储装置，其特征在于，所述数据库包括单机数据库系统，所述全局性能统计数据存储在分布式存储系统的默认卷中。
10.根据权利要求6所述的性能统计数据的收集和存储装置，其特征在于，所述性能统计数据的收集和存储装置还包括后端模块；所述第一管理模块通过拓扑将性能指标信息发送至所述后端模块，所述后端模块接收所述性能指标信息，所述第二管理模块在请求查询后获取所述性能指标信息并存储在所述第二管理模块的数据库中，所述第一管理模块从所述第二管理模块收集和获取所述性能指标信息，以实现所述后端模块与所述第一模块的同步。
CN201911371289.7A 2019-12-27 2019-12-27 一种性能统计数据的收集和存储方法及装置 Active CN111190803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911371289.7A CN111190803B (zh) 2019-12-27 2019-12-27 一种性能统计数据的收集和存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911371289.7A CN111190803B (zh) 2019-12-27 2019-12-27 一种性能统计数据的收集和存储方法及装置

Publications (2)

Publication Number Publication Date
CN111190803A true CN111190803A (zh) 2020-05-22
CN111190803B CN111190803B (zh) 2024-01-30

Family

ID=70707602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911371289.7A Active CN111190803B (zh) 2019-12-27 2019-12-27 一种性能统计数据的收集和存储方法及装置

Country Status (1)

Country Link
CN (1) CN111190803B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100650584B1 (ko) * 2005-08-16 2006-11-29 엘지노텔 주식회사 이엠에스의 성능관리모듈에서 통계데이터 오류 통보방법
CN102075964A (zh) * 2009-11-24 2011-05-25 大唐移动通信设备有限公司 网管系统获取性能数据的方法和设备
CN102075363A (zh) * 2011-01-28 2011-05-25 大唐移动通信设备有限公司 一种性能指标的管理方法和设备
CN102413498A (zh) * 2011-11-22 2012-04-11 大唐移动通信设备有限公司 一种上报、获得性能数据文件的方法及装置
CN106936660A (zh) * 2015-12-31 2017-07-07 华为软件技术有限公司 数据采集方法和装置
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107977167A (zh) * 2017-12-01 2018-05-01 西安交通大学 一种基于纠删码的分布式存储系统的退化读优化方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100650584B1 (ko) * 2005-08-16 2006-11-29 엘지노텔 주식회사 이엠에스의 성능관리모듈에서 통계데이터 오류 통보방법
CN102075964A (zh) * 2009-11-24 2011-05-25 大唐移动通信设备有限公司 网管系统获取性能数据的方法和设备
CN102075363A (zh) * 2011-01-28 2011-05-25 大唐移动通信设备有限公司 一种性能指标的管理方法和设备
CN102413498A (zh) * 2011-11-22 2012-04-11 大唐移动通信设备有限公司 一种上报、获得性能数据文件的方法及装置
CN106936660A (zh) * 2015-12-31 2017-07-07 华为软件技术有限公司 数据采集方法和装置
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107977167A (zh) * 2017-12-01 2018-05-01 西安交通大学 一种基于纠删码的分布式存储系统的退化读优化方法

Also Published As

Publication number Publication date
CN111190803B (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN110661659B (zh) 一种告警方法、装置、系统及电子设备
CN107766575B (zh) 读写分离的数据库访问方法及装置
CN112751726B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN109165133B (zh) 数据监控方法、装置、设备及存储介质
CN111143158A (zh) 一种监控数据实时存储方法、系统、电子设备及存储介质
CN107491458B (zh) 一种存储时间序列数据的方法和装置以及系统
CN112650728A (zh) 接口信息存储方法、装置、服务器及分布式业务系统
CN111314158A (zh) 大数据平台监控方法、装置及设备、介质
US8136012B2 (en) Method and system for updating topology changes of a computer network
CN111125109A (zh) 一种基于时间分组累计算法的实时统计报表系统
CN106951360B (zh) 数据统计完整度计算方法和系统
CN111522870B (zh) 数据库访问方法、中间件和可读存储介质
CN111190803A (zh) 一种性能统计数据的收集和存储方法及装置
CN109873858B (zh) 一种业务数据分布式监控方法和分布式监控集群
CN113472881B (zh) 在线终端设备的统计方法和装置
US11782873B2 (en) System and method for managing timeseries data
CN113407415A (zh) 智能终端的日志管理方法和装置
CN114090577A (zh) 时序数据的存储、读取方法及装置
CN115114316A (zh) 一种高并发数据的处理方法、装置、集群和存储介质
CN117609315B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN112016025A (zh) 数据采集方法、装置及终端设备
CN111782588A (zh) 一种文件读取方法、装置、设备和介质
CN112925686A (zh) 数据采集方法、服务器、系统及存储介质
US20140297691A1 (en) Device and method for processing history data
CN116450621A (zh) 核心数据库管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant