CN108111600A - 一种数据管理方法和智能运维平台 - Google Patents

一种数据管理方法和智能运维平台 Download PDF

Info

Publication number
CN108111600A
CN108111600A CN201711382097.7A CN201711382097A CN108111600A CN 108111600 A CN108111600 A CN 108111600A CN 201711382097 A CN201711382097 A CN 201711382097A CN 108111600 A CN108111600 A CN 108111600A
Authority
CN
China
Prior art keywords
data
terminal
clusters
resource occupation
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711382097.7A
Other languages
English (en)
Inventor
张东文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Service Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Service Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Service Information Technology Co Ltd filed Critical Shandong Inspur Cloud Service Information Technology Co Ltd
Priority to CN201711382097.7A priority Critical patent/CN108111600A/zh
Publication of CN108111600A publication Critical patent/CN108111600A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种数据管理方法和智能运维平台，其中，该方法包括：从至少两种类型的终端中分别采集终端数据；对采集到的所述终端数据进行处理，展示处理结果。本发明提供的方案具有更大的适用范围。

Description

一种数据管理方法和智能运维平台
技术领域
本发明涉及大数据技术领域，特别涉及一种数据管理方法和智能运维平台。
背景技术
近年来，随着云计算及大数据的迅速发展，互联网企业IT运行环境日趋复杂，互联网上的设备、应用越来越多，运行监控工作难度不断加大。
现有的方法一般针对单一类型终端的数据进行管理，例如，在实际应用场景中，该方法仅对Hadoop集群的运行状态数据进行管理。
但是，该方法适用范围较小。
发明内容
本发明实施例提供了一种数据管理方法和智能运维平台，具有更大的适用范围。
第一方面，本发明实施例提供了一种数据管理方法，包括：
从至少两种类型的终端中分别采集终端数据；
对采集到的所述终端数据进行处理，展示处理结果。
优选地，
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
按照预先设置的时间阈值，周期性地对采集到的所述终端数据进行统计；
根据统计结果，生成至少一个报表；
展示各个所述报表。
优选地，
所述终端数据，包括：资源占用数据；
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
判断采集到的所述资源占用数据是否大于预先设置的占用阈值，如果是，展示所述资源占用数据，并发送告警信号；
所述资源占用数据，包括：CPU占用率，或，内存占用率。
优选地，
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
针对每一种类型的终端，均执行：根据从当前类型的终端采集到的所述终端数据，生成聚合图形，展示所述聚合图形；
所述终端的类型，包括：Hadoop集群、Redis集群。
优选地，
所述终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种；
优选地，
所述终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
第二方面，本发明实施例提供了一种智能运维平台，包括：
采集单元，用于从至少两种类型的终端中分别采集终端数据；
处理单元，用于对所述采集单元采集到的所述终端数据进行处理，展示处理结果。
优选地，
所述处理单元，用于按照预先设置的时间阈值，周期性地对采集到的所述终端数据进行统计；根据统计结果，生成至少一个报表；展示各个所述报表。
优选地，
所述终端数据，包括：资源占用数据；
所述处理单元，用于判断采集到的所述资源占用数据是否大于预先设置的占用阈值，如果是，展示所述资源占用数据，并发送告警信号；
所述资源占用数据，包括：CPU占用率，或，内存占用率。
优选地，
所述处理单元，用于针对每一种类型的终端，均执行：根据从当前类型的终端采集到的所述终端数据，生成聚合图形，展示所述聚合图形；
所述终端的类型，包括：Hadoop集群、Redis集群。
优选地，
所述终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种；
优选地，
所述终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
本发明实施例提供了一种数据管理方法和智能运维平台，其中，该方法能够从不同类型的终端中采集终端数据，对采集到的终端数据进行处理，并展示处理结果。与现有方法仅对单一类型终端的数据进行管理相比，该方法具有更大的适用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的一种数据管理方法的流程图；
图2是本发明一个实施例提供的一种智能运维平台的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种数据管理方法，该方法可以包括以下步骤：
步骤101：从至少两种类型的终端中分别采集终端数据；
步骤102：对采集到的终端数据进行处理，展示处理结果。
该方法能够从不同类型的终端中采集终端数据，对采集到的终端数据进行处理，并展示处理结果。与现有方法仅对单一类型终端的数据进行管理相比，该方法具有更大的适用范围。
本发明支持的采集协议主要包括：Agent、Trapper、SNMP(Simple NetworkManagement Protocol，简单网络管理协议)、JMX(Java Management Extensions，Java管理扩展)、IPMI(Intelligent Platform Management Interface，智能平台管理接口)等，可对大数据服务平台提供全面的系统的监控。系统同时可以接入多种网络设备，通过SNMP方式实时获取网络运行状态，并根据网络流量信息制作出网络运行画像。
该方法能够将处理结果第一时间通过邮件、微信、短信等多种途径通知运维人员。
在本发明的一个实施例中，为了向管理人员定期展示汇总的数据，对采集到的终端数据进行处理，展示处理结果，包括：
按照预先设置的时间阈值，周期性地对采集到的终端数据进行统计；
根据统计结果，生成至少一个报表；
展示各个报表。
时间阈值可以设置成任意需要的时间，例如，以日为周期，则在T+1日的1:00汇总T日的数据信息；以月为周期，则在T+1月+1日的1:00汇总T月的数据信息，并形成报表。
在实际应用场景中，还可以实时统计并展示采集的数据，例如，将采集到的数据通过处理后，以秒为单位对当前的数据进行汇总和汇报，从而生成实时指标。
在本发明的一个实施例中，为了及时发现服务器被攻击或业务异常情况，终端数据，包括：资源占用数据；
对采集到的终端数据进行处理，展示处理结果，包括：
判断采集到的资源占用数据是否大于预先设置的占用阈值，如果是，展示资源占用数据，并发送告警信号；
资源占用数据，包括：CPU占用率，或，内存占用率。
在本发明实施例中，通过联动CPU及内存以及网络等重要参数可以判断服务器是否处于被攻击或业务异常状态，通过定制大量的监控项可全面监控重要程度较高的服务器，提升运维工作效率
在本发明的一个实施例中，对采集到的终端数据进行处理，展示处理结果，包括：
针对每一种类型的终端，均执行：根据从当前类型的终端采集到的终端数据，生成聚合图形，展示聚合图形；
终端的类型，包括：Hadoop集群、Redis集群。
对于对集群性能要求较高的Hadoop、Redis等进行聚合数据展示，可一览查看集群占用情况。
在本发明的一个实施例中，终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种。
在本发明的一个实施例中，终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
例如，在实际应用场景中，终端数据包括：CPU、内存、硬盘、进程占用资源、数据库运行状态、空间容量和业务运行状态等。
如图2所示，本发明实施例提供了一种智能运维平台，包括：
采集单元201，用于从至少两种类型的终端中分别采集终端数据；
处理单元202，用于对采集单元采集到的终端数据进行处理，展示处理结果。
在本发明的一个实施例中，处理单元202，用于按照预先设置的时间阈值，周期性地对采集到的终端数据进行统计；根据统计结果，生成至少一个报表；展示各个报表。
在本发明的一个实施例中，终端数据，包括：资源占用数据；
处理单元202，用于判断采集到的资源占用数据是否大于预先设置的占用阈值，如果是，展示资源占用数据，并发送告警信号；
资源占用数据，包括：CPU占用率，或，内存占用率。
在本发明的一个实施例中，处理单元202，用于针对每一种类型的终端，均执行：根据从当前类型的终端采集到的终端数据，生成聚合图形，展示聚合图形；
终端的类型，包括：Hadoop集群、Redis集群。
在本发明的一个实施例中，终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种。
在本发明的一个实施例中，终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
该平台可以对数据保留时间进行自定义化的配置，可配置历史数据保留时间(1个月、三个月、半年、一年等)，还能够可将系统内所有的资产进行分类，根据分类将不同的集群系统有的网络流量、磁盘空间、CPU、内存等使用及剩余情况进行统计分类。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明实施例提供了一种可读介质，包括执行指令，当存储控制器的处理器执行执行指令时，存储控制器执行上述任一实施例的方法。
本发明实施例提供了一种存储控制器，包括：处理器、存储器和总线；
存储器用于存储执行指令，处理器与存储器通过总线连接，当存储控制器运行时，处理器执行存储器存储的执行指令，以使存储控制器执行上述任一实施例的方法。
综上，本发明各个实施例至少具有如下效果：
1、在本发明实施例中，该方法能够从不同类型的终端中采集终端数据，对采集到的终端数据进行处理，并展示处理结果。与现有方法仅对单一类型终端的数据进行管理相比，该方法具有更大的适用范围。
2、在本发明实施例中，该方法可以自定义时间生成聚合图形，通过一定时间重要参数的历史数据处理、提取，可以对未来的周期变化及运行趋势做出一定的预测，从而为运维人员及时发现系统瓶颈，预估使用寿命、升级优化、扩容等操作提供极强的预警能力。
3、在本发明实施例中，该方法兼容数据采集、数据处理、实时告警展示及运维平台管理等多种功能，平台即可以实时查看告警信息、资产信息等，也可以实时联动业务工单，对于业务人员提交的问题及工单可统一进行处理；提升运维人员维护效率，降低运维成本。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃····〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据管理方法，其特征在于，包括：
从至少两种类型的终端中分别采集终端数据；
对采集到的所述终端数据进行处理，展示处理结果。
2.根据权利要求1所述的数据管理方法，其特征在于，
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
按照预先设置的时间阈值，周期性地对采集到的所述终端数据进行统计；
根据统计结果，生成至少一个报表；
展示各个所述报表。
3.根据权利要求1所述的数据管理方法，其特征在于，
所述终端数据，包括：资源占用数据；
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
判断采集到的所述资源占用数据是否大于预先设置的占用阈值，如果是，展示所述资源占用数据，并发送告警信号；
所述资源占用数据，包括：CPU占用率，或，内存占用率。
4.根据权利要求1所述的数据管理方法，其特征在于，
所述对采集到的所述终端数据进行处理，展示处理结果，包括：
针对每一种类型的终端，均执行：根据从当前类型的终端采集到的所述终端数据，生成聚合图形，展示所述聚合图形；
所述终端的类型，包括：Hadoop集群、Redis集群。
5.根据权利要求1所述的数据管理方法，其特征在于，
所述终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种；
和/或，
所述终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
6.一种智能运维平台，其特征在于，包括：
采集单元，用于从至少两种类型的终端中分别采集终端数据；
处理单元，用于对所述采集单元采集到的所述终端数据进行处理，展示处理结果。
7.根据权利要求6所述的智能运维平台，其特征在于，
所述处理单元，用于按照预先设置的时间阈值，周期性地对采集到的所述终端数据进行统计；根据统计结果，生成至少一个报表；展示各个所述报表。
8.根据权利要求6所述的智能运维平台，其特征在于，
所述终端数据，包括：资源占用数据；
所述处理单元，用于判断采集到的所述资源占用数据是否大于预先设置的占用阈值，如果是，展示所述资源占用数据，并发送告警信号；
所述资源占用数据，包括：CPU占用率，或，内存占用率。
9.根据权利要求6所述的智能运维平台，其特征在于，
所述处理单元，用于针对每一种类型的终端，均执行：根据从当前类型的终端采集到的所述终端数据，生成聚合图形，展示所述聚合图形；
所述终端的类型，包括：Hadoop集群、Redis集群。
10.根据权利要求6所述的智能运维平台，其特征在于，
所述终端的类型，包括：Hadoop集群、Redis集群、MySQL集群、Oracle集群、云节点和Web集群中任意一种或多种；
和/或，
所述终端数据，包括：运行状态数据、资源占用数据、主机数据、存储数据、网络数据和虚拟资源数据中任意一种或多种。
CN201711382097.7A 2017-12-20 2017-12-20 一种数据管理方法和智能运维平台 Pending CN108111600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711382097.7A CN108111600A (zh) 2017-12-20 2017-12-20 一种数据管理方法和智能运维平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711382097.7A CN108111600A (zh) 2017-12-20 2017-12-20 一种数据管理方法和智能运维平台

Publications (1)

Publication Number Publication Date
CN108111600A true CN108111600A (zh) 2018-06-01

Family

ID=62211322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711382097.7A Pending CN108111600A (zh) 2017-12-20 2017-12-20 一种数据管理方法和智能运维平台

Country Status (1)

Country Link
CN (1) CN108111600A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109245927A (zh) * 2018-09-06 2019-01-18 郑州云海信息技术有限公司 云数据系统中的告警系统和方法
CN111159140A (zh) * 2019-12-31 2020-05-15 咪咕文化科技有限公司 数据处理方法、装置、电子设备及存储介质
CN112118131A (zh) * 2020-09-01 2020-12-22 紫光云(南京)数字技术有限公司 一种高可靠快捷扩容的云资源管理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304901A1 (en) * 2012-05-11 2013-11-14 James Malnati Automated integration of disparate system management tools
CN104331354A (zh) * 2014-11-20 2015-02-04 普华基础软件股份有限公司 一种云计算的实时综合监控方法
CN104639347A (zh) * 2013-11-07 2015-05-20 北大方正集团有限公司 一种多集群监控方法、装置及系统
CN104917836A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分析计算设备可用性的方法及装置
CN105718351A (zh) * 2016-01-08 2016-06-29 北京汇商融通信息技术有限公司 一种面向Hadoop集群的分布式监控管理系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130304901A1 (en) * 2012-05-11 2013-11-14 James Malnati Automated integration of disparate system management tools
CN104639347A (zh) * 2013-11-07 2015-05-20 北大方正集团有限公司 一种多集群监控方法、装置及系统
CN104331354A (zh) * 2014-11-20 2015-02-04 普华基础软件股份有限公司 一种云计算的实时综合监控方法
CN104917836A (zh) * 2015-06-10 2015-09-16 北京奇虎科技有限公司 基于集群监控分析计算设备可用性的方法及装置
CN105718351A (zh) * 2016-01-08 2016-06-29 北京汇商融通信息技术有限公司 一种面向Hadoop集群的分布式监控管理系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109245927A (zh) * 2018-09-06 2019-01-18 郑州云海信息技术有限公司 云数据系统中的告警系统和方法
CN111159140A (zh) * 2019-12-31 2020-05-15 咪咕文化科技有限公司 数据处理方法、装置、电子设备及存储介质
CN111159140B (zh) * 2019-12-31 2023-09-19 咪咕文化科技有限公司 数据处理方法、装置、电子设备及存储介质
CN112118131A (zh) * 2020-09-01 2020-12-22 紫光云(南京)数字技术有限公司 一种高可靠快捷扩容的云资源管理方法

Similar Documents

Publication Publication Date Title
CN109714192B (zh) 一种监控云平台的监控方法及系统
CN103716173B (zh) 一种存储监控系统及监控告警发布的方法
CN107528870B (zh) 一种数据采集方法及其设备
CN104572401A (zh) 一种告警方法及告警系统
WO2019223062A1 (zh) 系统异常的处理方法和系统
CN110247810A (zh) 一种收集容器服务监控数据的系统及方法
CN103905533A (zh) 基于云存储的分布式告警监控方法和系统
CN107979477A (zh) 一种业务监控的方法及系统
CN108111600A (zh) 一种数据管理方法和智能运维平台
CN103281366A (zh) 一种支持实时运行状态获取的嵌入式代理监控装置及方法
CN109034580B (zh) 一种基于大数据分析的信息系统整体健康度评估方法
CN103220173A (zh) 一种报警监控方法及监控系统
CN109670690A (zh) 数据信息中心监控预警方法、系统及设备
CN107807872A (zh) 一种输变电系统运行状态监测方法
CN108182139B (zh) 预警方法、装置和系统
CN107124315A (zh) 基于snmp及ipmi协议的多服务器监测系统及监测方法
CN109800133A (zh) 一种统一监控告警的方法、一站式监控告警平台及系统
CN104574219A (zh) 电网业务信息系统运行工况的监测预警方法及系统
CN103326874A (zh) 告警管理系统及方法
CN105516293A (zh) 一种智能变电站云资源监控系统
CN112162829B (zh) 一种边缘计算场景下的资源监控数据预处理系统
CN111049673A (zh) 一种服务网关中api调用统计和监控的方法及系统
CN107222346A (zh) 一种集群节点健康状态预警方法及系统
CN105471625B (zh) 一种资源池业务健康的监控方法和系统
CN111339052A (zh) 一种非结构化日志数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180601