CN108829560B - 数据监控方法、装置、计算机设备及存储介质 - Google Patents

数据监控方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN108829560B
CN108829560B CN201810556983.5A CN201810556983A CN108829560B CN 108829560 B CN108829560 B CN 108829560B CN 201810556983 A CN201810556983 A CN 201810556983A CN 108829560 B CN108829560 B CN 108829560B
Authority
CN
China
Prior art keywords
monitoring
middleware
data
configuration file
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810556983.5A
Other languages
English (en)
Other versions
CN108829560A (zh
Inventor
丁文祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810556983.5A priority Critical patent/CN108829560B/zh
Priority to PCT/CN2018/100966 priority patent/WO2019227689A1/zh
Publication of CN108829560A publication Critical patent/CN108829560A/zh
Application granted granted Critical
Publication of CN108829560B publication Critical patent/CN108829560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G06F11/3068—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data format conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请公开了一种数据监控方法、装置、计算机设备及存储介质，所述方法包括：获取中间件对应的配置文件；根据所述配置文件的文件内容识别所述中间件的类型信息；获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；根据所述预设采集规则采集所述中间件对应的监控数据；根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。该方法针对不同中间件采用不同的采集规则和数据整理规则，以整理成统一的数据格式发送至监控系统进行展示和告警，由此实现了不同中间件的统一监控管理，进而方便了中间件的数据监控和管理。

Description

数据监控方法、装置、计算机设备及存储介质
技术领域
本申请涉及互联网技术领域，尤其涉及一种数据监控方法、装置、计算机设备及存储介质。
背景技术
目前，在互联网技术领域，中间件是一种独立的系统软件或服务程序软件，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机或服务器的操作系统之上用于管理计算机资源和网络通讯，同时也是连接两个独立应用程序或独立系统的软件，常见的中间件比如Tomcat、Apache或Nginx等。然而，中间件的数据监控一般是依赖监控数据采集工具，但是监控数据采集工具都是针对单一中间件进行监控采集，没有统一标准来实现监控采集，不便于监控数据管理及图形展示。同时，各类中间件对应的监控数据的采集方式也不相同，导致部署异常复杂，且大批量监控数据的采集速度较慢。
发明内容
本申请提供了一种数据监控方法、装置、计算机设备及存储介质，旨在实现不同的中间件的统一监控和管理。
第一方面，本申请提供了一种数据监控方法，用于对安装在监控系统运行环境中的中间件进行监控，所述方法包括：
获取中间件对应的配置文件；
根据所述配置文件的文件内容识别所述中间件的类型信息；
获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
根据所述预设采集规则采集所述中间件对应的监控数据；
根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
第二方面，本申请提供了一种数据监控装置，用于对安装在监控系统运行环境中的中间件进行监控，所装置包括：
文件获取单元，用于获取中间件对应的配置文件；
类型识别单元，用于根据所述配置文件的文件内容识别所述中间件的类型信息；
规则获取单元，用于获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
数据采集单元，用于根据所述预设采集规则采集所述中间件对应的监控数据；
整理发送单元，用于根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
第三方面，本申请还提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请提供的任意一项所述的数据监控方法的步骤。
第四方面，本申请还提供了一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行本申请提供的任意一项所述的数据监控方法的步骤。
本申请实施例通过获取中间件对应的配置文件；根据所述配置文件的文件内容识别所述中间件的类型信息；获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；根据所述预设采集规则采集所述中间件对应的监控数据；根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。该方法针对不同中间件采用不同的采集规则和数据整理规则，以整理成统一的数据格式发送至监控系统进行展示和告警，由此实现了不同中间件的统一监控管理，方便了中间件的数据监控和管理。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种数据监控方法的示意流程图；
图2是图1中数据监控方法的子步骤示意流程图；
图3是本申请另一实施例提供的一种数据监控方法的示意流程图；
图4是图3中数据监控方法的子步骤示意流程图；
图5是本申请一实施例提供的一种数据监控装置的示意性框图；
图6是本申请另一实施例提供的一种数据监控装置的示意性框图；
图7是本申请一实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1是本申请一实施例提供的一种数据监控方法的示意流程图。该数据监控方法用于对安装在监控系统运行环境中的中间件进行监控，所述控监控系统用于对服务器集群进行监控。如图1所示，该数据监控方法包括步骤S101～S105。
S101、获取中间件对应的配置文件。
在本实施例中，监控系统为Open-Falcon系统，用于对服务器集群进行监控管理，所述服务器集群包括多个服务器(也称为主机)，所述中间件安装在所述主机内。所述中间件包括多个不同类型的中间件，比如包括WebLogic、Tomcat、Apache和Nginx等类型中间件。如采用标准安装方式，所述中间件安装在主机后将位于主机的固定安装目录中，比如/wls/serveradmin/conf/same/目录下的xxx.conf文件，所述xxx.conf文件即是配置文件。通过遍历主机中的中间件的安装目录即可获取中间件对应的配置文件。
此外，相同类型的中间件安装在不同的主机内会对应不同的实例名，该实例名用于唯一标识某个主机内的中间件。该实例名保存在所述配置文件中，获取所述配置文件后可对所述配置文件进行解析即可获取中间件在该主机中对应的实例名。
在一实施例中，所述获取中间件对应的配置文件，包括：遍历主机的预设目录以获取中间件对应的配置文件，所述预设目录为所述中间件采用标准安装时生成的安装目录。
S102、根据所述配置文件的文件内容识别所述中间件的类型信息。
在本实施例中，如图2所示，所述根据所述配置文件的文件内容识别所述中间件的类型信息，包括子步骤S102a和S102b。其中，S102a、根据所述配置文件的文件内容识别所述中间件对应的关键字；S102b、根据识别到的关键字确认所述中间件对应类型信息。
比如，该配置文件的文件内容包括“handler＝WeblogicFunc”，由此识别到“handler＝WeblogicFunc”中出现的关键字Weblogic，进而根据该关键字Weblogic可确认所述中间件为Weblogic，该Weblogic即为所述中间件的类型信息。
具体地，可预先存储预设关键字表，其中所述预设关键字表包括所有中间件对应的关键字；根据所述预设关键字表识别所述配置文件的文件内容以获取所述中间件对应的关键字。
S103、获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则。
在本实施例中，由于不同类型的中间件对应不同数据采集方式和规则，因此可预先整理出所有中间件对应的预设采集规则，并建立中间件的类型信息与预设采集规则的对应关系，由此可根据该对应关系则可获取所述类型信息对应的预设采集规则。
其中，不同类型的中间件采集监控数据格式也可能不同，但是采集的监控数据需要进行集中处理，比如：利用Open-Falcon的push功能把获取到的监控数据发给Open-Falcon做监控图形展示和告警，因此需要对获取到的监控数据进行整理，不同的预设采集规则又对应着不同的数据整理规则。
具体地，可以将预设采集规则设置为预设采集脚本的方式，将该预设采集脚本与中间件的类型信息建立对应关系。比如，该预设采集脚本为Weblogic.sh，保存在/opt/easyagent/agent/apps/pacapmonitor/lib/软件类型”中。当识别到中间件的类型信息为Weblogic时，所述获取所述类型信息对应的预设采集规则，具体为：通过所述类型信息调用所述类型信息对应的预设采集脚本。同样数据整理规则也可采用类似的方式。
S104、根据所述预设采集规则采集所述中间件对应的监控数据。
在本实施例中，根据所述预设采集规则对所述中间件进行监控并采集相应的监控数据。具体地，通过所述类型信息调用所述类型信息对应的预设采集脚本，通过所述预设采集脚本采集所述中间件对应的监控数据。由此实现快速自动地采集中间件的监控数据。
譬如，根据所述配置文件的文件内容识别到所述中间件的类型信息为Weblogic；调用“/opt/easyagent/agent/apps/pacapmonitor/lib/软件类型/Weblogic.sh”中的Weblogic脚本采集中间件Weblogic的监控数据。
S105、根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
在本实施例中，由于监控系统为Open-Falcon系统，该Open-Falcon的接口接收数据格式为Json的数据包。所述数据整理规则是将中间件Weblogic的监控数据的格式转成Json格式。所述根据所述数据整理规则对所述监控数据进行整理，为将所述监控数据的格式转换为Json格，并将转换后的监控数据通过Open-Falcon系统的Push功能发送给Open-Falcon做监控图形展示和告警，从而实现了对不同类型的中间件实现了标准化的监控，由此提高了监控数据采集速度，同时也方便中间件的监控部署和管理。
上述实施例通过获取中间件对应的配置文件；根据所述配置文件的文件内容识别所述中间件的类型信息；获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；根据所述预设采集规则采集所述中间件对应的监控数据；根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。该方法针对不同中间件采用不同的采集规则和数据整理规则，以整理成统一的数据格式发送至监控系统进行展示和告警，由此实现了不同中间件的统一监控管理，方便了中间件的数据监控和管理。
请参阅图3，图3是本申请一实施例提供的一种数据监控方法的示意流程图。该数据监控方法用于对安装在监控系统运行环境中的中间件进行监，所述控监控系统用于对服务器集群进行监控，所述服务器集群包括多个服务器，多个服务器也称为主机。如图3所示，该数据监控方法包括步骤S201～S207。
S201、判断主机是否存在预设目录，所述预设目录为所述中间件采用标准安装时生成的安装目录。
具体地，所述预设目录为中间件在主机中采用标准安装方式安装对应的安装目录。通过判断主机是否存在所述预设目录，来判断该中间件在主机中是否采用标准安装，如果采用标准化安装，则采用标准化监控，即执行所述遍历所有主机的预设目录以获取安装在每个主机中的中间件对应的配置文件进行监控。
S202、遍历主机的预设目录以获取中间件对应的配置文件。
在本实施例中，若所述主机存在所述预设目录，遍历主机的预设目录以获取中间件对应的配置文件。具体地，遍历所有主机的预设目录获取安装在每个主机中的中间件对应的配置文件。比如，通过读取主机/wls/serveradmin/conf/same/目录下的*.conf文件，即可获取被监控的中间件的配置文件。
其中，所述配置文件包括中间件安装在主机内生成的实例名。所述配置文件的文件内容，例如：
cat/wls/serveradmin/conf/same/test.conf
[mo-core-vip-stg1]
handler＝WeblogicFunc
pacap-dev-2.host＝SZB-L0031638
解析该中间件对应的配置文件的文件内容，可以确定该中间件的类型信息为Weblogic，解析hostname为本机的那一行的.host对应的实例名为pacap-dev-2。
S203、在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件。
在本实施例中，若所述主机不存在所述预设目录，在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件。具体地，若所述主机不存在所述预设目录，则可判定中间件在该主机中为采用非标准安装，比如自定义安装，则需要在所述监控系统的预设配置文件里写入对应的监控项以生成所述配置文件。具体地，在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
比如，在监控agent下的conf/custom.ini里面写入对应的监控项key＝value即可。将关键字instace替换成中间件对应的的实例名，value换成脚本路径和参数。
S204、根据所述配置文件的文件内容识别所述中间件的类型信息。
具体地，根据所述配置文件的文件内容识别所述中间件对应的关键字；根据识别到的关键字确认所述中间件对应类型信息。比如，该配置文件的文件内容包括“handler＝WeblogicFunc”，由此识别到“handler＝WeblogicFunc”中出现的关键字Weblogic，进而根据该关键字Weblogic可确认所述中间件为Weblogic，该Weblogic即为所述中间件的类型信息。
S205、获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则。
在本实施例中，由于不同类型的中间件对应不同数据采集方式和规则，因此可预先整理出所有中间件对应的预设采集规则，并建立中间件的类型信息与预设采集规则的对应关系，由此可根据该对应关系则可获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则。
S206、根据所述预设采集规则采集所述中间件对应的监控数据。
具体地，通过所述类型信息调用所述类型信息对应的预设采集脚本，通过所述预设采集脚本采集所述中间件对应的监控数据。由此实现快速自动地采集中间件的监控数据。
S207、根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
具体地，将所述监控数据的格式转换为Json格，并将转换后的监控数据通过Open-Falcon系统的Push功能发送给Open-Falcon做监控图形展示和告警，从而实现了对不同类型的中间件实现了标准化的监控，由此提高了监控数据采集速度，同时也方便中间件的监控部署和管理。
在一实施例中，所述配置文件包括中间件安装在主机内生成的实例名。如图4所示，所述根据所述数据整理规则对所述监控数据进行整理，包括子步骤S207a和S207b。S207a、根据所述数据整理规则将所述监控数据的格式转换成所述监控系统对应的格式；S207b、将所述中间件对应的实例名加载至整理后的监控数据中。由此可以通过Open-Falcon每个主机中的中间件进行实例监控，便于监控每个主机间的中间件
上述实施例的数据监控方法可针对不同中间件采用不同的采集规则和数据整理规则，以整理成统一的数据格式发送至监控系统进行展示和告警，由此实现了不同中间件和每个主机中的中间件统一监控管理，方便了中间件的数据监控和管理。
请参阅图5，图5是本申请实施例提供的一种数据监控装置的示意性框图。如图5所示，数据监控装置300包括：文件获取单元301、类型识别单元302、规则获取单元303、数据采集单元304和整理发送单元305。
文件获取单元301，用于获取中间件对应的配置文件；
类型识别单元302，用于根据所述配置文件的文件内容识别所述中间件的类型信息；
其中，所述类型识别单元302，包括关键字识别子单元3021和类型确定子单元3022。关键字识别子单元3021，用于根据所述配置文件的文件内容识别所述中间件对应的关键字；类型确定子单元3022，用于根据识别到的关键字确认所述中间件对应类型信息。
规则获取单元303，用于获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
数据采集单元304，用于根据所述预设采集规则采集所述中间件对应的监控数据；
整理发送单元305，用于根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
请参阅图6，图6是本申请另一实施例提供的一种数据监控装置的示意性框图。如图6所示，数据监控装置500包括：目录判断单元501、遍历获取单元502、写入生成单元503、类型识别单元504、规则获取单元505、数据采集单元506和整理发送单元507。
目录判断单元501，用于判断主机是否存在所述预设目录。
遍历获取单元502，用于若所述主机存在所述预设目录，遍历主机的预设目录以获取中间件对应的配置文件。
写入生成单元503，用于若所述主机不存在所述预设目录，在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件。
具体地，用于在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
类型识别单元504，用于根据所述配置文件的文件内容识别所述中间件的类型信息。
规则获取单元505，用于获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则。
数据采集单元506，用于根据所述预设采集规则采集所述中间件对应的监控数据。
整理发送单元507，用于根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
具体地，所述配置文件包括中间件安装在主机内生成的实例名。所述整理发送单元507，包括：格式转换子单元5071和实例加载子单元5072。格式转换子单元5071，用于根据所述数据整理规则将所述监控数据的格式转换成所述监控系统对应的格式；实例加载子单元5072，用于将所述中间件对应的实例名加载至整理后的监控数据中。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的数据监控装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述装置可以实现为一种计算机程序的形式，计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备700设备可以是服务器。
参照图7，该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种数据监控方法。
该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种数据监控方法。
该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现如下步骤：
获取中间件对应的配置文件；
根据所述配置文件的文件内容识别所述中间件的类型信息；
获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
根据所述预设采集规则采集所述中间件对应的监控数据；
根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述获取中间件对应的配置文件时，具体实现如下步骤：
遍历主机的预设目录以获取中间件对应的配置文件，所述预设目录为所述中间件采用标准安装时生成的安装目录。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述遍历主机的预设目录以获取中间件对应的配置文件之前，还实现如下步骤：
判断主机是否存在所述预设目录，所述主机为所述监控系统监控的服务器集群中的服务器；
若所述主机存在所述预设目录，则执行所述遍历主机的预设目录以获取中间件对应的配置文件的步骤。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述判断主机是否存在所述预设目录之后，还实现如下步骤：
若所述主机不存在所述预设目录，在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件时，具体实现如下步骤：
在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
在一实施例中，所述配置文件包括中间件安装在主机内生成的实例名，所述处理器720用于运行存储在存储器中的程序代码实现所述根据所述数据整理规则对所述监控数据进行整理时，具体实现如下步骤：
根据所述数据整理规则将所述监控数据的格式转换成所述监控系统对应的格式；以及
将所述中间件对应的实例名加载至整理后的监控数据中。
在一实施例中，所述处理器720用于运行存储在存储器中的程序代码实现所述根据所述配置文件的文件内容识别所述中间件的类型信息时，具体实现如下步骤：
根据所述配置文件的文件内容识别所述中间件对应的关键字；以及
根据识别到的关键字确认所述中间件对应类型信息。
应当理解，在本申请实施例中，处理器720可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器720还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域技术人员可以理解，图7中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本领域普通技术人员可以理解的是实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。如本发明实施例中，该计算机程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程步骤。
该计算机可读存储介质可以是磁碟、光盘、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的数据监控装置和方法，可以通过其它的方式实现。例如，以上所描述的数据监控装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种数据监控方法，用于对安装在监控系统运行环境中的中间件进行监控，其特征在于，包括：
获取中间件对应的配置文件；
根据所述配置文件的文件内容识别所述中间件的类型信息；
获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
根据所述预设采集规则采集所述中间件对应的监控数据；
根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理；其中，所述监控系统为Open-Falcon系统，所述Open-Falcon系统根据所述整理后的监控数据进行监控图形展示和告警处理；
所述配置文件包括中间件安装在主机内生成的实例名；
所述根据所述数据整理规则对所述监控数据进行整理，包括：
根据所述数据整理规则将所述监控数据的格式转换成所述监控系统对应的格式，其中，所述监控系统对应的格式为Json格式；以及
将所述中间件对应的实例名加载至整理后的监控数据中；
所述获取中间件对应的配置文件，包括：
判断主机是否存在预设目录，所述主机为所述监控系统监控的服务器集群中的服务器；
若所述主机存在所述预设目录，遍历主机的预设目录以获取中间件对应的配置文件，所述预设目录为所述中间件采用标准安装时生成的安装目录；
若所述主机不存在所述预设目录，在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件；
所述在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件包括：在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
2.根据权利要求1所述的数据监控方法，其特征在于，所述在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件，包括：
在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
3.根据权利要求1所述的数据监控方法，其特征在于，所述根据所述配置文件的文件内容识别所述中间件的类型信息，包括：
根据所述配置文件的文件内容识别所述中间件对应的关键字；以及
根据识别到的关键字确认所述中间件对应类型信息。
4.一种数据监控装置，用于对安装在监控系统运行环境中的中间件进行监控，其特征在于，包括：
文件获取单元，用于获取中间件对应的配置文件；
类型识别单元，用于根据所述配置文件的文件内容识别所述中间件的类型信息；
规则获取单元，用于获取所述类型信息对应的预设采集规则以及所述预设采集规则对应的数据整理规则；
数据采集单元，用于根据所述预设采集规则采集所述中间件对应的监控数据；
整理发送单元，用于根据所述数据整理规则对所述监控数据进行整理，并将整理后的监控数据发送至所述监控系统进行处理；其中，所述监控系统为Open-Falcon系统，所述Open-Falcon系统根据所述整理后的监控数据进行监控图形展示和告警处理；
所述配置文件包括中间件安装在主机内生成的实例名；
所述根据所述数据整理规则对所述监控数据进行整理，包括：
根据所述数据整理规则将所述监控数据的格式转换成所述监控系统对应的格式，其中，所述监控系统对应的格式为Json格式；以及
将所述中间件对应的实例名加载至整理后的监控数据中；
所述获取中间件对应的配置文件，包括：
判断主机是否存在预设目录，所述主机为所述监控系统监控的服务器集群中的服务器；
若所述主机存在所述预设目录，遍历主机的预设目录以获取中间件对应的配置文件，所述预设目录为所述中间件采用标准安装时生成的安装目录；
若所述主机不存在所述预设目录，在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件；
所述在所述监控系统的预设配置文件中写入对应的监控项以生成所述配置文件包括：在预设配置文件中写入需要监控的中间件对应的实例名和脚本参数以生成所述配置文件。
5.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至3中任意一项所述方法的步骤。
6.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1至3任意一项所述方法的步骤。
CN201810556983.5A 2018-06-01 2018-06-01 数据监控方法、装置、计算机设备及存储介质 Active CN108829560B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810556983.5A CN108829560B (zh) 2018-06-01 2018-06-01 数据监控方法、装置、计算机设备及存储介质
PCT/CN2018/100966 WO2019227689A1 (zh) 2018-06-01 2018-08-17 数据监控方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810556983.5A CN108829560B (zh) 2018-06-01 2018-06-01 数据监控方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN108829560A CN108829560A (zh) 2018-11-16
CN108829560B true CN108829560B (zh) 2021-09-28

Family

ID=64147062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810556983.5A Active CN108829560B (zh) 2018-06-01 2018-06-01 数据监控方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN108829560B (zh)
WO (1) WO2019227689A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634805A (zh) * 2018-11-19 2019-04-16 平安科技（深圳）有限公司 监控数据处理方法、装置、电子设备及存储介质
CN109684171B (zh) * 2018-12-17 2021-01-08 珠海格力电器股份有限公司 机组设备的数据监控方法、装置、机组设备及系统
CN109918620B (zh) * 2019-01-10 2024-06-11 平安科技（深圳）有限公司 保单信息显示方法、装置、计算机设备及存储介质
CN110188121B (zh) * 2019-04-24 2024-03-19 平安科技（深圳）有限公司 业务数据监控方法、装置、计算机设备及存储介质
CN110134547B (zh) * 2019-04-28 2023-08-18 平安科技（深圳）有限公司 一种基于中间件的重复数据删除方法和相关装置
CN110309109B (zh) * 2019-05-23 2024-02-02 中国平安财产保险股份有限公司 数据监控方法、装置、计算机设备及存储介质
CN110347569A (zh) * 2019-06-28 2019-10-18 浙江吉利控股集团有限公司 一种服务器性能数据采集方法及装置
CN110618911B (zh) * 2019-08-15 2022-12-09 中国平安财产保险股份有限公司 数据监控方法、装置、存储介质和服务器
CN113128943B (zh) * 2019-12-30 2023-12-05 北京懿医云科技有限公司 数据质量监控方法、装置、电子设备、存储介质
CN111190856B (zh) * 2019-12-31 2023-05-16 西安翔腾微电子科技有限公司 一种配置gpu的方法、装置、电子设备及存储介质
CN111221777B (zh) * 2020-01-02 2024-01-30 中国银行股份有限公司 一种数据记录的匹配方法及装置
CN111831508B (zh) * 2020-06-12 2024-06-18 新浪技术（中国）有限公司 一种动态监控数据采集方法及装置
CN111813622B (zh) * 2020-06-28 2022-09-09 厦门科灿信息技术有限公司 一种设备监控方法及装置
CN112052134A (zh) * 2020-07-21 2020-12-08 北京奇艺世纪科技有限公司 一种业务数据的监控方法及装置
CN111880996B (zh) * 2020-07-29 2023-08-04 北京浪潮数据技术有限公司 一种裸机数据采集方法、装置、设备及可读存储介质
CN111984505B (zh) * 2020-08-21 2023-06-16 豪越科技有限公司 一种运维数据采集装置及采集方法
CN112463863A (zh) * 2020-11-05 2021-03-09 深圳市和讯华谷信息技术有限公司 一种云平台数据采集方法及装置
CN112380097A (zh) * 2020-11-18 2021-02-19 厦门市美亚柏科信息股份有限公司 一种基于Prometheus自定义监控指标的方法
CN114650218B (zh) * 2020-12-17 2023-12-12 中移(苏州)软件技术有限公司 一种数据获取方法、设备、系统及存储介质
CN112817937A (zh) * 2021-01-27 2021-05-18 上海臣星软件技术有限公司 大数据监控方法、装置、电子设备及计算机存储介质
CN113656239A (zh) * 2021-06-02 2021-11-16 北京百度网讯科技有限公司 针对中间件的监控方法、装置及计算机程序产品
CN113645075A (zh) * 2021-08-11 2021-11-12 杭州安恒信息技术股份有限公司 一种网络链路故障定位方法、装置、设备及可读存储介质
CN113918208A (zh) * 2021-10-14 2022-01-11 北京皮尔布莱尼软件有限公司 一种中间件管理方法、装置、计算设备及存储介质
CN115941546B (zh) * 2022-11-29 2024-06-14 重庆长安汽车股份有限公司 系统接口的监控方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984617A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种服务器主动推送监控数据的方法
CN104331354A (zh) * 2014-11-20 2015-02-04 普华基础软件股份有限公司 一种云计算的实时综合监控方法
CN106681882A (zh) * 2015-11-06 2017-05-17 上海瑞致软件有限公司 基于Apriori算法的IT服务集中监控管理系统
CN107547589A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 一种数据采集处理方法以及装置
CN107945086A (zh) * 2017-11-17 2018-04-20 广州葵翼信息科技有限公司 一种应用于智慧城市的大数据资源管理系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106059841B (zh) * 2016-08-10 2019-10-01 北京北信源软件股份有限公司 一种对部署的中间件进行监控的方法
CN106383764B (zh) * 2016-08-31 2019-01-18 北京百分点信息科技有限公司 一种数据采集方法和设备
US11461334B2 (en) * 2016-09-26 2022-10-04 Splunk Inc. Data conditioning for dataset destination
CN107885539A (zh) * 2016-09-28 2018-04-06 平安科技（深圳）有限公司 一种中间件管理方法及服务器
CN106603565A (zh) * 2016-12-30 2017-04-26 上海浦东软件园汇智软件发展有限公司 一种数据传输、显示的方法及设备
CN107423198B (zh) * 2017-07-10 2020-10-16 中核核电运行管理有限公司 一种eam平台监控管理方法及系统
CN107463418B (zh) * 2017-09-12 2020-11-13 北京宝兰德软件股份有限公司 一种服务器中间件的配置文件生成方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984617A (zh) * 2014-05-28 2014-08-13 浪潮电子信息产业股份有限公司 一种服务器主动推送监控数据的方法
CN104331354A (zh) * 2014-11-20 2015-02-04 普华基础软件股份有限公司 一种云计算的实时综合监控方法
CN106681882A (zh) * 2015-11-06 2017-05-17 上海瑞致软件有限公司 基于Apriori算法的IT服务集中监控管理系统
CN107547589A (zh) * 2016-06-27 2018-01-05 腾讯科技（深圳）有限公司 一种数据采集处理方法以及装置
CN107945086A (zh) * 2017-11-17 2018-04-20 广州葵翼信息科技有限公司 一种应用于智慧城市的大数据资源管理系统

Also Published As

Publication number Publication date
WO2019227689A1 (zh) 2019-12-05
CN108829560A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108829560B (zh) 数据监控方法、装置、计算机设备及存储介质
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
CN110868336A (zh) 数据管理方法、装置和计算机可读存储介质
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN109002424B (zh) 文件格式转换方法、装置、计算机设备及存储介质
CN112905323B (zh) 数据处理方法、装置、电子设备及存储介质
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN113596078B (zh) 业务问题定位方法及装置
CN113127413B (zh) 一种运营商数据处理方法、装置、服务器及存储介质
CN110188308B (zh) 客户端自动打点上报方法、存储介质、设备及系统
CN114691723A (zh) 工业数据处理方法、装置、设备及介质
CN107330031B (zh) 一种数据存储的方法、装置及电子设备
CN111159142A (zh) 一种数据处理方法及装置
CN113032341A (zh) 一种基于可视化配置的日志处理方法
CN111752916B (zh) 数据采集方法及装置、计算机可读存储介质、电子设备
CN115002243A (zh) 一种数据处理方法及装置
CN112416698A (zh) 监控系统的扩展方法及装置、存储介质及电子设备
CN114238130A (zh) 性能测试方法、装置、设备及存储介质
CN111698109A (zh) 监控日志的方法和装置
CN114374745A (zh) 一种协议格式的处理方法及系统
CN113064807A (zh) 日志诊断方法及装置
CN109684158B (zh) 分布式协调系统的状态监控方法、装置、设备及存储介质
CN114884807B (zh) 链路日志生成方法、装置、物联网平台及存储介质
CN113055243B (zh) Dpi接口数据处理方法和装置
CN111045950A (zh) 性能问题点确定方法、装置、数据分析系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant