CN114253798A - 指标数据采集方法和装置、电子设备、存储介质 - Google Patents

Abstract

本公开实施例提供指标数据采集方法和装置、电子设备、存储介质，涉及人工智能技术领域。该指标数据采集方法，包括：监控端通过向服务端发送第一查询请求，以使服务端根据第一查询请求查询指标采集组件对应的主机信息，监控端接收服务端发送的主机信息，并根据主机信息确定待查询的主机端，监控端基于预设时间间隔向主机端发送第二查询请求，以使主机端根据第二查询请求查询对应的指标数据，最后监控端接收主机端发送的指标数据，通过本申请实施例的技术方案，能够根据不同的查询请求，自定义采集对应主机的指标数据。

Description

指标数据采集方法和装置、电子设备、存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种指标数据采集方法和装置、电子设备、存储介质。

背景技术

随着互联网技术的不断发展，各种网络平台的访问量都在快速增长，为支撑在高并发的情况下平台能够稳定服务，需要实时对相关的指标数据进行采集和监控，通过对指标数据分析，能够实现服务的高可用性。目前，通常使用一些第三方平台对指标数据进行采集，但是第三方平台已经固定所能采集的指标数据，即第三方平台只提供部分常用的指标数据，用户不能够根据实际需求来自定义采集对应的指标数据。

发明内容

本公开实施例的主要目的在于提出一种指标数据采集方法和装置、电子设备、存储介质，能够根据实际需求，自定义采集对应的指标数据。

为实现上述目的，本公开实施例的第一方面提出了一种指标数据采集方法，所述方法应用于监控端，包括：

向服务端发送第一查询请求，以使所述服务端根据所述第一查询请求查询指标采集组件对应的主机信息；

接收所述服务端发送的所述主机信息；

根据所述主机信息确定待查询的主机端；

基于预设时间间隔向所述主机端发送第二查询请求，以使所述主机端根据所述第二查询请求查询对应的指标数据；

接收所述主机端发送的所述指标数据。

在一些实施例，在所述向服务端发送第一查询请求之前，所述方法还包括：

获取所述服务端对应的配置信息；

根据所述配置信息建立所述监控端与所述服务端之间的通信连接。

在一些实施例，所述主机信息包括主机标识信息，所述根据所述主机信息确定待查询的主机端，包括：

获取预存的多个预设标识信息；其中，每一预设标识信息对应其中一主机端；

根据所述主机标识信息从所述多个预设标识信息筛选出目标标识信息；

根据所述目标标识信息确定待查询的主机端。

在一些实施例，所述主机信息包括主机标识信息，所述根据所述主机信息确定待查询的主机端，包括：

获取预存的多个预设标识信息；其中，每一预设标识信息对应其中一主机端；

根据所述主机标识信息从所述多个预设标识信息筛选出目标标识信息；

根据所述目标标识信息确定待查询的主机端。

在一些实施例，所述主机信息还包括：地址信息，在所述向所述主机端发送第二查询请求之前，所述方法还包括：

根据所述地址信息建立所述监控端与所述主机端之间的通信连接。

在一些实施例，在所述接收所述主机端发送的所述指标数据之后，所述方法还包括获取指标显示数据，具体包括：

获取用户端发送的第三查询请求；其中，所述第三查询请求包括显示样式信息；

根据所述显示样式信息和所述指标数据获取所述指标显示数据。

在一些实施例，所述根据所述显示样式信息和所述指标数据获取所述指标显示数据，包括：

基于所述显示样式信息确定每一所述指标数据的组合规则；

根据所述组合规则对所述指标数据进行组合，得到所述指标显示数据。

在一些实施例，在所述根据所述组合规则对所述指标数据进行组合，得到所述指标显示数据之后，所述方法还包括构建监控指标模型，具体包括：

获取预存的指标模型构建算法；

根据所述指标模型构建算法和所述指标显示数据进行建模，得到监控指标模型；其中所述监控指标模型用于监控所述指标显示数据。

为实现上述目的，本公开实施例的第二方面提出了一种指标数据采集装置，包括：

第一发送模块：用于向服务端发送第一查询请求，以使所述服务端根据所述第一查询请求查询指标采集组件对应的主机信息；

第一接收模块：用于接收所述服务端发送的所述主机信息；

主机端确定模块：用于根据所述主机信息确定待查询的主机端；

第二发送模块：用于基于预设时间间隔向所述主机端发送第二查询请求，以使所述主机端根据所述第二查询请求查询对应的指标数据；

第二接收模块：用于接收所述主机端发送的所述指标数据。

为实现上述目的，本公开实施例的第三方面提出了一种电子设备，包括：存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行如本申请第一方面实施例任一项所述的方法。

为实现上述目的，本公开实施例的第四方面提出了一种计算机可读存储介质，该存储介质为计算机可读存储介质，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例任一项所述的方法。

本公开实施例提出的指标数据采集方法和装置、电子设备、存储介质，监控端通过向服务端发送第一查询请求，以使服务端根据第一查询请求查询指标采集组件对应的主机信息，监控端接收服务端发送的主机信息，并根据主机信息确定待查询的主机端，监控端基于预设时间间隔向主机端发送第二查询请求，以使主机端根据第二查询请求查询对应的指标数据，最后监控端接收主机端发送的指标数据，通过本申请实施例的技术方案，能够根据不同的查询请求，自定义采集对应主机的指标数据。

附图说明

图1是本公开实施例提供的指标数据采集方法的第一流程图；

图2是本公开实施例提供的指标数据采集方法的第二流程图；

图3是图1中的步骤S103的流程图；

图4是本公开实施例提供的指标数据采集方法的第三流程图；

图5是图4中的步骤S402的流程图；

图6是本公开实施例提供的指标数据采集方法的第四流程图；

图7是本公开实施例提供的指标数据采集方法的实际应用流程图；

图8是本公开实施例提供的指标数据采集装置的模块结构框图；

图9是本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

Kafka：是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如可以处理消费者在网站中的所有动作流数据。这种动作，即网页浏览、网页搜索和其他用户的行动等是在现代网络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Zookeeper：是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。假设有20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并结果集)，一个备用的总服务器(负责当总服务器宕机时替换总服务器)，一个web的cgi(向总服务器发出搜索请求)。搜索引擎的服务器中的15个服务器提供搜索服务，5个服务器正在生成索引，这20个搜索引擎的服务器经常要让正在提供搜索服务的服务器停止提供服务开始生成索引，或生成索引的服务器已经把索引生成完成可以提供搜索服务了。使用Zookeeper可以保证总服务器自动感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求，当总服务器宕机时自动启用备用的总服务器。

Hadoop：是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，能够充分利用集群进行高速运算和存储。

HBase：是一个分布式的、面向列的开源数据库，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，另一个不同的是HBase基于列的而不是基于行的模式。

软件即服务(Software as service，SaaS)：意思为软件即服务，即通过网络提供软件服务。SaaS平台供应商将应用软件统一部署在自己的服务器上，客户可以根据工作实际需求，通过互联网向厂商定购所需的应用软件服务，按定购的服务多少和时间长短向厂商支付费用，并通过互联网获得Saas平台供应商提供的服务。

Github：是一个面向开源及私有软件项目的托管平台，因为只支持Git作为唯一的版本库格式进行托管，除了Git代码仓库托管及基本的Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱、代码片段分享等功能。

Java管理扩展(Java Management Extensions，JMX)：是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。

Java虚拟机(Java Virtual Machine，JVM)：是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。引入Java语言虚拟机后，Java语言在不同平台上运行时不需要重新编译。Java语言使用Java虚拟机屏蔽了与具体平台相关的信息，使得Java语言编译程序只需生成在Java虚拟机上运行的目标代码(字节码)，就可以在多种平台上不加修改地运行。

Kafka-exporter：一个用Go语言写的Kafka外部工具，相比JMX优势在于不需要消耗JVM资源，就可以对Kafka集群进行监控。

超文本传输协议(Hyper Text Transfer Protocol，HTTP)：是一个简单的请求和响应协议，它通常运行在TCP之上，指定了客户端可能发送给服务器什么样的消息以及得到什么样的响应。

斯普瑞布特(Spring Boot)：是一种的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。

项目对象模型(Maven)：是一个项目管理工具，它包含了一个项目对象模型，一组标准集合，一个项目生命周期，一个依赖管理系统和用来运行定义在生命周期阶段中插件目标的逻辑。

阿帕奇(Apache)：是一个开放源码的网页服务器，可以运行在多个计算机平台上，由于其跨平台和安全性被广泛使用，此外还能够通过简单的API扩充，将多种解释器编译到服务器中。

Java归档(Java Archive,JAR):在软件领域，JAR文件是一种软件包文件格式，通常用于聚合大量的Java类文件、相关的元数据和资源(文本、图片等)文件到一个文件，以便开发Java平台应用软件或库。除此之外，JAR文件还是一种归档文件，以ZIP格式构建，以.JAR为文件扩展名。用户可以使用JDK自带的JAR命令创建或提取JAR文件。

JDK：是Java语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。

MBean：描述一个可管理的资源，是一个java对象，它提供接口可以使这个类具有管理功能。

Golang：一种静态强类型、编译型、并发型，并具有垃圾回收功能的编程语言。

集群：指一组相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点，即集群中的每台计算机都是运行各自服务的独立服务器。这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。

随着互联网技术的不断发展，各种网络平台的访问量都在快速增长，为支撑在高并发的情况下平台能够稳定服务，需要实时对相关的指标数据进行采集和监控，通过对指标数据分析，能够实现服务的高可用性。目前，通常使用一些第三方平台对指标数据进行采集，但是第三方平台已经固定所能采集的指标数据，即第三方平台只提供部分常用的指标数据，用户不能够根据实际需求来自定义采集对应的指标数据。

在实际应用中，通常运用到的分布式架构为Kafka，当前有许多对于Kafka指标进行采集和监控的方案，例如：一种方法是直接使用第三方平台，例如Saas平台上提供的Kafka服务，在这种情况下，Saas平台上的服务控制台会提供Kafka部分指标的监控数据；另一种方法就是使用Github上的开源插件Kafka-exporter，该插件启动时连接Kafka集群后，提供HTTP接口查询固定指标数据。

采用第三方系统采集指标数据会导致如下问题：首先，长期使用第三方Kafka服务需要一定的资金开销，并且第三方Kafka服务只提供部分常用的指标，不能完全满足企业的需求。此外，指标数据需要经过第三方系统，具有一定的数据泄露风险。最后，系统服务的可用性会间接掌握在第三方手中，当指标数据的采集出现问题时，不利于直接排查。

采用开源插件服务，例如Kafka-exporter来采集指标数据会导致如下问题：第一，该开源插件服务提供的指标数据固定，不能完全满足企业的需求。第二，Kafka-exporter由Golang语言开发，不利于Java开发者做二次开发。

基于此，本公开实施例提供一种指标数据采集方法和装置、电子设备、存储介质，可以根据实际需求，自定义采集对应的指标数据。

本公开实施例提供指标数据采集方法和装置、电子设备、存储介质，具体通过如下实施例进行说明，首先描述本公开实施例中的指标数据采集方法。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本公开实施例提供的指标数据采集方法，涉及人工智能技术领域。本公开实施例提供的指标数据采集方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机或者智能手表等；服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现指标数据采集方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，本公开实施例的服务，在实际应用中，可以基于SpringBoot项目搭建，通过Maven进行第三方JAR包管理，并需要引入Apache提供的Zookeeper相关JAR包。

参照图1，根据本公开实施例第一方面实施例的指标数据采集方法，包括但不限于步骤S101至步骤S105。

S101，向服务端发送第一查询请求，

S102，接收服务端发送的主机信息；

S103，根据主机信息确定待查询的主机端；

S104，基于预设时间间隔向主机端发送第二查询请求；

S105，接收主机端发送的指标数据。

在步骤S101中，监控端向服务端发送第一查询请求，该第一查询请求用于请求查询指标采集组件对应的主机信息，监控端用于通过服务端获取对应主机的主机信息，还用于查询主机的指标数据，服务端相当于一个中间组件，记录了所有集群，即主机的连接信息，服务端用于管理并为监控端提供相应的主机信息。在实际应用中，监控端具体指基于JMX的Kafka监控平台，服务端具体指Zookeeper平台。

在步骤S102中，监控端接收服务端发送的主机信息，主要包括每台主机的IP地址、端口号、用于表示主机的ID和主机指标值等。

在步骤S103中，监控端根据主机信息确定待查询的主机端，由于监控端从服务端采集到的主机信息是服务端所管理的所有主机的主机信息，以及所有主机之间的连接情况，所以监控端在获取到服务端发送的主机信息之后，需要确定哪一台或哪几台主机，是用户端需要查询指标的主机，通过确定待查询的主机端，能够准确获取用户所需要查询的指标数据。

在步骤S104中，基于预设时间间隔向主机端发送第二查询请求，在确定待查询的主机端之后，监控端根据用户端反馈的实际查询需求，在一定的时间间隔内，向主机端发送第二查询请求，其中，第二查询请求包括需要查询哪台主机下所对应的哪些指标，例如第二查询请求需要查询主机A下的流量速率、生产速率、生产成功请求速率和消费成功请求速率等，主机端，例如主机A接收到第二查询请求之后，查询对应主机A下的流量速率、生产速率、生产成功请求速率和消费成功请求速率等，使监控端能够结合实际需求，例如能根据用户需要查询的不同的自定义指标，生成不同的第二查询请求，进而通过主机端获取自定义指标数据，满足用户不同的指标查询需求，提升用户体验。此外，用户还能根据实际需求设置不同的预设时间间隔，例如每隔0.1秒或每隔1秒，监控端就会向对应的主机端发送第二查询请求，以采集不同时段下的指标数据，将不同时间点所对应的指标数据制作成统计图表的形式，还能使用户更直观查看指标数据的实时变化情况，进一步提升用户体验。

在步骤S105中，监控端接收主机端发送的指标数据，在监控端获取到指标数据之后，还能够将指标数据反馈给用户端，使用户及时查看对应的指标数据。

参照图2，在步骤S101之前，本公开实施例还提供一种指标数据采集方法还包括但不限于步骤S201至步骤S202。

S201，获取服务端对应的配置信息；

S202，根据配置信息建立监控端与服务端之间的通信连接。

在步骤S201中，监控端获取服务端对应的配置信息，其中服务端的配置信息包括服务端，例如Zookeeper的地址信息，包括Zookeeper的IP地址、端口信息和连接信息等。

在步骤S202中，监控端根据服务端的配置信息，例如Zookeeper的IP地址、端口信息和连接信息等建立监控端与服务端之间的通信连接。在实际应用中，监控端使用Zookeeper相关的JAR包提供的连接器，和配置Zookeeper集群的地址列表字符串来建立Zookeeper连接。监控端与服务端建立Zookeeper之后，能够通过Zookeeper连接获取指标采集组件相关的指标数据，例如安装有Kafka的主机所对应的主机信息和Topic信息。需要说明的是，在Kafka中，Topic是一个存储消息的逻辑概念，可以认为是一个消息集合，每条消息发送到Kafka集群的消息都有一个类别。物理上来说，不同的Topic信息是分开存储的，每个Topic可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息。此外，监控端将与服务端的连接结果保存在内存里，以便保存。当监控端与服务端在某个预设时间段，例如1秒内连接失败时，监控端需要进行超时重连，直到监控端与服务端连接成功。

在一些实施例中，主机信息包括主机标识信息，如图3所示，步骤S103具体包括但不限于步骤S301至步骤S303。

S301，获取预存的多个预设标识信息；

S302，根据主机标识信息从多个预设标识信息筛选出目标标识信息；

S303，根据目标标识信息确定待查询的主机端。

在步骤S301中，监控端获取其获取预存的多个预设标识信息，其中预设指标信息指的是，监控端管理的所有主机端所对应的指标信息，例如主机ID等。

在步骤S302和步骤S303中，监控端根据主机标识信息从多个预设标识信息筛选出目标标识信息，其中，每一预设标识信息对应其中一主机端，主机标识信息与预设标识信息之间存在映射关系，监控端根据主机标识信息就能找出某一主机所对应的目标标识信息，根据目标标识信息即可确定待查询的主机端。

在一些实施例中，主机信息还包括地址信息，在步骤S104之前，本公开实施例提供的指标数据采集方法具体还包括步骤：根据地址信息建立监控端与主机端之间的通信连接。其中，地址信息包括待查询主机端对应的IP地址、端口信息和连接信息等，还包括主机端对应的Topic信息，在实际应用中，Topic信息以列表的形式保存，主要包括所需查询主机端的连接关系，还包括主机的Topic流量速率，请求个数和消费速率等。例如，服务端所管理的主机端包括3台主机，即主机A、主机B和主机C，某条Topic信息，包括：主机A和主机B，监控端根据该Topic信息获取主机A和主机B的地址信息，并根据这些地址信息，分别与主机A和主机B建立通信连接。在实际应用中，监控端使用主机信息的IP地址和JMX端口号，并通过JDK提供的JMX连接器，建立监控端与对应主机端之间的通信连接，通过JMX连接器、Topic信息和MBean信息，获取对应主机端的实时指标数据。

参照图4，在步骤S105之后，本公开实施例还提供一种指标数据采集方法还包括“获取指标显示数据”，其中“获取指标显示数据”包括但不限于步骤S401至步骤S402。

S401，获取用户端发送的第三查询请求；

S402，根据显示样式信息和指标数据获取指标显示数据。

在步骤S401中，监控端获取用户端发送的第三查询请求，其中第三查询请求包括第三查询请求包括显示样式信息，即第三查询请求表明用户需要查询哪台主机下所对应的哪些指标，并且需要将这些指标以何种形式进行展示，例如以统计图和统计表的形式展示对应的指标数据。

在步骤S402中，监控端根据显示样式信息和指标数据获取指标显示数据，显示样式信息为指标数据的展示样式，主要包括统计图、统计表等样式，例如，用户需要将“主机流程速率”这一指标的数据，根据时间段以折线图的形式展示出来，则监控端需要获取指标数据中关于主机流量速率的数据，以及获取该数据所对应的时间，根据主机流量速率的数据，以及获取该数据所对应的时间，则对应的指标显示数据为制作该主机流量速率对应折线图，所需要的数据，通过指标显示数据转换成对应的统计图表，能够使用户直观查看指标数据，进而提升用户体验。

在一些实施例中，如图5所示，步骤S402具体包括但不限于步骤S501至步骤S502。

S501，基于显示样式信息确定每一指标数据的组合规则；

S502，根据组合规则对指标数据进行组合，得到指标显示数据。

在步骤S501中，监控端基于显示样式信息确定每一指标数据的组合规则，组合规则包括指标数据以何种形式进行组合而展示出来，例如显示样式信息为折线图，对应的指标为“主机流量速率”，则需要根据折线图确定每一“主机流量速率”对应的组合规则，例如需要将获取到主机流量速率的各个时间点划分为C组，将获取到不同主机流量速率所对应的不同时间点划分为D组。

在步骤S502中，监控端根据组合规则对指标数据进行组合，例如步骤S501将不同的数据划分为C组和D组，监控端就将获取到的主机流量速率放到C组，将获取到的不同时间点放到D组，以完成对指标数据的组合，得到指标显示数据。在实际应用中，通过接口将指标显示数据上传至对应的用户端，用户端可根据指标显示数据，以折线图的形式显示在用户界面上。

参照图6，在步骤S502之后，本公开实施例提供的指标数据采集方法还包括“构建监控指标模型”，其中“构建监控指标模型”包括但不限于步骤S601至步骤S602。

S601，获取预存的指标模型构建算法；

S602，根据指标模型构建算法和指标显示数据进行建模，得到监控指标模型。

在步骤S601和步骤S602中，监控端获取预存的指标模型构建算法，例如RED方法和USE方法等，根据指标模型构建算法，对指标显示数据进行转换计算等操作，例如将同一个主机端下某一时段对应的多个指标数据相加、取平均值等，从而建立合适的监控指标模型，以达到对指标数据进行有效监控的目的。其中，RED方法以应用请求相关的R(Rate：请求速率)、E(Error：请求错误)和D(Duration：请求耗时)三种关键指标为中心所创建监控体系的方法，USE方法的全称是Utilization Saturation and Errors Method，相较于RED方法，USE方法从资源使用率、资源饱和度和错误等指标纬度进行监控和分析，在帮助用户进行系统性能分析、资源瓶颈识别等方面有较好的效果。RED方法主要适用于单纯关注与请求相关的指标数据，USE方法可以提供资源使用率和饱和度的指标信息，对于系统性能监控和性能瓶颈分析可以起到很好的作用。此外，由于需要获取大量不同时序的指标数据才能对Kafka指标进行有效地分析，所以需要将不同时序的指标数据保存到时序数据库中，并根据需求，将监控指标模型进行转换，得到指标查询输出模型，能够将指标查询输出模型对接到第三方的监控系统，也可以将定制化的指标查询输出模型对接到自研监控系统，有利于用户进行定制化开发。

在一些实施例中，如图7所示，在实际应用中，指标数据采集方法为：监控端向服务端发送创建Zookeeper连接的连接请求，服务端根据该连接请求与监控端创建Zookeeper连接，并将连接结果返回给监控端。连接成功后，用户端调用监控端的指标查询接口，监控端向服务端查询Kafka节点的主机信息和Topic信息，服务端将对应的主机信息和Topic信息反馈给监控端。监控端接收到主机信息和Topic信息后，与对应的主机端创建JMX连接，主机端将连接结果返回给监控端。连接成功后，监控端向主机端发送查询Topic指标信息的请求，主机端接收到请求后，将对应的指标信息反馈给监控端，监控端根据实际需求将指标信息转换成指标模型，并向用户端返回自定义的指标模型数据。

本公开实施例提出的指标数据采集方法，监控端通过向服务端发送第一查询请求，以使服务端根据第一查询请求查询指标采集组件对应的主机信息，监控端接收服务端发送的主机信息，并根据主机信息确定待查询的主机端，监控端基于预设时间间隔向主机端发送第二查询请求，以使主机端根据第二查询请求查询对应的指标数据，最后监控端接收主机端发送的指标数据，通过本申请实施例的技术方案，能够根据不同的查询请求，自定义采集对应主机的指标数据。

本公开实施例还提供一种指标数据采集装置，可以实现上述指标数据采集方法，如图8所示，该装置包括：第一发送模块801、第一接收模块802、主机端确定模块803、第二发送模块804和第二接收模块805，其中第一发送模块801用于向服务端发送第一查询请求，以使服务端根据第一查询请求查询指标采集组件对应的主机信息；第一接收模块802用于接收服务端发送的主机信息；主机端确定模块803用于根据主机信息确定待查询的主机端；第二发送模块804用于基于预设时间间隔向主机端发送第二查询请求，以使主机端根据第二查询请求查询对应的指标数据；第二接收模块805用于接收主机端发送的指标数据。

本实施例的指标数据采集装置的具体实施方式与上述指标数据采集方法的具体实施方式基本一致，在此不再赘述。

本公开实施例还提供了一种电子设备，包括存储器和处理器，其中，存储器中存储有程序，处理器执行至少一个程序以实现本公开实施例上述的指标数据采集方法。该电子设备可以为包括手机、平板电脑、个人数字助理(Personal Digital Assistant，简称PDA)、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器901，可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本公开实施例所提供的技术方案；

存储器902，可以采用ROM(Read Only Memory，只读存储器)、静态存储设备、动态存储设备或者RAM(Random Access Memory，随机存取存储器)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本公开实施例的指标数据采集方法；

输入/输出接口903，用于实现信息输入及输出；

通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；和

总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；

其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。

本公开实施例还提供了一种存储介质，该存储介质是计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令用于使计算机执行上述指标数据采集方法。

本公开实施例提出的指标数据采集方法和装置、电子设备、存储介质，监控端通过向服务端发送第一查询请求，以使服务端根据第一查询请求查询指标采集组件对应的主机信息，监控端接收服务端发送的主机信息，并根据主机信息确定待查询的主机端，监控端基于预设时间间隔向主机端发送第二查询请求，以使主机端根据第二查询请求查询对应的指标数据，最后监控端接收主机端发送的指标数据，通过本申请实施例的技术方案，能够根据不同的查询请求，自定义采集对应主机的指标数据。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本公开实施例描述的实施例是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图1至图6中示出的技术方案并不构成对本公开实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本公开实施例的优选实施例，并非因此局限本公开实施例的权利范围。本领域技术人员不脱离本公开实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本公开实施例的权利范围之内。

Claims (10)

1.指标数据采集方法，其特征在于，所述方法应用于监控端，包括：

向服务端发送第一查询请求，以使所述服务端根据所述第一查询请求查询指标采集组件对应的主机信息；

接收所述服务端发送的所述主机信息；

根据所述主机信息确定待查询的主机端；

基于预设时间间隔向所述主机端发送第二查询请求，以使所述主机端根据所述第二查询请求查询对应的指标数据；

接收所述主机端发送的所述指标数据。

2.根据权利要求1所述的方法，其特征在于，在所述向服务端发送第一查询请求之前，所述方法还包括：

获取所述服务端对应的配置信息；

根据所述配置信息建立所述监控端与所述服务端之间的通信连接。

3.根据权利要求1所述的方法，其特征在于，所述主机信息包括主机标识信息，所述根据所述主机信息确定待查询的主机端，包括：

获取预存的多个预设标识信息；其中，每一预设标识信息对应其中一主机端；

根据所述主机标识信息从所述多个预设标识信息筛选出目标标识信息；

根据所述目标标识信息确定待查询的主机端。

4.根据权利要求1所述的方法，其特征在于，所述主机信息还包括：地址信息，在所述向所述主机端发送第二查询请求之前，所述方法还包括：

根据所述地址信息建立所述监控端与所述主机端之间的通信连接。

5.根据权利要求1至4任一项所述的方法，其特征在于，在所述接收所述主机端发送的所述指标数据之后，所述方法还包括获取指标显示数据，具体包括：

获取用户端发送的第三查询请求；其中，所述第三查询请求包括显示样式信息；

根据所述显示样式信息和所述指标数据获取所述指标显示数据。

6.根据权利要求5所述的方法，其特征在于，所述根据所述显示样式信息和所述指标数据获取所述指标显示数据，包括：

基于所述显示样式信息确定每一所述指标数据的组合规则；

根据所述组合规则对所述指标数据进行组合，得到所述指标显示数据。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述组合规则对所述指标数据进行组合，得到所述指标显示数据之后，所述方法还包括构建监控指标模型，具体包括：

获取预存的指标模型构建算法；

根据所述指标模型构建算法和所述指标显示数据进行建模，得到监控指标模型；其中所述监控指标模型用于监控所述指标显示数据。

8.指标数据采集装置，其特征在于，包括：

第一发送模块：用于向服务端发送第一查询请求，以使所述服务端根据所述第一查询请求查询指标采集组件对应的主机信息；

第一接收模块：用于接收所述服务端发送的所述主机信息；

主机端确定模块：用于根据所述主机信息确定待查询的主机端；

第二发送模块：用于基于预设时间间隔向所述主机端发送第二查询请求，以使所述主机端根据所述第二查询请求查询对应的指标数据；

第二接收模块：用于接收所述主机端发送的所述指标数据。

9.电子设备，其特征在于，所述电子设备包括存储器和处理器，其中，所述存储器中存储有程序，所述程序被所述处理器执行时所述处理器用于执行如权利要求1至7中任一项所述的方法。

10.计算机可读存储介质，其特征在于，所述计算机可读存储有计算机程序，在所述计算机程序被计算机执行时，所述计算机用于执行如权利要求1至7中任一项所述的方法。

Images